EP1396153A2 - Method and device for determining movement in at least two successive digital images, computer readable storage medium and computer program - Google Patents

Method and device for determining movement in at least two successive digital images, computer readable storage medium and computer program

Info

Publication number
EP1396153A2
EP1396153A2 EP02740306A EP02740306A EP1396153A2 EP 1396153 A2 EP1396153 A2 EP 1396153A2 EP 02740306 A EP02740306 A EP 02740306A EP 02740306 A EP02740306 A EP 02740306A EP 1396153 A2 EP1396153 A2 EP 1396153A2
Authority
EP
European Patent Office
Prior art keywords
contour
image
determined
movement
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP02740306A
Other languages
German (de)
French (fr)
Inventor
Axel Techmer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of EP1396153A2 publication Critical patent/EP1396153A2/en
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes

Definitions

  • the invention relates to a method and a device for determining movement in at least two temporally successive digital images, a computer-readable storage medium and a computer program element.
  • the determination of movement in temporally successive images is essential information for determining the content of digital images.
  • motion estimation is essential information for determining the content of digital images.
  • the determination of the movement of perceived objects is carried out as an early processing step in human sensory perception.
  • the limitation to individual pixels when determining the image movement means that only a small field of pixels with coding information associated with the pixels is taken into account when determining the movement, the individual pixels being sparsely distributed over the entire image.
  • Coding information is further understood to mean brightness information (uminance information) and / or color information (chrominance information), which is / are each assigned to one or more pixels.
  • the selected pixels which are taken into account in the course of the movement determination in temporally successive digital images, are defined via gray value corners, that is to say via pixels which are located in a corner region of abrupt transitions in the uminance values assigned to the respective pixels.
  • gray-scale corners are not necessarily object-specific. This is especially true at the object boundaries, because at the object boundaries the gray value corners are determined by the gray value course of the background and object.
  • the background does not have to be uniform in the image, the temporal assignment of the gray value corners leads to incorrect movement information.
  • [4] and [5] describe methods for determining a contour with contour picture elements in a digital picture with picture elements to which coding information is assigned.
  • a distance transformation is also known in [6] as a morphological operation for determining minimum distances from points of a considered local environment to a contour with contour image points. [7] and [8] describe two alternative implementations of the distance transformation from [6].
  • [10] also describes a method for segmenting an image sequence, in which contour information is determined from segmentation information of objects which have already been segmented. A calculation of
  • Movement information is based on the object-related contour information.
  • the method described in [11] for determining the movement of objects in a sequence of digitized images uses a statistical model with two components, a static component (for describing the background) and a moving component (for describing moving objects) ,
  • the invention is based on the problem of a simplified and therefore faster and less expensive determination of the Specify motion in a sequence of images that follow one another in time.
  • pixels are present in the digital images, each of which is assigned coding information.
  • coding information at least one contour with a multiplicity of contour image points located on the contour is determined in a first image.
  • the contour image points located on the determined contour of the first image the movement is determined with respect to a reference contour contained in a second image with reference contour image points.
  • a device for determining the movement in at least two chronologically successive digital images has a processor which is set up in such a way that the method steps described above can be carried out.
  • a program is stored on a computer-readable storage medium, which, after it has been loaded into a memory of the computer, enables a computer to carry out the method steps described above for determining the movement in at least two digital images which follow one another in time.
  • a computer program element has the method steps described above after it has been stored in a memory of the
  • Computer has been loaded and run from the computer is used to determine the movement in at least two temporally successive digital images.
  • the determination of the movement is determined on the basis of the determined contour, that is to say extracted from a digital image, in a digital image with respect to a reference contour in a temporally preceding or temporally following image.
  • the contour information is determined directly from the coding information assigned to the pixels.
  • a contiguous term is used to denote a coherent, that is to say a sequence of contour image points that are spatially adjacent in an image.
  • pixels are contiguous and therefore form a contour if they are arranged directly adjacent to one another on the image grid, that is to say in the digital image.
  • Motion detection in a sequence of digital images allows the determined movement information to be stabilized over time and also the determination and detection of even small movements in the sequence of digital images that follow one another in time. This is made possible in particular by the fact that by means of the determination of the contours and the consideration of the contours in the movement determination, a temporal integration is usually carried out over the clearly defined area explained below, which is caused by the displacement of contours in temporally successive digital images between the two considered contours is formed.
  • real time is not a clearly defined concept of performance.
  • real time is understood to mean a processing time that is essentially less than 40 ms.
  • a time interval of 40 ms corresponds to the time offset of two digital single images of an analog video sequence.
  • At least one reference contour with a plurality of reference contour pixels located on the contour is determined using the coding information in the second image.
  • the movement can be determined both from a previous image and from a time following image can be carried out, i.e. both a movement prediction and a movement determination can be carried out in retrospective consideration.
  • the second image as a reference image with the reference contour can be the temporally preceding or also temporally following image compared to the first image with the extracted contour taken into account in the image movement.
  • a minimum distance image can be determined for the reference contour and the reference contour image points located on the reference contour by means of a morphological operation, that is to say clearly a field of values with which a minimum Distance of a pixel in the minimum distance image to a reference contour pixel is specified.
  • a distance transformation can be used as a morphological operation, and it has been found that the distance transformation described in [6] is particularly suitable and leads to very good results.
  • Pixel [x, y] and a reference contour pixel on the reference contour in the second image • [x, y] a pixel in the distance image, V 1 (l, t) a reference contour pixel in the second image,
  • contour direction that is to say the direction in which the change in contrast runs along a contour.
  • the invention is particularly suitable for use in the field of the detection of moving objects in a scenario in which it is important to distinguish a large number of moving objects from one another and from non-moving objects.
  • a very suitable area of application is, in particular, traffic monitoring or the determination of the movement in scenes which are recorded by a digital camera installed in a moving vehicle.
  • FIG. 1 is a block diagram in which the individual
  • FIG. 2 shows a flow chart in which the method steps for determining the image movement according to an exemplary embodiment of the invention are shown in detail;
  • Figure 3 is an illustration of a distance image with a
  • Reference contour with contour lines assigned to the reference contour, and with a contour
  • Figures 4a to 4c results of the contour-based motion determination according to the invention for different scenes.
  • a digital camera is installed on a vehicle and records a recording area in the direction of travel of the moving vehicle.
  • a sequence of digital images is thus generated by means of the digital camera, each digital image being assigned a multiplicity of picture elements and the picture elements
  • Coding information according to this embodiment, the brightness values assigned to the pixels.
  • contour extraction is carried out for each digital image, hereinafter referred to as first digital image according to this exemplary embodiment, with the brightness values l (x, y, t).
  • contours are determined for the first image (block 101 in block diagram 100 in FIG. 1). This is done by detecting edges in the digital image. Edges mark jumps in contrast in the course of the brightness information in the digital image.
  • contours contiguous chains of contour points, that is to say as contiguous edges, that is to say as a coherent sequence of locally directly adjacent contour points, are referred to as contours.
  • the contour extraction is carried out using the method described in [4], alternatively the method described in [5].
  • FIG. 2 shows the step of contour extraction 101 for a digital image 201 in detail in a flow chart 200.
  • Gradient filtering (step 202) and then gradient-based line thinning (step 203) is carried out for the digital image 201 according to the flow diagram 200 shown in FIG.
  • determined edge image points e (x, y, t) of determined lines in the digital image 201 are linked to one another and a contour, in general a plurality of N contours in each digital image 201 is determined (step 205 ).
  • the contour is assigned in a further step (step 102 in FIG. 1).
  • a corresponding point in a reference contour in a temporally preceding digital image that is to say a reference contour image point, is determined for each determined contour point of a contour v (t).
  • the reference contour pixel is located on a reference contour in the previous image, v (t - l) thus designates the contour structure determined in the previous time step.
  • each contour pixel of the contour is expressed via a displacement vector, also called a translation vector.
  • the assumption is used that the change in contours over time is approximately described by a translation.
  • the shift is optimal when the sum of the minimum distances between points of the contour environment under consideration and reference contour image points of the reference contour v M (t - l) becomes minimal.
  • a morphological operation according to this exemplary embodiment the distance transformation described in [6], is used to determine the minimum distances.
  • FIG. 3 shows the principle of assignment for two contours that follow one another in time, that is to say for contours from two images that follow one another in time, for each of which a movement determination is carried out.
  • 3 shows a distance image 300 with a reference contour 301, as well as with contour lines 302, which are formed by means of the distance transformation described in [6] become.
  • Contour lines are further understood to mean those lines in the distance image which have a constant minimum distance from the reference contour, ie from a reference contour image point on the reference contour.
  • the distance transformation is carried out for each reference contour that is taken into account when determining the movement.
  • the minimum distance image 300 is shifted for motion detection with respect to a contour 303 for which the motion is to be determined.
  • the minimum distance to the reference contour v '(l, t - l) can be determined at each contour point using the
  • Contour line 302 can be specified.
  • This principle of contour assignment has the advantage over a direct comparison of contours that errors in contour detection have less influence on the quality of motion detection. This is particularly important when contours are incomplete or interrupted in their course.
  • the contour assignment 102 is explained in more detail below.
  • the that is, in the block of the contour assignment 102 the actual movement along the contours is calculated.
  • the image representation is furthermore converted into a data structure which enables direct access to contours as a chain of contour points.
  • contour index n is a natural number in the range between 1 and N, where N denotes the number of contours contained in the data structure.
  • the temporal assignment of the contours follows in a further step.
  • an optimal assignment is determined for each contour point.
  • Y j _ (k) a contour pixel in the first image, • a contour pixel index for uniquely identifying a contour pixel in the first
  • the difference surface between two contours that is, between the contour v (k, t) and the reference contour v (l, t - l) is approximated by means of the sum of the minimum distances.
  • T j _ denotes an optimal translation
  • the minimum distances are determined very efficiently.
  • Any image value i.e. any minimum distance value
  • the distance image 300 contains the Information of the minimum distance, that is to say, the minimum distance value D V ⁇ L ") (X, y, t - l) of one
  • the distance transformation is applied to each reference contour point and the corresponding image point in the distance image D v ) (x, y, t - l) 300 in accordance with the following regulation:
  • V '(l) a reference contour pixel in the second image
  • regulation (1) can be converted into the following regulation:
  • the energies are determined by the contour, for which the determination is to be determined taking into account the reference contour, via the distance image 300, that is to say via the function, that is to say the minimum distance values D v (i) ( x 'Y / t - l) n is shifted from the distance image 300 and for each shift, that is to say translation, the distance values (distance values) are read from the distance image, that is to say ascertained and summed up.
  • the minimum distance is therefore only calculated once when the distance image 300 is generated.
  • Contour point in the operator image that is, pointing to a reference contour image point. Otherwise the respective energy value is set to a maximum, predetermined value (MAX_VALUE).
  • a new, stabilized movement is calculated for the individual contour pixels (step 207).
  • T L (t) denotes the L-past translations that are known about the process reference-contour image points.
  • the new movement is then determined, for example, by averaging. In other words, there is a time feedback when determining the respective translations.
  • the following process steps are carried out for averaging.
  • the first step is the mean shift
  • ⁇ j (t) [r i # ⁇ ? (t - l), ..., ⁇ j "2 (t - l) j. (7)
  • the movement can be determined by recursively filtering the determined translation vectors in accordance with the following rule:
  • ⁇ _i (t) m i (t - l) + ⁇ • ( ⁇ t - l) - ⁇ ⁇ ).
  • the contour is transferred into the distance image, so that the value at each pixel in the distance image corresponds to the minimum distance to a contour pixel according to the following rule:
  • the distance transformation can be implemented in accordance with the methods described in [7] and [8].
  • the representation is used in particular to illustrate the numerical effort involved in implementing the method described above.
  • the calculation of the distance values is therefore a relatively numerically complex operation.
  • a local mask is iteratively pushed over the distance image.
  • the new distance value in the distance image to the reference contour is calculated according to the following rule:
  • D (x, y) denotes the inverted distance image.
  • Contour pixels the image value that corresponds to the distance value with the value "0" and all remaining image values have a constant value larger than the maximum distance to be expected.
  • the local mask is denoted by mask (u, v).
  • Mask values correspond to the local distance values of the pixels at the respective mask positions to the mask center.
  • the optimal local distance values are determined for different mask sizes, so that the resulting distance values deviate as little as possible from the true Euclidean distance.
  • the temporally feedback motion determination 103 takes place, which is the result of the Contour assignment used over several images in succession.
  • the contour assignment 102 is used to stabilize the movement of the contours over time.
  • a motion vector is specified for each contour pixel.
  • M (k, t) denotes the set of all motion vectors at each contour pixel at a time t.
  • the object contours from the entry of an object into a monitored, that is to say a recording area recorded by a digital camera, up to its area
  • the dwell times of vehicles in the recording area can be determined directly for an automatic acquisition of traffic data and, for example, in the traffic jam forecast or also in the context of collision avoidance of
  • contour assignment is initially based only on the evaluation of the distance values and thus on the shape of the contour itself.
  • contour direction is added to the contour shape, namely the contour direction, by means of which it is specified in which direction the contrast jump takes place in the respective contour.
  • the contour direction is automatically determined with the contour generation. With a white lane marking, the gray value changes from dark to light and back to dark again. The left and right edges of the respective contour then run parallel, but their contour direction is opposite.
  • the invention clearly shows a very advantageous compromise between data reduction and preservation of the essential image information in a sequence of digital images.
  • the invention provides a correlation-based one based on the use of contours for motion detection Approach that is considerably more robust than the known pixel-based methods, particularly with regard to segmentation errors.

Abstract

The invention relates to the use of coding information for determining at least one contour with a plurality of contour-pixels arranged on said contour in a first image. By using the contour-pixels, movement is determined in relation to a reference-contour consisting of contour pixels contained in a second image.

Description

Beschreibungdescription
Verfahren und Vorrichtung zum Ermitteln von Bewegung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern, Computerlesbares Speichermedium und Computerprogramm-ElementMethod and device for determining movement in at least two temporally successive digital images, computer-readable storage medium and computer program element
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Ermittlung von Bewegung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern, ein Computerlesbares Speichermedium sowie ein Computerprogramm-Element .The invention relates to a method and a device for determining movement in at least two temporally successive digital images, a computer-readable storage medium and a computer program element.
Im Rahmen der digitalen Bildverarbeitung ist die Ermittlung von Bewegung in zeitlich aufeinander folgenden Bildern, üblicherweise auch als Bewegungsschätzung bezeichnet, eine wesentliche Information zum Ermitteln des Inhalts von digitalen Bildern. So wird beispielsweise auch im visuellen System eines Menschen die Bestimmung der Bewegung von wahrgenommenen Objekten als ein früher Verarbeitungsschritt in der menschlichen Sinneswahrnehmung ausgeführt.In the context of digital image processing, the determination of movement in temporally successive images, usually also referred to as motion estimation, is essential information for determining the content of digital images. In the visual system of a person, for example, the determination of the movement of perceived objects is carried out as an early processing step in human sensory perception.
In der digitalen Bildverarbeitung ist jedoch die Bestimmung de Bildbewegung ein sehr reehenintensiver und somit kostenintensiver Prozess.In digital image processing, however, determining the image movement is a very reindeer-intensive and therefore cost-intensive process.
Insbesondere um eine Ermittlung der Bildbewegung in Echtzeit durchführen zu können und damit die Anwendung von Bildverarbeitungsverfahren in Echtzeitanwendungen verlässlich gewährleisten zu können, müssen gemäß dem Stand der Technik aufgrund der Komplexität der bekannten Verfahren sehr kostenintensive Hardwareelemente eingesetzt werden, beispielsweise spezielle Grafikprozessoren oder Grafikkarten (vor allem auch Bildverarbeitungskarten) . Alternativ ist es bekannt, die Bestimmung der Bildbewegung lediglich anhand einiger weniger Bildpunkte in dem digitalen Bild durchzuführen, um somit die entsprechende Rechenzeit einzusparen. Auf den oben genannten Prinzipien beruhende Verfahren zur Ermittlung der Bildbewegung in einer zeitlichen Folge digitaler Bilder sind in [1], [2] und [3] beschrieben.In particular, in order to be able to determine the image movement in real time and thus be able to reliably ensure the use of image processing methods in real-time applications, very expensive hardware elements, for example special graphics processors or graphics cards (above all) must be used according to the prior art due to the complexity of the known methods also image processing cards). Alternatively, it is known to determine the image movement using only a few pixels in the digital image, in order to save the corresponding computing time. Methods based on the above-mentioned principles for determining the image movement in a chronological sequence of digital images are described in [1], [2] and [3].
Der Einsatz kostenintensiver Hardware ist jedoch sehr nachteilig und ferner nur in bestimmten Anwendungen überhaupt möglich.However, the use of expensive hardware is very disadvantageous and, moreover, only possible in certain applications.
Ferner führt die Beschränkung auf einzelne Bildpunkte bei der Ermittlung der Bildbewegung dazu, dass lediglich ein kleines Feld von Bildpunkten mit den Bildpunkten zugeordneten Codierungsinformationen bei der Bewegungsermittlung berücksichtigt werden, wobei die einzelnen Bildpunkte spärlich über das gesamte Bild verteilt sind.Furthermore, the limitation to individual pixels when determining the image movement means that only a small field of pixels with coding information associated with the pixels is taken into account when determining the movement, the individual pixels being sparsely distributed over the entire image.
Unter Codierungsinformation ist im Weiteren eine Helligkeitsinformation ( uminanzinformation) und/oder eine Farbinformation (Chrominanzinformation) zu verstehen, die jeweils einem oder mehreren Bildpunkten zugeordnet ist/sind.Coding information is further understood to mean brightness information (uminance information) and / or color information (chrominance information), which is / are each assigned to one or more pixels.
Diese geringe berücksichtigte Informationsmenge macht jedoch die an-s-ehliefrende Auswertung der Bildinformation schwierig und fehlerbehaftet, beispielsweise wenn es darum geht, ein Fahrzeug als ein zusammenhängendes Objekt anhand derHowever, this small amount of information taken into account makes the an-s-associated evaluation of the image information difficult and error-prone, for example when it comes to using the vehicle as a coherent object
BewegungsInformation in einer Folge digitaler Bilder zu ermitteln und dessen Bewegung über mehrere digitale Bilder hinweg zu beschreiben.Determine motion information in a sequence of digital images and describe its motion across multiple digital images.
Üblicherweise werden die ausgewählten Bildpunkte, die im Rahmen der Bewegungsermittlung in zeitlich aufeinander folgenden digitalen Bildern berücksichtigt werden, über Grauwertecken definiert, das heißt über Bildpunkte, die sich in einem Eckbereich von sprunghaften Übergängen in den den jeweiligen Bildpunkten zugeordneten uminanzwerten befinden. Diese Grauwertecken sind jedoch nicht notwendigerweise objektspezifisch. Dies gilt vor allen an den Objektgrenzen, da an den Objektgrenzen die Grauwertecken durch den Grauwertverlauf von Hintergrund und Objekt bestimmt werden. Da der Hintergrund jedoch nicht gleichförmig im Bild sein muss, führt in diesem Fall die zeitliche Zuordnung der Grauwertecken zu falschen Bewegungsinformationen.Usually, the selected pixels, which are taken into account in the course of the movement determination in temporally successive digital images, are defined via gray value corners, that is to say via pixels which are located in a corner region of abrupt transitions in the uminance values assigned to the respective pixels. However, these gray-scale corners are not necessarily object-specific. This is especially true at the object boundaries, because at the object boundaries the gray value corners are determined by the gray value course of the background and object. However, since the background does not have to be uniform in the image, the temporal assignment of the gray value corners leads to incorrect movement information.
In [4] und [5] sind Verfahren zur Ermittlung einer Kontur mit Kontur-Bildpunkten in einem digitalen Bild mit Bildpunkten, denen Codierungsinformation zugeordnet ist, beschrieben.[4] and [5] describe methods for determining a contour with contour picture elements in a digital picture with picture elements to which coding information is assigned.
In [6] ist ferner eine Distanztransformation als morphologische Operation zur Bestimmung minimaler Abstände von Punkten einer betrachteten örtlichen Umgebung zu einer Kontur mit Kontur-Bildpunkten bekannt. In [7] und [8] sind zwei alternative Implementierungen der Distanztransformation aus [6] beschrieben.A distance transformation is also known in [6] as a morphological operation for determining minimum distances from points of a considered local environment to a contour with contour image points. [7] and [8] describe two alternative implementations of the distance transformation from [6].
Weiterhin ist es aus [9] bekannt, dass es möglich ist, lediglich aus einer Konturrepräsentation eines digitalen Bildes das gesamte digitale Bild wieder zu rekonstruieren.Furthermore, it is known from [9] that it is possible to reconstruct the entire digital image only from a contour representation of a digital image.
Ferner ist in [10] ein Verfahren zum Segmentieren einer Bildfolge beschrieben, bei dem Konturinformation aus Segmentierungsinformationen von schon zuvor segmentierten Objekten ermittelt wird. Eine Berechnung von[10] also describes a method for segmenting an image sequence, in which contour information is determined from segmentation information of objects which have already been segmented. A calculation of
Bewegungsinformation erfolgt auf der Grundlage der Objekt- bezogenen Konturinformation.Movement information is based on the object-related contour information.
Bei dem in [11] beschriebenen Verfahren zur Ermittlung der Bewegung von Objekten in einer Folge digitalisierter Bilder wird ein statistisches Modell mit zwei Komponenten verwendet, einer Statik-Komponente (zum Beschreiben des Hintergrunds) und einer Bewegt -Komponente (zum Beschreiben von bewegten Objekten) .The method described in [11] for determining the movement of objects in a sequence of digitized images uses a statistical model with two components, a static component (for describing the background) and a moving component (for describing moving objects) ,
Der Erfindung liegt das Problem zugrunde, eine vereinfachte und somit schnellere und kostengünstigere Ermittlung der Bewegung in einer Folge zeitlich aufeinander folgender Bilder anzugeben.The invention is based on the problem of a simplified and therefore faster and less expensive determination of the Specify motion in a sequence of images that follow one another in time.
Das Problem wird durch das Verfahren und die Vorrichtung zur Ermittlung der Bewegung in mindestes zwei zeitlich aufeinander folgenden digitalen Bildern, das Computerlesbare Speichermedium und das Computerprogramm-Element mit den Merkmalen gemäß den unabhängigen Patentansprüchen gelöst.The problem is solved by the method and the device for determining the movement in at least two temporally successive digital images, the computer-readable storage medium and the computer program element with the features according to the independent patent claims.
Bei einem Verfahren zur Ermittlung der Bewegung in mindestens zwei zeitlich aufeinander folgenden Bildern sind in den digitalen Bildern Bildpunkte vorhanden, denen jeweils Codierungsinformation zugeordnet ist . Unter Verwendung der Codierungsinformationen wird in einem ersten Bild mindestens eine Kontur mit einer Vielzahl von auf der Kontur sich befindenden Kontur-Bildpunkten ermittelt. Unter Verwendung der auf der ermittelten Kontur des ersten Bildes sich befindenden Kontur-Bildpunkten wird eine Ermittlung der Bewegung bezüglich einer in einem zweiten Bild enthaltenen Referenz-Kontur mit Referenz-Kontur-Bildpunkten durchgeführt.In a method for determining the movement in at least two images that follow one another in time, pixels are present in the digital images, each of which is assigned coding information. Using the coding information, at least one contour with a multiplicity of contour image points located on the contour is determined in a first image. Using the contour image points located on the determined contour of the first image, the movement is determined with respect to a reference contour contained in a second image with reference contour image points.
Eine Vorrichtung zur Ermittlung der Bewegung in mindestens zwei zeitlich aufeinander folgenden dig-italen Bildern weist einen Prozessor auf, der derart eingerichtet ist, dass die oben beschriebenen Verfahrensschritte durchführbar sind.A device for determining the movement in at least two chronologically successive digital images has a processor which is set up in such a way that the method steps described above can be carried out.
Auf einem computerlesbaren Speichermedium ist ein Programm gespeichert, das es einem Computer ermöglicht, nachdem es in einen Speicher des Computers geladen worden ist, die oben beschriebenen Verfahrensschritte durchzuführen zur Ermittlung der Bewegung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern.A program is stored on a computer-readable storage medium, which, after it has been loaded into a memory of the computer, enables a computer to carry out the method steps described above for determining the movement in at least two digital images which follow one another in time.
Ein Computerprogramm-Element weist die oben beschriebenen Verfahrensschritte auf, nachdem es in einem Speicher desA computer program element has the method steps described above after it has been stored in a memory of the
Computer geladen worden ist und von dem Computer ausgeführt wird zur Ermittlung der Bewegung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern.Computer has been loaded and run from the computer is used to determine the movement in at least two temporally successive digital images.
Anschaulich kann die Erfindung darin gesehen werden, dass die Ermittlung der Bewegung anhand der ermittelten, das heißt aus einem digitalen Bild extrahierten, Kontur in einem digitalen Bild bestimmt wird bezüglich einer Referenzkontur in einem zeitlich vorangegangenen oder zeitlich nachfolgenden Bild. Die Konturinformation wird erfindungsgemäß direkt aus der den Bildpunkten zugeordneten Codierungsinformation ermittelt.The invention can clearly be seen in that the determination of the movement is determined on the basis of the determined contour, that is to say extracted from a digital image, in a digital image with respect to a reference contour in a temporally preceding or temporally following image. According to the invention, the contour information is determined directly from the coding information assigned to the pixels.
Im Weiteren wird unter einer Kontur eine zusammenhängende, das heißt eine Folge von in einem Bild örtlich benachbarter Kontur-Bildpunkten bezeichnet. Anders ausgedrückt sind Bildpunkte zusammenhängend und bilden somit eine Kontur, wenn sie auf dem Bildraster, das heißt in dem digitalen Bild, unmittelbar benachbart zueinander angeordnet sind.In the following, a contiguous term is used to denote a coherent, that is to say a sequence of contour image points that are spatially adjacent in an image. In other words, pixels are contiguous and therefore form a contour if they are arranged directly adjacent to one another on the image grid, that is to say in the digital image.
Die Verwendung der ermittelten Konturen und der sich darin befindenden Kontur-Bildpunkte im Rahmen derThe use of the determined contours and the contour pixels contained therein within the scope of the
Bewegungsermittlung in einer Folge digitaler Bilder erlaubt eine zeitliche Stabilisierung der ermittelten Bewegungsinformation und außerdem auch die Ermittlung und Erfassung selbst kleiner Bewegungen in der Folge zeitlich aufeinander folgender digitaler Bilder. Dies wird insbesondere dadurch ermöglicht, dass mittels der Ermittlung der Konturen und der Berücksichtigung der Konturen in der Bewegungsermittlung üblicherweise eine zeitliche Integration über die im Weiteren erläuterte anschaulich definierte Fläche durchgeführt wird, die durch die Verschiebung von Konturen in zeitlich aufeinander folgenden digitalen Bildern zwischen den beiden berücksichtigten Konturen gebildet wird.Motion detection in a sequence of digital images allows the determined movement information to be stabilized over time and also the determination and detection of even small movements in the sequence of digital images that follow one another in time. This is made possible in particular by the fact that by means of the determination of the contours and the consideration of the contours in the movement determination, a temporal integration is usually carried out over the clearly defined area explained below, which is caused by the displacement of contours in temporally successive digital images between the two considered contours is formed.
Dies ist insbesondere vorteilhaft für die Bewegungsbestimmung im Fernfeld einer Videosequenz, das heißt insbesondere im Bildhintergrund einer Folge digitaler Bilder. Aufgrund der Perspektive liegen Bewegungen im Fernfeld einer Videosequenz, das heißt Bewegungen zwischen zwei aufeinander folgenden digitalen Bildern, üblicherweise unterhalb der Bildauflösung und können somit mit den üblicherweise durchgeführten Verfahren häufig gar nicht erst ermittelt werden.This is particularly advantageous for determining the movement in the far field of a video sequence, that is to say in particular in the background of a sequence of digital images. Because of the perspective, movements lie in the far field of a video sequence, that is to say movements between two successive digital images, usually below the image resolution and can therefore often not be determined at all with the methods usually carried out.
Weiterhin führt die sehr gezielte Auswahl von im Rahmen der Bewegungsermittlung berücksichtigten Bildpunkten, nämlich die Berücksichtigung von zuvor in einem ersten Extraktionsschritt ermittelten Kontu -Bildpunkten, dazu, dass eine Ermittlung der Bewegung selbst in Echzeitanwendungen bei Einsatz üblicher Personal Computer ohne zusätzliche aufwendige Spezial-Hardware ermöglicht wird.Furthermore, the very targeted selection of pixels considered in the course of motion detection, namely the consideration of contour pixels previously determined in a first extraction step, leads to the fact that a determination of the movement even in real-time applications when using conventional personal computers without additional complex special hardware is possible becomes.
In diesem Zusammenhang ist anzumerken, dass Echtzeit kein eindeutig definierter Leistungsbegriff ist. Im Weiteren wird unter Echtzeit eine Verarbeitungszeit verstanden, die im Wesentlich kleiner als 40 ms beträgt. Ein Zeitintervall von 40 ms entspricht dem Zeitversatz zweier digitaler Einzelbilder einer analogen Videosequenz.In this context it should be noted that real time is not a clearly defined concept of performance. In the following, real time is understood to mean a processing time that is essentially less than 40 ms. A time interval of 40 ms corresponds to the time offset of two digital single images of an analog video sequence.
Bevorzugte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.Preferred developments of the invention result from the dependent claims.
Die im Weiteren beschriebenen Ausgestaltungen der Erfindung gelten für das Verfahren, die Vorrichtung, das Computerprogramm-Element als auch für das computerlesbare Speichermedium.The embodiments of the invention described below apply to the method, the device, the computer program element and also the computer-readable storage medium.
Gemäß einer Ausgestaltung der Erfindung wird unter Verwendung der Codierungsinformation in dem zweiten Bild mindestens eine Referenzkontur mit einer Vielzahl von auf der Kontur sich befindenden Referenz-Kontur-Bildpunkten ermittelt.According to one embodiment of the invention, at least one reference contour with a plurality of reference contour pixels located on the contour is determined using the coding information in the second image.
Die Bewegungsermittlung kann sowohl ausgehend von einem zeitlich vorangegangenen Bild als auch von einem zeitlich nachfolgenden Bild durchgeführt werden, das heißt es kann sowohl eine Bewegungsprädiktion als auch eine Bewegungsermittlung in zeitlich rückschauender Betrachtung durchgeführt werden.The movement can be determined both from a previous image and from a time following image can be carried out, i.e. both a movement prediction and a movement determination can be carried out in retrospective consideration.
Anders ausgedrückt bedeutet dies, dass das zweite Bild als Referenzbild mit der Referenz-Kontur das gegenüber dem ersten Bild mit der extrahierten, bei der Bildbewegung berücksichtigten Kontur, zeitlich vorangegangene oder auch zeitlich nachfolgende Bild sein kann.In other words, this means that the second image as a reference image with the reference contour can be the temporally preceding or also temporally following image compared to the first image with the extracted contour taken into account in the image movement.
Bei der Ermittlung der Bildbewegung kann für die Referenz- Kontur und die sich auf der Referenz-Kontur befindenden Referenz-Kontur-Bildpunkten mittels einer morphologischen Operation ein Minimal-Abstandsbild ermittelt werden, das heißt anschaulich ein Feld von Werten, mit denen jeweils ein Minimal -Abstand eines Bildpunktes in dem Minimal-Abstandsbild zu einem Referenz-Kontur-Bildpunkt angegeben wird.When determining the image movement, a minimum distance image can be determined for the reference contour and the reference contour image points located on the reference contour by means of a morphological operation, that is to say clearly a field of values with which a minimum Distance of a pixel in the minimum distance image to a reference contour pixel is specified.
Als morphologische Operation kann eine Distanztransformation eingesetzt werden, wobei es sich herausgestellt hat, dass insbesondere die in [6] beschriebene Distanztransformation sehr geeignet ist und zu sehr guten Ergebnissen führt.A distance transformation can be used as a morphological operation, and it has been found that the distance transformation described in [6] is particularly suitable and leads to very good results.
Ein Minimal -Abstandswert für einen Referenz -Kontur-Bildpunkt zu einem Zeitpunkt t zu einem Bildpunkt in einem Abstandsbild wird gemäß einer Ausgestaltung der Erfindung gemäß folgender Vorschrift ermittelt:A minimum distance value for a reference contour pixel at a point in time t to a pixel in a distance image is determined according to an embodiment of the invention in accordance with the following regulation:
Dγ(ι)(x, y, t) = min [x, y]τ - v' (l, t)D γ (ι) (x, y, t) = min [x, y] τ - v '(l, t)
wobei mitbeing with
• Dv(l)(x' Y' t) ein Minimal -Abstandswert zwischen dem• D v (l) (x 'Y' t) e i n Minimal -Abstandswert between the
Bildpunkt [x, y] und einem Referenz-Kontur-Bildpunkts auf der Referenz-Kontur in dem zweiten Bild, • [x, y] ein Bildpunkt in dem Abstandsbild, • v1 (l, t) ein Referenz-Kontur-Bildpunkt in dem zweiten Bild,Pixel [x, y] and a reference contour pixel on the reference contour in the second image, • [x, y] a pixel in the distance image, V 1 (l, t) a reference contour pixel in the second image,
• 1 ein Referenz-Kontur-Bildpunktindex zur eindeutigen Identifizierung eines Referenz-Kontur-Bildpunkts auf der Referenz-Kontur in dem zweiten Bild,1 a reference contour pixel index for the unique identification of a reference contour pixel on the reference contour in the second image,
• t ein Zeitpunkt, zu dem die Ermittlung durchgeführt wird, bezeichnet wird.• t is a time at which the determination is carried out.
Gemäß einer weiteren Ausgestaltung der Erfindung ist es vorteilhaft, zusätzlich die Konturrichtung, das heißt die Richtung, in welcher die Kontrastveränderung entlang einer Kontur verläuft, zu berücksichtigen.According to a further embodiment of the invention, it is advantageous to also take into account the contour direction, that is to say the direction in which the change in contrast runs along a contour.
Durch diese Ausgestaltung der Erfindung wird dieThis embodiment of the invention
Verlässlichkeit der ermittelten Bewegung weiter erhöht.Reliability of the determined movement is further increased.
Die Erfindung eignet sich insbesondere zum Einsatz im Bereich der Erfassung von bewegten Objekten in einem Szenario, in dem es gilt, eine Vielzahl von bewegten Objekten voneinander und von nicht bewegten Objekten zu unterscheiden.The invention is particularly suitable for use in the field of the detection of moving objects in a scenario in which it is important to distinguish a large number of moving objects from one another and from non-moving objects.
Ein sehr geeignetes Einsatzgebiet ist insbesondere die Verkehrsüberwachung bzw. die Ermittlung der Bewegung in Szenen, die von einer in einem fahrenden Fahrzeug installierten digitalen Kamera aufgenommen werden.A very suitable area of application is, in particular, traffic monitoring or the determination of the movement in scenes which are recorded by a digital camera installed in a moving vehicle.
Ein Ausführungsbeispiel der Erfindung ist in den Figuren dargestellt und wird im Weiteren näher erläutert.An embodiment of the invention is shown in the figures and is explained in more detail below.
Es zeigenShow it
Figur 1 ein Blockdiagramm, in dem die einzelnenFigure 1 is a block diagram in which the individual
Verfahrensschritte der Bestimmung der Bildbewegung gemäß einem Ausführungsbeispiel der Erfindung dargestellt sind; Figur 2 ein Ablaufdiagramm, in dem die Verfahrensschritte zur Ermittlung der Bildbewegung gemäß einem Ausführungsbeispiel der Erfindung im Detail dargestellt sind;Method steps of determining the image movement according to an embodiment of the invention are shown; FIG. 2 shows a flow chart in which the method steps for determining the image movement according to an exemplary embodiment of the invention are shown in detail;
Figur 3 eine Darstellung eines Abstandsbildes mit einerFigure 3 is an illustration of a distance image with a
Referenz-Kontur, mit der Referenz-Kontur zugeordneten Höhenlinien, sowie mit einer Kontur;Reference contour, with contour lines assigned to the reference contour, and with a contour;
Figuren 4a bis 4c Ergebnisse der erfindungsgemäßen konturbasierten Bewegungsbestimmung für unterschiedliche Szenen.Figures 4a to 4c results of the contour-based motion determination according to the invention for different scenes.
Gemäß dem Ausführungsbeispiel ist eine Digitalkamera an einem Fahrzeug installiert und nimmt in Fahrtrichtung des sich bewegenden Fahrzeuges einen Aufnahmebereich auf .According to the exemplary embodiment, a digital camera is installed on a vehicle and records a recording area in the direction of travel of the moving vehicle.
Es wird somit mittels der Digitalkamera eine Folge digitaler Bilder erzeugt, wobei jedes digitale Bild eine Vielzahl von Bildpunkten und den Bildpunkten zugeordnetenA sequence of digital images is thus generated by means of the digital camera, each digital image being assigned a multiplicity of picture elements and the picture elements
Codierungsinformationen, gemäß diesem Ausführungsbeispiel den Bildpunkten zugeordnete Helligkeitswerte, aufweist.Coding information, according to this embodiment, the brightness values assigned to the pixels.
Ein Helligkeitswert, der einem Bildpunkt, gekennzeichnet durch zwei Koordinaten x und y zu einem Zeitpunkt t identifizierten digitalen Bild zugeordnet ist, wird mit l(x, y, t) bezeichnet (vgl. Fig.l).A brightness value that is assigned to a pixel, characterized by two coordinates x and y identified digital image at a time t, is denoted by l (x, y, t) (cf. FIG. 1).
Gemäß diesem Ausführungsbeispiel wird für jeweils ein digitales Bild, gemäß diesem Ausführungsbeispiel im Weiteren bezeichnet als erstes digitales Bild, mit den Helligkeitswerten l(x, y, t) eine Konturextraktion durchgeführt. Anders ausgedrückt werden für das erste Bild Konturen ermittelt (Block 101 in dem Blockdiagramm 100 in Fig.l). Dies erfolgt dadurch, dass Kanten in dem digitalen Bild detektiert werden. Kanten markieren Kontrastsprünge in dem Verlauf der Helligkeitsinformation in dem digitalen Bild.According to this exemplary embodiment, contour extraction is carried out for each digital image, hereinafter referred to as first digital image according to this exemplary embodiment, with the brightness values l (x, y, t). In other words, contours are determined for the first image (block 101 in block diagram 100 in FIG. 1). This is done by detecting edges in the digital image. Edges mark jumps in contrast in the course of the brightness information in the digital image.
Wie oben schon dargelegt, werden im Weiteren zusammenhängende Ketten von Konturpunkten, das heißt als zusammenhängende Kanten, das heißt als eine zusammenhängende Folge von örtlich unmittelbar benachbarten Konturpunkten als Konturen bezeichnet .As already explained above, contiguous chains of contour points, that is to say as contiguous edges, that is to say as a coherent sequence of locally directly adjacent contour points, are referred to as contours.
Gemäß diesem Ausführungsbeispiel der Erfindung wird zur Konturextraktion das in [4], alternativ dazu das in [5] beschriebene Verfahren, durchgeführt.According to this exemplary embodiment of the invention, the contour extraction is carried out using the method described in [4], alternatively the method described in [5].
Fig.2 zeigt den Schritt der Konturextraktion 101 für ein digitales Bild 201 im Detail in einem Ablaufdiagramm 200.2 shows the step of contour extraction 101 for a digital image 201 in detail in a flow chart 200.
Für das digitale Bild 201 wird gemäß dem in Fig.2 dargestellten Ablaufdiagramm 200 eine Gradientenfilterung (Schritt 202) und anschließend eine gradientenbasierte Linienverdünnung (Schritt 203) durchgeführt.Gradient filtering (step 202) and then gradient-based line thinning (step 203) is carried out for the digital image 201 according to the flow diagram 200 shown in FIG.
In einem weiteren Schritt werden ermittelte Kanten-Bildpunkte e(x,y,t) von ermittelten Linien in dem digitalen Bild 201 miteinander verknüpft und es wird eine Kontur, im allgemeinen Fall eine Vielzahl von N Konturen in jedem digitalen Bild 201 ermittelt (Schritt 205) .In a further step, determined edge image points e (x, y, t) of determined lines in the digital image 201 are linked to one another and a contour, in general a plurality of N contours in each digital image 201 is determined (step 205 ).
Als Ergebnis der Konturextraktion 101 liegt somit gemäß diesem Ausführungsbeispiel der Erfindung eine Datenstruktur v (t) vor, in der die N extrahierten Konturen in dem berücksichtigten digitalen Bild 201 enthalten und gespeichert sind, auf die im Folgenden direkt zugegriffen werden kann.As a result of the contour extraction 101, according to this exemplary embodiment of the invention there is a data structure v (t) in which the N extracted contours are contained and stored in the digital image 201 taken into account, which can be accessed directly below.
In einem weiteren Schritt erfolgt die Konturzuordnung (Schritt 102 in Fig.l) . Im Rahmen der Konturzuordnung 102 wird für jeden ermittelten Konturpunkt einer Kontur v (t) ein korrespondierender Punkt in einer Referenz-Kontur in einem zeitlich vorangegangenen digitalen Bild, das heißt ein Referenz-Kontur-Bildpunkt, ermittelt. Der Referenz-Kontur-Bildpunkt befindet sich auf einer Referenzkontur in dem zeitlich vorangegangenen Bild, v (t - l) bezeichnet somit die in dem vorangegangenen Zeitschritt ermittelte Konturstruktur.The contour is assigned in a further step (step 102 in FIG. 1). Within the framework of the contour assignment 102, a corresponding point in a reference contour in a temporally preceding digital image, that is to say a reference contour image point, is determined for each determined contour point of a contour v (t). The reference contour pixel is located on a reference contour in the previous image, v (t - l) thus designates the contour structure determined in the previous time step.
Allgemein wird die Korrespondenz für jeden Kontur-Bildpunkt der Kontur über einen Verschiebungsvektor, auch Translationsvektor genannt, ausgedrückt.In general, the correspondence for each contour pixel of the contour is expressed via a displacement vector, also called a translation vector.
Für den Translationsvektor soll gelten, dass mittels des jeweiligen Translationsvektors die Konturumgebung möglichst gut auf Referenz-Kontur-Bildpunkte aus dem vorangegangenen digitalen Bild abgebildet werden können.It should apply to the translation vector that by means of the respective translation vector the contour environment can be mapped as well as possible on reference contour pixels from the previous digital image.
Es wird die Annahme verwendet, dass die zeitliche Veränderung von Konturen näherungsweise durch eine Translation beschrieben wird. Die Verschiebung ist dann optimal, wenn die Summe der minimalen Abstände zwischen Punkten der betrachteten Konturumgebung und Referenz-Kontur-Bildpunkten der Referenz-Kontur vM(t - l) minimal wird.The assumption is used that the change in contours over time is approximately described by a translation. The shift is optimal when the sum of the minimum distances between points of the contour environment under consideration and reference contour image points of the reference contour v M (t - l) becomes minimal.
Zur Bestimmung der minimalen Abstände wird erfindungsgemäß eine morphologische Operation, gemäß diesem Ausführungsbeispiel die in [6] beschriebene Distanztransformation, eingesetzt .A morphological operation, according to this exemplary embodiment the distance transformation described in [6], is used to determine the minimum distances.
Fig.3 zeigt zur weiteren Veranschaulichung das Prinzip der Zuordnung für zwei zeitlich aufeinander folgende Konturen, das heißt für Konturen aus zwei zeitlich aufeinander folgenden Bildern, für die jeweils eine Bewegungsbestimmung durchgeführt wird. Fig.3 zeigt ein Abstandsbild 300 mit einer Referenz-Kontur 301, sowie mit Höhenlinien 302, die mittels der in [6] beschriebenen Distanztransformation gebildet werden. Unter Höhenlinien werden im Weiteren diejenigen Linien in dem Abstandsbild verstanden, die einen konstanten minimalen Abstand zu der Referenz-Kontur, d.h. zu einem Referenz-Kontur-Bildpunkt auf der Referenz-Kontur aufweisen.For further illustration, FIG. 3 shows the principle of assignment for two contours that follow one another in time, that is to say for contours from two images that follow one another in time, for each of which a movement determination is carried out. 3 shows a distance image 300 with a reference contour 301, as well as with contour lines 302, which are formed by means of the distance transformation described in [6] become. Contour lines are further understood to mean those lines in the distance image which have a constant minimum distance from the reference contour, ie from a reference contour image point on the reference contour.
Die Distanztransformation wird für jede Referenz-Kontur, die im Rahmen der Bewegungsermittlung berücksichtigt wird, durchgeführt. Ergebnis der im Weiteren im Detail erläuterten Distanztransformation angewendet auf die Referenz-Kontur v' (l, t - l) ist in Fig.3 mittels der Höhenlinien 302 verdeutlicht .The distance transformation is carried out for each reference contour that is taken into account when determining the movement. The result of the distance transformation explained in detail below, applied to the reference contour v '(l, t - l), is illustrated in FIG. 3 by means of the contour lines 302.
Die Umgebung v^(k, t) eines Bildpunktes in dem mittels derThe environment v ^ (k, t) of a pixel in which by means of the
Distanztransformation gebildeten und in Fig.3 dargestellten Minimal-Abstandsbild 300 wird zur Bewegungsermittlung bezüglich einer Kontur 303, für welche die Bewegung ermittelt werden soll, verschoben.Distance transformation formed and shown in FIG. 3, the minimum distance image 300 is shifted for motion detection with respect to a contour 303 for which the motion is to be determined.
Für jede dieser Verschiebungen kann an jedem Konturpunkt der minimale Abstand zu der Referenz-Kontur v' (l, t - l) anhand derFor each of these displacements, the minimum distance to the reference contour v '(l, t - l) can be determined at each contour point using the
Höhenlinie 302 angegeben werden.Contour line 302 can be specified.
Die minimale Summe dieser ermittelten Abstände führt dann auf die optimale Verschiebung, näherungsweise auf die optimale Translation, in Fig.3 symbolisiert dargestellt mittels Translationsvektoren 304.The minimum sum of these determined distances then leads to the optimal shift, approximately to the optimal translation, symbolized in FIG. 3 by means of translation vectors 304.
Dieses Prinzip der Konturzuordnung hat gegenüber einem direkten Vergleich von Konturen den Vorteil, dass Fehler bei der Konturdetektion einen geringeren Einfluss auf die Qualität der Bewegungsermittlung besitzen. Dies ist insbesondere dann von Bedeutung, wenn Konturen unvollständig oder in ihrem Verlauf unterbrochen sind.This principle of contour assignment has the advantage over a direct comparison of contours that errors in contour detection have less influence on the quality of motion detection. This is particularly important when contours are incomplete or interrupted in their course.
Im Weiteren wird die Konturzuordnung 102 im Detail näher erläutert. In dem in Fig.2 dargestellten zweiten Block, das heißt der in dem Block der Konturzuordnung 102, wird die eigentliche Bewegung entlang der Konturen berechnet.The contour assignment 102 is explained in more detail below. In the second block shown in Fig.2, the that is, in the block of the contour assignment 102, the actual movement along the contours is calculated.
Um eine effiziente Verarbeitung der Konturen im Rahmen der digitalen Bildverarbeitung zu ermöglichen, wird im Weiteren die Bildrepräsentation in eine Datenstruktur überführt, die den direkten Zugriff auf Konturen als eine Kette von Konturpunkten ermöglicht.In order to enable efficient processing of the contours in the context of digital image processing, the image representation is furthermore converted into a data structure which enables direct access to contours as a chain of contour points.
Zur Konturrepräsentation wird somit jede Kontur mit vn(t) bezeichnet. Der Konturindex n ist eine natürliche Zahl im Bereich von zwischen 1 und N, wobei mit N die Anzahl der in der Datenstruktur enthaltenen Konturen bezeichnet wird.Each contour is therefore designated v n (t) for the contour representation. The contour index n is a natural number in the range between 1 and N, where N denotes the number of contours contained in the data structure.
Nach der Generierung der Konturstruktur folgt in einem weiteren Schritt die zeitliche Zuordnung der Konturen.After the generation of the contour structure, the temporal assignment of the contours follows in a further step.
Im Rahmen der Konturzuordnung wird für jeden Konturpunkt eine optimale Zuordnung bestimmt.In the context of the contour assignment, an optimal assignment is determined for each contour point.
Werden zwei zeitlich aufeinander folgende Konturen, das heißt eine Kontur in einem ersten Bild v(k, t) und eine Referenz- Kontur v(l, t - l) betrachtet, so wird das oben beschriebene Optimierungskriterium gemäß folgender Energieminimierung formuliert:If two contours that follow one another in time, i.e. a contour in a first image v (k, t) and a reference contour v (l, t - l) are considered, the optimization criterion described above is formulated according to the following energy minimization:
itit
Efei) = min v'(l)- ( ^ + T 2 (1) k=ki0 1 Ivy) = min v '(l) - (^ + T 2 (1) k = k i0 1
wobei mit • i ein Translationsvektor- Index zur eindeutigenwhere • i is a translation vector index for unique
Identifizierung eines Translationsvektors,Identification of a translation vector,
• Tj_ ein i-ter Translationsvektor,T j _ an i-th translation vector,
• Yj_(k) ein Kontur-Bildpunkt in dem ersten Bild, • k ein Kontur-Bildpunktindex zur eindeutigen Identifizierung eines Kontur-Bildpunkts in dem erstenY j _ (k) a contour pixel in the first image, • a contour pixel index for uniquely identifying a contour pixel in the first
Bild,Image,
• v1 (l) ein Referenz-Kontur-Bildpunkt in dem zweiten Bild, • 1 ein Referenz-Kontur-Bildpunktindex zur eindeutigen• v 1 (l) a reference contour pixel in the second image, • 1 a reference contour pixel index for the unique
Identifizierung eines Referenz-Kontur-Bildpunkts auf der Referenz-Kontur in dem zweiten Bild,Identification of a reference contour image point on the reference contour in the second image,
• k-j_o ein erster Referenz-Kontur-Bildpunkt,K-j_o a first reference contour pixel,
• *j_t ein zweiter Referenz-Kontur-Bildpunkt, und • Etjι) ein minimaler Energiewert, bezeichnet wird.• * j_t is a second reference contour pixel, and • E t jι ) is a minimal energy value.
Gemäß Vorschrift (1) wird die Differenzfläche zwischen zwei Konturen, das heißt zwischen der Kontur v(k, t) und der Referenz-Kontur v(l, t - l) mittels der Summe der minimalen Abstände approximiert.According to regulation (1), the difference surface between two contours, that is, between the contour v (k, t) and the reference contour v (l, t - l) is approximated by means of the sum of the minimum distances.
Die optimale Translation ergibt sich aus der minimalen Energie E(T.J_) ZU:The optimal translation results from the minimal energy E (T.J_) ZU:
T.j_ = arg inE^), (2)T. j _ = arg inE ^), (2)
T,T
wobei mit Tj_ eine optimale Translation bezeichnet wird.where T j _ denotes an optimal translation.
Mit Hilfe der Distanztransformation, wie Sie im Weiteren näher erläutert wird, erfolgt die Bestimmung der minimalen Abstände sehr effizient.With the help of the distance transformation, as will be explained in more detail below, the minimum distances are determined very efficiently.
Mittels der Distanztransformation, welche auf die Referenz- Kontur v(l, t - l) gemäß dem in [6] beschriebenen Verfahren angewendet wird, wird ein Minimal -Abstandsbild 300 mit Minimal -Abstandswerten Dv(_)(x, y, t - l) erzeugt, wie es inBy means of the distance transformation, which is applied to the reference contour v (l, t - l) in accordance with the method described in [6], a minimum distance image 300 with minimum distance values D v (_) (x, y, t - l) as generated in
Fig.3 beispielhaft dargestellt ist.3 is shown as an example.
Jeder Bildwert, d.h. jeder Minimal -AbstandswertAny image value, i.e. any minimum distance value
Dv(l)(x< Y> fc ~ !) in dem Abstandsbild 300 enthält die Information des minimalen Abstandes, das heißt anders ausgedrückt den minimalen Abstandswert DVΛL")(X, y, t - l) eines D v (l) (x <y> fc ~!) I n the distance image 300 contains the Information of the minimum distance, that is to say, the minimum distance value D V ΛL ") (X, y, t - l) of one
Bildpunkts in dem Minimal -Anstandsbild 300 zu einem Referenz- Kontur-Bildpunkt der Referenz-Kontur v(l, t - l) .Pixels in the minimum distance image 300 to a reference contour pixel of the reference contour v (l, t - l).
Die Distanztransformation wird gemäß folgender Vorschrift auf jeden Referenz-Konturpunkt und den entsprechenden Bildpunkt in dem Abstandsbild Dv )(x, y, t - l) 300 angewendet gemäß:The distance transformation is applied to each reference contour point and the corresponding image point in the distance image D v ) (x, y, t - l) 300 in accordance with the following regulation:
D (ι)(x, y, t - l) = min [x, y]τ - v' (1, t - l) (3)D (ι) (x, y, t - l) = min [x, y] τ - v '(1, t - l) (3)
wobei mitbeing with
• Dv(l)(x' Yι fc ~~ !) ei-n Minimal -Abstandswert zwischen dem Bildpunkt [x, y] und einem Referenz-Kontur-Bildpunkts auf der Referenz-Kontur in dem zweiten Bild,• D v (l) (x 'Yι ~~ fc!) E in minimal -Abstandswert between the pixel [x, y] and a reference contour pixel on the reference contour in the second image,
• [x, y] ein Bildpunkt in einem Distanztransformations-• [x, y] a pixel in a distance transformation
Bild,Image,
• t ein Zeitpunkt,• t a point in time
• v' (l) ein Referenz-Kontur-Bildpunkt in dem zweiten Bild, undV '(l) a reference contour pixel in the second image, and
• 1 ein Referenz-Kontur-Bildpunktindex zur eindeutigen Identifizierung eines Referenz-Kontur-Bildpunkts auf der Referenz-Kontur in dem zweiten Bild, bezeichnet wird.1 denotes a reference contour pixel index for the unique identification of a reference contour pixel on the reference contour in the second image.
Damit lässt sich Vorschrift (1) umwandeln in folgende Vorschrift :In this way, regulation (1) can be converted into the following regulation:
K-l Efo) = ∑ (Dv'(l)t(k) + τ±)f . (4) k=0Kl Efo) = ∑ (D v '( l ) t (k) + τ ± ) f. (4) k = 0
Dies bedeutet anschaulich, dass die Energien bestimmt werden, indem die Kontur, für welche die Bestimmung unter Berücksichtigung bezüglich der Referenz-Kontur bestimmt werden soll, über das Abstandsbild 300, das heißt über die Funktion, das heißt die minimalen Abstandswerte Dv(i)(x' Y/ t - l) n dem Abstandsbild 300 verschoben wird und für jede Verschiebung, das heißt Translation, die Abstandswerte (Distanzwerte) aus dem Abstandsbild gelesen, das heißt ermittelt und aufsummiert werden.This clearly means that the energies are determined by the contour, for which the determination is to be determined taking into account the reference contour, via the distance image 300, that is to say via the function, that is to say the minimum distance values D v (i) ( x 'Y / t - l) n is shifted from the distance image 300 and for each shift, that is to say translation, the distance values (distance values) are read from the distance image, that is to say ascertained and summed up.
In Vorschrift (4) wird die minimale Distanz somit nur einmal bei der Erzeugung des Abstandsbildes 300 berechnet.In regulation (4), the minimum distance is therefore only calculated once when the distance image 300 is generated.
Dies ist gegenüber der für jeden Bildpunkt zu ermittelnden Approximation gemäß Vorschrift (1) eine erheblicheThis is considerable compared to the approximation to be determined for each pixel according to regulation (1)
Vereinfachung, da m (1) die Ermittlung der Distanz für jede Translation erforderlich ist.Simplification, since m (1) requires the determination of the distance for each translation.
Um die Bewegungsinformation entlang der jeweiligen Kontur bzw. der Kontur-Bildpunkte zeitlich zu stabilisieren, wird eine eindeutige Zuordnung von Vorgangerkontur und Nachfolgerkontur ermittelt .In order to stabilize the movement information along the respective contour or the contour image points over time, a clear assignment of the operator contour and the successor contour is determined.
Dies erfolgt erfmdungsgemaß durch eine Modifikation von Vorschrift (4), so dass sich zur Ermittlung der jeweiligen Energie erfmdungsgemaß folgende Vorschrift ergibt:According to the invention, this is done by modifying regulation (4), so that the determination of the respective energy according to the invention results in the following regulation:
E(T E (T
Anschaulich bedeutet Vorschrift (5) , dass Energien nur bestimmt werden, wenn der Translationsvektor T-_ auf einenClearly, regulation (5) means that energies are only determined if the translation vector T-_ is on one
Konturpunkt in dem Vorgangerbild, das heißt auf einem Referenz-Kontur-Bildpunkt zeigt. Sonst wird der jeweilige Energiewert auf einen maximalen, vorgegebenen Wert (MAX_VALUE) gesetzt.Contour point in the operator image, that is, pointing to a reference contour image point. Otherwise the respective energy value is set to a maximum, predetermined value (MAX_VALUE).
Nachdem für jeden Kontur-Bildpunkt ein Referenz-Kontur- Bildpunkt und damit ein entsprechender optimaler Translationsvektor ermittelt worden ist (Schritt 206) , wird für die einzelnen Kontur-Bildpunkte eine neue, stabilisierte Bewegung errechnet (Schritt 207) .After a reference contour image point and thus a corresponding optimal translation vector has been determined for each contour image point (step 206), a new, stabilized movement is calculated for the individual contour pixels (step 207).
Dies ist möglich, indem die Translationswerte aus der Vergangenheit, das heißt aus vorangegangenen Bewegungsermittlungen gespeichert werden.This is possible by storing the translation values from the past, that is, from previous movement determinations.
Mit TL(t) werden die L-vergangenen Translationen bezeichnet, die über die Vorganger-Referenz-Kontur-Bildpunkte bekannt sind.T L (t) denotes the L-past translations that are known about the process reference-contour image points.
Die neue Bewegung wird dann beispielsweise mittels einer Mittelwertbildung bestimmt. Anders ausgedrückt erfolgt eine zeitliche Rückkopplung bei der Bestimmung der jeweiligen Translationen.The new movement is then determined, for example, by averaging. In other words, there is a time feedback when determining the respective translations.
Zur Mittelwertbildung werden folgende Verfahrensschritte durchgeführt. In einem ersten Schritt wird die mittlere VerschiebungThe following process steps are carried out for averaging. The first step is the mean shift
üfr) = n ■ + ϊ?e- - 1) + + TL-1üfr ) = n ■ + ϊ? e- - 1) + + T L-1
(t " 1))(t "1))
berechnet .calculated.
Ferner werden die neuen vergangenen Translationsschätzungen, das heißt die neuen Translationsvektoren gemäß folgender Vorschrift abgespeichert :Furthermore, the new past translation estimates, that is to say the new translation vectors, are stored in accordance with the following regulation:
τj(t) = [ri# τ?(t - l), ... , τj"2(t - l)j. (7)τj (t) = [r i # τ? (t - l), ..., τj "2 (t - l) j. (7)
Alternativ kann die Bewegung dadurch ermittelt werden, dass die ermittelten Translationsvektoren rekursiv gemäß folgender Vorschrift gefiltert werden:Alternatively, the movement can be determined by recursively filtering the determined translation vectors in accordance with the following rule:
π_i(t) = mi(t - l) + α • ( ^t - l) - τ±) . (8) Die rekursive Filterung hat den Vorteil, dass sie weniger Speicherplatz benötigt.π_i (t) = m i (t - l) + α • (^ t - l) - τ ± ). (8th) Recursive filtering has the advantage that it takes up less storage space.
Als letzter Verarbeitungsschritt wird gemäß dieser Ausgestaltung der Erfindung die Kontur in das Abstandsbild überführt, so dass der Wert an jedem Bildpunkt in dem Abstandsbild dem minimalen Abstand zu einem Kontur-Bildpunkt entspricht gemäß folgender Vorschrift:As a last processing step, according to this embodiment of the invention, the contour is transferred into the distance image, so that the value at each pixel in the distance image corresponds to the minimum distance to a contour pixel according to the following rule:
D*v(i)(x, y, t - l) = min [x, y]T - v(l, t - l) (8)D * v (i) (x, y, t - l) = min [x, y] T - v (l, t - l) (8)
Alternativ kann die Distanztransformation gemäß den in [7] und [8] beschriebenen Verfahren implementiert sein.Alternatively, the distance transformation can be implemented in accordance with the methods described in [7] and [8].
Im Weiteren wird das in [6] beschriebene Verfahren kurz dargestellt .The procedure described in [6] is briefly outlined below.
Die Darstellung dient insbesondere dazu, den numerischen Aufwand bei der Implementierung des oben beschriebenen Verfahrens darzulegen.The representation is used in particular to illustrate the numerical effort involved in implementing the method described above.
Zur Bestimmung der Distanztransformation müssen mitunter Abstandswerte zwischen den jeweiligen Bildpunkten betrachtet werden, die auf dem Bildraster, das heißt in dem jeweiligen betrachteten digitalen Bild relativ weit voneinander örtlich entfernt sind.To determine the distance transformation, it is sometimes necessary to consider distance values between the respective pixels which are relatively far apart from one another on the image grid, that is to say in the respective digital image being viewed.
Die Berechnung der Distanzwerte ist damit eine relativ numerisch aufwendige Operation.The calculation of the distance values is therefore a relatively numerically complex operation.
Anstatt für einen Bildpunkte alle möglichen Abstandswerte zu Kontur-Bildpunkten zu bestimmen und in Relation zueinander zu setzen, werden bei der Distanztransformation ausschließlich lokale Abstände betrachtet.Instead of determining all possible distance values for contour pixels for a pixel and placing them in relation to one another, only local distances are considered in the distance transformation.
Auf diese Weise kann der wahre euklidische Abstand jedoch nur approximiert werden. Die in [6] beschriebene parallele Variante der Distanztransformation besitzt folgende formale Struktur.In this way, however, the true Euclidean distance can only be approximated. The parallel described in [6] A variant of the distance transformation has the following formal structure.
Zunächst wird iterativ eine lokale Maske über das Abstandsbild geschoben. An der Position des Maskenzentrums wird der neue Distanzwert in dem Abstandsbild zu der Referenz-Kontur gemäß folgender Vorschrift berechnet:First, a local mask is iteratively pushed over the distance image. At the position of the mask center, the new distance value in the distance image to the reference contour is calculated according to the following rule:
Dn(x, y) = min (pn 1(x, y) + mask(u, v)j. .9) D n (x, y) = min (p n 1 (x, y) + mask (u, v) j. .9 )
UjVemask1 UjVemask 1
Dabei wird mit n jeweils ein Iterationsschritt eindeutig identifiziert. Mit D (x, y) wird das invertierte Abstandsbild bezeichnet .One iteration step is clearly identified with n. D (x, y) denotes the inverted distance image.
Auf diese Weise wird erreicht, dass initial an denIn this way it is achieved that initially to the
Konturbildpunkten der Bildwert, der dem Abstandswert entspricht, mit dem Wert „0" vorliegt und alle restlichen Bildwerte einen konstanten Wert größer als die zu erwartende maximale Distanz aufweisen.Contour pixels the image value that corresponds to the distance value with the value "0" and all remaining image values have a constant value larger than the maximum distance to be expected.
Mit mask(u, v) wird die lokale Maske bezeichnet. DieThe local mask is denoted by mask (u, v). The
Maskenwerte entsprechen den lokalen Abstandswerten der Bildpunkte an den jeweiligen Maskenpositionen zum Maskenzentrum.Mask values correspond to the local distance values of the pixels at the respective mask positions to the mask center.
Gemäß [6] werden für verschiedene Maskengrößen die optimalen lokalen Abstandswerte bestimmt, so dass die resultierenden Abstandswerte möglichst wenig von der wahren euklidischen Distanz abweichen.According to [6], the optimal local distance values are determined for different mask sizes, so that the resulting distance values deviate as little as possible from the true Euclidean distance.
Dabei gilt prinzipiell, dass je größer die Maske ist, desto geringer ist die Abweichung, das heißt der numerische Fehler.In principle, the larger the mask, the smaller the deviation, i.e. the numerical error.
Abhängig von der Distanztransformation, das heißt von dem Abstandsbild, erfolgt in einem letzten Schritt die zeitlich rückgekoppelte Bewegungsbestimmung 103, die das Ergebnis der Konturzuordnung über mehrere zeitlich aufeinander folgende Bilder verwendet. Im Rahmen der Ermittlung der Bildbewegung wird die Konturzuordnung 102 genutzt, um die Bewegung der Konturen zeitlich zu stabilisieren. Als Ergebnis dieses Schrittes wird zu jedem Kontur-Bildpunkt ein Bewegungsvektor angegeben.Depending on the distance transformation, that is to say on the distance image, in a last step the temporally feedback motion determination 103 takes place, which is the result of the Contour assignment used over several images in succession. When determining the image movement, the contour assignment 102 is used to stabilize the movement of the contours over time. As a result of this step, a motion vector is specified for each contour pixel.
Mit M (k, t) wird die Menge aller Bewegungsvektoren an jedem Kontur-Bildpunkt zu einem Zeitpunkt t bezeichnet.M (k, t) denotes the set of all motion vectors at each contour pixel at a time t.
In den Fig.4a bis Fig.4c werden Ergebnisse der oben dargestellten Implementierung der Bewegungsermittlung gezeigt. Die gesamte Verarbeitungszeit auf einem Pentium III mit 650 MHz beträgt für eine Bildgröße von 128 Zeilen zu 128 Spalten ca. 20 ms.4 a to 4 c show results of the implementation of the motion detection shown above. The total processing time on a Pentium III with 650 MHz for an image size of 128 lines to 128 columns is approx. 20 ms.
Die genaue Verarbeitungszeit hängt jedoch mit der Anzahl der zu bearbeitenden Kontur-Bildpunkte zusammen.However, the exact processing time depends on the number of contour pixels to be processed.
Im Weiteren werden einige Alternativen zu dem oben dargelegten Ausführungsbeispiel erläutert.Some alternatives to the exemplary embodiment set out above are explained below.
Es ist anzumerken, dass die Objektkonturen vom Eintritt eines Objektes in einen überwachten, das heißt von einer Digitalkamera aufgenommenen Aufnahmebereich bis zu seinemIt should be noted that the object contours from the entry of an object into a monitored, that is to say a recording area recorded by a digital camera, up to its area
Verlassen hin durchgängig verfolgt werden kann. Damit können beispielsweise für eine automatische Erfassung von Verkehrsdaten direkt die Verweil Zeiten von Fahrzeugen in dem Aufnahmebereich bestimmt werden und beispielsweise in der Stauprognose oder auch im Rahmen der Kollisionsvermeidung vonLeaving can be tracked throughout. Thus, for example, the dwell times of vehicles in the recording area can be determined directly for an automatic acquisition of traffic data and, for example, in the traffic jam forecast or also in the context of collision avoidance of
Fahrzeugen berücksichtigt werden.Vehicles are taken into account.
Die KonturZuordnung, wie sie oben beschrieben wurde, beruht zunächst nur auf dem Auswerten der Abstandswerte und damit auf der Form der Kontur selbst. Bei vielen technischen Objekten, beispielsweise bei Fahrbahnmarkierungen oder Verkehrsschildern treten jedoch häufig parallele Konturverläufe auf. Die Form allein kann somit nicht immer ein eindeutiges Kriterium darstellen. Somit wird alternativ der Konturform eine zusätzliche Information beigefügt, nämlich die Konturrichtung, mittels der angegeben wird, in welcher Richtung der Kontrastsprung in der jeweiligen Kontur erfolgt.The contour assignment, as described above, is initially based only on the evaluation of the distance values and thus on the shape of the contour itself. However, with many technical objects, for example road markings or traffic signs, parallel contour profiles often occur. The shape alone cannot always be a clear criterion. As an alternative, additional information is added to the contour shape, namely the contour direction, by means of which it is specified in which direction the contrast jump takes place in the respective contour.
Die Konturrichtung wird automatisch mit der Konturgenerierung bestimmt. Bei einer weißen Fahrbahnmarkierung erfolgt ein Grauwertwechsel von dunkel zu hell und wieder zurück zu dunkel. Der linke und rechte Rand der jeweiligen Kontur verlaufen dann parallel, aber ihre Konturrichtung ist entgegengesetzt.The contour direction is automatically determined with the contour generation. With a white lane marking, the gray value changes from dark to light and back to dark again. The left and right edges of the respective contour then run parallel, but their contour direction is opposite.
Um die Konturrichtung als zusätzliches Merkmal zu nutzen, wird wie folgt vorgegangen:To use the contour direction as an additional feature, proceed as follows:
• Ähnlich der Distanztransformation wird die Richtungsinformation von vMt - 1 dilatiert.• Similar to the distance transformation, the direction information is dilated by v M t - 1.
• Bei der Summation der Abstandswerte werden die Fälle in einer Kostenfunktion bestraft, das heißt negativ bewertet, bei der die Richtung des aktuellen Konturpunkts mit der dilatierten Richtung nicht übereinstimmt.• When the distance values are summed, the cases are punished in a cost function, that is to say negatively evaluated, in which the direction of the current contour point does not match the dilated direction.
Anschaulich wird durch die Erfindung ein sehr vorteilhafter Kompromiss zwischen Datenreduktion und Erhaltung der wesentlichen Bildinformation in einer Folge digitaler Bilder angegeben.The invention clearly shows a very advantageous compromise between data reduction and preservation of the essential image information in a sequence of digital images.
Wie in [9] beschrieben, ist es sogar möglich, aus einer Konturrepräsentation das gesamte digitale Bild wieder zu rekonstruieren .As described in [9], it is even possible to reconstruct the entire digital image from a contour representation.
Anschaulich stellt die Erfindung aufgrund der Verwendung von Konturen zur Bewegungsermittlung einen korrelationsbasierten Ansatz dar, der insbesondere hinsichtlich Segmentierungsfehlern wesentlich robuster ist als die bekannten lediglich bildpunktbasierten Verfahren.Clearly, the invention provides a correlation-based one based on the use of contours for motion detection Approach that is considerably more robust than the known pixel-based methods, particularly with regard to segmentation errors.
Außerdem ist aufgrund mittels der Distanztransformation eine sehr effiziente Implementierung der Erfindung angegeben. In addition, a very efficient implementation of the invention is specified on the basis of the distance transformation.
In diesem Dokument sind folgende Veröffentlichungen zitiert:The following publications are cited in this document:
[1] S. M. Smith, ASSET-2 : Real-Time Motion Segmentation and Shape Tracking, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 17, No . 8,[1] S. M. Smith, ASSET-2: Real-Time Motion Segmentation and Shape Tracking, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 17, No. 8th,
Seite 814-820, 1995Page 814-820, 1995
[2] W. Enkelmann et al, Obstacle Detection by Real-Time Optical Flow Evaluation, Intelligent Vehicles 1994, Seite 97-102, 1994[2] W. Enkelmann et al, Obstacle Detection by Real-Time Optical Flow Evaluation, Intelligent Vehicles 1994, pages 97-102, 1994
[3] D. Beymer, P. McLauchlan et al , A Real-Time Computer[3] D. Beymer, P. McLauchlan et al, A Real-Time Computer
Vision System for Measuring Traffic Parameters,Vision System for Measuring Traffic Parameters,
CVPR'97, 1997CVPR'97, 1997
[4] J. Canny, A Computational Approach to Edge Detection,[4] J. Canny, A Computational Approach to Edge Detection,
IEEE Transactions on Pattern Analysis and MachineIEEE Transactions on Pattern Analysis and Machine
Intelligence, Vol. 6, 1998Intelligence, Vol. 6, 1998
[5] R. Nevatia, K. R. Babu, Linear Feature Extraction and Description, Computer Graphics and Image Processing, Seite 257-269, 1980[5] R. Nevatia, K.R. Babu, Linear Feature Extraction and Description, Computer Graphics and Image Processing, pp. 257-269, 1980
[β] G. Borgefors, Distance Transformation in Digital Images, Computer Vision, Graphics and Image[β] G. Borgefors, Distance Transformation in Digital Images, Computer Vision, Graphics and Image
Processing, Vol. 34, Seite 344-371, 1986Processing, Vol. 34, pages 344-371, 1986
[7] P.E. Danielsson, Euclidean Distance Mapping, Computer[7] P.E. Danielsson, Euclidean Distance Mapping, Computer
Graphics and Image Processing, Vol. 14, Seite 227 - 248, 1980Graphics and Image Processing, Vol. 14, pages 227-248, 1980
[8] P. Soille, Morphologische Bildverarbeitung, Springer- Verlag, 1998[8] P. Soille, Morphological Image Processing, Springer-Verlag, 1998
[9] Y. Itoh, An Edge-Oriented Progressive Image Coding, IEEE Transactions on Circuits and Systems for Video Technology, Vol. 6, 1996 [10] US 7,137,913[9] Y. Itoh, An Edge-Oriented Progressive Image Coding, IEEE Transactions on Circuits and Systems for Video Technology, Vol. 6, 1996 [10] US 7,137,913
[11] N. Paragios und R. Deriche, Geodesic Active Contours and Level Sets for the Detection and Tracking of Moving Objects, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, Nr. 3, S. 266 - 280, März 2000 [11] N. Paragios and R. Deriche, Geodesic Active Contours and Level Sets for the Detection and Tracking of Moving Objects, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 3, pp. 266 - 280, March 2000
BezugszeichenlisteLIST OF REFERENCE NUMBERS
100 Blockdiagramm100 block diagram
101 Konturextraktion101 contour extraction
102 KonturZuordnung102 Contour assignment
103 Bewegungsbestimmung103 motion determination
200 Ablaufdiagramm200 flowchart
201 Digitales Bild201 digital image
202 Gradientenausdünnung202 gradient thinning
203 Gradientenfilterung203 gradient filtering
204 Eckpunkt-Verknüpfung204 Corner link
205 Bilden der Konturstruktur205 Form the contour structure
206 Bewegungsermittlung206 motion detection
207 Distanztransformation207 distance transformation
300 Abstandsbild300 distance image
301 Referenz-Kontur301 reference contour
302 Höhenlinien302 contour lines
303 Referenz-Kontur303 reference contour
304 Translationsvektor 304 translation vector

Claims

Patentansprüche claims
1. Verfahren zur Ermittlung der Bewegung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern mit Bildpunkten, denen Codierungsinformation zugeordnet ist,1. Method for determining the movement in at least two temporally successive digital images with pixels to which coding information is assigned,
• bei dem unter Verwendung der Codierungsinformation in einem ersten Bild mindestens eine Kontur mit einer Vielzahl von auf der Kontur sich befindenden Kontur- Bildpunkten ermittelt wird, und • bei dem unter Verwendung der auf der ermittelten Kontur des ersten Bildes sich befindenden Kontur-Bildpunkte die Bewegungsermittlung durchgeführt wird bezüglich einer in einem zweiten Bild enthaltenen Referenz-Kontur mit Referenz-Kontur-Bildpunkten.• in which at least one contour with a multiplicity of contour image points located on the contour is determined using the coding information, and • in the case of the contour image points located on the determined contour of the first image, the movement determination is carried out with respect to a reference contour contained in a second image with reference contour image points.
2. Verfahren nach Anspruch 1, bei dem unter Verwendung der Codierungsinformation in dem zweiten Bild mindestens eine Referenz-Kontur mit einer Vielzahl von auf der Kontur sich befindenden Referenz-Kontur- Bildpunkten ermittelt wird.2. The method as claimed in claim 1, in which at least one reference contour having a multiplicity of reference contour pixels located on the contour is determined using the coding information in the second image.
3. Verfahren nach Anspruch 1 oder 2,3. The method according to claim 1 or 2,
• bei dem im Rahmen der Bewegungsermittlung Minimal - Abstandswerte zwischen Bildpunkten eines Abstandsbildes und der Referenz-Kontur mittels einer morphologischen Operation bestimmt werden, undIn which minimal - distance values between pixels of a distance image and the reference contour are determined by means of a morphological operation, and
• bei dem die Minimal -Abstandswerte gespeichert werden.• in which the minimum distance values are saved.
4. Verfahren nach Anspruch 3 , bei dem als morphologische Operation eine Distanztransformation verwendet wird.4. The method according to claim 3, wherein a distance transformation is used as the morphological operation.
5. Verfahren nach Anspruch 3 oder 4 , bei dem ein Minimal -Abstandswert Dv(]_")(x, y, t - l) für einen Kontur-Bildpunkt v' (l, t) zu einem Zeitpunk t zu einem5. The method of claim 3 or 4, wherein a minimum distance value D v (] _ ") (x, y, t - l) for a contour pixel v '(l, t) at a time t to one
Bildpunkt (x, y) gemäß folgender Vorschrift ermittelt wird: Dv(l)(x< y- t) = min [x, y]T - v' (l, t)Pixel (x, y) is determined according to the following rule: D v (l) ( x <y- t) = min [x, y] T - v '(l, t)
wobei mitbeing with
• Dv(l)(x' ' fc) e^-n Minimal -Abstandswert zwischen dem Bildpunkt [x, y] und einem Referenz-Kontur-Bildpunkts auf der Referenz-Kontur in dem zweiten Bild, D v (l) ( x '' fc ) e ^ - n minimum distance value between the pixel [x, y] and a reference contour pixel on the reference contour in the second image,
• [χ y] e*in Bildpunkt in dem Abstandsbild,[ Χ y] e * i n pixel in the distance image,
• v' (l, t) ein Referenz-Kontur-Bildpunkt in dem zweitenV '(l, t) a reference contour pixel in the second
Bild, • 1 ein Referenz-Kontur-Bildpunktindex zur eindeutigenImage, • 1 a reference contour pixel index for unambiguous
Identifizierung eines Referenz-Kontur-Bildpunkts auf der Referenz-Kontur in dem zweiten Bild,Identification of a reference contour image point on the reference contour in the second image,
• t ein Zeitpunkt, zu dem die Ermittlung durchgeführt wird, bezeichnet wird.• t is a time at which the determination is carried out.
6. Verfahren nach einem der Ansprüche 1 bis 5, bei dem die Kontrastrichtung, in welcher die Kontrastveränderung entlang einer Kontur verläuft, bei der Bewegungsermittlung berücksichtigt wird.6. The method according to any one of claims 1 to 5, wherein the contrast direction, in which the contrast change runs along a contour, is taken into account when determining the movement.
7. Vorrichtung zur Ermittlung der Bewegung in mindestens zweit zeitlich aufeinander folgenden digitalen Bilder mit Bildpunkten, denen Codierungsinformation zugeordnet ist, mit einem Prozessor, der derart eingerichtet ist, dass folgende Verfahrensschritte durchführbar sind7. Device for determining the movement in at least two temporally successive digital images with pixels to which coding information is assigned, with a processor which is set up in such a way that the following method steps can be carried out
• unter Verwendung der Codierungsinformation wird in einem ersten Bild mindestens eine Kontur mit einer Vielzahl von auf der Kontur sich befindenden Kontur-Bildpunkten ermittelt undUsing the coding information, at least one contour with a multiplicity of contour pixels located on the contour is determined in a first image
• unter Verwendung der auf der ermittelten Kontur des ersten Bildes sich befindenden Kontur-Bildpunkte wird eine Bewegung durchgeführt bezüglich einer in einem zweiten Bild enthaltenen Referenz-Kontur mit Referenz- Kontur-Bildpunkten. • Using the contour image points located on the determined contour of the first image, a movement is carried out with respect to a reference contour with reference contour image points contained in a second image.
EP02740306A 2001-05-14 2002-05-02 Method and device for determining movement in at least two successive digital images, computer readable storage medium and computer program Withdrawn EP1396153A2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10123365 2001-05-14
DE10123365A DE10123365A1 (en) 2001-05-14 2001-05-14 Method for detection of movement within digital video sequences, e.g. for use in driver assistance systems, that has reduced computing requirements so that it can be implemented in lower cost systems
PCT/DE2002/001585 WO2002093931A2 (en) 2001-05-14 2002-05-02 Method and device for determining movement in successive digital images

Publications (1)

Publication Number Publication Date
EP1396153A2 true EP1396153A2 (en) 2004-03-10

Family

ID=7684709

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02740306A Withdrawn EP1396153A2 (en) 2001-05-14 2002-05-02 Method and device for determining movement in at least two successive digital images, computer readable storage medium and computer program

Country Status (4)

Country Link
US (1) US20050008073A1 (en)
EP (1) EP1396153A2 (en)
DE (1) DE10123365A1 (en)
WO (1) WO2002093931A2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10258794A1 (en) * 2002-12-16 2004-06-24 Ibeo Automobile Sensor Gmbh Detecting/tracking objects, e.g. before vehicles, involves using object profile from image points to predict contours for objects in preceding cycle starting from respective profile in preceding cycle
US9113839B2 (en) 2003-04-25 2015-08-25 Rapiscon Systems, Inc. X-ray inspection system and method
US7949101B2 (en) 2005-12-16 2011-05-24 Rapiscan Systems, Inc. X-ray scanners and X-ray sources therefor
US8451974B2 (en) 2003-04-25 2013-05-28 Rapiscan Systems, Inc. X-ray tomographic inspection system for the identification of specific target items
US8243876B2 (en) 2003-04-25 2012-08-14 Rapiscan Systems, Inc. X-ray scanners
GB0525593D0 (en) 2005-12-16 2006-01-25 Cxr Ltd X-ray tomography inspection systems
US8223919B2 (en) 2003-04-25 2012-07-17 Rapiscan Systems, Inc. X-ray tomographic inspection systems for the identification of specific target items
US8837669B2 (en) 2003-04-25 2014-09-16 Rapiscan Systems, Inc. X-ray scanning system
CN109584156B (en) * 2018-10-18 2022-01-28 中国科学院自动化研究所 Microscopic sequence image splicing method and device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764283A (en) * 1995-12-29 1998-06-09 Lucent Technologies Inc. Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths
KR19990008977A (en) * 1997-07-05 1999-02-05 배순훈 Contour Coding Method
KR100301113B1 (en) * 1998-08-05 2001-09-06 오길록 How to segment video objects by contour tracking

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO02093931A3 *

Also Published As

Publication number Publication date
WO2002093931A2 (en) 2002-11-21
DE10123365A1 (en) 2002-11-28
WO2002093931A3 (en) 2003-05-08
US20050008073A1 (en) 2005-01-13

Similar Documents

Publication Publication Date Title
EP2467828B1 (en) Method and system for automatic object detection and subsequent object tracking in accordance with the object shape
DE69635980T2 (en) METHOD AND DEVICE FOR DETECTING OBJECT MOVEMENT IN A PICTURE
EP1444654A2 (en) Quantitative analysis, visualization and movement correction in dynamic processes
DE60038158T2 (en) OBJECT DETECTION APPARATUS AND METHOD FOR ESTIMATING THE AZIMUM OF RADAR TARGETS BY RADON TRANSFORMATION
DE112009003144B4 (en) Method and device for detecting an obstacle in an image
DE60111851T2 (en) VIDEOBILE DEGRADATION PROCESS USING ELEMENTARY OBJECTS
DE60224853T2 (en) Method and device for processing vehicle images
DE112018000332T5 (en) SEAL VISUAL SLAM WITH PROBABILISTIC SURFEL MAP
DE102006035637A1 (en) Method for detecting and tracking deformable objects
DE112011103690T5 (en) Detection and tracking of moving objects
EP0385384A2 (en) Detection and tracking process of moving objects in a sequence of digital images with moving background
DE112019001044T5 (en) METHOD AND DEVICE FOR MACHINE LEARNING, PROGRAM, LEARNED MODEL AND DISCRIMINATION DEVICE
DE102018217091A1 (en) Process, artificial neural network, device, computer program and machine-readable storage medium for the semantic segmentation of image data
DE102006050364A1 (en) Method for detecting and tracking deformable objects, requires obtaining time-varying auto-regressive model of previous movement of object
EP1396153A2 (en) Method and device for determining movement in at least two successive digital images, computer readable storage medium and computer program
EP0414113A2 (en) Method for movement compensation in a moving-image encoder or decoder
DE102019105293A1 (en) Estimation of the movement of an image position
DE102004026782A1 (en) Method and apparatus for computer-aided motion estimation in at least two temporally successive digital images, computer-readable storage medium and computer program element
DE4314483A1 (en) Surveillance system
DE102021201124A1 (en) TRAINING IMAGE CLASSIFIER NETWORKS
EP3811336B1 (en) Method for determining mutually corresponding image points, soc for performing the method, camera system having the soc, controller and vehicle
DE60310766T2 (en) LIGHTING INDEPENDENT FACE DETECTION
DE102017112333A1 (en) Improvement of a pyramidal optical flow tracker
WO2003025843A2 (en) Model-based object classification and target recognition
DE102021128523A1 (en) HIERARCHICAL IMAGE DECOMPOSITION FOR DEFECT DETECTION

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20031114

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20080523