DE10356090B3

DE10356090B3 - Computerized selection and transmission system for parts of pictures has digitization system and has first picture region in reference image compared with several regions in search image

Info

Publication number: DE10356090B3
Application number: DE10356090A
Authority: DE
Inventors: Colin Estermann; Robert Dr. Kutka
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2003-12-01
Filing date: 2003-12-01
Publication date: 2005-04-21
Anticipated expiration: 2023-12-02

Abstract

The search image (SB) has a search area (S) consisting of a horizontal row of second picture regions (B2). The selected picture may be broken up into an array of pixels for transmission. Each pixel may be identified by its x (x) and y (y) coordinates. Various regions in the two pictures may be compared. The selected picture may be rejected as incorrect if the second picture region lies at the edge of the search region.

Description

Die Erfindung betrifft ein Verfahren zur rechnergestützten Ermittlung von Bildbereichen in einem digitalisierten Bild sowie entsprechende Bewegungsschätz- bzw. Disparitätsschätzverfahren und ein entsprechendes Computerprogrammprodukt.The The invention relates to a method for the computer-aided determination of image areas in a digitized image as well as corresponding motion estimation or Disparitätsschätzverfahren and a corresponding computer program product.

Auf dem Gebiet der digitalen Bildverarbeitung sind Bewegungsschätzverfahren sowie Disparitätsschätzverfahren bekannt. Erstere werden insbesondere bei der Codierung von Videobildern eingesetzt, wobei mit den Verfahren die Bewegung von Objekten in einer Videobildsequenz abgeschätzt wird, so dass auf die wiederholte Codierung der Bildobjekte verzichtet werden kann, wodurch die Codiereffizienz erhöht wird.On In the field of digital image processing are motion estimation methods and disparity estimation methods known. The former are used especially in the coding of video images used, with the method the movement of objects in a video image sequence is estimated, so that renounces the repeated coding of the image objects can be, whereby the coding efficiency is increased.

Disparitätsschätzverfahren werden beispielsweise bei der Erzeugung von 3D-Bildern verwendet. Die Disparität ist eine kleine relative Verschiebung von Objekten in zwei digitalisierten Bildern, die durch die unterschiedliche Perspektive der beiden Bilder in Bezug auf die Objekte verursacht ist. Da die Verschiebung von der Entfernung der Objekte abhängt, kann mittels der Disparität die Entfernung der Objekte berechnet werden und somit 3D-Informationen in der Form eines Tiefenprofils aus den Bildern gewonnen werden.Disparitätsschätzverfahren are used, for example, in the generation of 3D images. The disparity is a small relative displacement of objects in two digitized ones Pictures by the different perspective of the two pictures is caused in relation to the objects. Because the shift from depending on the distance of the objects, can by means of disparity the distance of the objects are calculated and thus 3D information be obtained from the pictures in the form of a depth profile.

Zur Bestimmung der Disparität zwischen zwei digitalisierten Bildern werden heutzutage Blockmatching-Verfahren verwendet, welche einen Referenzbildblock in einem Referenzbild mit Suchbildblöcken in einem Suchbereich eines Suchbildes vergleichen, wobei als Ergebnis der Suchbildblock gemerkt wird, der die höchste Ähnlichkeit zu dem Referenzbildblock aufweist. Es wird davon ausgegangen, dass dieser Suchbildblock der verschobene Referenzbildblock im Suchbild ist. Bei dem Blockmatching können jedoch Fehler auftreten, die sich bei spielsweise dadurch ergeben, dass der verschobene Referenzbildblock im Suchbild überhaupt nicht im Suchbereich liegt, so dass ein falscher Suchbildblock dem Referenzbildblock zugeordnet wird.to Determination of disparity Today, between two digitized images become block matching methods which uses a reference image block in a reference image with search image blocks in a search area of a search image, comparing as a result the search image block is noted, the highest similarity to the reference image block having. It is assumed that this search image block is the moved reference image block in the search image is. However, block matching can Errors occur, which result in example in that the moved reference image block in the search image is not in the search area at all so that a wrong search image block is the reference image block is assigned.

Aus der US 6,195,389 ist ein Verfahren bekannt, bei dem Bewegungsvektoren von Blöcken, die einem aktuellen Block benachbart sind, genommen werden, bei dem die Bewegungsvektoren auf den aktuellen Block angewendet werden, um Kandidatenblöcke in einem Referenzbild zu lokalisieren und dann mit Hilfe der Kandidatenblöcke einen Teil des Suchraums zu definieren.From the US 6,195,389 For example, a method is known in which motion vectors of blocks adjacent to a current block are taken, in which the motion vectors are applied to the current block to locate candidate blocks in a reference picture and then, using the candidate blocks, to allocate part of the search space define.

Aufgabe der Erfindung ist es deshalb, ein Verfahren zur Ermittlung von Bildbereichen in einem digitalisierten Bild zu schaffen, bei dem fehlerhafte Zuordnungen zwischen Referenzbild und Suchbild vermieden werden. Ferner ist es die Aufgabe der Erfindung ein Verfahren zur Bewegungsschätzung und ein Verfahren zur Disparitätsschätzung anzugeben, die das Verfahren zur Ermittlung von Bildbereichen umfassen.task The invention therefore provides a method for determining image areas in a digitized image to create erroneous mappings between reference image and search image are avoided. Further is It is the object of the invention a method for motion estimation and a Specify method for disparity estimation that include the method for determining image areas.

Diese Aufgabe wird durch die unabhängigen Patentansprüche gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.These Task is solved by the independent claims. further developments of the invention are in the dependent claims Are defined.

In dem erfindungsgemäßen Verfahren wird in einem ersten Schritt ein erster Bildbereich in einem Referenzbild mit mehreren zweiten Bildbereichen in einem Suchbereich eines Suchbilds verglichen und als Ergebnis wird ein zweiter Bildbereich ermittelt, der die höchste Übereinstimmung mit dem ersten Bildbereich aufweist. In einem zweiten Schritt wird überprüft, ob der ermittelte zweite Bildbereich am Rand des Suchbereichs liegt. Sollte dies der Fall sein, wird der ermittelte zweite Bildbereich als möglicher Weise nicht korrekt bestimmt markiert.In the method according to the invention In a first step, a first image area is displayed in a reference image with several second image areas in a search area of a search image compared and as a result a second image area is determined, the highest match having the first image area. In a second step it is checked if the determined second image area is located at the edge of the search area. Should if this is the case, the determined second image area becomes possible Way not marked correctly marked.

Der Erfindung liegt die Erkenntnis zugrunde, dass bei der Weiterverarbeitung der ermittelten zweiten Bildbereiche für Bewegungsschätz- bzw. Disparitätsschätzverfahren Fehler auftreten können, die dadurch entstehen, dass der Bildbereich im Suchbild mit der vermeintlich höchsten Übereinstimmung mit dem ersten Bildbereich tatsächlich nicht der Bildbereich ist, der im Suchbild den verschobenen ersten Bildbereich aus dem Referenzbild darstellt. Insbesondere haben die Erfinder erkannt, dass bei üblichen Verfahren immer dann ein falscher zweiter Bildbereich ermittelt wird, wenn der Bildbereich mit der tatsächlich höchsten Übereinstimmung außerhalb des Suchbereichs liegt bzw. wenn aufgrund mangelnder Strukturen im Objekt eine Vielzahl von zweiten Bildbereichen mit der höchs ten Übereinstimmung mit dem ersten Bildbereich vorliegen. In solchen Fällen tritt das Phänomen auf, dass der ermittelte zweite Bildbereich an den Rand des Suchbereichs wandert. Dies liegt daran, dass der Bildbereich mit der höchsten Übereinstimmung hinsichtlich eines Bewertungsmaßes in einem lokalen Optimum (Maximum oder Minimum) liegt. Befindet sich das tatsächliche Optimum nun außerhalb des Suchbereichs, wandert der ermittelte zweite Bildbereich zwangsläufig an den Rand des Suchbereichs. Das gleiche gilt, wenn aufgrund mangelnder Strukturen alle zweiten Bildbereiche im Suchbereich die gleiche Übereinstimmung mit dem ersten Bildbereich aufweisen. Gemäß der Erfindung werden solche ermittelten zweiten Bildbereiche am Rand des Suchbereichs markiert, so dass hierdurch festgehalten wird, dass diese Bildbereiche möglicherweise nicht korrekt bestimmt wurden, und bei einer anschließenden Bewegungsschätzung bzw. Disparitätsschätzung entsprechende Konsequenzen gezogen werden können.The invention is based on the finding that during the further processing of the ascertained second image areas for motion estimation or disparity estimation methods, errors can occur which arise because the image area in the search image with the supposedly highest correspondence with the first image area is actually not the image area in the search image represents the shifted first image area from the reference image. In particular, the inventors have recognized that in conventional methods, a false second image area is always determined when the image area with the highest actual match outside the search range or if due to lack of structures in the object a plurality of second image areas with the highest agreement with th the first image area. In such cases, the phenomenon occurs that the detected second image area moves to the edge of the search area. This is due to the fact that the image area with the highest match for a rating measure is in a local optimum (maximum or minimum). If the actual optimum is now outside the search range, the determined second image area inevitably moves to the edge of the search area. The same applies if due to lack of structures all second image areas in the search area have the same match with the first image area. According to the invention, such ascertained second image areas are marked on the edge of the search area, so that it is hereby established that these image areas may not have been determined correctly, and corresponding consequences in a subsequent motion estimation or disparity estimation can be pulled.

In einer bevorzugten Ausführungsform der Erfindung wird bei der Ermittlung des zweiten Bildbereichs für jeden zweiten Bildbereich im Suchbereich ein Bewertungsmaß ermittelt, wobei das Bewertungsmaß die Übereinstimmung des jeweiligen zweiten Bildbereichs mit dem jeweiligen ersten Bildbereich wiedergibt, und der zweite Bildbereich mit dem Bewertungsmaß der höchsten Übereinstimmung als ermittelter zweiter Bildbereich klassifiziert wird. Das Bewertungsmaß ist hierbei beispielsweise die Übereinstimmung der Helligkeit des ersten Bildbereichs mit der Helligkeit des jeweiligen zweiten Bildbereichs, da die Helligkeit einen guten Aufschluss dahingehend gibt, ob die beiden Bildbereiche identisch sind. Gegebenenfalls können jedoch auch weitere oder andere Kriterien, wie z.B. die Farbübereinstimmung, einbezogen werden.In a preferred embodiment The invention is applied to the determination of the second image area for each second image area in the search area determines a rating measure, where the score is the match of the respective second image area with the respective first image area and the second image area with the highest match score is classified as a determined second image area. The rating is here for example, the match the brightness of the first image area with the brightness of the respective one second image area, since the brightness gives a good digestion indicates whether the two image areas are identical. Possibly can but also other or other criteria, such as the color match, included become.

In einer weiteren bevorzugten Ausführungsform der Erfindung wird, wenn ein ermittelter markierter zweiter Bildbereich auftritt, der Suchbereich im Suchbild vergrößert und anschließend mit dem erweiterten Suchbereich wiederum ein zwei ter Bildbereich ermittelt. Hierdurch können bei der Bestimmung des zweiten Bildbereichs Fehler vermieden werden, die dadurch auftreten, dass der tatsächlich richtige übereinstimmende Bildbereich außerhalb des Suchbereichs liegt. Bevorzugt wird hierbei der Suchbereich iterativ so lange vergrößert, bis der ermittelte zweite Bildbereich nicht markiert ist, d.h. nicht am Rande des Suchbereichs liegt.In a further preferred embodiment of the invention, if a determined marked second image area occurs, the search area in the search image is enlarged and then with the extended search area again determines a second image area. This allows in determining the second image area, errors are avoided which occur because of that actually right match Image area outside of the search area. In this case, the search area is preferably iterative enlarged, until the determined second image area is not marked, i. Not is located on the edge of the search area.

Vorzugsweise sind der erste Bildbereich und der zweite Bildbereich Bildblöcke identischer Größe und die zweiten Bildbereiche sind pixelweise und/oder um mehrere Pixel gegeneinander verschoben.Preferably For example, the first image area and the second image area image blocks are more identical Size and the second image areas are pixel by pixel and / or by several pixels against each other postponed.

Das erfindungsgemäße Verfahren wird in einer Ausführungsform zur Bewegungsschätzung von Bildobjekten in einer Folge von digitalisierten Bildern eingesetzt. Hierbei wird das erfindungsgemäße Verfahren für mehrere erste Bildbereiche in dem Referenzbild durchgeführt und aus den daraus ermittelten zweiten Bildbereichen wird die Bewegung von Bildobjekten geschätzt, wobei ermittelte zweite Bildbereiche, die markiert sind, bei der Schätzung der Bewegung nicht berücksichtigt werden.The inventive method is in one embodiment for motion estimation used by image objects in a sequence of digitized images. This is the process of the invention for many performed first image areas in the reference image and from the second determined therefrom Image areas, the movement of image objects is estimated, where determined second image areas, which are marked, in the estimation of Movement not taken into account become.

Alternativ kann das erfindungsgemäße Verfahren zur Disparitätsschätzung zwischen einem Referenzbild und einem Suchbild eingesetzt werden, wobei das erfindungsgemäße Verfahren für mehrere erste Bildbereiche in dem Referenzbild durchgeführt wird und aus den daraus ermittelten zweiten Bildbereichen die Disparität zwischen Referenzbild und Suchbild geschätzt wird, wobei ermittelte zweite Bildbereiche, die markiert sind, bei der Schätzung der Disparität nicht berücksichtigt werden. Hierdurch werden vermeintlich fehlerhaft bestimmte Bildbereiche bei der Disparitätsschätzung außer Acht gelassen.alternative can the inventive method for disparity estimation between a reference image and a search image are used, wherein the inventive method for several first Image areas in the reference image is performed and out of it determined second image areas the disparity between the reference image and search image estimated with detected second image areas being marked the estimate the disparity not considered become. As a result, allegedly defective certain image areas disregarded in the disparity estimation calmly.

Sowohl bei der Bewegungsschätzung als auch bei der Disparitätsschätzung sind die mehreren ersten Bildbereiche, auf die das erfindungsgemäße Verfahren angewandt wird, vorzugsweise eine Folge von pixelweise und/oder um mehrere Pixel verschobener Bildbereiche im Referenzbild. Bei dem Verfahren zur Disparitätsschätzung wird in einer bevorzugten Ausführungsform mit Hilfe der geschätzten Disparität ein Tiefenprofil für das Referenzbild erstellt.Either in the motion estimation as well as in the disparity estimation the plurality of first image areas to which the inventive method is applied, preferably a sequence of pixel by pixel and / or by several pixels of shifted image areas in the reference image. at the disparity estimation procedure in a preferred embodiment with the help of the esteemed disparity a depth profile for created the reference image.

Neben den oben beschriebenen Verfahren betrifft die Erfindung ferner ein Computerprogrammprodukt, das in den internen Speicher eines Computers geladen werden kann und Softwarecodeabschnitte umfasst, mit denen das erfindungsgemäße Verfahren ausgeführt wird, wenn das Produkt in dem Computer abläuft.Next The invention further relates to the method described above Computer program product stored in the internal memory of a computer can be loaded and includes software code sections with which the inventive method accomplished is when the product expires in the computer.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren beschrieben.embodiments The invention will be described below with reference to the attached figures described.

Es zeigen:It demonstrate:

1 die Darstellung mehrerer digitalisierter Bilder, anhand derer die mit dem erfindungsgemäßen Verfahren erreichten Ergebnisse verdeutlicht werden; und 1 the representation of several digitized images, on the basis of which the results achieved by the method according to the invention are illustrated; and

2 eine Skizze, welche die der Erfindung zugrunde liegenden Problemstellung erläutert. 2 a sketch which illustrates the problem underlying the invention.

In 1 sind sieben digitalisierte Bilder a) bis g) dargestellt. Bei dem Bild a) handelt es sich um ein im erfindungsgemäßen Verfahren verwendetes Suchbild SB, in dem beispielhaft ein Suchbereich S eingezeichnet ist, der wiederum mehrere Bildbereiche B2 enthält, die gemäß der Terminologie der Ansprüche als zweite Bildbereiche bezeichnet werden. Das Bild b) ist ein Referenzbild RB, in dem ein Bildbereich B1 eingezeichnet ist, der mit den Bildbereichen B2 im Suchbild SB verglichen wird. Der Bildbereich B1 ist in den Ansprüchen als erster Bildbereich bezeichnet. Der im Bild SB eingezeichnete Suchbereich erstreckt sich in x-Richtung, es ist jedoch auch denkbar, dass sich der Suchbereich lediglich in y-Richtung bzw. in beide Richtungen erstreckt. Bei dem Suchbild SB han delt es sich um ein Bild, welches das gleiche Szenario wie das Bild RB mit einem leicht versetzten Blickwinkel wiedergibt.In 1 seven digitized images a) to g) are shown. The image a) is a search image SB used in the method according to the invention, in which, by way of example, a search region S is drawn, which in turn contains a plurality of image regions B2, which are referred to as second image regions according to the terminology of the claims. The image b) is a reference image RB, in which an image area B1 is shown, which is compared with the image areas B2 in the search image SB. The image area B1 is referred to in the claims as the first image area. The search area drawn in the image SB extends in the x-direction, but it is also conceivable that the search area extends only in the y-direction or in both directions. The search image SB is an image representing the same scenario as the image RB with a slightly offset viewing angle.

Bei dem erfindungsgemäßen Verfahren werden nun alle Bildblöcke B2 jeweils mit dem Bildblock B1 verglichen, wobei bei jedem Vergleich ein Bewertungsmaß ermittelt wird, das in der hier beschriebenen Ausführungsform die Differenz zwischen dem Helligkeitswert des jeweiligen Bildblocks B2 und dem Helligkeitswert des Bildblocks B1 ist. Somit ist die Übereinstimmung zwischen den Bildern umso größer, je kleiner das Bewertungsmaß ist. Programmtechnisch läuft das Verfahren folgendermaßen ab: Zunächst wird ein hoher Anfangswert des Bewertungsmaßes festgesetzt und gemerkt. Anschließend wird das Bewertungsmaß für den ersten Block im Suchbereich S berechnet. Wenn das Bewertungsmaß kleiner als der gemerkte Wert bzw. kleiner/gleich als der gemerkte Wert ist, wird der alte Wert des Bewertungsmaßes verworfen und durch den neuen Wert ersetzt, wobei der zugehörige Block B2 gemerkt wird. Anschließend wird zum nächsten Block B2 übergegangen, für den die obigen Schritte wiederholt werden. Nach Durchlauf des soeben beschriebenen Programms erhält man schließlich den Bildblock B2 mit dem kleinsten Bewertungsmaß. Dieser Bildblock weist somit die beste Übereinstimmung mit dem Bildblock B1 auf.In the method according to the invention, all image blocks B2 are now each with the image block B1, wherein in each comparison an evaluation measure is determined, which in the embodiment described here is the difference between the brightness value of the respective image block B2 and the brightness value of the image block B1. Thus, the smaller the evaluation score, the larger the coincidence between the images becomes. In terms of programming, the method proceeds as follows: First, a high initial value of the evaluation measure is set and noted. Subsequently, the score for the first block in the search area S is calculated. If the score is less than or equal to the memorized value, the old score of the score is discarded and replaced with the new value, with the associated block B2 being noted. Subsequently, the next block B2 is proceeded to, for which the above steps are repeated. After passing through the program just described, one finally obtains the image block B2 with the smallest evaluation score. This image block thus has the best match with the image block B1.

Gemäß der Erfindung wird nun in einem weiteren Schritt überprüft, ob der ermittelte Block B2 mit dem kleinsten Bewertungsmaß ein Bildblock am Rande des Suchbereichs ist. Ist dies der Fall, wird der Bildblock markiert. Diese Markierung kann bei der Bewegungsschätzung von Objekten im Bild bzw. bei der Disparitätsbestimmung zwischen dem Referenzbild RB und dem Suchbild SB berücksichtigt werden.According to the invention is now checked in a further step, if the determined block B2 with the smallest evaluation measure a picture block on the edge of the Search range is. If this is the case, the image block is marked. This marker can be used in the motion estimation of objects in the image or in the disparity determination between the reference image RB and the search image SB become.

Das Bild c) in 1 stellt das Idealtiefenbild ITB des Referenzbildes RB dar. In diesem Bild gibt die Helligkeit den Abstand der Objekte im Bild wieder. Es ist erkennbar, dass die Gegenstände bzw. Personen im Bild mit hellerer Fläche nä her am Betrachter sind als die Personen bzw. Gegenstände mit dunkler Fläche. Die Bilder d) und e) zeigen Tiefenbilder aus einer Disparitätsschätzung unter Verwendung des erfindungsgemäßen Verfahrens und die Bilder f) und g) zeigen Tiefenbilder aus einer Disparitätsschätzung ohne Verwendung des erfindungsgemäßen Verfahrens. Bei der Disparitätsschätzung wurde das Referenzbild RB in Bildblöcke B1 eingeteilt, wobei für jeden Bildblock anhand des Bewertungsmaßes ein Bildblock B2 im Suchbild ermittelt wird. Mit Hilfe der Information über den Abstand des Bildblocks B1 im Referenzbild zum Bildblock B2 im Suchbild kann durch bekannte Methoden die Tiefe von Objekten im Bild ermittelt werden. In den Bildern d) und f) wurden bei der Disparitätsbestimmung pixelweise verschobene Bildblöcke B1 verwendet, wohingegen in den Bildern e) und g) die Bildblöcke B1 blockweise verschoben wurden.The picture c) in 1 represents the ideal depth image ITB of the reference image RB. In this image, the brightness reflects the distance of the objects in the image. It can be seen that the objects or persons in the picture with a brighter surface are closer to the viewer than the persons or objects with a dark surface. The images d) and e) show depth images from a disparity estimation using the method according to the invention and the images f) and g) show depth images from a disparity estimation without using the method according to the invention. In the disparity estimation, the reference image RB was divided into image blocks B1, wherein an image block B2 in the search image is determined for each image block on the basis of the evaluation measure. With the help of the information about the distance of the image block B1 in the reference image to the image block B2 in the search image, the depth of objects in the image can be determined by known methods. In the pictures d) and f) pixelwise shifted picture blocks B1 were used in the disparity determination, whereas in the pictures e) and g) the picture blocks B1 were shifted in blocks.

In Analogie zum Idealtiefenbild ITB wird in den Bildern d) bis g) die Tiefe durch entsprechende Helligkeitsstufen dargestellt. Bei genauerer Betrachtung der Bilder d) bis g) ist erkennbar, dass sich die mit dem erfindungsgemäßen Verfahren d) und e) erzeugten Bilder leicht von den Bildern f) und g) unterscheiden. Insbesondere ist beim Vergleich der Bilder e) und g) ersichtlich, dass einige Bildblöcke im Bild e) schwarz markiert sind, wohingegen diese Bildblöcke im Bild g) weiß markiert sind. Beispielhaft sind hier die Bildblöcke P und P' in den Bildern e) bzw. g) herausgehoben. Im Unterschied zum Bildblock P' im Bild g) wurde der Bildblock P im Bild e) nicht bei der Disparitätsbestimmung berücksichtigt, da der entsprechende ermittelte Bildblock B2 am Rand des Suchbereichs lag. Als Folge wurde die Tiefe des Blocks P auf "unendlich" gesetzt, was einer schwarzen Farbe entspricht. Demgegenüber wurde der Bildblock P' nicht verworfen, sondern auf den ermittelten Tiefenwert gesetzt. Da – wie in Bezug auf 2 noch detailliert erläutert wird – für Bildblöcke im Referenzbild mit ermittelten Suchbildblöcken am Rande des Suchbereichs die Disparitätsschätzung mit Fehlern behaftet ist, wird für solche Bildblöcke auf eine Disparitätsbestimmung verzichtet. Bei der Verwendung des Tiefenbildes für 3D-Darstellungen werden somit weitere Fehler vermieden, denn eine falsche Disparitätsbestimmung kann zu einer unrealen 3D-Wiedergabe führen, weil unter Umständen Objekte im Hintergrund in den Vordergrund rücken und andere Objekte unzulässigerweise verdecken.In analogy to the ideal depth image ITB, the depth is represented by corresponding brightness levels in the images d) to g). On closer examination of the images d) to g), it can be seen that the images generated by the method according to the invention d) and e) are slightly different from the images f) and g). In particular, when comparing the images e) and g) it can be seen that some image blocks in the image e) are marked in black, whereas these image blocks in the image g) are marked in white. By way of example, the image blocks P and P 'in the images e) and g) are highlighted here. In contrast to image block P 'in image g), image block P in image e) was not taken into account in the disparity determination, since the corresponding image block B2 determined was at the edge of the search region. As a result, the depth of the block P was set to "infinite", which corresponds to a black color. In contrast, the image block P 'was not rejected, but set to the depth value determined. There - as in relation to 2 is explained in detail - for image blocks in the reference image with determined search image blocks on the edge of the search area, the disparity estimation is subject to errors, is waived for such image blocks to disparity determination. When using the depth image for 3D representations thus further errors are avoided, because a false disparity determination can lead to an unreal 3D rendering, because under certain circumstances, objects in the background in the foreground and obscure other objects inadmissible.

In 2 ist eine Skizze zur Verdeutlichung der mit der Erfindung gelösten Problemstellung gezeigt. Die 2 zeigt zwei Diagramme, wobei entlang der Abszisse die x-Ausdehnung eines Suchbildes dargestellt ist. Auf der Ordinate sind die ermittelten Bewertungsmaße (als BM bezeichnet) aufgetragen.In 2 is a sketch to illustrate the problem solved by the invention shown. The 2 shows two diagrams, along the abscissa, the x-dimension of a search image is shown. On the ordinate, the determined evaluation measures (referred to as BM) are plotted.

Im oberen Graphen der 2 ist beispielhaft eine mögliche Entwicklung der Bewertungsmaße beim Vergleich einer Reihe von Suchbildblöcken in x-Richtung mit einem Referenzbildblock im Referenzbild dargestellt. Ferner ist mit gestrichelten Linien ein beispielhafter Suchbereich ausgewählt worden. Aus dem oberen Graphen ergibt sich, dass das tatsächliche Minimum MIN1 des Bewertungsmaßes im Suchbild außerhalb des Suchbereichs liegt. Bei herkömmlichen Verfahren würde als Suchbildblock der Block am rechten Rand des Suchbereichs ermittelt werden, wie sich aus dem unteren Graphen der 2 ergibt. Dies liegt daran, dass dieser Suchbildblock das kleinste Bewertungsmaß MIN2 innerhalb der Suchbereichs und somit die größte Übereinstimmung mit dem Referenzbildblock aufweist. Nichts desto trotz handelt es sich nicht um den Suchbildblock, der tatsächlich die beste Übereinstimmung mit dem Referenzbildblock aufweist, denn dieser liegt beim Minimum MIN1.In the upper graph of the 2 By way of example, a possible development of the evaluation measures when comparing a number of search image blocks in the x direction with a reference image block in the reference image is shown. Furthermore, an exemplary search area has been selected with dashed lines. It can be seen from the upper graph that the actual minimum MIN1 of the score in the search image is outside the search range. In conventional methods, the block on the right edge of the search area would be determined as the search picture block, as can be seen from the lower graph of FIG 2 results. This is because this search image block has the smallest evaluation measure MIN2 within the search area and thus the largest match with the reference image block. Nevertheless, it is not the search image block that actually has the best match with the reference image block because it is at minimum MIN1.

Gemäß der Erfindung wird deshalb der im unteren Graphen ermittelte Suchbildblock markiert, da er aufgrund seiner Lage am Rand des Suchbereichs darauf hindeutet, dass seine Bestimmung fehlerhaft ist. Als Konsequenz einer solchen Markierung kann nun gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens der Suchbildbereich vergrößert werden, wie durch die Pfeile zwischen dem oberen und dem unteren Graphen ange deutet ist. Hierbei wird eine Vergrößerung so lange vorgenommen, bis der ermittelte Suchbildblock nicht mehr am Rande des Suchbildbereichs liegt, d.h. bis das Minimum MIN1 aufgefunden wurde. Alternativ können jedoch auch ermittelte Suchbildblöcke am Rande von Suchbildbereichen bei der weiteren Verarbeitung des Bildes außer Acht gelassen werden, so dass hierdurch mögliche Fehler bei Bewegungsschätzverfahren bzw. bei Disparitätsschätzverfahren ausgeschlossen werden.According to the invention, therefore, in the The search image block determined on the lower graph is marked as it indicates, due to its position at the edge of the search area, that its determination is erroneous. As a consequence of such a marking, according to an embodiment of the method according to the invention, the search image area can now be enlarged, as indicated by the arrows between the upper and lower graphs. In this case, an enlargement is made until the determined search image block is no longer located at the edge of the search image area, ie until the minimum MIN1 has been found. Alternatively, however, also determined search image blocks on the edge of search image regions can be disregarded in the further processing of the image, so that possible errors in motion estimation methods or in disparity estimation methods are excluded.

Claims

Method for the computer-aided determination of image areas in a digitized image where: a) a first image area (B1) in a reference image (RB) with several second image areas (B2) in a search area (S) of a search image (SB) is compared and as a result, the second image area (B2) is detected the highest agreement with the first image area (B1); b) the determined second Image area (B2) as possible is not marked correctly determined, if the determined second Image area (B2) is located at the edge of the search area (S).

The method of claim 1, wherein in step a) for each second image area (B2) in the search area (S) determines a rating measure (BM) where the evaluation score (BM) is agreement of the respective second image area with the first image area (B1) and the second image area (B2) with the highest match score is classified as determined second image area (B2).

The method of claim 2, wherein the score (BM) is the match the brightness of the first image area (B1) with the brightness of the respective second image area (B2).

Method according to one of the preceding claims, in after that the steps a) and b) in a step c) the search area (S) in the search image (SB) is increased, if the determined second image area (B2) is marked, and then in the extended search area, the steps a) and b) are performed.

Method according to Claim 4, in which the steps a) to c) iteratively repeated until the determined second Image area (B2) is not marked.

Method according to one of the preceding claims, in the first image area (B1) and the second image areas (B2) image blocks identical size.

Method according to one of the preceding claims, in the second image areas pixel by pixel and / or by several pixels are shifted against each other.

Method for motion estimation of image objects in one Sequence of digitized images comprising a reference image (RB) and a search image (SB), in which the method according to one of the preceding claims for many first image areas (B1) in the reference image (RB) is performed and from the second image areas (B2) determined therefrom, the movement estimated from image objects where determined second image areas (B2) that are marked at the estimate not considered the movement become.

The method of claim 8, wherein the plurality of first Image areas (B1) a sequence of pixel by pixel and / or by several pixels shifted image areas in the reference image are.

Method for disparity estimation between a reference image (RB) and a search image (SB), in which the method according to one of previous claims for many first image areas (B1) in the reference image (RB) is performed and from the second image areas (B2) determined therefrom, the disparity between Reference image (RB) and search image (SB) is estimated, where determined second image areas (B2) that are marked when estimating the disparity not considered become.

The method of claim 10, wherein the plurality first image areas (B1) a sequence of pixel by pixel and / or by several Pixels of shifted image areas in the reference image.

The method of claim 10 or 11, wherein using the esteemed disparity a depth profile for the reference image (RB) is created.