DE102019007745A1

DE102019007745A1 - Technology for image repetition detection

Info

Publication number: DE102019007745A1
Application number: DE102019007745.8A
Authority: DE
Inventors: Jan Nikolas Beisemann
Original assignee: eSolutions GmbH
Current assignee: eSolutions GmbH
Priority date: 2019-11-07
Filing date: 2019-11-07
Publication date: 2021-05-27

Abstract

Es werden ein Verfahren und eine Vorrichtung zur Bildwiederholungserkennung, sowie ein System und ein Kraftfahrzeug umfassend die Vorrichtung offenbart. Das Verfahren umfasst die Schritte des Empfangens eines Videosignals mit zeitlich aufeinanderfolgenden Einzelbildern, wobei jedes Einzelbild eine Mehrzahl von Pixeln umfasst und des Aufteilens jedes der Einzelbilder in Teilbilder. Weiterhin umfasst das Verfahren das Berechnen eines ersten Intensitätswertes für ein erstes Teilbild eines ersten Einzelbildes basierend auf einer echten Untermenge der Pixel des ersten Teilbildes und Berechnen eines zweiten Intensitätswertes für ein zweites Teilbild eines zweiten Einzelbildes basierend auf der echten Untermenge der Pixel des zweiten Teilbildes. Eine Position des zweiten Teilbildes innerhalb des zweiten Einzelbildes entspricht einer Position des ersten Teilbildes innerhalb des ersten Einzelbildes und eine Position der Pixel der echten Untermenge innerhalb des zweiten Teilbildes entspricht einer Position der Pixel der echten Untermenge innerhalb des ersten Teilbildes. Das Verfahren umfasst weiterhin die Schritte des Vergleichens des ersten Intensitätswertes mit dem zweiten Intensitätswert und des Erkennens einer Bildwiederholung basierend auf dem Vergleich.A method and a device for image repetition recognition, as well as a system and a motor vehicle comprising the device, are disclosed. The method comprises the steps of receiving a video signal with temporally successive individual images, each individual image comprising a plurality of pixels, and of dividing each of the individual images into partial images. The method further comprises calculating a first intensity value for a first partial image of a first single image based on a real subset of the pixels of the first partial image and calculating a second intensity value for a second partial image of a second single image based on the real subset of the pixels of the second partial image. A position of the second partial image within the second individual image corresponds to a position of the first partial image within the first individual image and a position of the pixels of the real subset within the second partial image corresponds to a position of the pixels of the real subset within the first partial image. The method further comprises the steps of comparing the first intensity value with the second intensity value and recognizing an image repetition based on the comparison.

Description

Technisches GebietTechnical area

Die vorliegende Offenbarung betrifft allgemein ein Verfahren zur Bildwiederholungserkennung, beispielsweise zur Erkennung der Wiederholung von Bildern einer Fahrzeugkamera. Weiterhin betrifft die vorliegende Offenbarung eine Vorrichtung zur Bildwiederholungserkennung, ein System, welches die Vorrichtung umfasst, sowie ein Kraftfahrzeug, welches die Vorrichtung umfasst.The present disclosure relates generally to a method for image repetition recognition, for example for recognizing the repetition of images from a vehicle camera. The present disclosure also relates to a device for image repetition recognition, a system that includes the device, and a motor vehicle that includes the device.

Hintergrundbackground

In modernen Fahrzeugen sind Rückfahr- und Umgebungskameras Teil sicherheitsrelevanter Assistenzsysteme. Um die Sicherheit der Insassen und von Personen im Umfeld des Fahrzeugs zu gewährleisten, muss sichergestellt werden, dass diese Kameras korrekt funktionieren. In jedem Fall muss ein Fehlerfall zuverlässig erkannt werden. Diese Problemstellung tritt auch in anderen technischen Komponenten auf, in denen Kameras verbaut sind.In modern vehicles, reversing and ambient cameras are part of safety-relevant assistance systems. To ensure the safety of the occupants and people around the vehicle, it must be ensured that these cameras function correctly. In any case, an error must be reliably detected. This problem also occurs in other technical components in which cameras are installed.

Das Ausgangssignal einer Kamera, welches beispielsweise für ein Fahrzeug-Steuergerät für autonomes Fahren von Interesse ist, wird in mehreren Schritten seriell verarbeitet, beispielsweise kodiert. Dabei ist es wichtig, dass jede Verarbeitungskomponente, welche das Ausgangssignal oder ein daraus abgeleitetes Signal verarbeitet, sich auf die Funktionalität und Integrität der davor liegenden Verarbeitungskomponente verlassen kann.The output signal of a camera, which is of interest for a vehicle control unit for autonomous driving, for example, is processed serially in several steps, for example encoded. It is important that each processing component that processes the output signal or a signal derived from it can rely on the functionality and integrity of the processing component in front of it.

Ein Komplettausfall der Kamera kann durch verschiedene Mechanismen trivial festgestellt werden. Jedoch kann es aufgrund beispielsweise eines Software-Fehlers einer der Kamera nachgelagerten Verarbeitungskomponente vorkommen, dass von dieser identische Bilder wiederholt ausgegeben werden. Dies hat zur Folge, dass die dieser fehlerhaften Verarbeitungskomponente nachgelagerten Verarbeitungskomponenten keine Änderung der Bilddaten mehr feststellen können, obwohl sich die von der Kamera aufgenommene Szene durchaus ändern kann. Ein solcher Fehlerfall kann gerade bei autonomen Fahrzeugen, aber auch in andere technischen Bereichen zu schwerwiegenden Unfällen oder anderen Problemen führen.A complete failure of the camera can be determined trivially by various mechanisms. However, due to, for example, a software error in one of the processing components downstream of the camera, it can happen that identical images are repeatedly output by the latter. The result of this is that the processing components downstream of this faulty processing component can no longer detect any changes in the image data, although the scene recorded by the camera can certainly change. Such a fault can lead to serious accidents or other problems, especially with autonomous vehicles, but also in other technical areas.

Kurzer AbrissBrief outline

Der vorliegenden Offenbarung liegt die Aufgabe zugrunde, eine effiziente Bildwiederholungserkennung insbesondere in Echtzeit durchzuführen.The present disclosure is based on the object of performing efficient image repetition recognition, in particular in real time.

Gemäß einem ersten Aspekt wird ein Verfahren zur Bildwiederholungserkennung angegeben. Das Verfahren umfasst das Empfangen eines Videosignals mit zeitlich aufeinanderfolgenden Einzelbildern, wobei jedes Einzelbild eine Mehrzahl von Pixeln umfasst, sowie das Aufteilen jedes der Einzelbilder in Teilbilder. Für ein erstes Teilbild eines ersten Einzelbildes wird ein erster Intensitätswert basierend auf einer echten Untermenge der Pixel des ersten Teilbildes berechnet. Für ein zweites Teilbild eines zweiten Einzelbildes wird ein zweiter Intensitätswert basierend auf der echten Untermenge der Pixel des zweiten Teilbildes berechnet. Eine Position des zweiten Teilbildes innerhalb des zweiten Einzelbildes entspricht dabei einer Position des ersten Teilbildes innerhalb des ersten Einzelbildes und eine Position der Pixel der echten Untermenge innerhalb des zweiten Teilbildes entspricht dabei einer Position der Pixel der echten Untermenge innerhalb des ersten Teilbildes. Das Verfahren umfasst weiterhin ein Vergleichen des ersten Intensitätswertes mit dem zweiten Intensitätswert und ein Erkennen einer Bildwiederholung basierend auf dem Vergleich.According to a first aspect, a method for image repetition recognition is specified. The method comprises receiving a video signal with temporally successive individual images, each individual image comprising a plurality of pixels, and dividing each of the individual images into partial images. For a first partial image of a first individual image, a first intensity value is calculated based on a real subset of the pixels of the first partial image. For a second partial image of a second individual image, a second intensity value is calculated based on the real subset of the pixels of the second partial image. A position of the second partial image within the second individual image corresponds to a position of the first partial image within the first individual image and a position of the pixels of the real subset within the second partial image corresponds to a position of the pixels of the real subset within the first partial image. The method further comprises comparing the first intensity value with the second intensity value and recognizing an image repetition based on the comparison.

Das Videosignal kann unmittelbar von einer Kamera empfangen werden. Alternativ hierzu kann das Videosignal von einer der Kamera nachgeschalteten Komponente digital vorverarbeitet (z. B. kodiert) und entsprechend in einem vorverarbeiteten Format empfangen werden. Hierbei können die von der Kamera ausgegebenen Bilddaten von der nachgeschalteten Komponente beispielsweise zu einzelnen Datenpaketen zusammengefasst werden (z. B. kann eine Video-Kodierung zu solchen Datenpaketen führen).The video signal can be received directly by a camera. Alternatively, the video signal can be digitally preprocessed (e.g. encoded) by a component connected downstream of the camera and accordingly received in a preprocessed format. In this case, the image data output by the camera can, for example, be combined into individual data packets by the downstream component (e.g. video coding can lead to such data packets).

Wird das Videosignal direkt von einer Videokamera empfangen, kann das Videosignal unmittelbar in eine Mehrzahl von zeitlich aufeinanderfolgenden Einzelbildern aufgeteilt sein. Im Falle einer digitalen Vorverarbeitung, beispielsweise einer Kodierung (z. B. zur Kompression), ist eine Dekodierung (z. B. Dekompression) erforderlich, um die Datenpakete in zeitlich aufeinanderfolgende Einzelbilder aufteilen zu können.If the video signal is received directly by a video camera, the video signal can be divided directly into a plurality of time-consecutive individual images. In the case of digital preprocessing, for example coding (e.g. for compression), decoding (e.g. decompression) is necessary in order to be able to divide the data packets into successive individual images.

Jedes der Einzelbilder besteht aus einer Mehrzahl von digitalen Bildpunkten, sogenannten Pixeln. Die Pixel können in Form eines Rasters angeordnet sein. Jedem dieser Pixel ist zumindest ein Wert zugeordnet, welcher für die von einem Betrachter wahrgenommene Intensität (z. B. Helligkeit oder Farbigkeit) des Pixels repräsentativ ist. Aus der Summe der von einem Betrachter wahrgenommenen Intensitäten der Pixel ergibt sich der Gesamteindruck des jeweiligen Einzelbildes.Each of the individual images consists of a plurality of digital image points, so-called pixels. The pixels can be arranged in the form of a grid. Each of these pixels is assigned at least one value which is representative of the intensity (e.g. brightness or color) of the pixel perceived by a viewer. The total impression of the respective individual image results from the sum of the intensities of the pixels perceived by a viewer.

Jedes der aus dem Videosignal erhaltenen Einzelbilder wird im darauffolgenden Verfahrensschritt in Teilbilder aufgeteilt. Die Anzahl der Teilbilder ist dabei gemäß einer Variante für jedes Einzelbild des Videosignals gleich. Wird also das zeitlich erste empfangene Einzelbild in eine Anzahl von kTeilbildern aufgeteilt, so kann auch jedes der zeitlich darauffolgenden Einzelbilder in kTeilbilder aufgeteilt werden.Each of the individual images obtained from the video signal is divided into partial images in the subsequent process step. According to one variant, the number of partial images is the same for each individual image of the video signal. So the temporally first received single image is divided into a number of divided into k fields, each of the subsequent individual images can also be divided into k fields.

Wie oben erwähnt, besteht jedes der Einzelbilder aus einer Mehrzahl von Pixeln. Entsprechend besteht auch jedes der Teilbilder aus einer Mehrzahl von Pixeln. Aus dieser Mehrzahl von Pixeln eines bestimmten Teilbildes wird eine echte Untermenge von Pixeln ausgewählt, welche kleiner als die (also nicht gleich der) Gesamtanzahl der Pixel des ersten Teilbildes ist. Die Anzahl der Pixel der echten Untermenge ist für jedes Teilbild jedes der Einzelbilder gleich. Basierend auf den für die Intensitäten der Pixel der echten Untermenge repräsentativen Werten wird der erste Intensitätswert für das erste Teilbild berechnet, und ebenso für das zweite Teilbild.As mentioned above, each of the individual images consists of a plurality of pixels. Correspondingly, each of the partial images also consists of a plurality of pixels. From this plurality of pixels of a specific partial image, a real subset of pixels is selected which is smaller than (that is, not equal to) the total number of pixels in the first partial image. The number of pixels in the real subset is the same for each partial image of each of the individual images. Based on the values representative of the intensities of the pixels of the real subset, the first intensity value is calculated for the first partial image and also for the second partial image.

Bei bestimmten Ausführungsformen können zumindest einige der Pixel der echten Untermenge entlang zumindest einer Geraden innerhalb des jeweiligen Teilbildes angeordnet sein. Bei einem rechteckigen (z. B. quadratischen) Teilbild können dies beispielsweise diejenigen Pixel des Teilbildes sein, welche entlang einer Bildkante des Teilbildes angeordnet sind. Bei einem dreieckigen Teilbild können dies beispielsweise diejenigen Pixel des Teilbildes ein, welche entlang einer Seitenhalbierenden oder Winkelhalbierenden des Dreiecks angeordnet sind. Bei beliebig geformten Teilbildern können dies beispielsweise diejenigen Pixel des Teilbildes sein, welche entlang einer Geraden angeordnet sind, die zwei gegenüberliegende Seiten des Teilbildes miteinander verbindet. Insbesondere können zumindest einige der Pixel der echten Untermenge entlang zumindest einer Diagonalen innerhalb des jeweiligen Teilbildes angeordnet sein.In certain embodiments, at least some of the pixels of the real subset can be arranged along at least one straight line within the respective partial image. In the case of a rectangular (for example square) partial image, these can be, for example, those pixels of the partial image which are arranged along an image edge of the partial image. In the case of a triangular partial image, this can be, for example, those pixels of the partial image which are arranged along a bisector or bisector of the triangle. In the case of partial images of any shape, these can be, for example, those pixels of the partial image which are arranged along a straight line that connects two opposite sides of the partial image with one another. In particular, at least some of the pixels of the real subset can be arranged along at least one diagonal within the respective partial image.

Das Aufteilen der Einzelbilder kann in quadratische Teilbilder erfolgen. Alle Bildkanten der Teilbilder sind in diesem Falle gleich lang und rechtwinklig zueinander angeordnet. Entlang der Seiten der quadratischen Teilbilder können N = 2ⁿ Pixel angeordnet sein, wobei N eine natürliche Zahl ist. Die quadratischen Teilbilder bestehen in diesem Fall aus 2²ⁿ Pixeln. Beispielsweise können entlang der Seiten der quadratischen Teilbilder 2 oder 4 oder 8 oder 16 oder 32 oder 64 Pixel angeordnet sein.The individual images can be divided into square partial images. In this case, all image edges of the partial images are of the same length and are arranged at right angles to one another. ^{N = 2 n} pixels can be arranged along the sides of the square partial images, where N is a natural number. In this case, the square partial images consist of 2 ²ⁿ pixels. For example, 2 or 4 or 8 or 16 or 32 or 64 pixels can be arranged along the sides of the square partial images.

Jedem der Pixel kann wenigstens ein Pixelwert zugeordnet sein, der dessen Darstellungsweise beeinflusst. Der erste und der zweite Intensitätswert können aus denjenigen Pixelwerten berechnet werden, die der echten Untermenge der Pixel des jeweiligen Teilbildes zugeordnet sind. In einigen Ausführungsformen ist der wenigstens eine Pixelwert ausgewählt aus einem Rot-Wert (R), einem Grün-Wert (G), einem Blau-Wert (B), einem Graustufen-Wert und einem alpha-Wert (a). Die Werte R, G
und B beeinflussen die von einem Betrachter wahrgenommene Farbe des jeweiligen Pixels. Der Graustufen-Wert beeinflusst die von einem Betrachter wahrgenommene Helligkeit des jeweiligen Pixels. Der alpha-Wert beeinflusst die von einem Betrachter wahrgenommene Transparenz des jeweiligen Pixels.At least one pixel value can be assigned to each of the pixels, which influences the way in which it is displayed. The first and the second intensity value can be calculated from those pixel values which are assigned to the real subset of the pixels of the respective partial image. In some embodiments, the at least one pixel value is selected from a red value (R), a green value (G), a blue value (B), a grayscale value and an alpha value (a). The values R, G
and B influence the perceived color of the respective pixel by a viewer. The grayscale value influences the brightness of the respective pixel perceived by a viewer. The alpha value influences the transparency of the respective pixel perceived by a viewer.

Oftmals ist einem Pixel ein Tupel der genannten Werte oder anderer Werte zugeordnet, wie (R, G, B) oder (R, G, B, a). In diesem Fall kann der jeweilige Intensitätswert aus einigen oder allen Werten des Tupels berechnet werden. So können beispielweise in den vorstehend genannten Beispielen pro Pixel die Werte für R, G und B aufsummiert werden, um den diesem Pixel zugeordneten Intensitätswert zu berechnen. Der einem Teilbild zugeordnete Intensitätswert kann wiederum durch Aufsummieren der für die Pixel der entsprechenden echten Untermenge ermittelten Intensitätswerte berechnet werden. Ist den Pixeln der echten Untermenge des jeweiligen Teilbildes zumindest einer der oben beschriebenen Pixelwerte zugeordnet, umfasst die Berechnung des ersten und des zweiten Intensitätswerts daher beispielsweise eine Aufsummierung der jeweiligen Pixelwerte der Pixel der echten Untermenge.A tuple of the named values or other values such as (R, G, B) or (R, G, B, a) is often assigned to a pixel. In this case, the respective intensity value can be calculated from some or all of the values of the tuple. For example, in the above-mentioned examples, the values for R, G and B can be added up per pixel in order to calculate the intensity value assigned to this pixel. The intensity value assigned to a partial image can in turn be calculated by adding up the intensity values determined for the pixels of the corresponding real subset. If at least one of the above-described pixel values is assigned to the pixels of the real subset of the respective partial image, the calculation of the first and the second intensity value therefore includes, for example, summing up the respective pixel values of the pixels of the real subset.

Bei einigen Ausführungsformen können der erste und der zweite Intensitätswert jeweils ein ganzzahliger Wert sein. Bei einigen Ausführungsformen kann erkannt werden, dass eine Bildwiederholung nicht vorliegt, wenn der Vergleich des ersten Intensitätswertes mit dem zweiten Intensitätswert keine Übereinstimmung ergibt. Der Vergleich des jeweiligen ersten Intensitätswerts mit dem jeweiligen zweiten Intensitätswert kann bei einigen Ausführungsformen für zwei oder mehr Teilbilder jeweils des ersten Einzelbildes und des zweiten Einzelbildes erfolgen. Die jeweiligen Teilbilder können dabei logisch aufeinanderfolgend innerhalb des jeweiligen Einzelbildes angeordnet sein. Die für den Vergleich verfügbaren Teilbilder können ihrer Gesamtheit das jeweilige Einzelbild ergeben. Alternativ hierzu können die jeweiligen Teilbilder an einzelnen, vorbestimmten Positionen innerhalb des jeweiligen Einzelbildes angeordnet sein. Es können also Teilbildlücken zwischen diesen Positionen bestehen, die nicht für einen Vergleich herangezogen werden sollen.In some embodiments, the first and second intensity values can each be an integer value. In some embodiments, it can be recognized that there is no image repetition if the comparison of the first intensity value with the second intensity value does not result in a match. In some embodiments, the comparison of the respective first intensity value with the respective second intensity value can take place for two or more partial images of the first individual image and the second individual image. The respective partial images can be arranged logically one after the other within the respective individual image. The partial images available for the comparison can result in their entirety in the respective individual image. As an alternative to this, the respective partial images can be arranged at individual, predetermined positions within the respective individual image. So there may be gaps in the picture between these positions that should not be used for a comparison.

Es kann erkannt werden, dass eine Bildwiederholung vorliegt, wenn der Vergleich des jeweiligen ersten Intensitätswerts mit dem jeweiligen zweiten Intensitätswert für alle Teilbilder jeweils des ersten Einzelbildes und des zweiten Einzelbildes eine zumindest annähernde Übereinstimmung ergibt. Falls eine exakte Übereinstimmung (inbesondere ganzzahliger) Intensitätswerte gefordert wird, kann auf besonders zuverlässige Weise erkannt werden, dass eine auf technische Probleme z. B. eines Kodierers zurückgehende Bildwiederholung vorliegt. Bei korrekter Funktionsweise des Systems führt bereits das bei statischen Szenen unvermeidbare Bildrauschen zu unterschiedlichen Intensitätswerten aufeinanderfolgender Einzelbilder, wodurch eine Bildwiederholung ausgeschlossen werden kann.It can be recognized that there is an image repetition when the comparison of the respective first intensity value with the respective second intensity value for all partial images of the first individual image and the second individual image results in an at least approximate correspondence. If an exact match (in particular integer) intensity values is required, it can be recognized in a particularly reliable manner that a problem related to technical problems, e.g. B. an encoder is a declining image repetition. If the system is functioning correctly, this will already help static scenes unavoidable image noise at different intensity values of successive individual images, whereby a repetition of images can be excluded.

Bei der obigen Ausführungsform kann jeweils der erste Intensitätswert verschiedener erster Teilbilder des ersten Einzelbildes mit jeweils dem zweiten Intensitätswert entsprechender zweiter Teilbilder des zweiten Einzelbildes solange verglichen werden, bis sich bei einem bestimmten Vergleich keine zumindest annähernde (insbesondere keine exakte) Übereinstimmung ergibt. Ergibt sich eine zumindest annähernde (insbesondere exakte) Übereinstimmung der Intensitätswerte aller betrachteter Teilbilder, kann eine Bildwiederholung erkannt werden.In the above embodiment, the first intensity value of different first partial images of the first individual image can be compared with second partial images of the second individual image corresponding to the second intensity value until a certain comparison does not result in at least an approximate (in particular no exact) match. If there is at least an approximate (in particular exact) correspondence of the intensity values of all the partial images considered, an image repetition can be recognized.

Bei einer ersten Variante des Verfahrens werden im Anschluss an den bestimmten Vergleich keine weiteren Intensitätswerte für Teilbilder des ersten und des zweiten Einzelbildes berechnet, für die noch kein Vergleich stattfand. Sobald also das Vorliegen keiner Bildwiederholung positiv erkannt wurde, kann die Verfahrensdurchführung gemäß dieser Variante abgebrochen werden. Es kann dann gleich das nächste zeitlich nachfolgende (dritte) Einzelbild verarbeitet werden, um es dem Vergleich zu unterziehen, damit das Verfahren nicht unnötig verzögert wird.In a first variant of the method, following the determined comparison, no further intensity values are calculated for partial images of the first and second individual images for which a comparison has not yet taken place. As soon as the presence of no image repetition has been positively recognized, the implementation of the method according to this variant can be terminated. The next temporally following (third) single image can then be processed immediately in order to subject it to the comparison so that the method is not unnecessarily delayed.

Bei einer alternativen zweiten Variante des Verfahrens werden im Anschluss an den bestimmten Vergleich weitere Intensitätswerte für weitere Teilbilder wenigstens des zweiten Einzelbildes berechnet und abgespeichert, für die noch kein Vergleich stattfand. Bei dieser alternativen Variante werden also zumindest für einige weitere Teilbilder des zweiten Einzelbildes Intensitätswerte berechnet, obwohl bereits positiv erkannt wurde, dass keine Bildwiederholung vorliegt.In an alternative, second variant of the method, following the determined comparison, further intensity values are calculated and stored for further partial images of at least the second individual image, for which no comparison has yet taken place. In this alternative variant, intensity values are calculated for at least some further partial images of the second individual image, although it has already been positively recognized that there is no image repetition.

Die alternative zweite Variante ist beispielsweise dann zweckmäßig, wenn in einem Speicherbereich für alle betrachteten Teilbildpositionen eines Einzelbilds ein Speicherfeld für den jeweils zuletzt berechneten (z. B. ersten) Intensitätswert für das zuletzt betrachtete (z. B. erste) Einzelbild definiert ist. Dieser gespeicherte Intensitätswert kann dann ausgelesen werden, um ihn mit dem entsprechenden frisch berechneten (z. B. zweiten) Intensitätswert des gerade neu empfangenen (z. B. zweiten) Einzelbilds zu vergleichen. Im Anschluss an den Vergleich wird der zuletzt berechnete Intensitätswert mit dem frisch berechneten Intensitätswert überschrieben. Nun ist es so, dass dieses Überschreiben bei einem Verfahrensdurchlauf normlarweise nur so weit hinsichtlich der Intensitätswerte für das neu empfangenen Einzelbild erfolgt, bis keine zumindest annähernde Übereinstimmung festgestellt wird. Es verbleiben dann aber die alten Intensitätswerte des zuletzt betrachteten Einzelbildes in den verbleibenden Speicherfeldern. Diese Tatsache kann in manchen Fällen die Bildwiederholungserkennung dahingehend verlangsamen, dass eine große Anzahl von identischen Einzelbildern miteinander verglichen werden müssen, bis eine Bildwiederholung tatsächlich festgestellt werden kann. Um diesen Nachteil zu vermeiden oder zumindest abzumildern, werden bei der zweiten Variante zumindest für einige (insbesondere für all) weitere Teilbilder des zweiten Einzelbildes Intensitätswerte berechnet und abgespeichert, obwohl bereits positiv erkannt wurde, dass keine Bildwiederholung vorliegt.The alternative second variant is useful, for example, if a memory field for the most recently calculated (e.g. first) intensity value for the last viewed (e.g. first) individual image is defined in a memory area for all partial image positions of an individual image. This stored intensity value can then be read out in order to compare it with the corresponding freshly calculated (e.g. second) intensity value of the newly received (e.g. second) single image. Following the comparison, the last calculated intensity value is overwritten with the freshly calculated intensity value. Now it is the case that this overwriting in a process run normally only takes place with regard to the intensity values for the newly received individual image until no at least approximate correspondence is found. The old intensity values of the last viewed single image then remain in the remaining memory fields. In some cases, this fact can slow down the image repetition detection to the extent that a large number of identical individual images have to be compared with one another before an image repetition can actually be determined. In order to avoid or at least mitigate this disadvantage, in the second variant, intensity values are calculated and stored for at least some (in particular for all) further partial images of the second individual image, although it has already been positively recognized that there is no image repetition.

Bei der zweiten Variante des Verfahrens kann das zweite Einzelbild dem ersten Einzelbild zeitlich nachfolgen. Einer oder mehrere der für die weiteren Teilbilder abgespeicherten Intensitätswerte können dann zur Bildwiederholungserkennung zwischen dem zweiten Einzelbild und einem dem zweiten Einzelbild zeitlich nachfolgenden dritten Einzelbild verwendet werden.In the second variant of the method, the second individual image can temporally follow the first individual image. One or more of the intensity values stored for the further partial images can then be used for image repetition detection between the second individual image and a third individual image chronologically following the second individual image.

Die Verfahrensdurchführung gemäß der ersten Variante und der zweiten Variante können sich zyklisch oder nicht-zyklisch abwechseln. Insbesondere kann auf eine bestimmte Anzahl von beispielsweise 2^q Verfahrensdurchführungen gemäß der ersten Variante eine Verfahrensdurchführung gemäß der zweiten Variante folgen, wobei q eine natürliche Zahl ist. Beispielsweise kann das Verfahren zuerst für vier Teilbilder des ersten und des zweiten Einzelbildes gemäß der zweiten Ausführungsform durchgeführt werden, ein Abbruch der Verfahrensdurchführung bei Erkennen einer Bildwiederholung kann also für die ersten vier Teilbilder vermieden werden. Anschließend findet die Verfahrensdurchführung gemäß der ersten Ausführungsform statt.The implementation of the method according to the first variant and the second variant can alternate cyclically or non-cyclically. In particular, a certain number of, for example, 2 ^q process implementations according to the first variant can be followed by a process implementation according to the second variant, where q is a natural number. For example, the method can first be carried out for four partial images of the first and the second individual image according to the second embodiment, a termination of the execution of the method when a repetition of an image is recognized can therefore be avoided for the first four partial images. The process is then carried out according to the first embodiment.

Gemäß einem zweiten Aspekt wird eine Vorrichtung zur Bildwiederholungserkennung, insbesondere bei einer Fahrzeugkamera, vorgestellt. Die Vorrichtung umfasst eine Eingangsschnittstelle, welche zum Empfangen eines Videosignals mit zeitlich aufeinanderfolgenden Einzelbildern ausgebildet ist, wobei jedes Einzelbild eine Mehrzahl von Pixeln umfasst. Die Vorrichtung umfasst ferner eine Auswerteeinrichtung, welche ausgebildet ist zum Aufteilen jedes der Einzelbilder in Teilbilder und zum Berechnen eines ersten Intensitätswertes für ein erstes Teilbild eines ersten Einzelbildes basierend auf einer echten Untermenge der Pixel des ersten Teilbildes und Berechnen eines zweiten Intensitätswertes für ein zweites Teilbild eines zweiten Einzelbildes basierend auf der echten Untermenge der Pixel des zweiten Teilbildes. Eine Position des zweiten Teilbildes innerhalb des zweiten Einzelbildes entspricht einer Position des ersten Teilbildes innerhalb des ersten Einzelbildes und eine Position der Pixel der echten Untermenge innerhalb des zweiten Teilbildes entspricht einer Position der Pixel der echten Untermenge innerhalb des ersten Teilbildes. Die Auswerteeinrichtung ist ausgebildet zum Vergleichen des ersten Intensitätswertes mit dem zweiten Intensitätswert und zum Erkennen einer Bildwiederholung basierend auf dem Vergleich.According to a second aspect, a device for image repetition recognition, in particular in the case of a vehicle camera, is presented. The device comprises an input interface which is designed to receive a video signal with temporally successive individual images, each individual image comprising a plurality of pixels. The device further comprises an evaluation device which is designed to divide each of the individual images into partial images and to calculate a first intensity value for a first partial image of a first individual image based on a real subset of the pixels of the first partial image and to calculate a second intensity value for a second partial image second frame based on the real subset of the pixels of the second sub-image. A position of the second partial image within the second individual image corresponds to a position of the first partial image within the first individual image and a position of the pixels of the real subset within the second partial image corresponds to a position of the pixels of the real subset within the first partial image. The evaluation device is designed to compare the first intensity value with the second intensity value and to recognize an image repetition based on the comparison.

Die Vorrichtung kann ferner ausgebildet sein zum Ausgeben des Videosignals an eine Fahrzeug-Steuereinheit, wenn keine Bildwiederholung erkannt wurde und/oder Ausgeben einer Fehlermeldung an die/eine Fahrzeug-Steuereinheit, wenn eine Bildwiederholung erkannt wurde.The device can furthermore be designed to output the video signal to a vehicle control unit if no image repetition was recognized and / or output an error message to the / a vehicle control unit if an image repetition was recognized.

Die Eingangsschnittstelle kann als Hardware-Schnittstelle, insbesondere als Steckkontakt, ausgebildet sein. Alternativ oder zusätzlich hierzu kann die Vorrichtung eine Ausgangsschnittstelle umfassen, die als Hardware-Schnittstelle, insbesondere als Steckkontakt, ausgebildet ist.The input interface can be designed as a hardware interface, in particular as a plug contact. As an alternative or in addition to this, the device can comprise an output interface which is designed as a hardware interface, in particular as a plug contact.

Gemäß einem dritten Aspekt wird ein System vorgestellt, das eine Vorrichtung zur Bildwiederholungserkennung gemäß dem zweiten Aspekt, eine Kamera zur Erzeugung von Bilddaten und eine Kodiervorrichtung zur Erzeugung eines kodierten Videosignals aus den Bilddaten umfasst. Die Eingangsschnittstelle der Vorrichtung zur Bildwiederholungserkennung gemäß dem zweiten Aspekt ist in einer Variante der Kodiervorrichtung nachgeschaltet.According to a third aspect, a system is presented which comprises a device for image repetition recognition according to the second aspect, a camera for generating image data and a coding device for generating an encoded video signal from the image data. The input interface of the device for image repetition recognition according to the second aspect is connected downstream in a variant of the coding device.

Gemäß einem vierten Aspekt wird ein Kraftfahrzeug vorgestellt, das eine Vorrichtung zur Bildwiederholungserkennung gemäß dem zweiten Aspekt, eine mit der Eingangsschnittstelle der Vorrichtung gekoppelte Fahrzeugkamera und eine mit einer Ausgangsschnittstelle der Vorrichtung gekoppelte Fahrzeug-Steuereinheit umfasst.According to a fourth aspect, a motor vehicle is presented which comprises a device for image repetition recognition according to the second aspect, a vehicle camera coupled to the input interface of the device and a vehicle control unit coupled to an output interface of the device.

FigurenlisteFigure list

Weitere Vorteile, Einzelheiten und Merkmale der vorliegenden Offenbarung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen sowie aus den Figuren. Es zeigen:

1A eine Darstellung eines ersten Einzelbildes eines Videosignals mit unterschiedlichen Bildbereichen, welche unterschiedliche Intensitäten aufweisen;
1B eine Darstellung eines zweiten Einzelbildes des Videosignals, welches sich von dem Einzelbild gemäß der Darstellung der 1A unterscheidet;
2 eine Darstellung eines ersten quadratischen Teilbildes des ersten Einzelbildes, wobei eine echte Untermenge von Pixeln des ersten quadratischen Teilbildes aus den Pixeln gebildet wird, welche entlang einer Diagonalen des quadratischen Teilbildes angeordnet sind;
3 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zur Bildwiederholungserkennung;
4A ein detaillierteres Ablaufdiagramm des in 3 dargestellten Verfahrens;
4B einen ersten Teilabschnitt des Ablaufdiagramms des in 4A dargestellten Verfahrens;
4C einen zweiten Teilabschnitt des Ablaufdiagramms des in 4A dargestellten Verfahrens; und
5 eine Darstellung eines Ausführungsbeispiels eines Moduls zur Bildwiederholungserkennung.

Further advantages, details and features of the present disclosure emerge from the following description of exemplary embodiments and from the figures. Show it:

1A a representation of a first single image of a video signal with different image areas which have different intensities;
1B a representation of a second frame of the video signal, which differs from the frame according to the illustration of 1A distinguishes;
2 a representation of a first square partial image of the first individual image, a real subset of pixels of the first square partial image being formed from the pixels which are arranged along a diagonal of the square partial image;
3rd a flowchart of an embodiment of a method for image repetition recognition;
4A a more detailed flowchart of the in 3rd presented procedure;
4B a first section of the flowchart of the in 4A presented procedure;
4C a second section of the flowchart of the in 4A presented procedure; and
5 a representation of an embodiment of a module for image repetition recognition.

Ausführliche BeschreibungDetailed description

Es ist bekannt, dass jede Kamera, welche digitale Bilder aufnimmt, Bildrauschen verursacht. Dabei weichen selbst bei statischen Szenen die Werte zumindest einiger Pixel zeitlich aufeinanderfolgender Einzelbilder voneinander ab. Das Zustandekommen von Bildrauschen und die diesem zugrunde liegenden optischen Effekte sind dem Fachmann bekannt und bedürfen keiner weiteren Erläuterung. Die das Bildrauschen erzeugenden Pixel sind über das gesamte von der Kamera aufgenommenen Bild gleich verteilt und für einen Betrachter mit bloßem Auge oft nicht wahrzunehmen.It is known that any camera that takes digital images creates image noise. Even in the case of static scenes, the values of at least some pixels of individual images that follow one another in time differ from one another. The occurrence of image noise and the optical effects on which it is based are known to the person skilled in the art and do not require any further explanation. The pixels that generate the image noise are evenly distributed over the entire image recorded by the camera and are often imperceptible to the naked eye for a viewer.

Das Ziel des Verfahrens und der Vorrichtung gemäß der folgenden Ausführungsbeispiele besteht nun primär nicht darin, Bildrauschen als solches festzustellen. Vielmehr soll die Wiedergabe zweier vollständig identischer Einzelbilder erkannt werden, beispielsweise bedingt durch den Ausfall einer der Kamera nachgeschalteten Bildverarbeitungskomponente (die häufig mit der Kamera zu einem Kameramodul integriert ist). Dieses Problem kann beispielsweise dann auftreten, wenn eine der Kamera nachgeschaltete Kodiervorrichtung zur Erzeugung eines kodierten Videosignals aus von der Kamera empfangenen Bilddaten eine Fehlfunktion, wie einen Softwaredefekt, aufweist. Es wird in diesem Fall oftmals nur noch das vor Auftreten der Fehlfunktion zuletzt gesendete Einzelbild kontinuierlich weiter ausgegeben. Die nachgelagerten Systeme gehen daher davon aus, dass weiter Bilddaten zur Verarbeitung vorliegen, obwohl diese Bilddaten keine Aussagen mehr über die tatsächlich gerade von der Kamera aufgenommene Szene gestatten. Es liegt auf der Hand, dass ein solcher Fehlerfall beispielsweise bei autonomen und teilautonomen Fahrzeugen zu Unfällen führen kann.The aim of the method and the device according to the following exemplary embodiments is not primarily to determine image noise as such. Rather, the reproduction of two completely identical individual images should be recognized, for example due to the failure of an image processing component connected downstream of the camera (which is often integrated with the camera to form a camera module). This problem can arise, for example, if an encoding device connected downstream of the camera for generating an encoded video signal from image data received by the camera has a malfunction, such as a software defect. In this case, only the single image that was last sent before the malfunction occurred is output continuously. The downstream systems therefore assume that image data are still available for processing, although these image data no longer permit any statements about the scene actually just recorded by the camera. It is obvious that such a fault can lead to accidents, for example in autonomous and semi-autonomous vehicles.

Zur Erkennung derartiger Fehlerfälle kann man sich die oben beschriebene Gleichverteilung der einem Bildrauschen unterliegenden Pixel zunutze machen. Aufgrund der Gleichverteilung der dem Bildrauschen unterliegenden Pixel enthält jede hinreichend große Stichprobe von aufeinanderfolgenden Einzelbilder ein dem Bildrauschen unterliegendes Pixel. Stimmen Anzahl und Position der Pixel der aus jedem Einzelbild entnommenen Stichprobe überein und weichen die Stichproben nicht voneinander ab, kann davon ausgegangen werden, dass vollkommen identische Bilder vorliegen, was auf einen Fehlerfall hinweist. Andernfalls müssten sich aufgrund des Bildrauschens die verglichenen Stichproben unterscheiden.To identify such cases of error, one can look at the above-described uniform distribution of the pixels that are subject to image noise take advantage of. Due to the uniform distribution of the pixels subject to the image noise, each sufficiently large sample of successive individual images contains a pixel subject to the image noise. If the number and position of the pixels of the sample taken from each individual image match and the samples do not differ from one another, it can be assumed that the images are completely identical, which indicates an error. Otherwise, the compared samples would have to differ due to the image noise.

Das oben beschriebene Verfahren zur Erkennung einer Bildwiederholung erfordert jedoch im ungünstigsten Fall, dass zeitlich aufeinanderfolgende Einzelbilder Pixel für Pixel verglichen werden müssen. Dieses Vorgehen ist aufgrund des hohen Berechnungsaufwands vor allem für Echtzeitanwendungen, wie sie für autonome und teilautonome Fahrzeugsysteme unerlässlich sind, nicht praktikabel.In the worst case, however, the method described above for recognizing an image repetition requires that individual images following one another in time have to be compared pixel by pixel. Due to the high computational effort, this procedure is not practicable, especially for real-time applications, which are essential for autonomous and semi-autonomous vehicle systems.

Im Folgenden werden daher ein Verfahren und ein Modul zur Bildwiederholungserkennung anhand verschiedener Ausführungsbeispiele beschrieben, welche das oben erläuterte Problem lösen. Das Verfahren findet beispielsweise auf das von einem Fahrzeugkamera-Modul ausgegebene Videosignal Anwendung. Das Modul zur Bildwiederholungserkennung ist beispielsweise zwischen Fahrzeugkamera-Modul und eine Fahrzeug-Steuereinheit geschaltet (z. B. über Steckkontakte).In the following, therefore, a method and a module for image repetition recognition are described on the basis of various exemplary embodiments, which solve the problem explained above. The method is applied, for example, to the video signal output by a vehicle camera module. The module for image repetition recognition is connected, for example, between the vehicle camera module and a vehicle control unit (e.g. via plug contacts).

Sofern die verschiedenen Ausführungsbeispiele die gleichen oder ähnliche Komponenten aufweisen, werden diese im Folgenden der Einfachheit halber mit den jeweils gleichen Bezugszeichen bezeichnet.If the various exemplary embodiments have the same or similar components, these are referred to below with the same reference numerals for the sake of simplicity.

Die 1A zeigt die Darstellung eines aus Pixeln bestehenden ersten Einzelbildes 10, welches beispielsweise von einer Fahrzeugkamera aufgenommen wurde. Das erste Einzelbild 10 weist unterschiedliche Bildbereiche 12, 14, 16 und 18 auf, welche von einem Betrachter mit unterschiedlicher Intensität wahrgenommen werden. Die unterschiedlichen Intensitäten sind in der 1A mit unterschiedlichen Schraffierungen der einzelnen Bildbereiche 12, 14, 16, 18, 20 dargestellt und können sich auf Farbigkeiten, Helligkeiten usw. der Pixel des Einzelbildes 10 beziehen.The 1A shows the representation of a first single image consisting of pixels 10 , which was recorded, for example, by a vehicle camera. The first frame 10 shows different image areas 12th , 14th , 16 and 18th which are perceived by a viewer with different intensity. The different intensities are in the 1A with different hatching of the individual image areas 12th , 14th , 16 , 18th , 20th and can affect the colors, brightness, etc. of the pixels of the individual image 10 Respectively.

Die 1B zeigt die Darstellung eines dem ersten Einzelbild 10 zeitlich unmittelbar nachfolgenden zweiten Einzelbildes 20. Das zweite Einzelbild 20 weist ebenfalls unterschiedliche Bildbereiche 22, 24, 26 und 28 auf, welche von einem Betrachter mit unterschiedlicher Intensität wahrgenommen werden. Analog zu der Darstellung der 1A sind die unterschiedlichen Intensitäten in der 1B mit unterschiedlichen Schraffierungen der einzelnen Bildbereiche 22, 24, 26 und 28 dargestellt. Wie aus einem Vergleich der 1A und 1B hervorgeht, unterscheiden sich die Bildbereiche 12, 14, 16 und 18 etwas von den Bildbereichen 22, 24, 26 und 28. Das erste Einzelbild 10 und das zweite Einzelbild 20 sind daher unterschiedlich, es liegt also keine Bildwiederholung bedingt durch die oben beschriebene Fehlfunktion eine der Kamera nachgeschalteten Komponente vor.The 1B shows the representation of a first single image 10 chronologically immediately following second single image 20th . The second frame 20th also has different image areas 22nd , 24 , 26th and 28 which are perceived by a viewer with different intensity. Analogous to the representation of the 1A are the different intensities in the 1B with different hatching of the individual image areas 22nd , 24 , 26th and 28 shown. As from a comparison of the 1A and 1B the image areas are different 12th , 14th , 16 and 18th some of the image areas 22nd , 24 , 26th and 28 . The first frame 10 and the second frame 20th are therefore different, i.e. there is no image repetition due to the above-described malfunction of a component downstream of the camera.

Sind die Bildbereiche 12, 14, 16 und 18 hinsichtlich der jeweiligen Pixelwerte hingegen vollständig identisch mit den Bildbereichen 22, 24, 26 und 28, kann von einer durch einen Systemfehler bedingten Bildwiederholung ausgegangen werden. Um diese Bildwiederholung zweifelsfrei festzustellen, wird gemäß dem nachfolgend erörterten Verfahren zunächst vorgeschlagen, jedes der Einzelbilder 10, 20 in eine Mehrzahl von Teilbildern aufzuteilen, wie dies durch die in den 1A und 1B ersichtliche, positionsmäßig übereinstimmende, lediglich angedeutete Rasterung 30 der Einzelbilder 10, 20 in Teilbilder 32, 38 verdeutlicht wird.Are the image areas 12th , 14th , 16 and 18th with regard to the respective pixel values, however, it is completely identical to the image areas 22nd , 24 , 26th and 28 , it can be assumed that the image is repeated due to a system error. In order to determine this image repetition unequivocally, it is initially proposed, according to the method discussed below, that each of the individual images 10 , 20th to be divided into a plurality of partial images, as indicated by the in the 1A and 1B visible, positionally matching, only indicated grid 30th the individual images 10 , 20th in partial images 32 , 38 is made clear.

In der 2 ist ein erstes Teilbild 32 des ersten Einzelbildes 10 dargestellt. Das erste Teilbild 32 entspricht dem oberen linken Teilbild der in der 1A angedeuteten Rasterung 30 und ist in dem Beispiel gemäß 2 ein quadratisches Teilbild. Beispielsweise kann das erste Teilbild 32 genau einem Quadrat des in den 1A und 1B dargestellten Rasters 30 entsprechen. Andere Formen von Teilbildern, beispielsweise rechteckige oder dreieckige Teilbilder, sind von der vorliegenden Offenbarung jedoch mit umfasst.In the 2 is a first partial image 32 of the first frame 10 shown. The first drawing file 32 corresponds to the upper left part of the picture in the 1A indicated grid 30th and is according to the example 2 a square partial image. For example, the first partial image 32 exactly one square of the in the 1A and 1B shown grid 30th correspond. However, other forms of partial images, for example rectangular or triangular partial images, are encompassed by the present disclosure.

Wie in der 2 erkennbar, ist ein Bereich des ersten Teilbildes 32 ebenfalls mit der Schraffierung des Bildbereichs 18 versehen, weist also in diesem Bereich die gleiche von einem Betrachter wahrgenommene Intensität wie der Bildbereich 18 auf. Entlang der Seiten des quadratischen ersten Teilbilds 32 sind 2⁴ = 16 Pixel 34 angeordnet. Das erste Teilbild 32 besteht somit aus eine Gesamtanzahl von 16 mal 16 Pixeln 34. Gemäß der vorliegenden Offenbarung ist es jedoch möglich, dass auch eine andere Anzahl von Pixeln 34 entlang der Seiten der quadratischen Teilbilder angeordnet ist. Vorzugsweise sind entlang der Seiten der quadratischen Teilbilder jeweils 2ⁿ Pixel 34 angeordnet, wobei n eine natürliche Zahl ist. Diese Wahl der Teilbildgröße vereinfacht die Rechenoperationen und begünstigt so die Echtzeit-Verarbeitung.Like in the 2 recognizable is an area of the first partial image 32 also with the hatching of the image area 18th provided, thus has the same intensity perceived by a viewer in this area as the image area 18th on. Along the sides of the first square picture 32 are 2 ⁴ = 16 pixels 34 arranged. The first drawing file 32 thus consists of a total of 16 by 16 pixels 34 . According to the present disclosure, however, it is possible that a different number of pixels 34 is arranged along the sides of the square sub-images. ^{Preferably there are 2 n} pixels along the sides of the square partial images 34 arranged, where n is a natural number. This choice of the sub-image size simplifies the arithmetic operations and thus favors real-time processing.

Von weiterem Interesse sind im vorliegenden Ausführungsbeispiel insbesondere die entlang der beiden Diagonalen 36 des quadratischen Teilbildes 32 angeordneten Pixel 34, welche in der Darstellung der 2 lediglich zur Veranschaulichung hervorgehoben sind. Diese entlang der Diagonalen 36 des quadratischen Teilbildes 32 angeordneten Pixel 34 bilden eine echte Untermenge der Gesamtanzahl der innerhalb des ersten Teilbildes 32 angeordneten Pixel 34. In anderen, nicht dargestellten Ausführungsformen können die die echte Untermenge bildenden Pixel 34 beispielsweise auch entlang einer oder zweier Seitenkanten des quadratischen Teilbildes 32 oder entlang zweier Geraden angeordnet sein, welche das quadratischen Teilbild wiederum in vier kleinere Quadrate unterteilen.In the present exemplary embodiment, those along the two diagonals are of further interest 36 of the square partial image 32 arranged pixels 34 , which in the representation of the 2 for illustration purposes only are highlighted. These along the diagonal 36 of the square partial image 32 arranged pixels 34 form a real subset of the total number within the first sub-image 32 arranged pixels 34 . In other embodiments, not shown, the pixels forming the real subset can 34 for example also along one or two side edges of the square partial image 32 or be arranged along two straight lines, which in turn subdivide the square partial image into four smaller squares.

Wie oben bereits beschrieben, ist jedem der Pixel 34 der Teilbilder ein Pixelwert zugeordnet, der dessen Darstellung beeinflusst. Beispielsweise kann jedes der Pixel 34 mit einem Grau-Wert (z. B. zwischen 0 und 255) versehen sein. Auch kann jedem Pixel ein Tupel aus einem R-, G- und B-Wert (z. B. jeweils zwischen 0 und 255) zugeordnet sein. Gemäß dem vorliegenden Ausführungsbeispiel wird nun nicht jeder der Pixelwerte der innerhalb des ersten Teilbildes 32 angeordneten Pixel 34 berücksichtigt, sondern nur die Pixelwerte der entlang der Diagonalen 36 angeordneten Pixel 34. Aus der Gesamtheit dieser Pixelwerte wird nun ein erster Intensitätswert für das erste Teilbild 32 berechnet, beispielsweise durch ein wenig rechenintensives Aufsummieren der einzelnen Pixelwerte.As described above, each of the pixels is 34 the partial images are assigned a pixel value that influences their display. For example, each of the pixels 34 with a gray value (e.g. between 0 and 255). A tuple consisting of an R, G and B value (e.g. between 0 and 255) can also be assigned to each pixel. According to the present exemplary embodiment, not each of the pixel values now becomes that within the first partial image 32 arranged pixels 34 taken into account, but only the pixel values along the diagonal 36 arranged pixels 34 . A first intensity value for the first partial image is now derived from the totality of these pixel values 32 calculated, for example by adding up the individual pixel values, which is not very computationally intensive.

Für ein nicht dargestelltes, ebenfalls aus 16 mal 16 Pixeln 34 bestehendes zweites Teilbild 38 des zweiten Einzelbildes 20 wird auf dieselbe Weise ein zweiter Intensitätswert aus den Pixelwerten der entlang der Diagonalen 36 angeordneten Pixel 34 berechnet. Die Position des zweiten Teilbildes 38 innerhalb des zweiten Einzelbildes 20 entspricht dabei der Position des ersten Teilbildes 32 innerhalb des ersten Einzelbildes 10, wie aus einer Betrachtung der 1B hervorgeht. Die Teilbilder 32, 38 sind also positionsgleich. Ein Vergleich des ersten und des zweiten Intensitätswerts ermöglicht nun das Erkennen einer Bildwiederholung bezüglich des ersten und des zweiten Einzelbildes 10, 20.For a not shown, also from 16 by 16 pixels 34 existing second partial image 38 of the second frame 20th becomes a second intensity value from the pixel values along the diagonal in the same way 36 arranged pixels 34 calculated. The position of the second sub-image 38 within the second frame 20th corresponds to the position of the first partial image 32 within the first frame 10 as from a consideration of the 1B emerges. The partial images 32 , 38 are therefore in the same position. A comparison of the first and the second intensity value now enables the recognition of an image repetition with regard to the first and the second individual image 10 , 20th .

Da in die Berechnung des ersten und des zweiten Intensitätswerts nicht alle der 16 mal 16 Pixel 34 jedes Teilbildes, sondern nur die entlang der Diagonalen 36 angeordneten Pixel 34 einbezogen werden, wird der für das Erkennen einer Bildwiederholung benötigte Rechenaufwand deutlich verringert. Außerdem kann davon ausgegangen werden, dass die entlang der Diagonalen 36 angeordneten Pixel 34 die meisten der innerhalb des Teilbildes 32 auftretenden unterschiedlichen Pixelwerte repräsentieren. Eine Beschränkung auf die entlang der Diagonalen 36 angeordneten Pixel 34 bietet somit einerseits eine hinsichtlich des Rechenaufwands effiziente Vergleichsmöglichkeit für verschiedene Teilbilder, wobei dennoch die meisten der innerhalb der Teilbilder auftretenden unterschiedlichen Pixelwerte berücksichtigt werden.Because not all of the 16 by 16 pixels are used in the calculation of the first and second intensity values 34 of each partial image, but only those along the diagonal 36 arranged pixels 34 are included, the computational effort required for recognizing an image repetition is significantly reduced. It can also be assumed that the along the diagonals 36 arranged pixels 34 most of the within the sub-picture 32 represent occurring different pixel values. A restriction to those along the diagonal 36 arranged pixels 34 thus offers, on the one hand, an efficient comparison option for different partial images with regard to the computational effort, with most of the different pixel values occurring within the partial images still being taken into account.

Die einzelnen Verfahrensschritte eines auf den obigen Erläuterungen basierenden Verfahrens zur Bildwiederholungserkennung sind in dem Ablaufdiagramm gemäß der 3 dargestellt. Das Verfahren kann beispielweise von einem Prozessor, insbesondere einer Central Processing Unit (CPU) oder einer Graphical Processing Unit (GPU), durchgeführt werden.The individual method steps of a method for image repetition recognition based on the above explanations are shown in the flowchart according to FIG 3rd shown. The method can for example be carried out by a processor, in particular a central processing unit (CPU) or a graphical processing unit (GPU).

In Schritt S101 werden zumindest zwei zeitlich aufeinanderfolgende Einzelbilder 10, 20 empfangen. Diese Einzelbilder 10, 20 wurden oben unter Bezug auf die 1A und 1B erläutert.In step S101 are at least two consecutive individual images 10 , 20th receive. These frames 10 , 20th have been referred to above with reference to the 1A and 1B explained.

Die Einzelbilder 10, 20 werden in Schritt S102 in zumindest zwei Teilbilder 32, 38 aufgeteilt. Die Teilbilder 32, 38 können beispielsweise gemäß der 2 quadratisch sein und eine Anzahl von 2ⁿ mal 2ⁿ Pixeln 34 umfassen.The single images 10 , 20th be in step S102 in at least two partial images 32 , 38 divided up. The partial images 32 , 38 can for example according to the 2 be square and a number of 2 ⁿ by 2 ⁿ pixels 34 include.

In den Schritten S103 und S104 werden gemäß den obigen Ausführungen zu 2 ein erster und zweiter Intensitätswert berechnet. Der erste und der zweite Intensitätswert werden in Schritt S105 verglichen. In Schritt S106 erfolgt das Erkennen einer Bildwiederholung basierend auf dem Vergleich. Konkret wird beispielweise bei Feststellen einer Abweichung der beiden Intensitätswerte ermittelt, dass keine Bildwiederholung vorliegt.In the steps S103 and S104 are in accordance with the above 2 a first and a second intensity value are calculated. The first and second intensity values are in step S105 compared. In step S106 an image repetition is recognized based on the comparison. Specifically, for example, when a discrepancy between the two intensity values is determined, it is determined that there is no image repetition.

In den 4A, 4B und 4C werden die einzelnen Teilschritte des Verfahrens gemäß der 3 genauer erläutert. Die 4B zeigt hierbei eine Verfahrensdurchführung für den Fall, dass in Schritt S106 gemäß der Verfahrensdurchführung nach 3 eine zumindest annähernde Übereinstimmung des ersten und des zweiten Intensitätswertes erkannt wurde. Die 4C zeigt hingegen eine Verfahrensdurchführung für den Fall, dass in Schritt S106 gemäß der Verfahrensdurchführung nach 3 keine zumindest annähernde Übereinstimmung des ersten und des zweiten Intensitätswertes erkannt wurde.In the 4A , 4B and 4C the individual sub-steps of the procedure according to the 3rd explained in more detail. The 4B shows a method implementation for the case that in step S106 according to the implementation of the procedure 3rd an at least approximate correspondence of the first and the second intensity value was recognized. The 4C shows, however, a method implementation for the case that in step S106 according to the implementation of the procedure 3rd no at least approximate correspondence of the first and the second intensity value was recognized.

Das in 4A dargestellte Verfahren beginnt mit dem Empfangen von Einzelbildern in Schritt S201 und dem Aufteilen der Einzelbilder in Teilbilder in Schritt S202. Die Schritte S201 und S202 entsprechen den Schritten S101 und S102 der Verfahrensdurchführung gemäß 3.This in 4A The illustrated method begins with the reception of individual images in step S201 and dividing the individual images into partial images in step S202 . The steps S201 and S202 correspond to the steps S101 and S102 the procedure according to 3rd .

Es ist darauf hinzuweisen, dass in manchen Implementierungen in Schritt S201 lediglich bei der allerersten Iteration zwei aufeinanderfolgende Einzelbilder 10, 20 empfangen werden. Bei der zweiten, dritten, usw. Iteration muss dann nur jeweils ein einziges weiteres Einzelbild empfangen und in Teilbilder zur Intensitätswertbereichnung aufgeteilt werden, da für das unmittelbar vorhergehende Einzelbild 20 ja die Teilbild-Intensitätswerte bereits in der vorangegangenen Interation berechnet (und abgespeichert) worden sind.It should be noted that in some implementations in step S201 only in the very first iteration two consecutive frames 10 , 20th be received. In the second, third, etc. iteration then only a single additional single image has to be received and stored in Sub-images are divided for the intensity value range, since for the immediately preceding individual image 20th yes, the field intensity values have already been calculated (and stored) in the previous iteration.

In Schritt S203 wird der Startwert einer Variable „ZUSTAND“ auf „UNVERÄNDERT“ gesetzt. Dabei ist die Variable ZUSTAND für das Vorliegen oder Nicht-Vorliegen einer Bildwiederholung kennzeichnend.In step S203 the start value of a variable “STATE” is set to “UNCHANGED”. The STATE variable is indicative of the presence or absence of a picture repetition.

Nach dem Setzen des Startwerts der Variablen ZUSTAND erreicht das Verfahren den Einstiegspunkt A. An diesen Einstiegspunkt A kann abhängig vom weiteren Verfahrensverlauf in der Verfahrensdurchführung wieder zurück gesprungen werden.After the start value of the STATE variable has been set, the process reaches entry point A. At this entry point A, depending on the further course of the process in the process execution, it is possible to jump back again.

Nach dem Einstiegspunkt A folgt der paarweise Intensitätswertvergleich entsprechender Teilbilder unterschiedlicher Einzelbilder. Der Vergleich der jeweiligen Teilbilder beginnt wiederum mit dem Berechnen des ersten Intensitätswerts für ein erstes Teilbild 32 des ersten Einzelbildes 10 (Schritt S204) und dem Berechnen des zweiten Intensitätswerts für ein zweites Teilbild 38 des zweiten Einzelbildes 20 (Schritt S205), wie oben im Zusammenhang mit den 2 und 3 erläutert. Die jeweiligen Positionen der Teilbilder 32, 38 in den Einzelbildern 10, 20 stimmen dabei ebenso überein wie die Positionen der zur Berechnung der Intensitätswerte jeweils herangezogenen Pixel.After entry point A, the paired intensity value comparison of corresponding partial images of different individual images follows. The comparison of the respective partial images begins again with the calculation of the first intensity value for a first partial image 32 of the first frame 10 (Step S204 ) and calculating the second intensity value for a second partial image 38 of the second frame 20th (Step S205 ), as above in connection with the 2 and 3rd explained. The respective positions of the partial images 32 , 38 in the frames 10 , 20th agree, as do the positions of the pixels used to calculate the intensity values.

Bei der hier dargestellten iterativen Durchführung des Intensitätswertvergleichs kann der Intensitätswert für das erste Teilbild 32 bereits in einer vorhergehenden Iteration berechnet worden sein (also bei einem Vergleich für ein dem ersten Einzelbild 10 vorangegangenes Einzelbild mit dem ersten Einzelbild 10). In diesem Fall kann der entsprechende Intensitätswert für das erste Teilbild 32 unmittelbar nach dessen Berechnung in der vorhergehenden Iteration in einem Speicher abgespeichert und in Schritt S204 wieder aus dem Speicher geladen werden.In the iterative implementation of the intensity value comparison shown here, the intensity value for the first partial image can be used 32 have already been calculated in a previous iteration (i.e. when comparing a first single image 10 previous frame with the first frame 10 ). In this case, the corresponding intensity value for the first partial image 32 stored in a memory immediately after its calculation in the previous iteration and in step S204 reloaded from memory.

Die beiden in den Schritten S204 und S205 berechneten oder geladenen Intensitätswerte werden in Schritt S206 miteinander verglichen. In Schritt S207 wird überprüft, ob bei dem Vergleich des ersten und des zweiten Intensitätswerts gemäß Schritt S206 eine Übereinstimmung des ersten und des zweiten Intensitätswerts festgestellt wurde. Ist dies nicht der Fall (liegt also keine Bildwiederholung vor), wird das Verfahren gemäß der Verfahrensdurchführung der 4C fortgesetzt. Siehe den Übergangspunkt C in den 4A und 4C.The two in the steps S204 and S205 calculated or loaded intensity values are shown in step S206 compared to each other. In step S207 it is checked whether the comparison of the first and the second intensity value according to step S206 a match between the first and the second intensity value has been established. If this is not the case (there is no image repetition), the method is carried out according to the method implementation 4C continued. See transition point C in 4A and 4C .

Wird hingegen in Schritt S207 eine zumindest annähernde und (bei ganzzahligen Intensitätswerten insbesondere exakte) Übereinstimmung des ersten und des zweiten Intensitätswerts festgestellt, liegt also möglicherweise eine Bildwiederholung vor, wird das Verfahren gemäß der Verfahrensdurchführung der 4B fortgesetzt. Siehe den Übergangspunkt B in den 4A und 4B.However, in step S207 an at least approximate and (in the case of integer intensity values, in particular exact) correspondence of the first and the second intensity value is established, that is, if an image repetition is possibly present, the method is carried out according to the method implementation of 4B continued. See transition point B in 4A and 4B .

Im Folgenden wird zunächst die Verfahrensdurchführung gemäß 4C erläutert, wenn also keine Bildwiederholung vorliegt. Die Verfahrensdurchführung gemäß 4C beginnt mit Schritt S208. In Schritt S208 wird der Wert der Variable ZUSTAND auf „VERÄNDERT“ gesetzt. Mit anderen Worten wird im Verfahrensablauf signalisiert, dass das Nicht-Vorliegen einer Bildwiederholung erkannt wurde.In the following, the procedure is initially carried out in accordance with 4C explained, so if there is no image repetition. The procedure according to 4C starts with step S208 . In step S208 the value of the STATE variable is set to "CHANGED". In other words, it is signaled in the process sequence that the non-existence of an image repetition was recognized.

Derjenige zweite Intensitätswert, für den in Schritt S207 eine zumindest annähernde Übereinstimmung mit einem ersten Intensitätswert ermittelt wurde, wird in Schritt S209 als Referenzwert für weitere Vergleiche mit Intensitätswerten positionsgleicher Teilbilder eines dem zweiten Einzelbild 20 zeitlich nachfolgenden dritten Einzelbilds in dem bereits oben angesprochenen Speicher hinterlegt, um bei der nächsten Iteration nicht neu berechnet werden zu müssen. Dafür kann in einem Speicherbereich des Speichers für alle betrachtbaren Teilbildpositionen eines Einzelbilds ein Intensitätswert-Speicherfeld definiert sein. Die Intensitätswerte möglicherweise vorhergehender Vergleiche müssen nicht erneut abgespeichert werden, da diese Vergleiche ja eine Übereinstimmung geliefert haben (vgl. Schritt S207). Mit anderen Worten haben sich die Intensitätswerte, die jeweils einer bestimmten Teilbildposition im Speicherbereich zugeordnet sind, nicht geändert, so dass auch die Speicherfeldinhalte noch aktuell sind.The second intensity value for the in step S207 an at least approximate correspondence with a first intensity value has been determined in step S209 as a reference value for further comparisons with intensity values of partial images of the same position of the second individual image 20th chronologically following third single image is stored in the memory already mentioned above so that it does not have to be recalculated in the next iteration. For this purpose, an intensity value memory field can be defined in a memory area of the memory for all viewable partial image positions of an individual image. The intensity values of possibly previous comparisons do not have to be saved again, since these comparisons have provided a match (see step S207 ). In other words, the intensity values that are each assigned to a specific partial image position in the memory area have not changed, so that the memory field contents are also still up-to-date.

In Schritt S210 wird überprüft, ob ein vorzeitiger Verfahrensabbruch erlaubt ist. Vorzeitig bedeutet, dass nicht für alle Teilbilder des zuletzt empfangenen Einzelbilds 20 ein Intensitätswert berechnet wird (was ja nicht erforderlich ist, wenn beispielsweise bereits beim Vergleich der jeweils logisch ersten Teilbilder beider Einzelbilder 10, 20 eine Übereinstimmung der Einzelbilder verneint werden kann). Ein vorzeitiger Verfahrensabbruch kann beispielsweise alle m Einzelbildvergleiche unterbunden sein, mit beispielsweise m = 2^q, wobei q eine natürliche Zahl ist.In step S210 it is checked whether a premature termination of the procedure is permitted. Prematurely means that not for all partial images of the last received single image 20th an intensity value is calculated (which is not necessary if, for example, already when comparing the logically first partial images of the two individual images 10 , 20th a match of the individual images can be denied). A premature termination of the method can be prevented, for example, every m individual image comparisons, with, for example, m = 2 ^q , where q is a natural number.

Ist ein vorzeitiger Verfahrensabbruch hingegen erlaubt, kann die Verfahrensdurchführung für das erste und das zweite Einzelbild 10, 20 beendet werden. Es wird dann auf das nächste Einzelbild gewartet und mit Schritt S201 neu begonnen. Andernfalls wird die Verfahrensdurchführung gemäß der 4B fortgesetzt, so dass für alle Teilbilder des aktuell betrachteten Einzelbildes 20 ein aktueller Intensitätswert in Schritt S209 berechnet und im Speicherbereich positionsgerecht abgespeichert werden kann. Siehe den Übergangspunkt B in den 4B und 4C. Auf die Überprüfung, ob ein vorzeitiger Verfahrensabbruch erlaubt ist, wird unten noch einmal näher eingegangen.If, on the other hand, a premature termination of the process is permitted, the process can be carried out for the first and the second individual image 10 , 20th be terminated. It is then waited for the next single image and with step S201 restarted. Otherwise, the procedure will be carried out in accordance with 4B continued, so that for all partial images of the currently viewed individual image 20th a current intensity value in step S209 can be calculated and stored in the memory area in the correct position. See transition point B in 4B and 4C . On checking whether a premature Termination of the procedure is allowed, will be discussed in more detail below.

Die Verfahrensdurchführung gemäß 4B beginnt mit Schritt S211. In Schritt S211 wird überprüft, ob noch weitere Teilbilder 32, 38 des ersten und des zweiten Einzelbildes 10, 20 vorliegen. Falls die Überprüfung in Schritt S211 ein positives Ergebnis liefert, wird die Verfahrensdurchführung gemäß der Schritte S204 bis S210 für die logsich nächsten Teilbilder der Einzelbilder 10, 20 wiederholt. Die Verfahrensdurchführung wird also am Einstiegspunkt A fortgesetzt. Erfolgt der Sprung zu Übergangspunkt B ausgehend von der Verfahrensvariante gemäß 4C, werden dann weitere Intensitätswerte für weitere Teilbilder des zweiten Einzelbildes 20 berechnet und als Referenzwert für einen Vergleich mit dritten Teilbildern eines nachfolgenden dritten Einzelbildes abgespeichert. Es findet also eine erzwungene Aktualisierung der Intensitätswerte aller Teilbilder des zweiten Einzelbildes 20 statt, obwohl im vorausgegangenen Schritt S207 eine Bildwiederholung bereits ausgeschlossen werden konnte.The procedure according to 4B starts with step S211 . In step S211 a check is made as to whether there are any further partial images 32 , 38 of the first and second frames 10 , 20th are present. If the check in step S211 delivers a positive result, the procedure is carried out in accordance with steps S204 to S210 for the logically next partial images of the individual images 10 , 20th repeated. The implementation of the method is therefore continued at entry point A. If the jump to transition point B takes place based on the method variant according to 4C , then become further intensity values for further partial images of the second individual image 20th calculated and stored as a reference value for a comparison with third partial images of a subsequent third individual image. There is therefore a forced update of the intensity values of all partial images of the second individual image 20th instead, although in the previous step S207 an image repetition could already be excluded.

Das Unterbinden eines vorzeitigen Abbruchs der Aktualisierung aller Intensitätswerte für das aktuelle Einzelbild 20 trotz erkanntem Unterschied zum vorausgegangenem Einzelbild 10 erhöht einerseits die für das Durchführen des aktuellen Zyklus benötigte Zeit, was insbesondere bei Echtzeitanwendungen eigentlich unerwünscht ist. Andererseits erlaubt dieses Vorgehen eine freie Wahl einer zeitlichen Obergrenze für die Fehlerzustandserkennung einer Bildwiederholung in Abhängigkeit des oben erläuterten Parameters m bzw. q.Preventing premature termination of the update of all intensity values for the current individual image 20th despite the recognized difference to the previous single image 10 on the one hand increases the time required to carry out the current cycle, which is actually undesirable in real-time applications in particular. On the other hand, this procedure allows a free choice of an upper time limit for the error state detection of an image repetition as a function of the parameter m or q explained above.

Ohne die erzwungene Aktualisierung aller Teilbild-Intensitätswerte für das aktuelle Einzelbild 20 ist die Anzahl der Einzelbilder, die zur Fehlerzustandserkennung erforderlich wäre, im ungünstigsten Fall gleich der Anzahl der Teilbilder eines Einzelbildes. Dies ist genau dann der Fall, wenn der letzte Abbruch bereits für das erste betrachtete Teilbild erfolgt ist und sich abgesehen vom dem entsprechenden aktuell berechneten und abgespeicherten (vgl. Schritt 209) Intensitätswert alle anderen, vormals im Speicher abgespeicherten Teilbild-Intensitätswerte sich daher von den Intensitätswerten des aktuellen Einzelbildes 20 unterscheiden. Durch die Abweichung aller gespeicherten nachfolgenden Teilbild-Intensitätswerte wird dann sukzessive bei dem nächsten Einzelbild für das zweite betrachtete Teilbild (fälschlicherweise) keine Bildwiederholung erkannt (aber es wird ein weiterer Intensitätswert korrekterweise aktualisiert und abgespeichert), bei dem darauf folgenden Einzelbild erst für das dritte betrachtete Teilbild, und so weiter, bis alle Intensitätswerte korrekterweise aktualisiert werden konnten.Without the forced update of all field intensity values for the current single image 20th the number of individual images that would be required to identify the error state is, in the worst case, equal to the number of partial images of a single image. This is precisely the case when the last termination has already taken place for the first partial image viewed and apart from the corresponding currently calculated and stored one (see step 209 ) Intensity value All other partial image intensity values previously stored in the memory therefore differ from the intensity values of the current individual image 20th distinguish. Due to the discrepancy between all the stored subsequent partial image intensity values, no image repetition is (incorrectly) recognized successively in the next individual image for the second partial image viewed (but a further intensity value is correctly updated and stored), in the case of the subsequent individual image only for the third viewed Partial image, and so on, until all intensity values could be correctly updated.

In der Praxis kann der oben geschilderte Vorgang je nach Einzelbild-Wiederholrate der verwendeten Kamera und der Anzahl der Teilbilder pro Einzelbild mehrere Sekunden eines andauernden Empfangs identischer Einzelbilder dauern, bis eine Bildwiederholung tatsächlich erkannt werden kann. Diese Zeitdauer ist für viele Anwendungsfälle zu lange. Durch geeignete Wahl des Parameters m bzw. q kann hingegen beispielsweise alle 500 ms (oder kürzer) eine erzwungene Aktualisierung stattfinden, indem ein vorzeitiger Abbruch nicht gestattet wird (Schritt S210). Auf diese Weise wird die Höchstdauer der Fehlerzustandserkennung dann ebenfalls auf 500 ms (oder kürzer) begrenzt. Wenn der Parameter m k bzw. q größer wird, verringert sich der Rechenaufwand, während die Anzahl der Iterationen zur Fehlerzustandserkennung zunimmt.In practice, depending on the frame repetition rate of the camera used and the number of partial images per single image, the process described above can take several seconds of continuous reception of identical single images until an image repetition can actually be recognized. This period of time is too long for many applications. By suitably selecting the parameter m or q, however, a forced update can take place, for example, every 500 ms (or less) by not allowing premature termination (step S210 ). In this way, the maximum duration of the error status detection is then also limited to 500 ms (or less). If the parameter mk or q becomes larger, the computational effort is reduced, while the number of iterations for error state detection increases.

Liefert die Überprüfung in Schritt S211 hingegen ein negatives Ergebnis, liegen also keine weiteren Teilbilder des zweiten Einzelbildes vor, wird in Schritt S212 überprüft, welchen Wert die Variable ZUSTAND hat. Wurde der Wert der Variablen ZUSTAND während der gesamten Verfahrensdurchführung nicht geändert (ist der Wert der Variablen ZUSTAND also immer noch auf UNVERÄNDERT), deutet dies auf eine Bildwiederholung zumindest zweier zeitlich aufeinander folgender Einzelbilder hin. In diesem Fall wird in Schritt S213 eine Fehlermeldung, beispielsweise an eine Fahrzeug-Steuereinheit ausgegeben. Wurde der Wert Variable ZUSTAND hingegen während der Verfahrensdurchführung geändert, deutet dies darauf hin, dass sich die zeitlich aufeinander folgenden Einzelbilder nicht wiederholt haben. In diesem Fall kann die aktuelle Iteration beendet und die nächste Iteration mit dem Empfang des nächsten Einzelbildes begonnen werden.Provides the verification in step S211 on the other hand, a negative result, that is to say there are no further partial images of the second individual image, is shown in step S212 checks the value of the STATE variable. If the value of the STATE variable was not changed during the entire process (i.e. if the value of the STATE variable is still UNCHANGED), this indicates a repetition of at least two consecutive individual images. In this case, step S213 an error message, for example output to a vehicle control unit. If, on the other hand, the variable STATE value was changed while the method was being carried out, this indicates that the individual images following one another in time have not been repeated. In this case, the current iteration can be ended and the next iteration can be started with the reception of the next individual image.

5 zeigt ein Ausführungsbeispiel einer Vorrichtung 300 zur Bildwiederholungserkennung. Die Vorrichtung 300 umfasst eine Eingangsschnittstelle 302, eine Auswerteeinrichtung 304 und eine Ausgangsschnittstelle 310. Die Schnittstellen 304, 310 können als Steckkontakte ausgebildet sein. Die Vorrichtung 300 ist zur Durchführung des im Zusammenhang mit den 2 bis 4 beschriebenen Verfahrens zur Bildwiederholungserkennung konfiguriert. 5 shows an embodiment of a device 300 for image repetition detection. The device 300 includes an input interface 302 , an evaluation device 304 and an output interface 310 . The interfaces 304 , 310 can be designed as plug contacts. The device 300 is to carry out the in connection with the 2 to 4th described method for image repetition detection configured.

Die Eingangsschnittstelle 302 ist zum Empfangen eines Videosignals mit zeitlich aufeinanderfolgenden Einzelbildern von einer Kamera 312, beispielsweise einer Fahrzeugkamera, ausgebildet. Die Kamera 312 kann als Kamera-Modul ausgeführt sein, welches eine Einrichtung zur Kodierung der von der eigentlichen Kamera 312 aufgenommenen Bilddaten gemäß einem Videokodierungsstandard umfassen kann. Das entsprechende Kameramodul gibt also ein kodiertes Videosignal aus.The input interface 302 is for receiving a video signal with temporally consecutive frames from a camera 312 , for example a vehicle camera, formed. The camera 312 can be designed as a camera module, which is a device for coding the from the actual camera 312 may include recorded image data according to a video coding standard. The corresponding camera module outputs an encoded video signal.

Die Auswerteeinrichtung 304 umfasst ein Bildwiederholungserkennungsmodul 306 und ein logisches Bildgatter 308. Das empfangene Videosignal wird von der Eingangsschnittstelle 302 sowohl an das Bildwiederholungserkennungsmodul 306 wie auch an das logische Bildgatter 308 weitergeleitet. Wird von dem Bildwiederholungserkennungsmodul 306 eine Bildwiederholung gemäß dem oben beschriebenen Verfahren erkannt, gibt dieses über einen logischen Kanal 310a einen Fehlerzustand (z. B. durch Setzen eines Flags) an eine der Vorrichtung 300 logisch nachgeschaltete Fahrzeug-Steuereinheit 314 aus. Die Fahrzeug-Steuereinheit 314 kann basierend auf dem Fehlersignal entsprechende Gegenmaßnahmen einleiten, um den negativen Auswirkungen einer fehlerhaften Bildwiederholung entgegenzuwirken. Weiterhin wird bei Erkennen einer Bildwiederholung von dem Bildwiederholungserkennungsmodul 306 ein Fehlersignal (z. B. durch Setzen eines Flags) an das logische Bildgatter 308 gesandt. Das Fehlersignal führt zu einem Schließen des Bildgatters 308. Mit anderen Worten wird bei Erkennung einer Bildwiederholung das von der Kamera 312 übertragene Videosignal von der Vorrichtung 300 nicht an die Fahrzeug-Steuereinheit 314 weitergeleitet.The evaluation device 304 comprises an image repetition recognition module 306 and a logical image gate 308 . The received video signal is from the input interface 302 both to the image repetition detection module 306 as well as the logical picture gate 308 forwarded. Used by the image repetition detection module 306 If an image repetition is recognized according to the method described above, this is transmitted via a logical channel 310a an error condition (e.g. by setting a flag) to one of the devices 300 Logically downstream vehicle control unit 314 out. The vehicle control unit 314 can initiate appropriate countermeasures based on the error signal in order to counteract the negative effects of an incorrect image repetition. Furthermore, when a picture repetition is detected, the picture repetition detection module 306 an error signal (e.g. by setting a flag) to the logical picture gate 308 sent. The error signal leads to a closing of the image gate 308 . In other words, when a repetition of the image is detected, this is done by the camera 312 transmitted video signal from the device 300 not to the vehicle control unit 314 forwarded.

Wird hingegen von dem Bildwiederholungserkennungsmodul 306 erkannt, dass keine Bildwiederholung vorliegt, wird über den logischen Kanal 310a kein Signal (und auch kein Fehlerzustand) an die Fahrzeug-Steuereinheit 314 ausgegeben. In diesem Fall wird von dem Bildwiederholungserkennungsmodul 306 ein Bestätigungssignal an das Bildgatter 308 übertragen. Das Bildgatter 308 leitet basierend auf dem Bestätigungssignal das von der Kamera 312 empfangene Videosignal über einen logischen Kanal 310b der Ausgangsschnittstelle 310 unverändert an die Fahrzeug-Steuereinheit 314 weiter.On the other hand, it is used by the image repetition recognition module 306 it is recognized that there is no image repetition via the logical channel 310a no signal (and also no error status) to the vehicle control unit 314 issued. In this case, the image repetition recognition module 306 an acknowledgment signal to the image gate 308 transfer. The image gate 308 directs that from the camera based on the confirmation signal 312 received video signal over a logical channel 310b the output interface 310 unchanged to the vehicle control unit 314 further.

Die Eingangsschnittstelle 302 und/oder die Ausgangsschnittstelle 310 können als Hardware-Schnittstelle, insbesondere als Steckkontakt ausgebildet sein. Hierdurch kann die Vorrichtung 300 mit einer Vielzahl von Kameras 312 und/oder Fahrzeug-Steuereinheiten 314 über die jeweilige Hardware-Schnittstelle verbunden werden. Die Vorrichtung 300 kann dementsprechend unabhängig von einer Kamera 312 und/oder einer Fahrzeug-Steuereinheit 314 verwendet werden. Insbesondere wird dadurch eine Nachrüstung von bereits in einem Fahrzeug verbauten Kameras 312 und/oder Steuereinheiten 314 mit der Vorrichtung 300 ermöglicht.The input interface 302 and / or the output interface 310 can be designed as a hardware interface, in particular as a plug contact. This allows the device 300 with a variety of cameras 312 and / or vehicle control units 314 connected via the respective hardware interface. The device 300 can accordingly be independent of a camera 312 and / or a vehicle control unit 314 be used. In particular, this enables cameras already installed in a vehicle to be retrofitted 312 and / or control units 314 with the device 300 enables.

Gemäß den hier vorgestellten Ausführungsbeispielen werden nur für eine echte Untermenge aller Pixel eines Teilbildes Intensitätswerte berechnet. Beispielsweise sind die Pixel der echten Untermenge entlang der Diagonalen eines quadratischen Teilbildes angeordnet. Dadurch werden der Speicheraufwand (um bis zu einem Faktor 2²ⁿ) verringert, und auch der für die Bildwiederholungserkennung benötigte Rechenaufwand wird reduziert (um bis zu einem Faktor 2^n-1). Gleichzeitig kann die Ermittlung der Pixel auf der Teilbilddiagonalen durch eine einfache Bit-Verschiebung geschehen, die einer vorgegebenen Pixelanzahl entspricht, und damit wenig rechenintensiv implementiert werden.According to the exemplary embodiments presented here, intensity values are calculated only for a real subset of all pixels of a partial image. For example, the pixels of the real subset are arranged along the diagonal of a square partial image. This reduces the memory expenditure (by up to a factor of 2 ²ⁿ ), and the computational expenditure required for the image repetition recognition is also reduced (by up to a factor of 2 ^n-1 ). At the same time, the determination of the pixels on the partial image diagonal can take place by means of a simple bit shift, which corresponds to a predetermined number of pixels, and can thus be implemented with little computation-intensive.

Weiterhin werden die von einer Kamera empfangenen Einzelbilder in einer Variante in eine Anzahl 2ⁿ Teilbilder aufgeteilt, und für eine Anzahl 2^q Verfahrensdurchführungen findet eine erzwungene Aktualisierung der Intensitätswerte der Teilbilder des zuletzt empfangenenEinzelbildes statt. Aufgrund der verwendeten Zweier-Potenzen sind alle für die Verfahrensdurchführung notwendigen Operationen in Form von Bit-Verschiebungen oder Und-/Oder-Operatoren darstellbar. Eine derartige Darstellung von Operationen ist für Prozessoren besonders effizient zu berechnen.Furthermore, in a variant, the individual images received by a camera are ^{divided into a number of 2 n} partial images, and a forced update of the intensity values of the partial images of the last received individual image takes place for a number of 2 ^{q process executions.} Because of the powers of two that are used, all operations necessary for carrying out the method can be represented in the form of bit shifts or and / or operators. Such a representation of operations can be calculated particularly efficiently for processors.

Schließlich kann durch entsprechende Wahl der Parameter n und m bzw. q die Verfahrensdurchführung an verschiedene Kamerasysteme und/oder Fahrzeug-Steuereinheiten angepasst werden. Wird etwa der Parameter m erhöht, verringert sich dadurch der Speicher- und Rechenaufwand, allerdings steigt die Wahrscheinlichkeit einer Falscherkennung der Bildwiederholung. Wird andererseits der Parameter q erhöht, verringert sich dadurch der Rechenaufwand, während die Anzahl der Iterationen, die für eine Bildwiederholungserkennung notwendig sind, steigt.Finally, the implementation of the method can be adapted to different camera systems and / or vehicle control units by appropriate selection of the parameters n and m or q. If, for example, the parameter m is increased, the storage and computation expenditure is reduced, but the probability of incorrect detection of the image repetition increases. If, on the other hand, the parameter q is increased, the computational effort is reduced, while the number of iterations required for image repetition recognition increases.

Die hier vorgestellte Lösung eignet sich vor allem für Echtzeitanwendungen, beispielsweise für Kraftfahrzeuge oder die Robotik.The solution presented here is particularly suitable for real-time applications, for example for motor vehicles or robotics.

Claims

Method for image repetition recognition, comprising: receiving (S101) a video signal with temporally successive individual images (10, 20), each individual image comprising a plurality of pixels (34); Dividing (S102) each of the individual images into partial images (32, 38); Calculating (S103) a first intensity value for a first partial image (32) of a first single image (10) based on a real subset of the pixels (34) of the first partial image (10) and calculating (S104) a second intensity value for a second partial image (38) ) a second single image (20) based on the real subset of the pixels (34) of the second partial image (38), - wherein a position of the second partial image (38) within the second single image (20) of a position of the first partial image (32) of the first single image (10) and - wherein a position of the pixels (34) of the real subset within the second partial image (38) corresponds to a position of the pixels (34) of the real subset within the first partial image (10); Comparing (S105) the first intensity value with the second intensity value; and recognizing (S106) an image repetition based on the comparison.

Procedure according to Claim 1 wherein at least some of the pixels (34) of the real subset are arranged along at least one straight line (36) within the respective partial image (32, 38).

Procedure according to Claim 2 , wherein the at least one straight line (36) is a diagonal within the respective partial image (32, 38).

Method according to one of the preceding claims, wherein the division (S102) of the individual images into square partial images (32, 38) takes place.

Procedure according to Claim 4 wherein for a number N of the pixels (34) arranged along sides of the square partial images (32, 38) the following applies:

N = 2^{n},

where n is a natural number.

Method according to one of the preceding claims, wherein each of the pixels (34) is assigned at least one pixel value which influences the way in which it is displayed; wherein the first and the second intensity value are calculated from the pixel values which are assigned to the real subset of the pixels (34) of the respective partial image (32, 38).

Procedure according to Claim 6 , wherein the at least one pixel value is selected from the following set of values: red value, green value, blue value, grayscale value and alpha value.

Procedure according to Claim 6 or 7th wherein the calculation of the first and the second intensity value comprises a summation of the pixel values which are assigned to the real subset of the pixels (34) of the respective partial image (32, 38).

Method according to one of the preceding claims, wherein the first and the second intensity value are each an integer value.

Method according to one of the preceding claims, wherein it is recognized that there is no image repetition if the comparison (S105) of the first intensity value with the second intensity value does not result in a match.

Method according to one of the preceding claims, wherein the comparison (S105) of the respective first intensity value with the respective second intensity value takes place for two or more partial images (32, 38) of the first individual image (10) and the second individual image (20).

Procedure according to Claim 11 , whereby it is recognized that there is an image repetition when the comparison (s105) of the respective first intensity value with the respective second intensity value for all partial images of the first individual image (10) and the second individual image (20) results in an at least approximate correspondence.

Procedure according to the Claims 11 and 12th , the first intensity value of different first partial images of the first individual image (10) being compared with second partial images of the second individual image (20) corresponding to the second intensity value in each case until a certain comparison does not result in at least an approximate correspondence.

Procedure according to Claim 13 , with no further intensity values being calculated after the determined comparison for partial images (32, 38) of the first and second individual images (10, 20) for which no comparison has yet taken place.

Procedure according to Claim 13 , wherein, following the determined comparison, further intensity values are calculated and stored for further partial images of at least the second individual image (20) for which a comparison has not yet taken place.

Procedure according to Claim 15 , the second individual image (20) following the first individual image (10) in time, one or more of the intensity values stored for the further partial images being used for image repetition detection between the second individual image (20) and a third individual image chronologically following the second individual image.

Procedure according to the Claims 14 and 15th , whereby the procedure is carried out according to Claim 14 and the procedure according to Claim 15 alternate, in particular on a number 2 ^q of process implementations according to Claim 15 a procedure according to Claim 14 follows, where q is a natural number.

Device (300) for image repetition recognition, comprising: an input interface (302) which is designed to receive a video signal with temporally successive individual images (10, 20), wherein each frame (10, 20) comprises a plurality of pixels (34); and an evaluation device (304, 306, 308) which is designed to: - divide each of the individual images into partial images (32, 38); - Calculating a first intensity value for a first partial image (32) of a first single image (10) based on a real subset of the pixels (34) of the first partial image (32) and calculating a second intensity value for a second partial image (38) of a second single image ( 20) based on the real subset of the pixels (34) of the second partial image (38), with a position of the second partial image (38) within the second individual image (20) a position of the first partial image (32) within the first individual image (10) and wherein a position of the pixels (34) of the real subset within the second partial image (38) corresponds to a position of the pixels (34) of the real subset within the first partial image (32); - comparing the first intensity value with the second intensity value; and - recognizing an image repetition based on the comparison.

Device (300) according to Claim 18 configured for outputting the video signal to a vehicle control unit (314) if no image repetition was recognized and / or outputting an error message to the / a vehicle control unit (314) if an image repetition was recognized.

Device (300) according to one of the Claims 18 and 19th , wherein the input interface (302) is designed as a hardware interface, in particular as a plug contact, and / or wherein the device (300) comprises an output interface (310), which is designed as a hardware interface, in particular as a plug contact.

A system comprising a device (300) for image repetition recognition according to one of the Claims 18 to 20th , a camera (312) for generating image data and a coding device for generating a coded video signal from the image data, the input interface (302) of the device for image repetition recognition being connected downstream of the coding device.

Motor vehicle, comprising a device (300) for image repetition recognition according to one of the Claims 18 to 20th , a vehicle camera (312) coupled to the input interface (302) of the device (300) and a vehicle control unit (314) coupled to an output interface (310) of the device.