DE102020204758A1

DE102020204758A1 - Fast symmetry detection for the classification of objects from digital images

Info

Publication number: DE102020204758A1
Application number: DE102020204758.8A
Authority: DE
Inventors: Dirk Raproeger
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-04-15
Filing date: 2020-04-15
Publication date: 2021-10-21

Abstract

Verfahren (100) zur Prüfung eines digitalen Bildes (1) auf eine vorgegebene Spiegelsymmetrie (6) bezüglich einer Achse (2a-2d) oder bezüglich eines Punkts (2), mit den Schritten:• zu jedem Pixel (1a) des digitalen Bildes (1) wird eine Signatur (3) bereitgestellt (110), die Merkmale des digitalen Bildes (1) in einer vorgegebenen Umgebung (1b) dieses Pixels (1a) charakterisiert;• für jedes Auf-Pixel (1a*) aus einer vorgegebenen Teilmenge (1c) des digitalen Bildes (1) wird dessen Signatur (3) mit einem durch die vorgegebene Spiegelsymmetrie (6) festgelegten Reflektor-Operator (4) in eine Spiegel-Signatur (3') umgewandelt (120);• es wird geprüft (130), ob die Spiegel-Signatur (3') gleich oder zumindest hinreichend ähnlich ist zu der Signatur (3), die einem zu dem Auf-Pixel (1a*) gemäß der vorgegebenen Spiegelsymmetrie (6) korrespondierenden Pixel (1a**), und/oder einem Pixel (1a) in einer vorgegebenen Umgebung (1d) dieses korrespondierenden Pixels (1a**), zugeordnet ist;• in Antwort darauf, dass Gleichheit oder hinreichende Ähnlichkeit besteht, wird ein Zähler (5) inkrementiert (140).Method (100) for checking a digital image (1) for a predetermined mirror symmetry (6) with respect to an axis (2a-2d) or with respect to a point (2), with the following steps: • for each pixel (1a) of the digital image ( 1) a signature (3) is provided (110) which characterizes the features of the digital image (1) in a given environment (1b) of this pixel (1a); • for each on-pixel (1a *) from a given subset ( 1c) of the digital image (1), its signature (3) is converted (120) into a mirror signature (3 ') with a reflector operator (4) determined by the specified mirror symmetry (6); it is checked (130 ), whether the mirror signature (3 ') is the same or at least sufficiently similar to the signature (3) which corresponds to a pixel (1a **) corresponding to the up pixel (1a *) according to the specified mirror symmetry (6), and / or a pixel (1a) in a predetermined environment (1d) of this corresponding pixel (1a **), in response to it that equality or sufficient similarity exists, a counter (5) is incremented (140).

Description

Die vorliegende Erfindung betrifft die digitale Bildverarbeitung zur Erkennung von Objekten in digitalen Bildern, beispielsweise in Fahrassistenzsystemen.The present invention relates to digital image processing for recognizing objects in digital images, for example in driver assistance systems.

Stand der TechnikState of the art

Etwa 90 % der Informationen, die ein menschlicher Fahrer zum Führen eines Fahrzeugs im Straßenverkehr benötigt, sind visuelle Informationen. Für Fahrassistenzsysteme und insbesondere für das zumindest teilweise automatisierte Führen von Fahrzeugen ist es daher unabdingbar, Bilder gleich welcher Modalität, die bei der Überwachung des Fahrzeugumfelds aufgenommen werden, inhaltlich zutreffend auszuwerten. Von besonderer Bedeutung für die Fahraufgabe ist eine Klassifikation der Bilder dahingehend, welche verkehrsrelevanten Objekte in ihnen enthalten sind, wie beispielsweise andere Verkehrsteilnehmer, Fahrbahnmarkierungen, Hindernisse und Verkehrszeichen.About 90% of the information a human driver needs to drive a vehicle in traffic is visual information. For driver assistance systems and in particular for the at least partially automated driving of vehicles, it is therefore essential to correctly evaluate images of any modality that are recorded when monitoring the vehicle environment. A classification of the images in terms of which traffic-relevant objects are contained in them, such as other road users, lane markings, obstacles and traffic signs, is of particular importance for the driving task.

Zur Bewältigung dieser Komplexität werden häufig künstliche neuronale Netzwerke eingesetzt. Die GB 2 454 857 B gibt ein Beispiel für ein Verfahren, bei dem ein Mikroskopbild mit Hilfe eines selbstlernenden neuronalen Netzes dahingehend klassifiziert wird, welche Objekte es enthält.Artificial neural networks are often used to cope with this complexity. the GB 2,454,857 B. gives an example of a method in which a microscope image is classified with the help of a self-learning neural network in terms of which objects it contains.

Nicht in allen Anwendungen auf Fahrzeugen ist es praktikabel, aus der Beobachtung des Fahrzeugumfelds gewonnene Bilder mit neuronalen Netzwerken auszuwerten. Die Inferenzberechnung für trainierte neuronale Netzwerke erfordert einen hohen Rechenaufwand. Hardware, die diesen Rechenaufwand innerhalb der geforderten Reaktionszeit bewältigt, kann für manche Anwendungen zu teuer sein oder zu viel Strom benötigen.It is not practicable in all applications on vehicles to use neural networks to evaluate images obtained from observing the vehicle environment. The inference calculation for trained neural networks requires a high computational effort. Hardware that can handle this computational effort within the required response time can be too expensive for some applications or require too much power.

Offenbarung der ErfindungDisclosure of the invention

Im Rahmen der Erfindung wurde ein Verfahren zur Prüfung eines in Pixel unterteilten digitalen Bildes auf eine vorgegebene Spiegelsymmetrie bezüglich einer Achse oder bezüglich eines Punkts entwickelt.In the context of the invention, a method for checking a digital image divided into pixels for a predetermined mirror symmetry with respect to an axis or with respect to a point was developed.

Das digitale Bild kann mit einer beliebigen Modalität aufgenommen worden sein. Es kann beispielsweise ein Kamerabild, ein Wärmebild, ein Radarbild, und/oder ein LIDAR-Bild, sein. Hinsichtlich der Größe ist der Begriff „Bild“ nicht eingeschränkt. Das digitale Bild kann beispielsweise in der Größe verwendet werden, in der ein Sensor es liefert. Das digitale Bild kann aber auch beispielsweise mit einem Vorklassifikator als Region of Interest, ROI, aus einem größeren digitalen Bild vorausgewählt werden, etwa um speziell in dieser ROI nach bestimmten Objekten zu suchen.The digital image can have been captured using any modality. For example, it can be a camera image, a thermal image, a radar image and / or a LIDAR image. The term “image” is not restricted in terms of size. The digital image can, for example, be used in the size in which a sensor delivers it. The digital image can, however, also be preselected from a larger digital image with a pre-classifier as a region of interest, ROI, for example in order to search for specific objects specifically in this ROI.

Zu jedem Pixel des digitalen Bildes wird eine Signatur bereitgestellt, die Merkmale des digitalen Bildes in einer vorgegebenen Umgebung dieses Pixels diskretisiert.A signature is provided for each pixel of the digital image, which discretizes the features of the digital image in a predetermined environment of this pixel.

Hierbei ist unter dem Begriff „Signatur“ insbesondere beispielsweise ein Produkt einer zusammenfassenden und/oder vereinfachenden Verarbeitung des Bildinhalts in der Umgebung des Pixels zu verstehen, aus dem der ursprüngliche Bildinhalt nicht mehr eindeutig rekonstruierbar ist. Der Begriff ist jedoch nicht dahingehend einschränkend zu verstehen, dass es sich um eine „kryptographisch sichere Signatur“ handeln muss, die sich schon bei minimalen Änderungen des digitalen Bildes völlig ändert.Here, the term “signature” is to be understood, for example, as a product of a summarizing and / or simplifying processing of the image content in the vicinity of the pixel, from which the original image content can no longer be clearly reconstructed. However, the term is not to be understood as restrictive to the effect that it has to be a “cryptographically secure signature” that changes completely even with minimal changes to the digital image.

Der Begriff „bereitstellen“ ist nicht darauf beschränkt, dass die Signatur erst anlässlich des Verfahrens ermittelt wird. Die Signaturen können insbesondere beispielsweise bereits für eine andere Auswertung des digitalen Bildes berechnet worden sein und im Rahmen des vorliegenden Verfahrens zweitverwertet werden, was Rechenaufwand einspart. Beispiele für derartige Signaturen sind sogenannte Deskriptoren, die in vielerlei Ausprägungen als Standardinstrumente für die quantitative Auswertung digitaler Bilder genutzt werden.The term “provide” is not restricted to the fact that the signature is only determined during the procedure. In particular, the signatures can already have been calculated for another evaluation of the digital image, for example, and can be used for a second time within the scope of the present method, which saves computational effort. Examples of such signatures are so-called descriptors, which are used in many forms as standard instruments for the quantitative evaluation of digital images.

Für jedes Auf-Pixel aus einer vorgegebenen Teilmenge des digitalen Bildes wird die diesem Auf-Pixel zugeordnete Signatur mit einem durch die vorgegebene Spiegelsymmetrie vorgegebenen Reflektor-Operator in eine Spiegel-Signatur umgewandelt, die die Merkmale der gemäß der vorgegebenen Spiegelsymmetrie gespiegelten Umgebung des Auf-Pixels charakterisiert. Der Begriff „Auf-Pixel“ bedeutet in diesem Zusammenhang insbesondere beispielsweise, dass eine Abfolge weiterer Schritte ausgehend von einem konkreten Pixel des digitalen Bildes durchgeführt wird und diese Abfolge für ein solches konkretes Pixel nach dem anderen wiederholt wird, bis die vorgegebene Teilmenge vollständig abgearbeitet ist.For each on-pixel from a specified subset of the digital image, the signature assigned to this on-pixel is converted into a mirror signature using a reflector operator specified by the specified mirror symmetry, which reflects the features of the surroundings of the on- Pixels characterized. The term “on-pixel” in this context means in particular, for example, that a sequence of further steps is carried out starting from a specific pixel of the digital image and this sequence is repeated for such a specific pixel after the other until the specified subset has been completely processed .

Die Teilmenge des digitalen Bildes, aus der die Auf-Pixel bezogen werden, kann insbesondere beispielsweise durch die vorgegebene Spiegelsymmetrie, auf die das Bild zu untersuchen ist, vorgegeben sein. Wenn das Bild beispielsweise auf eine Spiegelsymmetrie bezüglich einer Achse untersucht wird, die das Bild in zwei Hälften teilt, kann beispielsweise eine dieser Hälften als Teilmenge gewählt werden. Wenn das Bild beispielsweise auf eine Punktsymmetrie bezüglich eines Mittelpunkts untersucht wird, kann beispielsweise eine beliebige zusammenhängende oder auch nicht zusammenhängende Menge von Pixeln, die insgesamt die Hälfte der Pixel des digitalen Bildes ausmacht, als Teilmenge gewählt werden. Die Teilmenge kann aber auch weniger Pixel enthalten. Beispielsweise können die besagten Hälften des digitalen Bildes zu gleichmäßig über diese Hälften verteilten zufälligen „Stichproben“ ausgedünnt werden, um Rechenzeit zu sparen.The subset of the digital image from which the on-pixels are obtained can in particular be predetermined, for example, by the predetermined mirror symmetry for which the image is to be examined. For example, if the image is examined for mirror symmetry with respect to an axis that divides the image into two halves, one of these halves can be selected as a subset, for example. If the image is examined, for example, for a point symmetry with respect to a center point, any contiguous or non-contiguous set of pixels, for example, can make up half the total which make up the pixels of the digital image can be chosen as a subset. However, the subset can also contain fewer pixels. For example, the said halves of the digital image can be thinned out to form random “samples” evenly distributed over these halves in order to save computing time.

Die Spiegel-Signatur ist diejenige Signatur, die sich ergibt, wenn die Umgebung des Auf-Pixels gespiegelt und anschließend die Signatur gebildet wird. Sie wird jedoch nicht auf diesem Wege ermittelt, sondern mit dem Reflektor-Operator direkt aus der ursprünglich bereitgestellten Signatur selbst ermittelt. Dies erfordert einen deutlich geringeren Speicherdurchsatz, also eine deutlich geringere Anzahl von Speicherzugriffen, und vermeidet so bei einer Implementierung auf Hardware Engpässe hinsichtlich der Speicherbandbreite. Je nachdem, welche Funktionsvorschrift für die Erstellung der Signatur verwendet wird und wie der zugehörige Reflektor-Operator beschaffen ist, kann das Ermitteln der Spiegel-Signatur über den Reflektor-Operator zudem deutlich schneller sein als durch Spiegeln der Umgebung des Auf-Pixels und erneutes Berechnen einer Signatur.The mirror signature is the signature that results when the surroundings of the on-pixel are mirrored and the signature is then formed. However, it is not determined in this way, but determined directly from the signature provided originally using the reflector operator. This requires a significantly lower memory throughput, i.e. a significantly lower number of memory accesses, and thus avoids bottlenecks in terms of memory bandwidth when implemented on hardware. Depending on which functional rule is used to create the signature and how the associated reflector operator is designed, determining the mirror signature via the reflector operator can also be significantly faster than by mirroring the area around the on-pixel and recalculating it a signature.

Es wird geprüft, ob die Spiegel-Signatur gleich oder gemäß einer beliebigen Metrik ähnlich ist zu der Signatur, die einem zu dem Auf-Pixel gemäß der vorgegebenen Spiegelsymmetrie korrespondierenden Pixel, und/oder einem Pixel in einer vorgegebenen Umgebung dieses korrespondierenden Pixels, zugeordnet ist. Es wird also bestimmt, an welcher Position gemäß der vorgegebenen Spiegelsymmetrie das zu dem Auf-Pixel korrespondierende Pixel sitzt, und für dieses Pixel, bzw. ein Pixel in einer vorgegebenen Umgebung dieses korrespondierenden Pixels, wird die zuvor bereitgestellte Signatur abgerufen. Anschließend wird diese abgerufene Signatur nach einer vorgegebenen Metrik, bzw. nach einem vorgegebenen Kriterium, mit der erwähnten Spiegel-Signatur verglichen. In Antwort darauf, dass Gleichheit oder hinreichende Ähnlichkeit besteht, wird ein Zähler inkrementiert.It is checked whether the mirror signature is the same or similar according to any metric to the signature which is assigned to a pixel corresponding to the up pixel according to the given mirror symmetry and / or a pixel in a given vicinity of this corresponding pixel . It is therefore determined at which position, according to the specified mirror symmetry, the pixel corresponding to the on-pixel is located, and the previously provided signature is retrieved for this pixel, or a pixel in a predetermined vicinity of this corresponding pixel. This retrieved signature is then compared with the mentioned mirror signature according to a predetermined metric or according to a predetermined criterion. In response to the fact that there is equality or sufficient similarity, a counter is incremented.

Wenn alle Auf-Pixel aus der vorgegebenen Teilmenge abgearbeitet sind, ist der Stand des Zählers ein Maß für die vorgegebene Spiegelsymmetrie. Stand des Zählers von 0 bedeutet, dass für kein Auf-Pixel Gleichheit oder hinreichende Ähnlichkeit der Signaturen festgestellt wurde. Dies deutet darauf hin, dass die vorgegebene Spiegelsymmetrie in dem untersuchten digitalen Bild nicht vorliegt. Entspricht der Stand des Zählers hingegen der Anzahl der Auf-Pixel in der Teilmenge, wurde also für alle Auf-Pixel Gleichheit oder hinreichende Ähnlichkeit der Signaturen festgestellt, deutet dies darauf hin, dass die vorgegebene Spiegelsymmetrie in dem untersuchten digitalen Bild vorliegt.When all of the on-pixels from the specified subset have been processed, the counter status is a measure of the specified mirror symmetry. The counter reading 0 means that no signatures were found to be identical or sufficiently similar for any on-pixel. This indicates that the specified mirror symmetry is not present in the examined digital image. If, on the other hand, the status of the counter corresponds to the number of on-pixels in the subset, i.e. if equality or sufficient similarity of the signatures was found for all on-pixels, this indicates that the specified mirror symmetry is present in the examined digital image.

Das Verfahren durchsucht das digitale Bild nicht mit der offenen Fragestellung, welche Symmetrien darin vorliegen, sondern prüft das digitale Bild dahingehend, ob genau eine konkrete Spiegelsymmetrie vorliegt. Es wurde erkannt, dass diese Prüfung deutlich schneller ist und deutlich weniger Rechenleistung, Speicher und Speicherbandbreite ermöglicht als die Durchsuchung mit der offenen Fragestellung. Dies ist ein Stück weit analog dazu, dass eine Hausdurchsuchung bei einem Beschuldigten deutlich effizienter wird, wenn man bereits weiß, nach welchem Beweismittel man suchen muss. Ist etwa bekannt, dass das Beweismittel eine Brechstange ist, braucht man Orte, an denen sich keine Brechstange verstecken lässt, nicht zu durchsuchen und auch keine Aktenordner durchzublättern. Anders sieht es aus, wenn man nicht weiß, ob das Beweismittel nicht auch etwa ein Schriftstück sein könnte. Auch mehrere Prüfungen auf bestimmte konkrete Symmetrien sind immer noch schneller als nur eine Durchsuchung des Bildes nach Symmetrien anhand der offenen Fragestellung.The method does not search the digital image with the open question of which symmetries it contains, but rather checks the digital image to determine whether there is exactly a specific mirror symmetry. It was recognized that this test is significantly faster and allows significantly less computing power, memory and memory bandwidth than the search with the open question. This is somewhat analogous to the fact that a house search of an accused becomes much more efficient if you already know what evidence to look for. If, for example, it is known that the evidence is a crowbar, there is no need to search places where no crowbar can be hidden, nor to leaf through files. It looks different if one does not know whether the evidence could not also be a document. Several tests for certain specific symmetries are still faster than just searching the image for symmetries on the basis of the open question.

In einer besonders vorteilhaften Ausgestaltung wird somit nach dem Abarbeiten aller Auf-Pixel der Teilmenge des digitalen Bildes der Stand des Zählers mit einem vorgegebenen Schwellwert verglichen. In Antwort darauf, dass der vorgegebene Schwellwert erreicht oder überschritten ist, wird festgestellt, dass das Bild die vorgegebene Spiegelsymmetrie aufweist.In a particularly advantageous embodiment, after processing all of the on-pixels of the subset of the digital image, the status of the counter is compared with a predetermined threshold value. In response to the fact that the predefined threshold value has been reached or exceeded, it is determined that the image has the predefined mirror symmetry.

In einer besonders vorteilhaften Ausgestaltung umfasst die einem Auf-Pixel zugeordnete Signatur einen binären Deskriptor der vorgegebenen Umgebung dieses Auf-Pixels. Wie zuvor erläutert, werden Deskriptoren vielfach in der digitalen Bildverarbeitung eingesetzt. Ein binärer Deskriptor hat im Kontext des vorliegenden Verfahrens nun den besonderen Vorteil, dass die Signatur durch schnelle Binäroperationen in die Spiegel-Signatur umgewandelt werden kann. So kann die Signatur insbesondere beispielsweise durch eine Exklusiv-Oder-Operation, XOR, mit einem binären Reflektor-Operator in die Spiegel-Signatur umgewandelt werden.In a particularly advantageous embodiment, the signature assigned to an on-pixel comprises a binary descriptor of the predetermined surroundings of this on-pixel. As previously explained, descriptors are widely used in digital image processing. In the context of the present method, a binary descriptor has the particular advantage that the signature can be converted into the mirror signature by means of rapid binary operations. For example, the signature can be converted into the mirror signature using an exclusive-or operation, XOR, with a binary reflector operator.

Der binäre Deskriptor kann insbesondere beispielsweise das Ergebnis der Anwendung mindestens eines Filterkerns auf die Umgebung des Auf-Pixels umfassen. Ein Filterkern kann insbesondere beispielsweise Werte (etwa Intensitätswerte), mit denen die Pixel in der Umgebung des Auf-Pixels belegt sind, zu einer Zahl verrechnen, deren Binärdarstellung in den binären Deskriptor eingeht. In dem binären Deskriptor können insbesondere beispielsweise mehrere derartige Binärdarstellungen zusammengefasst sein.The binary descriptor can in particular include, for example, the result of the application of at least one filter kernel to the surroundings of the on-pixel. A filter kernel can in particular, for example, calculate values (such as intensity values) with which the pixels in the vicinity of the on-pixel are assigned to form a number, the binary representation of which is included in the binary descriptor. In particular, several such binary representations can be combined in the binary descriptor, for example.

In einer besonders vorteilhaften Ausgestaltung eines Filterkerns wird die errechnete Zahl mit einem vorgegebenen Schwellwert verglichen, so dass direkt ein binäres (,0' oder ,1') Vergleichsergebnis in den Deskriptor einfließen kann.In a particularly advantageous embodiment of a filter core, the calculated number is also included compared to a predetermined threshold value, so that a binary ('0' or '1') comparison result can flow into the descriptor directly.

Die vorgegebene Umgebung des korrespondierenden Pixels, in der Signaturen für den Vergleich mit der Spiegel-Signatur herangezogen werden, kann insbesondere beispielsweise eine NxN-Nachbarschaft, mit 2 ≤ N ≤ 5, sein. Damit wird eine gewisse Toleranz beispielsweise gegen perspektivische Verzerrungen der Bildaufnahme durch eine Verkippung der für die Bildaufnahme verwendeten Kamera gegenüber der Szenerie geschaffen.The predefined environment of the corresponding pixel in which signatures are used for the comparison with the mirror signature can in particular be, for example, an NxN neighborhood, with 2 N 5. This creates a certain tolerance, for example, against perspective distortions of the image recording due to a tilting of the camera used for the image recording with respect to the scenery.

Insbesondere kann beispielsweise die Spiegel-Signatur mit den Signaturen mehrerer Pixel in der vorgegebenen Umgebung des korrespondierenden Pixels verglichen werden. Die größte hierbei festgestellte Ähnlichkeit kann dann als Ergebnis der Prüfung auf Gleichheit oder Ähnlichkeit gewertet werden, wobei Gleichheit der maximal möglichen Ähnlichkeit entspricht.In particular, for example, the mirror signature can be compared with the signatures of a plurality of pixels in the predefined vicinity of the corresponding pixel. The greatest similarity found here can then be assessed as the result of the test for equality or similarity, with equality corresponding to the maximum possible similarity.

Wie zuvor erläutert, liegt der tiefere Sinn der Prüfung auf vorgegebene Spiegelsymmetrien darin, schnell und effizient Objekte in digitalen Bildern zu erkennen. Die zuvor beschriebene Erkenntnis, dass die Prüfung auf das Vorhandensein einer konkreten vorgegebenen Spiegelsymmetrie besonders schnell und ressourceneffizient ist, lässt sich verallgemeinern: Auch die Prüfung, ob ein digitales Bild ein konkret vorgegebenes Objekt zeigt, ist wesentlich effizienter als das Durchsuchen des digitalen Bildes mit der offenen Fragestellung, welche Objekte dieses digitale Bild zeigt. Ob das digitale Bild das vorgegebene Objekt zeigt, lässt sich anhand der Symmetrien des Bildes prüfen.As explained above, the deeper purpose of checking for specified mirror symmetries is to quickly and efficiently recognize objects in digital images. The knowledge described above that the check for the existence of a specific, specified mirror symmetry is particularly fast and resource-efficient, can be generalized: The check as to whether a digital image shows a specifically specified object is also much more efficient than searching through the digital image with the open question as to which objects this digital image shows. The symmetries of the image can be used to check whether the digital image shows the specified object.

Die Erfindung stellt daher auch ein Verfahren zur Erkennung von Objekten in einem digitalen Bild bereit.The invention therefore also provides a method for recognizing objects in a digital image.

Im Rahmen dieses Verfahrens werden Symmetriegrade ermittelt, die ein Maß dafür sind, wie symmetrisch das digitale Bild in Bezug auf Spiegelungen an Mittelachsen und/oder an einem Mittelpunkt des digitalen Bildes ist. Die Mittelachsen können beispielsweise ein rechteckiges digitales Bild in horizontaler, vertikaler oder auch diagonaler Richtung teilen.In the context of this method, degrees of symmetry are determined, which are a measure of how symmetrical the digital image is with respect to reflections on central axes and / or at a center point of the digital image. The central axes can, for example, divide a rectangular digital image in a horizontal, vertical or even diagonal direction.

Die Symmetriegrade können insbesondere beispielsweise auf der Basis eines mit den zuvor beschriebenen Verfahren ermittelten Zählerstandes ermittelt werden. Es kann jedoch auch jedes beliebige andere Verfahren zum Einsatz kommen. Das Ermitteln, zu welchem Grade eine konkret vorgegebene Symmetrie in dem digitalen Bild vorliegt, ist grundsätzlich effizienter als die Suche nach Symmetrien anhand einer offenen Fragestellung.The degrees of symmetry can in particular be determined, for example, on the basis of a counter reading determined using the method described above. However, any other desired method can also be used. Determining the degree to which a specifically predetermined symmetry exists in the digital image is fundamentally more efficient than the search for symmetries on the basis of an open question.

Es werden Vergleichsinformationen zu Symmetriegraden bereitgestellt, die zu erwarten sind, wenn das digitale Bild mindestens ein vorgegebenes Objekt zeigt. Wenn beispielsweise zu prüfen ist, ob das digitale Bild einen Autoreifen zeigt, dann ist zu erwarten, dass dieser Autoreifen sowohl bezüglich einer Spiegelung an beliebigen Mittelachsen als auch bezüglich einer Spiegelung an seinem Mittelpunkt symmetrisch ist. Wenn zu prüfen ist, ob das digitale Bild eine Front- oder Heck-Ansicht eines Fahrzeugs zeigt, ist zu erwarten, dass das Fahrzeug zumindest bezüglich einer Spiegelung an einer vertikal durch das Bild verlaufenden Mittelachse symmetrisch ist.Comparative information is provided on degrees of symmetry that are to be expected when the digital image shows at least one predetermined object. If, for example, it is to be checked whether the digital image shows a car tire, then it is to be expected that this car tire is symmetrical both with respect to a reflection on any central axes and with respect to a reflection at its center point. If it is to be checked whether the digital image shows a front or rear view of a vehicle, it is to be expected that the vehicle is at least symmetrical with respect to a reflection on a central axis running vertically through the image.

Die ermittelten Symmetriegrade werden mit den Vergleichsinformationen verglichen. In Antwort darauf, dass die ermittelten Symmetriegrade nach Maßgabe eines vorgegebenen Kriteriums in Einklang mit den Vergleichsinformationen stehen, wird festgestellt, dass weitere Kriterien für das vorgegebene Objekt in dem Bild erkannt sind. Insbesondere kann beispielsweise festgestellt werden, dass das vorgegebene Objekt in dem Bild erkannt ist. Analog dem zuvor Beschriebenen ist auch die mehrmalige Prüfung auf das Vorhandensein jeweils eines konkreten Objekts schneller als eine Untersuchung des digitalen Bildes mit der offenen Fragestellung, welche Objekte in dem Bild enthalten sind.The determined degrees of symmetry are compared with the comparison information. In response to the fact that the determined degrees of symmetry are in accordance with the comparison information in accordance with a predetermined criterion, it is determined that further criteria for the predetermined object are recognized in the image. In particular, it can be established, for example, that the predefined object is recognized in the image. Analogously to what has been described above, the repeated checking for the presence of a specific object is also faster than an examination of the digital image with the open question of which objects are contained in the image.

Das Kriterium kann beispielsweise beinhalten, dass Symmetriegrade bezüglich bestimmter Spiegelungen oberhalb eines Schwellwerts liegen. Das Kriterium kann aber beispielsweise alternativ oder in Kombination auch beinhalten, dass Symmetriegrade bezüglich bestimmter Spiegelungen unterhalb eines Schwellwerts liegen. Es kann also beispielsweise danach gefragt werden, ob Symmetrie bezüglich einer ersten Spiegelung an einer ersten Achse vorliegt, nicht jedoch Symmetrie bezüglich einer zweiten Spiegelung an einer zweiten Achse.The criterion can include, for example, that degrees of symmetry with regard to certain reflections are above a threshold value. The criterion can, however, alternatively or in combination also contain, for example, that degrees of symmetry with regard to certain reflections are below a threshold value. It can therefore be asked, for example, whether there is symmetry with respect to a first reflection on a first axis, but not symmetry with respect to a second reflection on a second axis.

In einer besonders vorteilhaften Ausgestaltung werden die erkannten Objekte gegen diejenigen Objekte, die ein trainiertes künstliches neuronales Netzwerk in dem gleichen digitalen Bild erkannt hat, plausibilisiert. Es kann also beispielsweise geprüft werden, ob es auch anhand der Symmetriegrade plausibel erscheint, dass diejenigen Objekte, die das neuronale Netzwerk erkannt hat, in dem digitalen Bild vorhanden sind. Das neuronale Netzwerk kann also beispielsweise diejenigen konkreten Objekte vorgeben, auf deren Vorhandensein das digitale Bild anhand der Symmetriegrade geprüft werden soll. Auf diese Weise kann eine Fehlklassifikation von Objekten durch das neuronale Netzwerk erkannt werden. Eine solche Sicherheitsebene für die Objekterkennung mit dem neuronalen Netzwerk ist sehr wertvoll für die Erlangung behördlicher Zulassungen, beispielsweise für Fahrassistenzsysteme oder Systeme zum zumindest teilweise automatisierten Führen von Fahrzeugen. Hier ist für die Objekterkennung genauso eine Sicherheitsebene gefordert wie das Fahrzeug selbst zwei voneinander unabhängige Bremsen haben muss.In a particularly advantageous embodiment, the recognized objects are checked for plausibility against those objects that a trained artificial neural network has recognized in the same digital image. It can therefore be checked, for example, whether it also appears plausible on the basis of the degrees of symmetry that those objects that the neural network has recognized are present in the digital image. The neural network can therefore, for example, specify those specific objects for the presence of which the digital image is to be checked on the basis of the degrees of symmetry. In this way, a misclassification of objects by the neural network can be recognized. Such a security level for object recognition with the neural network is very valuable for obtaining official approvals, for example for driver assistance systems or systems for at least partially automated driving of vehicles. A safety level is required here for object recognition just as the vehicle itself must have two brakes that are independent of one another.

Fehlklassifikationen können beispielsweise auftreten, wenn ein neues Verkehrszeichen eingeführt wird und das neuronale Netzwerk hierauf noch nicht trainiert ist. Fehlklassifikationen können aber auch durch gezielte Manipulationen von digitalen Bildern oder in den Bildern enthaltenen Objekten (sogenannte „adversarial attacks“) bewusst provoziert werden. So lässt sich etwa ein Stoppschild durch Anbringen eines scheinbar unscheinbaren Aufklebers so manipulieren, dass ein neuronales Netzwerk es als „Tempo 70“-Schild klassifiziert. Auch kann beispielsweise durch Anbringen einer Folie mit einem halbdurchlässigen Punktmuster auf einer Kameralinse eine Objekterkennung so aus dem Takt gebracht werden, dass sie etwa keinen einzigen Fußgänger mehr als solchen erkennt. Derartige Fehler können durch die Plausibilisierung anhand der Symmetriegrade erkannt werden. Wenn etwa das neuronale Netzwerk an Stelle eines Fußgängers eine freie Fläche erkennt, sollte diese maximal symmetrisch sein. Ist sie es nicht, weil in Wahrheit doch ein Fußgänger vorhanden ist, liegt ein Fehler vor.Incorrect classifications can occur, for example, when a new traffic sign is introduced and the neural network is not yet trained for this. However, misclassifications can also be deliberately provoked by targeted manipulation of digital images or objects contained in the images (so-called "adversarial attacks"). For example, a stop sign can be manipulated by attaching an apparently inconspicuous sticker so that a neural network classifies it as a “Tempo 70” sign. By attaching a film with a semi-permeable point pattern to a camera lens, for example, object recognition can also be brought out of sync so that it no longer recognizes a single pedestrian as such. Such errors can be recognized by the plausibility check based on the degrees of symmetry. If, for example, the neural network detects a free area instead of a pedestrian, it should be as symmetrical as possible. If it is not, because in truth there is a pedestrian, there is an error.

In einer weiteren besonders vorteilhaften Ausgestaltung wird das digitale Bild bereitgestellt, indem es mit einem Vorklassifikator als Region of Interest, ROI, aus einem größeren digitalen Bild vorausgewählt wird. Auf diese Weise kann das digitale Bild so vorbereitet werden, dass das interessierende Objekt dort genau mittig positioniert ist und das digitale Bild möglichst nur dieses interessierende Objekt enthält. Das Vorliegen bestimmter Symmetriegrade ist dann ein besonders zuverlässiger Indikator dafür, ob das interessierende Objekt in dem digitalen Bild vorhanden ist oder nicht. Beispielsweise kann eine ROI im Rahmen der Objekterkennung mit dem neuronalen Netzwerk ermittelt werden.In a further particularly advantageous embodiment, the digital image is provided in that it is preselected from a larger digital image with a pre-classifier as a region of interest, ROI. In this way, the digital image can be prepared in such a way that the object of interest is positioned exactly in the middle there and the digital image contains only this object of interest as far as possible. The presence of certain degrees of symmetry is then a particularly reliable indicator of whether or not the object of interest is present in the digital image. For example, an ROI can be determined in the context of object recognition with the neural network.

Nach dem zuvor Beschriebenen bezieht sich die Erfindung auch auf ein Steuergerät für ein Fahrassistenzsystem oder für ein System zum zumindest teilweise automatisierten Führen eines Fahrzeugs. Dieses Steuergerät umfasst eine erste Schnittstelle zur Eingabe digitaler Bilder, eine Logikeinheit zur Auswertung dieser digitalen Bilder und Bildung eines Steuerbefehls, sowie eine zweite Schnittstelle zur Ausgabe dieses Steuerbefehls an mindestens einen Aktor des Fahrzeugs.According to what has been described above, the invention also relates to a control device for a driver assistance system or for a system for at least partially automated driving of a vehicle. This control device comprises a first interface for inputting digital images, a logic unit for evaluating these digital images and generating a control command, and a second interface for outputting this control command to at least one actuator of the vehicle.

Die erste Schnittstelle ist mit mindestens einem Sensor für die Aufnahme digitaler Bilder verbindbar. Die Logikeinheit erhält die digitalen Bilder als Eingabe und ist dazu ausgebildet, mit dem zuletzt beschriebenen Verfahren Objekte in diesen digitalen Bildern zu erkennen bzw. das durch ein anderes System vorhergesagte Vorhandensein dieser Objekte in den digitalen Bildern zu plausibilisieren. Die Logikeinheit ist weiterhin dazu ausgebildet, auf der Basis der erkannten Objekte mindestens einen Steuerbefehl für mindestens einen Aktor, der die Fahrdynamik eines mit dem Fahrassistenzsystem, bzw. mit dem System zum zumindest teilweise automatisierten Führen, ausgestatteten Fahrzeugs zu beeinflussen vermag, zu ermitteln. Die zweite Schnittstelle ist zwecks Ausgabe des Steuerbefehls mit dem mindestens einen Aktor des Fahrzeugs verbindbar.The first interface can be connected to at least one sensor for recording digital images. The logic unit receives the digital images as input and is designed to use the method described last to recognize objects in these digital images or to check the plausibility of the presence of these objects in the digital images predicted by another system. The logic unit is also designed to determine, on the basis of the detected objects, at least one control command for at least one actuator that is able to influence the driving dynamics of a vehicle equipped with the driver assistance system or the system for at least partially automated driving. The second interface can be connected to the at least one actuator of the vehicle for the purpose of outputting the control command.

Die Verfahren können insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.In particular, the methods can be implemented in whole or in part by a computer. The invention therefore also relates to a computer program with machine-readable instructions which, when they are executed on one or more computers, cause the computer or computers to carry out one of the described methods. In this sense, control devices for vehicles and embedded systems for technical devices, which are also able to execute machine-readable instructions, are to be regarded as computers.

Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.The invention also relates to a machine-readable data carrier and / or to a download product with the computer program. A download product is a digital product that can be transmitted via a data network, i.e. that can be downloaded by a user of the data network and that can be offered for immediate download in an online shop, for example.

Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.Furthermore, a computer can be equipped with the computer program, with the machine-readable data carrier or with the download product.

Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.Further measures improving the invention are illustrated in more detail below together with the description of the preferred exemplary embodiments of the invention with reference to figures.

FigurenlisteFigure list

Es zeigt:

1 Ausführungsbeispiel des Verfahrens 100 zur Prüfung auf eine vorgegebene Spiegelsymmetrie 6;
2 Illustration einer Momentaufnahme der Ausführung des Verfahrens 100 an einem digitalen Bild 1;
3 Ausführungsbeispiel des Verfahrens 200 zur Erkennung von Objekten;
4 Ausführungsbeispiel des Steuergeräts 10.

It shows:

1 Embodiment of the method 100 to check for a given mirror symmetry 6th ;
2 Illustration of a snapshot of the execution of the procedure 100 on a digital image 1 ;
3 Embodiment of the method 200 for the detection of objects;
4th Embodiment of the control unit 10 .

1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100. 1 Figure 3 is a schematic flow diagram of an embodiment of the method 100 .

In Schritt 110 wird zu jedem Pixel 1a des digitalen Bildes 1, das auf eine vorgegebene Spiegelsymmetrie 6 zu prüfen ist, eine Signatur 3 bereitgestellt, die Merkmale des digitalen Bildes 1 in einer vorgegebenen Umgebung 1b dieses Pixels charakterisiert.In step 110 becomes to every pixel 1a of the digital image 1 , which is based on a given mirror symmetry 6th what is to be checked is a signature 3 provided the features of the digital image 1 in a given environment 1b characterizes this pixel.

In Schritt 120 wird für jedes Auf-Pixel 1a* aus einer Teilmenge 1c des digitalen Bildes 1 die diesem Auf-Pixel 1a* zugeordnete Signatur 3 abgerufen und mit einem Reflektor-Operator 4 in eine Spiegel-Signatur 3' umgewandelt. Hierbei ist der Reflektor-Operator 4 durch die vorgegebene Spiegelsymmetrie 6, auf die das Bild 1 zu prüfen ist, festgelegt. Das Umwandeln kann gemäß Block 121 insbesondere beispielsweise durch eine XOR-Operation mit einem binären Reflektor-Operator 4 erfolgen.In step 120 is for each on-pixel 1a * from a subset 1c of the digital image 1 this on-pixel 1a * assigned signature 3 retrieved and with a reflector operator 4th in a mirror signature 3 ' converted. Here is the reflector operator 4th by the given mirror symmetry 6th on which the picture 1 is to be checked. Converting can be done according to block 121 in particular, for example, by an XOR operation with a binary reflector operator 4th take place.

In Schritt 130 wird das gemäß der Spiegelsymmetrie 6 zu dem Auf-Pixel 1a* korrespondierende Pixel 1a** ermittelt. Für dieses korrespondierende Pixel 1a**, und/oder für ein Pixel 1a in einer Umgebung 1d um das korrespondierende Pixel 1a**,wird eine Signatur 3 abgerufen. Es wird geprüft, ob diese Signatur 3 gleich oder zumindest hinreichend ähnlich zu der Spiegel-Signatur 3' ist. Ist dies der Fall (Wahrheitswert 1), wird in Schritt 140 ein Zähler 5 inkrementiert.In step 130 this becomes according to the mirror symmetry 6th to the on-pixel 1a * corresponding pixels 1a ** determined. For this corresponding pixel 1a ** , and / or for a pixel 1a in an environment 1d around the corresponding pixel 1a ** , becomes a signature 3 retrieved. It is checked whether this signature 3 the same or at least sufficiently similar to the Spiegel signature 3 ' is. If this is the case (truth value 1 ), is in step 140 a counter 5 incremented.

Der Stand dieses Zählers 5 ist ein Maß dafür, inwieweit die vorgegebene Spiegelsymmetrie 6 in dem digitalen Bild 1 vorliegt. In dem in 1 gezeigten Beispiel wird in Schritt 150 nach dem Abarbeiten aller Auf-Pixel 1a* der Teilmenge 1c des digitalen Bildes 1 der Stand des Zählers 5 mit einem vorgegebenen Schwellwert 5a verglichen. Ist dieser Schwellwert 5a erreicht oder überschritten (Wahrheitswert 1), wird in Schritt 160 festgestellt, dass das Bild 1 die vorgegebene Spiegelsymmetrie 6 aufweist.The reading of this counter 5 is a measure of the extent to which the specified mirror symmetry is achieved 6th in the digital image 1 is present. In the in 1 example shown is in step 150 after processing all on-pixels 1a * the subset 1c of the digital image 1 the reading of the counter 5 with a predetermined threshold 5a compared. Is this threshold 5a reached or exceeded (truth value 1 ), is in step 160 found that the picture 1 the specified mirror symmetry 6th having.

Innerhalb des Kastens 130 sind beispielhafte Ausgestaltungen der Prüfung auf Gleichheit oder hinreichende Ähnlichkeit dargestellt.Inside the box 130 Exemplary configurations of the test for equality or sufficient similarity are shown.

Gemäß Block 131 kann die vorgegebene Umgebung 1d des korrespondierenden Pixels 1a**,in der die Signatur 3 für den Vergleich mit der Spiegel-Signatur 3' abgerufen wird, als NxN-Nachbarschaft, mit 2 ≤ N ≤ 5 gewählt werden.According to block 131 can the given environment 1d of the corresponding pixel 1a ** in which the signature 3 for comparison with the Spiegel signature 3 ' can be selected as the NxN neighborhood, with 2 ≤ N ≤ 5.

Gemäß Block 132 können in der Umgebung 1d Signaturen 3 für mehrere Pixel 1a abgerufen und mit der Spiegel-Signatur 3' verglichen werden. Die größte hierbei festgestellte Ähnlichkeit kann gemäß Block 133 als Ergebnis der Prüfung auf Gleichheit oder Ähnlichkeit gewertet werden.According to block 132 can in the area 1d Signatures 3 for multiple pixels 1a retrieved and with the Spiegel signature 3 ' be compared. According to Block 133 be assessed as the result of the test for equality or similarity.

2 illustriert die Ausführung des Verfahrens 100 anhand einer Momentaufnahme. Das zu prüfende digitale Bild 1 ist in Pixel 1a unterteilt. Das Bild 1 hat einen Mittelpunkt 2, eine vertikale Mittelachse 2a, eine horizontale Mittelachse 2b sowie zwei diagonale Mittelachsen 2c und 2d. In dem in 2 gezeigten Beispiel wird geprüft, ob das Bild 1 eine Spiegelsymmetrie 6 in Bezug auf die vertikale Mittelachse 2a aufweist. 2 illustrates the execution of the method 100 based on a snapshot. The digital image under review 1 is in pixels 1a divided. The picture 1 has a center point 2 , a vertical central axis 2a , a horizontal central axis 2 B as well as two diagonal central axes 2c and 2d . In the in 2 The example shown is checked to see if the image 1 a mirror symmetry 6th with respect to the vertical central axis 2a having.

In der in 2 gezeigten Momentaufnahme wird gerade das Auf-Pixel 1a* bearbeitet, das zu der Teilmenge 1c des Bildes 1 gehört. Die Signatur 3, die diesem Auf-Pixel 1a* zugeordnet ist, hängt von den Werten der Pixel in der Umgebung 1b des Auf-Pixels 1a* ab. Sie kann beispielsweise durch Anwenden eines oder mehrerer Filterkerne auf die Pixel in der Umgebung 1b ermittelt werden.In the in 2 The snapshot shown is currently the on-pixel 1a * edited that to the subset 1c of the picture 1 heard. The signature 3 that this on-pixel 1a * assigned depends on the values of the pixels in the area 1b of the on-pixel 1a * from . It can be done, for example, by applying one or more filter kernels to the pixels in the area 1b be determined.

Zu dem Auf-Pixel 1a* legt die Spiegelsymmetrie 6 bezüglich der vertikalen Mittelachse 2a ein korrespondierendes Pixel 1a** fest. Für dieses korrespondierende Pixel 1a** wird zum Vergleich mit der direkt aus der Signatur 3 ermittelten Spiegel-Signatur 3' eine weitere Signatur 3 abgerufen. Ausgangspunkt hierfür kann aber an Stelle des korrespondierenden Pixels 1a** auch ein anderes Pixel 1a in der Umgebung 1d um das korrespondierende Pixel 1a** sein.To the on-pixel 1a * sets the mirror symmetry 6th with respect to the vertical central axis 2a a corresponding pixel 1a ** fixed. For this corresponding pixel 1a ** is used for comparison with that directly from the signature 3 determined mirror signature 3 ' another signature 3 retrieved. The starting point for this can, however, take the place of the corresponding pixel 1a ** also another pixel 1a in the neighborhood 1d around the corresponding pixel 1a ** be.

3 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200 zur Erkennung von Objekten in einem digitalen Bild 1. In dem in 3 gezeigten Beispiel wird das digitale Bild 1 gemäß Block 205 mit einem Vorklassifikator als Region of Interest, ROI, aus einem größeren digitalen Bild 1 vorausgewählt und so bereitgestellt. 3 Figure 3 is a schematic flow diagram of an embodiment of the method 200 to recognize objects in a digital image 1 . In the in 3 example shown is the digital image 1 according to block 205 with a pre-classifier as the Region of Interest, ROI, from a larger digital image 1 preselected and made available.

In Schritt 210 werden Symmetriegrade 6a ermittelt, die ein Maß dafür sind, wie symmetrisch das digitale Bild 1 in Bezug auf Spiegelungen an Mittelachsen 2a-2c und/oder an einem Mittelpunkt 2 des Bildes 1 ist. Diese Symmetriegrade können gemäß Block 211 insbesondere beispielsweise auf der Basis von Zählerständen 5 ermittelt werden, die mit dem Verfahren 100 ermittelt wurden.In step 210 become degrees of symmetry 6a which are a measure of how symmetrical the digital image is 1 in relation to reflections on central axes 2a-2c and / or at a midpoint 2 of the picture 1 is. These degrees of symmetry can according to Block 211 in particular, for example, on the basis of meter readings 5 be determined by the procedure 100 were determined.

In Schritt 220 werden Vergleichsinformationen 8 bereitgestellt. Diese Vergleichsinformationen 8 geben an, welche Symmetriegrade 6a zu erwarten ist, wenn das digitale Bild 1 ein vorgegebenes Objekt 7 enthält. In Schritt 230 werden diese Vergleichsinformationen 8 mit den ermittelten Symmetriegraden 6a verglichen. Wenn die ermittelten Symmetriegrade 6a nach Maßgabe eines vorgegebenen Kriteriums in Einklang mit den Vergleichsinformationen stehen (Wahrheitswert 1), wird in Schritt 240 festgestellt, dass das vorgegebene Objekt 7, und/oder zumindest Kriterien für dieses vorgegebene Objekt 7, in dem Bild 1 erkannt sind. Das Objekt 7 kann dann auch in Schritt 250 gegen diejenigen Objekte 7', die ein künstliches neuronales Netzwerk in dem gleichen digitalen Bild 1 erkannt hat, plausibilisiert werden.In step 220 are comparative information 8th provided. This comparative information 8th indicate which degrees of symmetry 6a is to be expected when the digital image 1 a given object 7th contains. In step 230 become this comparative information 8th with the determined degrees of symmetry 6a compared. If the determined degrees of symmetry 6a are consistent with the comparison information in accordance with a specified criterion (truth value 1 ), is in step 240 found that the given object 7th , and / or at least criteria for this given object 7th , in the picture 1 are recognized. The object 7th can then also in step 250 against those objects 7 ' , the an artificial neural network in the same digital image 1 has recognized, must be checked for plausibility.

4 zeigt ein Ausführungsbeispiel eines Steuergeräts 10 für ein Fahrassistenzsystem oder für ein System zum zumindest teilweise automatisierten Führen eines Fahrzeugs. Das Steuergerät 10 umfasst eine erste Schnittstelle 11, die mit mindestens einem Sensor für die Aufnahme digitaler Bilder 1 verbindbar ist, eine Logikeinheit 12, die die digitalen Bilder 1 zu mindestens einem Steuerbefehl 12a für mindestens einen Aktor verarbeitet, sowie eine zweite Schnittstelle 13, die mit dem Aktor verbindbar ist. 4th shows an embodiment of a control device 10 for a driver assistance system or for a system for at least partially automated driving of a vehicle. The control unit 10 includes a first interface 11 that have at least one sensor for taking digital images 1 is connectable, a logic unit 12th who have favourited the digital images 1 to at least one control command 12a processed for at least one actuator, as well as a second interface 13th that can be connected to the actuator.

Die Logikeinheit 12 ist dazu ausgebildet, mit dem Verfahren 200 Objekte 7 in den digitalen Bildern 1 zu erkennen oder das Vorkommen dieser Objekte 7 in den Bildern 1 zumindest zu plausibilisieren.The logic unit 12th is trained to use the procedure 200 Objects 7th in the digital images 1 to recognize or the occurrence of these objects 7th in the pictures 1 at least to check plausibility.

Die zweite Schnittstelle 13 ist dazu ausgebildet, den Steuerbefehl 12a an den Aktor auszugeben, so dass letztendlich die Fahrdynamik des mit dem Steuergerät 10 ausgerüsteten Fahrzeugs beeinflusst wird.The second interface 13th is designed to send the control command 12a output to the actuator, so that ultimately the driving dynamics of the with the control unit 10 equipped vehicle is affected.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

GB 2454857 B [0003]

Claims

Method (100) for checking a digital image (1) divided into pixels (1a) for a predetermined mirror symmetry (6) with respect to an axis (2a-2d) or with respect to a point (2), comprising the steps: • a signature (3) is provided (110) for each pixel (1a) of the digital image (1), which characterizes the features of the digital image (1) in a predetermined environment (1b) of this pixel (1a); • for each on-pixel (1a *) from a given subset (1c) of the digital image (1), the signature (3) assigned to this on-pixel (1a *) with a reflector determined by the given mirror symmetry (6) Operator (4) converted (120) into a mirror signature (3 '), which characterizes the features of the surroundings (1b) of the on-pixel (1a *) mirrored according to the specified mirror symmetry; It is checked (130) whether the mirror signature (3 ') is the same or at least sufficiently similar to the signature (3) that corresponds to a pixel corresponding to the on-pixel (1a *) according to the specified mirror symmetry (6) (1a **), and / or a pixel (1a) in a predetermined environment (1d) of this corresponding pixel (1a **); In response to the fact that there is equality or sufficient similarity, a counter (5) is incremented (140).

Method (100) according to Claim 1 , where • after processing all the on-pixels (1a *) of the subset (1c), the count of the counter (5) is compared (150) with a predetermined threshold value (5a) and • in response to the fact that the predetermined threshold value (5a ) is reached or exceeded, it is determined (160) that the image (1) has the specified mirror symmetry (6).

Method (100) according to one of the Claims 1 until 2 , wherein the signature (3) assigned to an on-pixel (1a *) comprises a binary descriptor of the predetermined surroundings (1b) of this on-pixel (1a *).

Method (100) according to Claim 3 , wherein the binary descriptor comprises the result of the application of at least one filter kernel to the environment (1b) of the on-pixel (1a *).

Method (100) according to one of the Claims 3 until 4th , the signature (3) being converted (121) into the mirror signature (3 ') by an exclusive-or operation, XOR, with a binary reflector operator (4).

Method (100) according to one of the Claims 1 until 5 , wherein an NxN neighborhood, with 2 N 5, is selected (131) as the predetermined environment (1d) of the corresponding pixel (1a **).

Method (100) according to one of the Claims 1 until 6th , the mirror signature (3 ') being compared (132) with the signatures (3) of a plurality of pixels (1a) in the predetermined surroundings (1d) of the corresponding pixel (1a **) and the greatest similarity found as a result the test for equality or similarity is assessed (133).

Method (200) for recognizing objects (7) in a digital image (1) with the steps: • Degrees of symmetry (6a) are determined (210), which are a measure of how symmetrical the digital image (1) is in relation to reflections at central axes (2a-2c) and / or at a center point (2) of the digital image ( 1) is; • comparative information (8) on degrees of symmetry (6a) are provided (220) which are to be expected when the digital image (1) shows at least one predetermined object (7); • the determined degrees of symmetry (6a) are compared with the comparison information (8) (230); • in response to the fact that the determined degrees of symmetry (6a) are in accordance with a given criterion in accordance with the comparison information (8), it is determined (240) that the given object (7), and / or at least criteria for this given object (7) in which image (1) are recognized.

Method (200) according to Claim 8 , wherein at least one degree of symmetry (6a) on the basis of one with the method (100) according to one of the Claims 1 until 7th determined counter reading (5) is determined (211).

Method (200) according to one of the Claims 8 until 9 , the recognized objects (7) being checked for plausibility (250) against those objects (7 ') that a trained artificial neural network has recognized in the same digital image (1).

Method (200) according to one of the Claims 1 until 10 , the digital image (1) being provided (205) by preselecting it from a larger digital image (1) with a pre-classifier as a region of interest, ROI.

Control unit (10) for a driver assistance system or for a system for at least partially automated driving of a vehicle, comprising • a first interface (11) which can be connected to at least one sensor for recording digital images (1), • a logic unit (12) that receives digital images (1) from the first interface (11) as input and is designed to use the method (200) according to one of the Claims 7 until 9 Objects (7) to be recognized in these digital images (1) and, on the basis of the recognized objects (7), at least one control command (12a) for at least one actuator that controls the driving dynamics with the driver assistance system or with the System for at least partially automated driving, equipped vehicle is able to influence and determine, as well as • a second interface (13), which can be connected to the at least one actuator of the vehicle, for outputting the control command (12a).

Computer program containing machine-readable instructions which, when executed on one or more computers, cause the computer or computers to implement a method (100, 200) according to one of the Claims 1 until 11 to execute.

Machine-readable data carrier and / or download product with the computer program Claim 13 .