DE102016120066A1 - A computer implemented method for controlling an object recognition system - Google Patents

A computer implemented method for controlling an object recognition system Download PDF

Info

Publication number
DE102016120066A1
DE102016120066A1 DE102016120066.2A DE102016120066A DE102016120066A1 DE 102016120066 A1 DE102016120066 A1 DE 102016120066A1 DE 102016120066 A DE102016120066 A DE 102016120066A DE 102016120066 A1 DE102016120066 A1 DE 102016120066A1
Authority
DE
Germany
Prior art keywords
image
image information
computer
implemented method
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102016120066.2A
Other languages
German (de)
Inventor
Silke Woller
Beate Schwarz
Gregor Matenaer
Julia Wenzel
Josip Krnjajic
Patrick Ott
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CMORE Automotive GmbH
Original Assignee
CMORE Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CMORE Automotive GmbH filed Critical CMORE Automotive GmbH
Priority to DE102016120066.2A priority Critical patent/DE102016120066A1/en
Publication of DE102016120066A1 publication Critical patent/DE102016120066A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Abstract

Zur Erhöhung der Fahrsicherheit wird ein Computer-implementiertes Verfahren (V) zum Kontrollieren und/oder Testen eines Objekterkennungssystems (31), wie z.B. eines Fahrassistenzsystems, vorgeschlagen, umfassend: ein Objekterkennungsverfahrens (1) und ein Einlernverfahrens (2) bzw. ein Erkennungsverfahren (2') unter Durchführung eines Vorverarbeitungsverfahrens (5) zur Bestimmung wenigstens eines Bildausschnitts (7), in dem eine Bildinformation enthalten ist und/oder enthalten sein kann, anhand wenigstens eines Verarbeitungskriteriums (6), Durchführung eines Merkmalsextraktionsverfahrens (8), indem graphische Eigenschaften des wenigstens einen Bildausschnitts bestimmt und zu wenigstens einem Merkmalsvektor (11) zusammengefasst werden, und Einstellung eines Algorithmus für ein Klassifikationsverfahren (20), bei welchem dem wenigstens einen Merkmalsvektor (11) die zugrunde liegende Bildinformation zugeordnet und der resultierende Algorithmus als Klassifikator (12, 16) gespeichert wird.To enhance driving safety, a computer-implemented method (V) is provided for controlling and / or testing an object recognition system (31), such as a vehicle. a driving assistance system, comprising: an object recognition method (1) and a teaching method (2) or a recognition method (2 ') performing a preprocessing method (5) for determining at least one image section (7) in which image information is contained and / or, based on at least one processing criterion (6), performing a feature extraction method (8) by determining graphic properties of the at least one image detail and merging them into at least one feature vector (11) and setting an algorithm for a classification method (20), in which the at least one feature vector (11) is assigned the underlying image information and the resulting algorithm is stored as a classifier (12, 16).

Description

Die Erfindung betrifft ein Computer-implementiertes Verfahren zum Kontrollieren und/oder Testen eines Objekterkennungssystems, wie z.B. eines Fahrassistenzsystems, sowie ein Fahrassistenzsystem zur Durchführung des computer-implementierten Verfahrens nach dem Oberbegriff des Anspruchs 14.The invention relates to a computer-implemented method for controlling and / or testing an object recognition system, such as e.g. a driver assistance system, and a driver assistance system for carrying out the computer-implemented method according to the preamble of claim 14.

Aus dem Stand der Technik sind zahlreiche Objekterkennungssysteme bekannt, vor allem aus dem Bereich des autonomen Fahrens. Zum Beispiel ist aus der DE 10 2011 087 791 A1 ein Manövrierassistenzsystem für Fahrzeuge bekannt, bei dem eine Situationserkennung mittels einer Umfeldsensorik des Fahrzeugs erfolgen kann. Hierbei können Hinweisgeber, welche die gegenwärtige Situation beschreiben, mittels der Umfeldsensorik wahrgenommen werden. Objekte, die als Hinweisgeber wiederum dienen können, sind gemäß der DE 10 2011 087 791 A1 z.B. Parkscheinautomaten, Bordsteingassen, Kantsteine, Fahrbahnmarkierungen, Schranken oder dergleichen. In diesem Fall werden zur Implementierung eines Fahrassistenzsystems Computereinrichtungen mit zur Steuerung vorgesehenen Computerprogrammen, welche auf eigens für die Objekterkennung vorgesehenen Algorithmen basieren, verwendet. Mit diesen Algorithmen werden die von der Sensorik gelieferten Daten, bspw. Bilddaten einer Frontkamera ausgewertet, indem diese mit abgespeicherten Templates verglichen werden.Numerous object recognition systems are known in the prior art, especially in the field of autonomous driving. For example, from the DE 10 2011 087 791 A1 a maneuvering assistance system for vehicles, in which a situation detection can be carried out by means of an environmental sensor of the vehicle. In this case whistleblowers who describe the current situation can be perceived by means of the environmental sensor system. Objects that can serve as whistleblowers in turn are according to the DE 10 2011 087 791 A1 eg parking ticket machines, curbs, curbs, lane markings, barriers or the like. In this case, to implement a driver assistance system, computer devices with computer programs provided for control, which are based on algorithms provided specifically for the object recognition, are used. These algorithms are used to evaluate the data supplied by the sensor system, for example image data of a front camera, by comparing these with stored templates.

Aufgabe der Erfindung ist es, ein Computer-implementiertes Verfahren zum Kontrollieren bzw. Testen eines Objekterkennungssystems sowie ein Fahrassistenzsystem bereitzustellen, welche ein höheres Maß an Zuverlässigkeit und somit an Sicherheit bieten können.The object of the invention is to provide a computer-implemented method for controlling or testing an object recognition system and a driver assistance system, which can offer a higher degree of reliability and thus safety.

Die Aufgabe wird, ausgehend von einem Computer-implementierten Verfahren bzw. einem Assistenzsystem der eingangs genannten Art, durch die Merkmale des Anspruchs 1 bzw. durch die kennzeichnenden Merkmale des Anspruchs 14 gelöst.The object is achieved on the basis of a computer-implemented method or an assistance system of the type mentioned initially by the features of claim 1 or by the characterizing features of claim 14.

Durch die in den abhängigen Ansprüchen genannten Maßnahmen sind vorteilhafte Ausführungen und Weiterbildungen der Erfindung möglich.The measures mentioned in the dependent claims advantageous embodiments and modifications of the invention are possible.

Das erfindungsgemäße Computer-implementierte Verfahren dient zum Kontrollieren bzw. Testen eines Objekterkennungssystems. Bei dem Objekterkennungssystem werden sensorisch, bspw. mit einer Kamera, Situationen bzw. Ausschnitte einer Umgebung eines zu überwachenden Bereichs erfasst und dahingehend ausgewertet, dass einzelne Objekte hieraus extrahiert bzw. erkannt werden. Die zu erkennenden Objekte sind zur Beurteilung der entsprechenden Situationen relevant. Im Straßenverkehr kann es sich dabei z.B. um Fußgänger, Verkehrsschilder, Fahrbahnmarkierungen oder dergleichen handeln, die gegebenenfalls eine Änderung bzw. Anpassung des Fahrverhaltens erfordern können. Wurde ein solches Objekt erkannt, kann eine entsprechende Ausgabe des Objekterkennungssystems erfolgen; handelt es sich bei dem Objekterkennungssystem bspw. um ein Fahrassistenzsystem, können Warnhinweise an den Fahrer oder aber auch Eingriffe in das Fahrverhalten durchgeführt werden, bspw. ein Bremsmanöver, Einschalten des ABS usw.The computer-implemented method according to the invention serves to control or test an object recognition system. In the object recognition system, sensory, for example, with a camera, situations or sections of an environment of a region to be monitored are detected and evaluated in such a way that individual objects are extracted or recognized therefrom. The objects to be recognized are relevant for assessing the corresponding situations. In road traffic this can be e.g. to pedestrians, traffic signs, road markings or the like, which may require a change or adjustment of the driving behavior. If such an object has been detected, a corresponding output of the object recognition system can take place; If the object recognition system is, for example, a driver assistance system, warnings to the driver or else interference in the driving behavior can be carried out, for example a braking maneuver, switching on the ABS, etc.

Mit dem erfindungsgemäßen Computer-implementierten Verfahren kann ein solches Objekterkennungssystem getestet, d.h. überprüft oder auch eingelernt werden; es kann aber auch grundsätzlich während des Betriebs zu dessen Kontrolle, d.h. zum Steuern oder Regeln des Objekterkennungssystems verwendet werden.With the computer-implemented method according to the invention, such an object recognition system can be tested, i. be checked or taught; but in principle it can also be used to control it during operation, i. be used to control or regulate the object recognition system.

Zunächst einmal werden zwei Bilddatensätze bereitgestellt, nämlich ein erster und ein zweiter Bilddatensatz. Beide enthalten jeweils wenigstens ein Bild, wobei jedem Bild eine Bildinformation zugrunde liegt. Die zugrunde liegenden Bildinformation kann zum Beispiel in dem Bild enthaltene, zur Erkennung der Situation relevante Informationen umfassen, wenn also bspw. ein Verkehrsschild oder ein Fußgänger auf dem Bild zu erkennen sind. Es ist aber auch denkbar, dass das Bild keine relevante Bildinformation enthält, d.h. die dem Bild zugrundeliegende Bildinformation ist somit die leere Menge. Im Unterschied zum ersten Bilddatensatz enthält der zweite Bilddatensatz wenigstens eine der zugrundeliegenden Bildinformationen, d.h. im zweiten Bilddatensatz ist zusätzlich explizit und ablesbar die Information enthalten, welche Bildinformation relevant ist und was sie bedeutet.First of all, two image data sets are provided, namely a first and a second image data set. Both contain at least one image, each image being based on image information. The underlying image information may include, for example, in the image contained, relevant to the detection of the situation information, so if, for example, a traffic sign or a pedestrian can be seen on the image. However, it is also conceivable that the image contains no relevant image information, i. the picture information underlying the picture is thus the empty set. Unlike the first image data set, the second image data set contains at least one of the underlying image information, i. In the second image data set, the information which image information is relevant and what it means is also explicitly and readable.

Zur Durchführung des Computer-implementierten Verfahrens bzw. zur Durchführung von darin umfassten Teilverfahren wird eine Recheneinheit bereitgestellt. Diese Recheneinheit enthält i.d.R. einen Prozessor und/oder Mikrocontroller, ein FPGA (Abk.: field programmable gate array) eine Grafikkarte oder dergleichen.For performing the computer-implemented method or for carrying out sub-methods comprised therein, a computing unit is provided. This arithmetic unit contains i.d.R. a processor and / or microcontroller, an FPGA (abbr. field programmable gate array) a graphics card or the like.

Bei einem Teilverfahren des durchzuführenden Verfahrens handelt es sich um das Objekterkennungsverfahren. Bei diesem Objekterkennungsverfahren wird der zweite Bilddatensatz verwendet, der ebenfalls die zugrundeliegende Bildinformation oder wenigstens eine der zugrundeliegenden Bildinformationen enthält. Der zweite Bilddatensatz kann in vorteilhafter Weise sehr informationsreich ausgestaltet sein, so dass dem Objekterkennungssystem möglichst viele Referenzdaten später zur Verfügung stehen, um eine sichere und zuverlässige Objekterkennung durchführen zu können.A sub-method of the method to be carried out is the object recognition method. In this object recognition method, the second image data record is used, which also contains the underlying image information or at least one of the underlying image information. The second image data record can advantageously be configured very informatively, so that as many reference data as possible are available to the object recognition system later in order to be able to carry out reliable and reliable object recognition.

Zunächst wird innerhalb des Objekterkennungsverfahrens ein Vorverarbeitungsverfahren durchgeführt, bei dem wenigstens ein Bildausschnitt bestimmt wird, in dem eine Bildinformation enthalt ist bzw. enthalten sein kann. Um diese Auswertung innerhalb des Vorverarbeitungsverfahrens zu betreiben, ist wenigstens ein Verarbeitungskriterium notwendig, das auf das entsprechende Bild des zweiten Bilddatensatzes angewandt wird um den wenigstens einen Bildausschnitt bestimmen zu können. Dieser Bildausschnitt wird entsprechend auch als Region of Interest (ROI) bezeichnet. Mit dieser Vorverarbeitung kann eine Datenreduzierung erfolgen, d.h. die Vielzahl an möglicherweise vorhandenen Informationen wird beschränkt auf die Bereiche, in denen potentiell ein für das Objekterkennungssystem relevantes Objekt vorhanden sein kann. First, within the object recognition method, a preprocessing method is carried out, in which at least one image detail is determined in which image information is or can be contained. In order to operate this evaluation within the preprocessing method, at least one processing criterion is necessary, which is applied to the corresponding image of the second image data set in order to be able to determine the at least one image detail. This image section is also referred to as Region of Interest (ROI). With this pre-processing, a data reduction can take place, ie the large amount of possibly existing information is limited to the areas in which potentially an object relevant for the object recognition system can be present.

Derartige Vorverarbeitungskriterien, mit denen beim Vorverarbeitungsverfahren die relevanten Bildausschnitte bestimmt werden, können beispielsweise so arbeiten, dass über eine Bildverarbeitungsmathematik eine Kantendetektion, z.B. mit dem sogenannten Canny-Edge-Verfahren und z.B. zusätzlich eine Kreiserkennung mittels Hough-Transformation erfolgt. Auf diese Weise kann ein bestimmtes Verkehrsschild (z.B. zur Geschwindigkeitsbegrenzung) erkannt werden. Mittels des Canny-Edge-Verfahrens werden aus dem Bild lediglich die Umrisse und Kanten herausgefiltert. Diese Filterung allein genügt jedoch nicht, da bei einer Abbildung einer typischen Straße hier immer noch einige Objekte dargestellt sind, die möglicherweise wenig relevant sind, bspw. die Kanten in der Umgebung vorhandener Häuser, Bäume, Sträucher oder dergleichen. Wird jedoch z.B. nach runden Verkehrsschildern gesucht, so kann mit der Hough-Transformation ein rundes Objekt erkannt werden.Such preprocessing criteria with which the relevant image sections are determined in the preprocessing method can, for example, work in such a way that an edge detection, e.g. with the so-called canny-edge method and e.g. in addition, a circle recognition by means of Hough transformation takes place. In this way, a particular road sign (e.g., for speed limit) can be recognized. Using the Canny Edge method, only the outlines and edges are filtered out of the picture. However, this filtering alone is not enough, since in a picture of a typical street here are still some objects are shown, which may be of little relevance, for example. The edges in the environment of existing houses, trees, shrubs or the like. However, if e.g. Searching for round traffic signs, a round object can be recognized with the Hough transformation.

Als nächstes Teilverfahren wird anschließend eine Merkmalsextraktion durchgeführt, indem graphische Eigenschaften des wenigstens einen Bildausschnitts bzw. der Region of Interest bestimmt und zu wenigstens einem Merkmalsvektor zusammengefasst werden. Dies kann auf verschiedene Weise vonstattengehen. Die Region of Interest kann dabei z.B. wiederum in Einzelabschnitte unterteilt werden. Es ist denkbar, entlang bestimmter Richtungen den Farbverlauf darzustellen und abzubilden. Insbesondere können z.B. für jedes Pixel die Gradienten bestimmt und ausgewertet werden. In diesem Teilverfahren sollen ein oder mehrere Merkmalsvektoren erzeugt werden, mit denen im späteren Verlauf darüber Aufschluss gewonnen werden kann, ob die bestimmte Region of Interest bzw. der entsprechende Bildausschnitt tatsächlich ein relevantes Objekt mit einer situationswichtigen Information enthält oder nicht.As a next sub-method, a feature extraction is then carried out by determining graphic properties of the at least one image section or the region of interest and combining them into at least one feature vector. This can be done in different ways. The region of interest may be e.g. again divided into individual sections. It is conceivable to represent and depict the color gradient along certain directions. In particular, e.g. for each pixel, the gradients are determined and evaluated. In this sub-method, one or more feature vectors are to be generated, with which it can be determined later on whether the particular region of interest or the corresponding image section actually contains a relevant object with situation-important information or not.

Um die noch fehlende Brücke zwischen dem Merkmalsvektor und der zugrundeliegenden Bildinformation herzustellen, wird nun ein Algorithmus für ein Klassifikationsverfahren eingestellt bzw. angepasst, bei welchem dem wenigstens einen Merkmalsvektor die zugrundeliegende Bildinformation zugeordnet und der resultierende Algorithmus als Klassifikator gespeichert wird. Wenn, wie im vorliegenden Fall, der zweite Bilddatensatz verwendet wird, ist diese zugrundeliegende Bildinformation bereits bekannt. Der Merkmalsvektor enthält eine Sammlung von Eigenschaften des Bildausschnitts, die zuvor im Merkmalsextraktionsverfahren gewonnen wurden, bspw. die Farbanordnungen in örtlicher Auflösung in bestimmten Richtungen, Histogramme der Gradientenrichtungen usw. Alle diese Informationen werden in dem bildbeschreibenden bzw. den Bildausschnitt beschreibenden Merkmalsvektor zusammengefasst.In order to establish the still missing bridge between the feature vector and the underlying image information, an algorithm for a classification method is now set or adjusted in which the at least one feature vector is assigned the underlying image information and the resulting algorithm is stored as a classifier. If, as in the present case, the second image data set is used, this underlying image information is already known. The feature vector contains a collection of properties of the image detail that were previously obtained in the feature extraction method, for example, the color arrangements in spatial resolution in certain directions, histograms of the gradient directions, etc. All of this information is summarized in the feature describing or image detailing feature vector.

Zur Einstellung des Algorithmus muss noch zugeordnet werden, was im vorliegenden Fall dieser Merkmalsvektor bzw. diese Zusammenfassung an Bildausschnittinformationen bedeuten. Z.B. wird also zugeordnet, dass im Falle eines bestimmten Merkmalsvektors, ggf. innerhalb eines gewissen, zu tolerierenden Bereichs das gesuchte Objekt ein bestimmtes Verkehrsschild ist. Über den Klassifikator wird somit dem Merkmalsvektor ein Label, d.h. die zugrundeliegende Bildinformation zugeordnet.In order to set the algorithm, it is still necessary to allocate what in the present case this feature vector or this summary of image detail information means. For example, In other words, in the case of a certain feature vector, if appropriate within a certain range to be tolerated, the searched object is a specific traffic sign. Thus, via the classifier, the feature vector becomes a label, i. associated with the underlying image information.

Ggf. wird das beschriebene Objekterkennungsverfahren noch einmal erneut mit einem anderen Bild des zweiten Bilddatensatzes durchgeführt. Dies ist insbesondere dann vorteilhaft, wenn zum einen das bereits eingelesene Bild noch nicht alle möglicherweise relevanten Objekte enthielt, die prinzipiell erkannt werden sollen. Ferner ist zu berücksichtigen, dass das gleiche Objekt in unterschiedlichen Situationen, z.B. bei unterschiedlichen Tageshelligkeiten, bei Niederschlag, unter anderen Blickwinkeln aufgenommen oder unter sonstigen Umgebungsbedingungen, auch graphisch im Bild nicht immer einheitlich dargestellt ist. Dennoch soll im Ergebnis das Objekt als solches stets erkannt werden. Auf diese Weise kann der resultierende Algorithmus bzw. der Klassifikator ggf. noch angepasst bzw. abgeändert werden.Possibly. the described object recognition method is performed again with another image of the second image data set. This is particularly advantageous if, on the one hand, the image already read in did not contain all possibly relevant objects that are to be recognized in principle. It should also be noted that the same object may be used in different situations, e.g. at different daylight levels, precipitation, recorded under other angles or under other environmental conditions, also graphically not always shown in the image is consistent. Nevertheless, as a result, the object should always be recognized as such. In this way, the resulting algorithm or the classifier may still be adapted or modified.

Als weiteres Teilverfahren wird erfindungsgemäß ein Erkennungsverfahren ausgeführt, bei dem nunmehr wenigstens eines der Bilder des ersten Bilddatensatzes in die Recheneinheit eingelesen wird. Dieses Bild des ersten Bilddatensatzes enthält also nicht die zugrundeliegende Bildinformation. Analog zum Objekterkennungsverfahren wird ein Vorverarbeitungsverfahren zur Bestimmung wenigstens eines Bildausschnitts durchgeführt, in dem eine Bildinformation enthalten ist oder enthalten sein kann. Dazu wird als Verarbeitungskriterium das gleiche verwendet, das bereits beim zuvor durchgeführten Objekterkennungsverfahren angewandt wurde.As a further sub-method, a recognition method is carried out according to the invention, in which now at least one of the pictures of the first picture data record is read into the arithmetic unit. This image of the first image data set thus does not contain the underlying image information. Analogous to the object recognition method, a preprocessing method is carried out for determining at least one image section in which image information is contained or may be contained. For this purpose, the processing criterion used is the same as that which has already been used in the previously performed object recognition method.

Wenn ein Bildausschnitt bzw. eine Region of Interest herausgefiltert wurde, wird entsprechend das Merkmalsextraktionsverfahren durchgeführt, indem graphische Eigenschaften des Bildausschnittes bestimmt und wiederum zu wenigstens einem Merkmalsvektor zusammengefasst werden. If a picture or a region of interest has been filtered out, the feature extraction method is carried out accordingly by determining graphic properties of the picture detail and in turn combining them into at least one feature vector.

Nun wird der bereits im Objekterkennungsverfahren erstellte Klassifikator im sogenannten Zuordnungsverfahren angewendet, bei welchem dem wenigstens einen Merkmalsvektor anhand des Klassifikators eine Ergebnis-Bildinformation zugeordnet wird. Anschließend kann grundsätzlich das Erkennungsverfahren mit einem weiteren Bild des ersten Bilddatensatzes durchgeführt werden.Now, the classifier already created in the object recognition method is used in the so-called assignment method, in which the result image information is assigned to the at least one feature vector on the basis of the classifier. Subsequently, in principle, the recognition method can be carried out with a further image of the first image data set.

Nach der Durchführung des Objekterkennungsverfahrens ist die Grundlage für die Objekterkennung geschaffen.After performing the object recognition process, the basis for the object recognition is created.

Zum Testen des Objekterkennungssystems kann bei einer vorteilhaften Weiterbildung der Erfindung im Zusammenhang mit dem Erkennungsverfahren ein Einlernverfahren durchgeführt werden, wobei ein Vergleich der wenigstens einen Ergebnis-Bildinformation aus dem Erkennungsverfahren mit der zugrundeliegenden Bildinformation des ersten Bilddatensatzes durchgeführt und wobei die Bildinformation des ersten Bilddatensatzes zum Beispiel über eine separate Testeinheit bestimmt und verglichen werden kann. Über das Einlernverfahren kann somit der Algorithmus eingestellt bzw. trainiert werden. Wurde die korrekte bzw. übereinstimmende Bildinformation zugeordnet, ist keine Änderung des resultierenden Algorithmus bzw. des Klassifiktors notwendig. Stimmt jedoch die Ergebnis-Bildinformation nicht mit der zugrundeliegenden Bildinformation überein, ist eine entsprechende Änderung des Klassifikators notwendig und wird entsprechend durchgeführt.For testing the object recognition system, in an advantageous development of the invention, a learning procedure can be carried out in connection with the recognition method, wherein a comparison of the at least one result image information from the recognition process with the underlying image information of the first image data set is carried out and wherein the image information of the first image data set is, for example determined and compared via a separate test unit. The algorithm can thus be adjusted or trained via the learning procedure. If the correct or matching image information has been assigned, no change of the resulting algorithm or classifier is necessary. However, if the result image information does not match the underlying image information, a corresponding change of the classifier is necessary and is performed accordingly.

Ohne weiteres Testen kann zur Objekterkennung das Erkennungsverfahren durchgeführt werden.Without further testing, the recognition process can be performed for object recognition.

Es ist auch denkbar, dass das ausgewertete Bild keine Information enthält. In diesem Fall wird analog verfahren. Die Ergebnis-Bildinformation ist somit eine leere Menge oder ein Wert, der zum Ausdruck bringt, dass keine Information gefunden wurde. Stimmt dies mit der zugrundeliegenden Bildinformation überein, so muss der Klassifikator nicht geändert werden, ansonsten ist eine Anpassung notwendig.It is also conceivable that the evaluated image contains no information. In this case the procedure is analogous. The result image information is thus an empty set or a value that expresses that no information was found. If this agrees with the underlying image information, then the classifier need not be changed, otherwise an adjustment is necessary.

Das erfindungsgemäße Computer-implementierte Verfahren besitzt insbesondere den Vorteil, dass es im Vergleich zu bisher bekannten Systemen weniger Aufwand mit sich bringt, um die zu erkennenden Objekte in ausreichendem Maße zu erfassen. Es können somit in vorteilhafter Weise Kosten reduziert werden. Der Grund dafür besteht insbesondere darin, dass eine geringe Anzahl an Bildern mit den zugrunde liegenden Bildinformationen gekennzeichnet sein muss und ein Großteil durch Zur-Verfügung-Stellen wesentlicher Merkmale der zu erkennenden Objekte, gewissermaßen durch Einlernen, erfolgen kann. Ein entsprechendes Computer-implementiertes Verfahren gemäß der Erfindung kann grundsätzlich für verschiedene Anwendungen eingesetzt werden. Wie bereits oben zum Ausdruck gebracht, eignet es sich jedoch insbesondere in Kombination mit Fahrassistenzsystemen, vor allem in Zusammenhang mit Systemen zum autonomen oder teilautonomen Fahren. Bei einem solchen Ausführungsbeispiel kann das Objekterkennungsverfahren dazu verwendet werden, um insbesondere Verkehrszeichen und/Fußgänger als Objekte zu erkennen. Bei den Verkehrszeichen kann es sich grundsätzlich um Schilder, aber auch um Absperrungen, Schranken, Pylone oder Fahrbahnmarkierungen handeln.In particular, the computer-implemented method according to the invention has the advantage that, in comparison to previously known systems, it involves less effort in order to capture the objects to be detected to a sufficient extent. It can thus be reduced in an advantageous manner costs. The reason for this is, in particular, that a small number of images must be identified with the underlying image information and much of it can be done by providing essential features of the objects to be recognized, so to speak, through teaching. A corresponding computer-implemented method according to the invention can basically be used for various applications. However, as already stated above, it is particularly suitable in combination with driver assistance systems, especially in connection with systems for autonomous or semi-autonomous driving. In such an embodiment, the object recognition method may be used to recognize in particular traffic signs and / pedestrians as objects. The traffic signs can basically be signs, but also barriers, barriers, pylons or lane markings.

Ein wesentlicher Vorteil des erfindungsgemäßen Computer-implementierten Verfahrens besteht darin, dass durch dieses Einlernen die Kosten wesentlich reduziert werden können. Um dies realisieren zu können, kann ein maschinelles Lernverfahren (Machine-Learning-Verfahren) verwendet werden, d.h. es wird eine künstliche Generierung von Wissen aus Erfahrung genutzt. Während des Objekterkennungsverfahrens lernt das Computer-implementierte Verfahren aus Beispielen des zweiten Bilddatensatzes und erkennt beim Erkennungs- bzw. Einlernverfahren Muster und Gesetzmäßigkeiten in den noch unbekannten Lerndaten. Es handelt sich also um ein überwachtes bzw. teilüberwachtes Lernen. Im Gegensatz zu bisher bekannten Verfahren können also nicht nur vorgelabelte Bilder bzw. Situationen anhand von vorgegebenen Templates erkannt werden.A significant advantage of the computer-implemented method according to the invention is that the cost can be substantially reduced by this training. In order to realize this, a machine-learning method can be used, i. an artificial generation of knowledge from experience is used. During the object recognition process, the computer-implemented method learns from examples of the second image data set and recognizes patterns and laws in the learning data that is still unknown in the recognition or learning process. It is therefore a supervised or partially supervised learning. In contrast to previously known methods, therefore, not only pre-labeled images or situations can be detected on the basis of given templates.

Um die zu verarbeitende Datenmenge zu reduzieren und somit u.a. auch Zeit- und Rechenleistungen einsparen zu können, kann beim Vorverarbeitungsverfahren eine Kantendetektion, insbesondere mittels Canny-Edge-Detektion oder eine Kreiserkennung mittels Hough-Transformation erfolgen. Beim Canny-Edge-Verfahren wird eine Faltung vorgenommen, bei der im Ergebnis lediglich die Kanten des zu verarbeitenden Bildes übrig bleiben. Hierdurch können auch Objekte auf ihre erkennbaren Merkmale reduziert werden. Mittels der Hough-Transformation können geometrische Formen wiedererkannt werden, insbesondere kann eine Kreiserkennung für runde Verkehrsschilder durchgeführt werden. Auf diese Weise können vereinfacht und automatisiert erkennungsrelevante Merkmale innerhalb eines Bildes, die ein Objekt kennzeichnen, erkannt werden.To reduce the amount of data to be processed and thus u.a. In order to be able to save time and computing power as well, an edge detection can be carried out in the preprocessing method, in particular by means of canny edge detection or circle recognition by means of Hough transformation. The Canny Edge process performs a convolution that leaves only the edges of the image being processed left over. This also allows objects to be reduced to their recognizable features. Geometric shapes can be recognized by means of the Hough transformation; in particular, circle recognition for round traffic signs can be performed. In this way, simplified and automated recognition-relevant features within an image that identify an object can be detected.

Bei Ausführungsformen der Erfindung kann beim Merkmalsextraktionsverfahren z.B. ein Histogram of Oriented Gradients erstellt werden, um bildbeschreibende Informationen bzw. einen bildbeschreibenden Merkmalsvektor zu erhalten. Ausgangspunkt ist ein ausgewählter Bildausschnitt, d.h. eine entsprechende Region of Interest. Dieser Bildausschnitt wird z.B. in Zellen gerastert. Für jede Zelle soll die am stärksten ausgeprägte Gradientenrichtung bestimmt werden. Ferner wird für jedes Pixel der Gradient berechnet. Anschließend werden die Gradienten jeder Zelle diskretisiert und die Gradientenbeträge aufsummiert, woraus sich Histogramme der Gradientenrichtungen ergeben (sogenannte Histogram of Oriented Gradients, HOG). Alle diese Histogramme werden zu einem den Bildausschnitt beschreibenden Merkmalsvektor zusammengefasst.In embodiments of the invention, in the feature extraction method, for example, a histogram of orientated gradients may be created to obtain image-describing information or an image-describing feature vector. The starting point is a selected image section, ie a corresponding region of interest. This image section is rasterized into cells, for example. For each cell, the strongest gradient direction should be determined. Furthermore, the gradient is calculated for each pixel. Subsequently, the gradients of each cell are discretized and the gradient amounts are summed, resulting in histograms of the gradient directions (Histogram of Oriented Gradients, HOG). All of these histograms are combined into a feature vector describing the image section.

Zur Klassifizierung kann beim Objekterkennungsverfahren auch eine Stützverktormethode (Support Vector Machine, SVM) benutzt werden, wobei eine Menge von Objekten so in Klassen unterteilt wird, dass um die Klassengrenzen herum ein möglichst breiter Bereich frei von Objekten bleibt. Die Klassifizierung erfolgt dann über die Einteilung von Trennbereichen, z.B. kann eine Hyperebene eingepasst werden, die als Trennfläche zwischen den Klassen dient.For classification, the object recognition method can also use a support vector machine (SVM) method whereby a set of objects is subdivided into classes so that the widest possible area remains free of objects around the class boundaries. The classification then takes place via the division of separation areas, e.g. a hyperplane can be fitted to serve as the interface between the classes.

Bei Ausführungsbeispielen kann im Bereich des Machine-Learning-Verfahrens ein Deep-Learning-Verfahren angewendet werden, bei dem gewissermaßen künstliche neuronale Netze erzeugt werden, um Algorithmen aufzubauen und aufgrund von Abstraktionen lernen und auch unbekannte Eingabedaten verarbeiten zu können.In embodiments, in the area of the machine learning method, a deep learning method can be used, in which, so to speak, artificial neural networks are generated in order to build algorithms and learn from abstractions and also to be able to process unknown input data.

Um eine bessere Bestimmung der stärksten Gradientenrichtung erhalten zu können, kann beim Merkmalsextraktionsverfahren eine Rasterung des Bildausschnitts in wenigstens zwei Zellen durchgeführt werden, wobei jede Zelle insbesondere die Größe 8 x 8 Pixel aufweist. Eine derartige Größe ist besonders vorteilhaft in Bezug auf die Verarbeitung.In order to be able to obtain a better determination of the strongest gradient direction, in the feature extraction method a screening of the image section into at least two cells can be carried out, each cell in particular having the size 8 × 8 pixels. Such a size is particularly advantageous in terms of processing.

Wie eben bereits dargestellt, kann bei einer Weiterbildung der Erfindung eine lokale Verteilung der Gradientenorientierungen bzw. eine Bestimmung der Gradientenstärke als graphische Eigenschaften beim Merkmalsextraktionsverfahren verwendet werden. Auf diese Weise können in charakteristischer Art Bildstrukturen herausgefiltert und in zuverlässiger Weise verglichen werden, sodass eine vereinfachte Auswertung und Zuordnung der Bildinformationen möglich wird.As already stated, in a development of the invention, a local distribution of the gradient orientations or a determination of the gradient strength can be used as graphical properties in the feature extraction method. In this way, image structures can be filtered out in a characteristic manner and compared in a reliable manner, so that a simplified evaluation and assignment of the image information becomes possible.

Es wurde bereits oben dargestellt, dass bei einer Ausführungsform der Erfindung zur Bestimmung des Klassifikators eine Support Vector Machine eingesetzt werden kann. Entsprechend kann bei einer Ausführungsform der Erfindung beim Klassifikationsverfahren dem Klassifikator wenigstens eine Hyperebene zugeordnet werden, welche die einer bestimmten Bildinformation zugeordneten Merkmalsvektoren von Merkmalsvektoren, die einer anderen Bildinformation zuzuordnen sind abtrennt. Die zusammengefassten Eigenschaften, die in Form eines Merkmalsvektors vorliegen, können als Punkte in einem im Allgemeinen mehrdimensionalen Raum eingetragen werden. Im Idealfall würde ein Objekt immer die gleichen Eigenschaften aufweisen, sodass grundsätzlich ein Objekt durch einen einzelnen Punkt gekennzeichnet werden könnte. Da aber die einzelnen Bilder in unterschiedlichen Situationen aufgenommen werden (unterschiedliche Umgebungshelligkeit, unterschiedlicher Blickwinkel, Verschmutzungen des Objektes usw.) liegt i.d.R. nicht nur ein einzelner Punkt pro Objekt vor, sondern die Punkte sind in diesem im Allgemeinen mehrdimensionalen Raum etwas verstreut. Die Eigenschaften eines anderen Objekts bzw. dessen Bildeigenschaften unterscheiden sich aber derart von denen des zuvor genannten Objekts, dass diese innerhalb des im Allgemeinen mehrdimensionalen Raumes eine andere Ansammlung von Punkten bildet. Die jeweiligen Ansammlungen von Punkten können durch eine Hyperebene getrennt werden. Mathematisch kann dieses Problem als Optimierungsproblem, das z.B. mit der Lagrange-Methode lösbar ist, gelöst werden. Durch eine solche Hyperebene können in vorteilhafter Weise Mehrklassenprobleme gelöst werden, wodurch mathematisch eine saubere Einteilung in einzelne Objektklassen, z.B. eine Unterteilung in mehrere verschiedene Geschwindigkeitsbegrenzungsschilder erfolgen kann. Die Geschwindigkeitsbegrenzungsschilder ähneln sich z.B. grundsätzlich in ihrer Geometrie und in ihrem Aufbau, lediglich die Zahlen zur Angabe der Höchstgeschwindigkeit sind verschieden. Sind diese bildbeschreibenden Informationen in einem Merkmalsvektor zusammengefasst, können die einzelnen unterschiedlichen Geschwindigkeitsbegrenzungsschilder entsprechend in dieser geometrischen Darstellung durch Hyperebenen zuverlässig unterschieden werden. Dementsprechend kann auch bei einem Zuordnungsverfahren eine solche SVM-Methode bzw. eine Trennung durch Hyperebenen im Raum genutzt werden. Insbesondere kann ein Optimierungsverfahren angewendet werden.It has already been shown above that in one embodiment of the invention a support vector machine can be used to determine the classifier. Accordingly, in one embodiment of the invention in the classification method the classifier at least one hyperplane can be assigned, which separates the feature vectors of feature vectors associated with a specific image information, which are assigned to another image information. The summarized properties, which are in the form of a feature vector, can be entered as points in a generally multi-dimensional space. Ideally, an object would always have the same properties, so basically an object could be identified by a single point. But since the individual images are recorded in different situations (different ambient brightness, different viewing angles, soiling of the object, etc.) i.d.R. not just a single point per object, but the points are somewhat scattered in this generally multi-dimensional space. However, the properties of another object or its image properties are different from those of the aforementioned object in that it forms a different collection of points within the generally multi-dimensional space. The respective accumulations of points can be separated by a hyperplane. Mathematically, this problem can be considered as an optimization problem, e.g. Solved with the Lagrange method can be solved. By means of such a hyperplane, multi-class problems can advantageously be solved, whereby mathematically a clean classification into individual object classes, e.g. a division into several different speed limit signs can be made. The speed limit signs are similar to e.g. basically in their geometry and their structure, only the numbers for indicating the maximum speed are different. If this image-describing information is combined in a feature vector, the individual different speed limit signs can be reliably distinguished accordingly in this geometric representation by hyperplanes. Accordingly, such an SVM method or a separation by hyperplanes in space can also be used in an assignment method. In particular, an optimization method can be used.

Da die Computer-implementierte Erfindung eine computergestützte Automatisierung der Objekterkennung ermöglicht, eignet sie sich insbesondere zur Verwendung in Fahrassistenzsystemen von Fahrzeugen. Dabei kann bzw. können entsprechend ein oder mehrere Ausschnitte der Umgebung des Fahrzeugs aufgenommen werden und als Bilddatensatz zur Vefügung stehen. Mit diesen Bildern, z.B. während der Fahrt, kann das Erkennungsverfahren durchgeführt werden. Die Aufnahme des Bildes kann z.B. in Fahrtrichtung erfolgen; es können aber auch Rück- oder Seitenbereiche des Fahrzeugs aufgenommen werden, wenn diese fahrrelevant sind, z.B. beim Rangieren.Since the computer-implemented invention enables computer-aided automation of object recognition, it is particularly suitable for use in driver assistance systems of vehicles. In this case, one or more sections of the surroundings of the vehicle can be recorded accordingly and be available as an image data record. With these pictures, e.g. while driving, the detection process can be performed. The recording of the image may e.g. in the direction of travel; however, rear or side areas of the vehicle can also be accommodated if these are relevant for driving, e.g. when maneuvering.

Bei einer Weiterbildung der Erfindung kann das Fahrassistenzsystem als solches mit einer Kontrolleinheit zur Kontrolle des Fahrzeugs gekoppelt sein. Hierdurch können z.B. Befehle an das das Fahrzeug steuernde System abgegeben werden. Des Weiteren können grundsätzlich mit dem Verfahren Fahrdaten bereitgestellt werden, ggf. auch zur Anzeige für den Fahrer über das Armaturenbrett, ein Head-up-Display, per Lautsprecheransage oder dergleichen. Ferner können entsprechende Daten bzw. Ergebnis-Bildinformationen auch als Steuer- bzw. Regelungsparameter an die Kontrolleinheit übermittelt werden. Bspw. ist es denkbar, dass ein bestimmtes Verkehrsschild erkannt wird, und diese Information dem Fahrer (zusätzlich) angezeigt wird, damit dieser die geänderten Geschwindigkeitsvorgaben auf der Straße nicht übersieht. In a further development of the invention, the driver assistance system can be coupled as such with a control unit for controlling the vehicle. As a result, for example, commands to the system controlling the vehicle are delivered. Furthermore, basically driving data can be provided with the method, if necessary also for display to the driver via the dashboard, a head-up display, by loudspeaker announcement or the like. Furthermore, corresponding data or result image information can also be transmitted to the control unit as a control or regulation parameter. For example. It is conceivable that a particular road sign is detected, and this information is displayed to the driver (in addition), so that this does not overlook the changed speed specifications on the road.

Denkbar ist aber auch, um einen weiteren Schritt in Richtung zum autonomen Fahren zu machen, dass diese Information von der Kontrolleinheit unmittelbar umgesetzt wird und das Fahrzeug seine Geschwindigkeit entsprechend anpasst. Insbesondere dann, wenn Fußgänger auf der Fahrbahn erkannt werden, ist es denkbar, dass die Kontrolleinheit nicht zuerst den Fahrer benachrichtigt und abwartet, sondern automatisch einen Bremsvorgang einleitet. Denkbar ist aber auch, dass entsprechende Informationen dazu genutzt werden, um Einstellungen im Fahrzeug vorzunehmen, bspw. um Fahrassistenzprogramme, ABS oder dergleichen auf verschiedene Situationen umzustellen, bspw. im Unterschied zwischen der Fahrumgebung außerhalb einer Ortschaft oder innerhalb einer Ortschaft.It is also conceivable, however, to take another step towards autonomous driving, that this information is immediately implemented by the control unit and the vehicle adapts its speed accordingly. In particular, when pedestrians are detected on the road, it is conceivable that the control unit does not first notify the driver and wait, but automatically initiates a braking operation. It is also conceivable, however, that appropriate information be used to make adjustments in the vehicle, for example to change driver assistance programs, ABS or the like to different situations, for example. In difference between the driving environment outside a village or within a town.

Bei einer besonders bevorzugten Weiterbildung der Erfindung wird eine Testeinheit dazu verwendet, welche Vergleichsinformationen aus den Bildern des ersten Bilddatensatzes enthält oder ermittelt und einen Vergleich zwischen der wenigstens einen Ergebnis-Bildinformation aus dem Erkennungsverfahren und den Vergleichsinformationen durchführt. Auf diese Weise kann ein teilüberwachtes Lernen realisiert werden, d.h. es wird eine gesonderte Testeinheit verwendet, um die während des Objekterkennungsverfahrens erlernten Erkennungsvorgänge während des Erkennungsverfahrens nachprüfen zu können. Auf diese Weise kann ein höheres Maß an Sicherheit gewährleistet werden. Auf diese Weise können nun lediglich die informationsreichen Bilder zusätzlich getestet werden, während bereits vorher im Objekterkennungsverfahren eine entsprechende Basis zur Erkennung derartiger Situationen geschaffen wurde. Es genügt in der Regel, die Bilder des zweiten Bilddatensatzes, die weniger informationsreich sein können und weniger zu erkennende Objekte in den Bildern enthalten, mit Bildinformationen zu werden, die im Objekterkennungsverfahren zur späteren Erkennung vorgegeben werden. Hierdurch können insbesondere der Aufwand und die Kosten des Systems reduziert werden. Zudem wird Zeit eingespart, weil ein zumindest teilweise selbstständiges Einlernen ermöglicht wird.In a particularly preferred development of the invention, a test unit is used which contains or determines comparison information from the images of the first image data set and performs a comparison between the at least one result image information from the recognition process and the comparison information. In this way, a partially supervised learning can be realized, i. a separate test unit is used to verify the recognition processes learned during the object recognition process during the recognition process. In this way, a higher level of security can be ensured. In this way, only the information-rich images can now be additionally tested, while already in the object recognition process a corresponding basis for the detection of such situations has been created. As a rule, it suffices to render the images of the second image data set, which can be less informative and contain less recognizable objects in the images, with image information that is specified in the object recognition process for later recognition. As a result, in particular the complexity and the cost of the system can be reduced. In addition, time is saved, because an at least partially independent learning is possible.

Bei einem Ausführungsbeispiel der Erfindung kann eine Testeinheit verwendet werden, welche eine Mess- bzw. Erfassungsvorrichtung zum Messen bzw. Erfassen von Fahrdaten während der Fahrt des Fahrzeuges umfasst, die gemessenen bzw. erfassten Fahrdaten als Vergleichsinformationen verwendet und einen Vergleich zwischen der wenigstens einen Ergebnis-Bildinformation und dem Erkennungsverfahren und den Vergleichsinformationen durchgeführt wird. Auf diese Art und Weise wird durch die Testeinheit eine „zweite Instanz“ zur Überprüfung des Objekterkennungssystems eingeführt, die ein höheres Maß an Sicherheit bieten kann.In one embodiment of the invention, a test unit may be used, which comprises a measurement device for measuring or gathering driving data while the vehicle is traveling, which uses measured driving data as comparison information and a comparison between the at least one result data. Image information and the recognition method and the comparison information is performed. In this way, the test unit introduces a "second instance" for checking the object recognition system, which can provide a higher level of security.

Dementsprechend können die bereits oben genannten Vorteile des Computer-implementierten Verfahrens gemäß der Erfindung bzw. der Ausführungsbeispiele der Erfindung in einem Fahrassistenzsystem genutzt werden. Bei einer Ausführungsform der Erfindung kann eine Schnittstelle bzw. eine Speichereinheit zum Einlesen, Auslesen bzw. Speichern von Bildern, Bildinformationen oder Klassifikatoren vorgesehen sein, sodass diese permanent während der Fahrt eingesetzt und verwendet, ggf. aber auch in der Werkstatt zur Überprüfung zur Verfügung stehen.Accordingly, the above-mentioned advantages of the computer-implemented method according to the invention or the embodiments of the invention can be used in a driver assistance system. In one embodiment of the invention, an interface or a memory unit for reading, reading or storing images, image information or classifiers can be provided so that they are permanently used and used during the journey, but may also be available for review in the workshop ,

Ein Fahrzeug kann direkt über eine Kontrolleinheit zur Kontrolle des Fahrzeugs verfügen, bspw. über einen Bordcomputer, der mit entsprechenden Fahrassistenzsystemen gekoppelt ist, insbesondere ein elektronisches System, das den Motor steuert bzw. regelt sowie auf Fahreigenschaften des Fahrzeugs einwirkt.A vehicle may directly have a control unit for controlling the vehicle, for example via an on-board computer, which is coupled to corresponding driver assistance systems, in particular an electronic system which controls or regulates the engine and acts on the driving characteristics of the vehicle.

Ein Ausführungsbeispiel eines solchen Fahrassistenzsystems gemäß der Erfindung kann wenigstens einen Sensor zum Messen bzw. Erfassen von Fahrdaten umfassen. Dabei kann es sich bspw. um eine Kamera handeln. Es können aber auch weitere Sensoren vorgesehen sein, bspw. Sensoren zur Erfassung des Niederschlags, damit diese Informationen wiederum bei der Bildauswertung verwendet werden können. Bspw. kann bei entsprechendem Niederschlag mit Sichtbehinderungen gerechnet werden, die zu berücksichtigen sind, wenn entsprechende Objekte wie Fußgänger, Verkehrszeichen oder dergleichen erkannt werden sollen.An embodiment of such a driver assistance system according to the invention may comprise at least one sensor for measuring or gathering driving data. This may, for example, be a camera. But it can also be provided other sensors, for example. Sensors for detecting the precipitation, so that this information can be used in turn in the image analysis. For example. can be expected at appropriate precipitation with visual disabilities, which are taken into account when corresponding objects such as pedestrians, traffic signs or the like to be detected.

Ausführungsbeispieleembodiments

Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden nachstehend unter Angabe weitere Einzelheiten und Vorteile näher erläutert.Embodiments of the invention are illustrated in the drawings and are explained in more detail below, giving further details and advantages.

Im Einzelnen zeigen:

  • 1: eine schematische Darstellung des Objekterkennungsverfahrens bzw. des Erkennungsverfahrens,
  • 2: ein Schema des gesamten computer-implementierten Verfahrens gem. der Erfindung zur Kontrolle bzw. zum Testen eines Objekterkennungssystems,
  • 3: eine schematische Darstellung des Klassifikationsverfahrens, sowie
  • 4: eine schematische Darstellung eines Kraftfahrzeugs mit einem Fahrassistenzsystem gem. der Erfindung.
In detail show:
  • 1 : a schematic representation of the object recognition method or the recognition method,
  • 2 a scheme of the entire computer implemented method acc. the invention for controlling or testing an object recognition system,
  • 3 : a schematic representation of the classification method, as well
  • 4 : A schematic representation of a motor vehicle with a driving assistance system acc. the invention.

1 zeigt eine schematische Darstellung des Objekterkennungsverfahrens 1 bzw. des Einlernverfahrens 2. Ein Teil des Einlernverfahrens 2 ist das Erkennungsverfahrens 2' (vgl. 2). Zunächst wird ein Bild 3 eingelesen, das z.B. von einer Kamera eines Fahrassistenzsystems in einem Fahrzeug aufgenommen wurde. Dieses Bild enthält verschiedene Bildinformationen und zeigt z.B. den Verlauf der Straße, ein Haus sowie ein Verkehrsschild 4, nämlich eine Geschwindigkeitsbegrenzung auf 30 km/h. Zunächst wird hier ein Vorverarbeitungsverfahren 5 durchgeführt, und zwar unter Einbeziehung wenigstens eines Verarbeitungskriteriums 6. Dabei wird ein Bildausschnitt 7 bestimmt, nämlich in diesem Fall das Verkehrsschild 4. Zu diesem Zweck wird zunächst beim Vorverarbeitungsverfahren 5 eine Kantendetektion mittels Canny-Edge-Detektion durchgeführt, d.h. das farbige Originalbild 3 wird zunächst so umgewandelt, dass lediglich die Kanten der darauf abgebildeten Gegenstände noch zu erkennen sind. Danach wird eine Kreiserkennung mittels Hough-Transformation durchgeführt, welches erlaubt, die Geschwindigkeitsbegrenzung in Form des runden Schildes 4 zu erkennen und zu separieren. 1 shows a schematic representation of the object recognition process 1 or the learning procedure 2 , Part of the learning process 2 is the recognition method 2 ' (see. 2 ). First, a picture 3 read in, for example, was taken by a camera of a driver assistance system in a vehicle. This image contains various image information and shows, for example, the course of the road, a house and a road sign 4 namely a speed limit of 30 km / h. First, here is a preprocessing process 5 carried out, including at least one processing criterion 6 , This will be a picture section 7 determines, namely in this case the road sign 4 , For this purpose, first the preprocessing process 5 an edge detection by means of Canny edge detection performed, ie the original color image 3 is first converted so that only the edges of the objects imaged thereon can still be seen. Thereafter, a circle detection is performed by Hough transformation, which allows the speed limit in the form of the round shield 4 to recognize and separate.

Würde im vorliegenden Fall diese Kreiserkennung z.B. nicht zu einem Ergebnis führen, könnten auch noch andere geometrische Formen ermittelt werden, z.B. Dreiecke, Rauten oder dergleichen (z.B. Vorfahrtsstraßenschilder, Vorfahrt-Gewähren-Schilder usw.). Anschließend wird das Merkmalsextraktionsverfahren 8 durchgeführt. Dieses umfasst zunächst eine Rasterung in Zellen, in welche der Bildausschnitt 7 eingeteilt wird. Anschließend wird für jede Zelle die am stärksten ausgeprägte Gradientenrichtung bestimmt, für jedes Pixel der Gradient berechnet und anschließend werden die Gradienten jeder Zelle diskretisiert und die Gradientenbeträge aufsummiert. Die Aufsummierung dieser Gradientenbeträge ergibt schließlich Histogramme der Gradientenrichtungen. Diese Bildungen der Histogramme der Gradientenrichtungen, die zusammengefasst einen bildbeschreibenden Merkmalsvektor ergeben, wird mit dem Bezugszeichen 10 beschrieben. Das Ergebnis des Merkmalsextraktionsverfahrens 8 ist also wenigstens ein Merkmalvektor 11.If, in the present case, this circle recognition does not lead to a result, for example, other geometric shapes could also be determined, eg triangles, diamonds or the like (eg priority roadsigns, right of way signs, etc.). Subsequently, the feature extraction method 8th carried out. This first comprises a screening in cells, in which the image section 7 is divided. Subsequently, the strongest gradient direction is determined for each cell, the gradient is calculated for each pixel, and then the gradients of each cell are discretized and the gradient magnitudes summed up. The summation of these gradient amounts finally gives histograms of the gradient directions. These formations of the histograms of the gradient directions, which together form an image-describing feature vector, are denoted by the reference symbol 10 described. The result of the feature extraction method 8th is thus at least one feature vector 11 ,

Bei Anwendung des Erkennungsverfahrens wird der Merkmalsvektor llmittels eines Klassifikators 12 zu einem Ergebnis bzw. einem Label 13, welches eine Ergebnis-Bildinformation enthält; d.h. es wird das Zuordnungsverfahren Z angewandt. Bei der Durchführung des Objekterkennungsverfahrens 1 wird der den Klassifikator zugrundeliegende Algorithmus anhand einer Bildinformation angepasst. Diese beim Objekterkennungsverfahren zusätzlich vorgesehene Bildinformation ist gestrichelt mit dem Bezugszeichen 14 gekennzeichnet.When using the recognition method, the feature vector II becomes a classifier 12 to a result or a label 13 containing a result image information; ie it becomes the assignment procedure Z applied. In carrying out the object recognition process 1 the algorithm underlying the classifier is adapted on the basis of image information. This additionally provided in the object recognition method image information is dashed with the reference numeral 14 characterized.

2 zeigt ein Schema des gesamten Computer-implementierten Verfahrens V zur Kontrolle bzw. zum Testen eines Objekterkennungssystems. Ausgegangen wird zunächst vom zweiten Bilddatensatz B2, aus dem ein Bild in die Recheneinheit eingelesen wird (z.B. Bild 3). Auf dieses Bild wird zunächst das Objekterkennungsverfahren 1 angewandt. Werden mehrere Bilder eingelesen, so wird diese Wiederholungschleife 15 hierauf angewandt. Im Ergebnis erhält man einen resultierenden Algorithmus in Form eines Klassifikators 16, der sodann für das Einlernverfahren 2 bzw. das Erkennungsverfahren 2' verwendet wird. Ebenfalls als Eingabe für das Einlernvefahren 2 dienen Bilder des ersten Bilddatensatzes B1. Mit diesen beiden Eingabeinformationen, nämlich den Bildern aus dem ersten Bilddatensatz ohne Bildinformation und dem Klassifikator 16, wird das Erkennungsverfahren 2 durchgeführt. 2 shows a schematic of the entire computer-implemented method V to control or test an object recognition system. The starting point is the second image data set B2 from which an image is read into the arithmetic unit (eg image 3 ). First of all, the object recognition method is applied to this picture 1 applied. If several pictures are read in, then this repetition loop becomes 15 applied to this. The result is a resulting algorithm in the form of a classifier 16 who then goes for the learning procedure 2 or the detection method 2 ' is used. Also as input for the learning process 2 serve images of the first image data set B1 , With these two input information, namely the images from the first image data set without image information and the classifier 16 , becomes the detection method 2 carried out.

Bei mehreren Bildern aus dem ersten Bilddatensatz wird eine Wiederholschleife 17 ausgeführt, sodass diese nacheinander verarbeitet werden können. Die Ergebnis-Bildinformationen 18 werden schließlich mittels einer Testeinheit T mit Vergleichsinformationen verglichen.If there are several pictures from the first picture data set, this will be a repeat loop 17 executed so that they can be processed one after the other. The result image information 18 Finally, by means of a test unit T compared with comparative information.

3 zeigt eine Durchführung eines Klassifikationsverfahrens 20 mittels eines Klassifikators unter Verwendung einer Support Vector Machine. Die einzelnen Merkmalsvektoren können durch Punkte 21 bzw. 22 in einem Raum 23, der i.d.R. mehrdimensional ist, dargestellt werden. Die Punkte 21 und 22 repräsentieren z.B. unterschiedliche Klassen, bspw. unterschiedliche Geschwindigkeitsbegrenzungsschilder. Aufgrund der unterschiedlichen Umgebungen, bei denen jeweils Bilder in einer Verkehrssituation aufgenommen werden, stimmen diese jeweiligen Merkmalsvektoren nicht vollständig überein, sodass es zu jeweils einer Ansammlung von Punkten 21 bzw. 22 kommt. Die Punkte 21, die für ein bestimmtes Verkehrsschild stehen, liegen jedoch nahe beieinander und sind eindeutig trennbar von der Ansammlung von Punkten 22. Diese Trennung erfolgt durch eine Hyperebene 24. Hiermit wird ein Optimierungsproblem gelöst. Die gestrichelt gezeichneten Linien 25 und 26 sind gerade so gewählt, dass sie Extrempunkte wie die Punkte 21' und 22' gerade noch aufnehmen. Durch mathematische Optimierung kann über die Hyperebene 24 somit eine Unterscheidung der Verkehrsschilder erfolgen, die jeweils durch die Punkteansammlungen 21 und 22 dargestellt werden. 3 shows an implementation of a classification method 20 using a classifier using a Support Vector Machine. The individual feature vectors can be identified by dots 21 respectively. 22 in a room 23 , which is usually multidimensional, can be represented. The points 21 and 22 For example, represent different classes, for example, different speed limit signs. Due to the different environments in which pictures are taken in a traffic situation, these respective feature vectors do not completely match each other, resulting in a collection of dots each 21 respectively. 22 comes. The points 21 however, which stand for a particular road sign, are close to each other and are clearly separable from the accumulation of points 22 , This separation is made by a hyperplane 24 , This solves an optimization problem. The dashed lines 25 and 26 are just chosen to have extreme points like the points 21 ' and 22 ' just recording. Through mathematical optimization can be over the hyperplane 24 Thus, a distinction of the road signs are made, each by the point accumulations 21 and 22 being represented.

4 zeigt ein Kraftfahrzeug 30 mit einem Fahrassistenzsystem 31. Als Sensor umfasst dieses Fahrassistenzsystem 31 zunächst eine Kamera 32 sowie eine Recheneinheit 33. In der Recheneinheit 33 werden das Objekterkennungsverfahren 1 sowie das Erkennungsverfahren 2 bzw. das vollständige Computer-implementierte Verfahren V durchgeführt. Über den Ausgang 34 können die Ergebnis-Bildinformationen z.B. über ein Head-up-Display 35 unmittelbar dem Fahrer angezeigt werden. Darüber hinaus kann über den Ausgang 36 die entsprechende Information auch an eine Kontrolleinheit 37 des Kraftfahrzeugs 30 weitergeleitet werden, sodass diese ggf. in die Fahrt eingreifen kann, z.B. das Antiblockiersystem regelt oder einen Bremsvorgang einleitet, wenn eine Gefahrensituation besteht. 4 shows a motor vehicle 30 with a driver assistance system 31 , The sensor includes this driver assistance system 31 first a camera 32 as well as a computing unit 33 , In the arithmetic unit 33 become the object recognition method 1 as well as the recognition method 2 or the complete computer-implemented method V carried out. About the exit 34 For example, the result image information can be displayed directly to the driver via a head-up display 35. In addition, over the output 36 the corresponding information also to a control unit 37 of the motor vehicle 30 be forwarded so that they may intervene in the ride, for example, controls the anti-lock braking system or initiates a braking operation when a dangerous situation exists.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
ObjekterkennungsverfahrenObject detection method
22
Einlernverfahrenlearning method
2'2 '
Erkennungsverfahrendetection methods
33
ursprüngliches Kamerabildoriginal camera image
44
Verkehrsschildroad sign
55
Vorverarbeitungsverfahrenpreprocessing
66
VorverarbeitungskriteriumVorverarbeitungskriterium
77
Bildausschnittimage section
88th
MerkmalsextraktionsverfahrenFeature extraction method
99
ZellenrasterungZellenrasterung
1010
Erstellung des Merkmalsvektors mit HOGCreation of the feature vector with HOG
1111
Merkmalsvektorfeature vector
1212
Klassifikatorclassifier
1313
Labellabel
1414
Bildinformationimage information
1515
Wiederholungsschleiferepeat loop
1616
Klassifikatorclassifier
1717
Wiederholungsschleiferepeat loop
1818
Ergebnis-BildinformationResult image information
2020
Klassifikationsverfahrenclassification methods
2121
Merkmalsvektorenfeature vectors
2222
Merkmalsvektorenfeature vectors
2323
Mehrdimensionaler RaumMultidimensional space
2424
Hyperebenehyperplane
2525
Trennebeneparting plane
2626
Trennebeneparting plane
21'21 '
Grenzpunktboundary point
22'22 '
Grenzpunktboundary point
3030
Kraftfahrzeugmotor vehicle
3131
FahrassistenzsystemDriving Assistance System
3232
Kameracamera
3333
Recheneinheitcomputer unit
3434
Ausgangoutput
3535
Head-up-DisplayHead-Up Display
3636
Ausgangoutput
3737
Kontrolleinheitcontrol unit
B1B1
Erster BilddatensatzFirst image data set
B2B2
Zweiter BilddatensatzSecond image data set
TT
Testeinheittest unit
VV
Computer-implementiertes VerfahrenComputer-implemented method
ZZ
Zuordnungsverfahrenallocation method

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102011087791 A1 [0002]DE 102011087791 A1 [0002]

Claims (18)

Computer-implementiertes Verfahren (V) zum Kontrollieren und/oder Testen eines Objekterkennungssystems (31), wie z.B. eines Fahrassistenzsystems, umfassend: - Bereitstellen eines ersten Bilddatensatzes (B1) mit wenigstens einem Bild, wobei dem jeweiligen Bild eine Bildinformation zugrunde liegt, - Bereitstellen eines zweiten Bilddatensatzes (B2) mit wenigstens einem Bild, wobei dem jeweiligen Bild eine Bildinformation zugrunde liegt und wobei der Bilddatensatz wenigstens eine der zugrunde liegenden Bildinformationen enthält, - Bereitstellen einer Recheneinheit (33) zur Durchführung folgender Teilverfahren, - Durchführung eines Objekterkennungsverfahrens (1) mit wenigstens folgenden Verfahrensschritten: • Einlesen wenigstens eines der Bilder des zweiten Bilddatensatzes (B2) in die Recheneinheit (33), • Durchführung eines Vorverarbeitungsverfahrens (5) zur Bestimmung wenigstens eines Bildausschnitts (7), in dem eine Bildinformation enthalten ist und/oder enthalten sein kann, anhand wenigstens eines Verarbeitungskriteriums (6), • Durchführung eines Merkmalsextraktionsverfahrens (8), indem graphische Eigenschaften des wenigstens einen Bildausschnitts bestimmt und zu wenigstens einem Merkmalsvektor (11) zusammengefasst werden, • Einstellung eines Algorithmus für ein Klassifikationsverfahren (20), bei welchem dem wenigstens einen Merkmalsvektor (11) die zugrunde liegende Bildinformation zugeordnet und der resultierende Algorithmus als Klassifikator (12, 16) gespeichert wird, • insbesondere erneute Durchführung (15) des Objekterkennungsverfahrens mit einem anderen der Bilder des zweiten Bilddatensatzes (B2), • Durchführung eines Erkennungsverfahrens (2'), mit wenigstens folgenden Verfahrensschritten: o Einlesen wenigstens eines der Bilder des ersten Bilddatensatzes (B1) in die Recheneinheit (33), o Durchführung des Vorverarbeitungsverfahrens (5) zur Bestimmung wenigstens eines Bildausschnitts, in dem eine Bildinformation enthalten ist und/oder enthalten sein kann, anhand des wenigstens einen beim Objekterkennungsverfahren (1) verwendeten Verarbeitungskriteriums (6), o Durchführung des Merkmalsextraktionsverfahrens (8), indem graphische Eigenschaften des Bildausschnitts bestimmt und zu wenigstens einem Merkmalsvektor (11) zusammengefasst werden, o Durchführung eines Zuordnungsverfahrens (Z), bei welchem dem wenigstens einen Merkmalsvektor (11) anhand des Klassifikators (12, 16) eine Ergebnis-Bildinformation zugeordnet wird, o insbesondere erneute Durchführung (17) des Erkennungsverfahrens (1) mit einem anderen der Bilder des ersten Bilddatensatzes (B1),A computer implemented method (V) for controlling and / or testing an object recognition system (31), e.g. a driver assistance system comprising: Providing a first image data set (B1) with at least one image, wherein the respective image is based on image information, Providing a second image data set (B2) with at least one image, wherein the respective image is based on image information and wherein the image data set contains at least one of the underlying image information, Providing a computing unit (33) for carrying out the following sub-procedures, - Implementation of an object recognition method (1) with at least the following method steps: Reading at least one of the images of the second image data set (B2) into the arithmetic unit (33), Carrying out a preprocessing method (5) for determining at least one image detail (7) in which image information is contained and / or can be contained, based on at least one processing criterion (6), Carrying out a feature extraction method (8) by determining graphic properties of the at least one image section and combining them into at least one feature vector (11), Setting an algorithm for a classification method (20), in which the at least one feature vector (11) is assigned the underlying image information and the resulting algorithm is stored as a classifier (12, 16), In particular renewed execution (15) of the object recognition process with another of the images of the second image data set (B2), • Carrying out a recognition process (2 '), with at least the following process steps: o reading at least one of the images of the first image data set (B1) into the arithmetic unit (33), carrying out the preprocessing method (5) for determining at least one image detail in which image information is contained and / or can be contained, based on the at least one processing criterion (6) used in the object recognition method (1), carrying out the feature extraction method (8) by determining graphic properties of the image detail and combining them into at least one feature vector (11), o carrying out an assignment method (Z) in which the result image information is assigned to the at least one feature vector (11) on the basis of the classifier (12, 16), o in particular renewed execution (17) of the recognition process (1) with another of the images of the first image data set (B1), Computer-implementiertes Verfahren (V) nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass ein Einlernverfahrens (2) durchgeführt wird, wobei ein Vergleich der wenigstens einen Ergebnis-Bildinformation aus dem Erkennungsverfahren (2') mit der zugrunde liegenden Bildinformationen des ersten Bilddatensatzes (B1), vorgenommen und eine Änderung des Klassifikators (12, 16) durchgeführt wird, wenn beim Vergleich eine der Ergebnis-Bildinformationen nicht mit der zugrunde liegenden Bildinformation übereinstimmt.Computer-implemented method (V) according to one of the preceding claims, characterized in that a teaching process (2) is performed, wherein a comparison of the at least one result image information from the recognition process (2 ') with the underlying image information of the first image data set ( B1), and a change of the classifier (12, 16) is performed if, in the comparison, one of the result image information does not match the underlying image information. Computer-implementiertes Verfahren (V) nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass das Objekterkennungsverfahren (1) dazu verwendet wird, um Verkehrszeichen (4) und/oder Fußgänger als Objekte zu erkennen.Computer-implemented method (V) according to one of the preceding claims, characterized in that the object recognition method (1) is used to detect traffic signs (4) and / or pedestrians as objects. Computer-implementiertes Verfahren (V) nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass als Einlernverfahren (2) ein Machine-Learning-Verfahren ausgeführt wird.Computer-implemented method (V) according to any one of the preceding claims, characterized in that as a learning method (2), a machine-learning method is performed. Computer-implementiertes Verfahren (V) nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass beim Vorverarbeitungsverfahren (5) als Verarbeitungskriterium (6) oder Verarbeitungskriterien wenigstens eines der folgenden Kriterien verwendet wird: - eine Kantendetektion, insbesondere mittels Canny-Edge-Detektion und/oder - eine Kreiserkennung mittels Hough-Transformation.Computer-implemented method (V) according to one of the preceding claims, characterized in that in the preprocessing method (5) as processing criterion (6) or processing criteria at least one of the following criteria is used: - an edge detection, in particular by means of canny edge detection and / or - a circle recognition by Hough transformation. Computer-implementiertes Verfahren (V) nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass beim Merkmalsextraktionsverfahren (8) eine Rasterung (9) des Bildausschnitts in wenigstens zwei Zellen durchgeführt wird, wobei jede Zelle insbesondere die Größe 8x8 Pixel aufweist.Computer-implemented method (V) according to one of the preceding claims, characterized in that in the feature extraction method (8) a screening (9) of the image section is performed in at least two cells, each cell in particular having the size 8x8 pixels. Computer-implementiertes Verfahren (V) nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass beim Merkmalsextraktionsverfahren (8) als graphische Eigenschaften eine lokale Verteilung der Gradientenorientierungen und/oder eine Gradientenstärke bestimmt wird.Computer-implemented method (V) according to any one of the preceding claims, characterized in that the feature extraction method (8) as a graphical properties a local distribution of the gradient orientations and / or a gradient strength is determined. Computer-implementiertes Verfahren (V) nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass beim Klassifikationsverfahren (20) dem Klassifikator (12, 16) wenigstens eine Hyperebene (24) zugeordnet wird, welche die einer bestimmten Bildinformation zugeordneten Merkmalsvektoren (11, 21, 22) von Merkmalsvektoren, die einer anderen Bildinformation zuzuordnen sind, abtrennt.Computer-implemented method (V) according to one of the preceding claims, characterized in that in the classification method (20) the classifier (12, 16) is assigned at least one hyperplane (24) which maps the feature vectors (11, 21, 22) of feature vectors to be associated with another image information. Computer-implementiertes Verfahren (V) nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass beim Zuordnungsverfahren ein Optimierungsverfahren angewendet wird, um die Zuordnung vorzunehmen.Computer-implemented method (V) according to one of the preceding claims, characterized in that in the assignment method a Optimization method is applied to make the assignment. Computer-implementiertes Verfahren (V) nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass das Verfahren in einem Fahrassistenzsystem (31) eines Fahrzeugs (30) durchgeführt wird, wobei eine Aufnahme eines Bildes wenigstens eines Ausschnitts der Umgebung des Fahrzeugs (30) und anschließend das Erkennungsverfahren (2') durchgeführt wird.Computer-implemented method (V) according to one of the preceding claims, characterized in that the method is carried out in a driver assistance system (31) of a vehicle (30), wherein a picture of at least a portion of the environment of the vehicle (30) and subsequently the recognition process (2 ') is performed. Computer-implementiertes Verfahren (V) nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass als Fahrassistenzsystem (31) ein solches mit einer Kontrolleinheit (37) zur Kontrolle des Fahrzeugs (30), insbesondere zur Abgabe von Befehlen an das Fahrzeug (30) steuernde Systeme und/oder zur Bereitstellung von Fahrdaten und/oder zur Anzeige von Fahrdaten an den Fahrer, verwendet wird und die Ergebnis-Bildinformation als Steuer- und/oder Regelungsparameter an die Kontrolleinheit (37) übermittelt wirdComputer-implemented method (V) according to one of the preceding claims, characterized in that as a driving assistance system (31) such with a control unit (37) for controlling the vehicle (30), in particular for issuing commands to the vehicle (30) controlling Systems and / or for providing driving data and / or for displaying driving data to the driver, is used and the result image information is transmitted as control and / or control parameters to the control unit (37) Computer-implementiertes Verfahren (V) nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass eine Testeinheit (T) verwendet wird, welche Vergleichsinformationen enthält, und einen Vergleich zwischen der wenigstens einen Ergebnis-Bildinformation aus dem Erkennungsverfahren (2') und den Vergleichsinformationen durchführt.Computer-implemented method (V) according to one of the preceding claims, characterized in that a test unit (T) is used, which contains comparison information, and performs a comparison between the at least one result image information from the recognition method (2 ') and the comparison information , Computer-implementiertes Verfahren (V) nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass eine Testeinheit (T) verwendet wird, welche eine Mess- und/oder Erfassungsvorrichtung zum Messen und/oder Erfassen von Fahrdaten während der Fahrt des Fahrzeugs umfasst, die gemessenen und/oder erfassten Fahrdaten als Vergleichsinformationen verwendet, und einen Vergleich zwischen der wenigstens einen Ergebnis-Bildinformation aus dem Erkennungsverfahren (2') und den Vergleichsinformationen durchführt.Computer-implemented method (V) according to any one of the preceding claims, characterized in that a test unit (T) is used, which comprises a measuring and / or detection device for measuring and / or detecting driving data while driving the vehicle, the measured and / or detected driving data used as comparison information, and performs a comparison between the at least one result image information from the recognition method (2 ') and the comparison information. Fahrassistenzsystem (31) zur Unterstützung der Kontrolle über ein Fahrzeug (30) durch Ausgabe von Fahrdaten, Fahranweisungen und/oder durch Durchführung von Steuerungen und/oder Regelungen des Fahrzeugs zur Durchführung eines computer-implementierten Verfahrens (V) nach einem der vorgenannten Ansprüche.Driver assistance system (31) for assisting control of a vehicle (30) by outputting driving data, driving instructions and / or by performing controls and / or regulations of the vehicle for carrying out a computer-implemented method (V) according to one of the preceding claims. Fahrassistenzsystem (31) nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass eine Schnittstelle und/oder eine Speichereinheit zum Einlesen, Auslesen und/oder Speichern von Bildern, Bildinformationen und/oder Klassifikatoren vorgesehen ist.Driver assistance system (31) according to any one of the preceding claims, characterized in that an interface and / or a memory unit for reading, reading and / or storing images, image information and / or classifiers is provided. Fahrassistenzsystem (31) nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass eine Kontrolleinheit (37) zur Kontrolle des Fahrzeugs (30) vorgesehen ist.Driver assistance system (31) according to one of the preceding claims, characterized in that a control unit (37) for controlling the vehicle (30) is provided. Fahrassistenzsystem (31) nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass wenigstens ein Sensor (32) zum Messen und/oder Erfassen von Fahrdaten vorgesehen ist.Driver assistance system (31) according to one of the preceding claims, characterized in that at least one sensor (32) is provided for measuring and / or detecting driving data. Fahrassistenzsystem (31) nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass eine Testeinheit (T) vorgesehen ist, um einen Vergleich zwischen der wenigstens einen Ergebnis-Bildinformation aus dem Erkennungsverfahren (2') und den Vergleichsinformationen vorzunehmen.Driver assistance system (31) according to any one of the preceding claims, characterized in that a test unit (T) is provided to make a comparison between the at least one result image information from the recognition method (2 ') and the comparison information.
DE102016120066.2A 2016-10-21 2016-10-21 A computer implemented method for controlling an object recognition system Ceased DE102016120066A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016120066.2A DE102016120066A1 (en) 2016-10-21 2016-10-21 A computer implemented method for controlling an object recognition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016120066.2A DE102016120066A1 (en) 2016-10-21 2016-10-21 A computer implemented method for controlling an object recognition system

Publications (1)

Publication Number Publication Date
DE102016120066A1 true DE102016120066A1 (en) 2018-04-26

Family

ID=61865999

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016120066.2A Ceased DE102016120066A1 (en) 2016-10-21 2016-10-21 A computer implemented method for controlling an object recognition system

Country Status (1)

Country Link
DE (1) DE102016120066A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019208928A1 (en) * 2019-06-19 2020-12-24 Robert Bosch Gmbh Method and device for generating a visual representation of the surroundings of a means of locomotion
DE102020213058A1 (en) 2020-10-15 2022-04-21 Volkswagen Aktiengesellschaft Method and device for partially automated or fully automated control of a vehicle
DE102020213057A1 (en) 2020-10-15 2022-04-21 Volkswagen Aktiengesellschaft Method and device for checking an AI-based information processing system used in partially automated or fully automated control of a vehicle
DE102020214944A1 (en) 2020-11-27 2022-06-02 Robert Bosch Gesellschaft mit beschränkter Haftung Determination of the image parts that are relevant for an image classifier with a reduced computing time requirement

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011087791A1 (en) 2011-12-06 2013-06-06 Robert Bosch Gmbh Method for operating adaptive cruise control system of vehicle, involves making driver of vehicle to take manual action regarding object outside vehicle, and supporting alignment of vehicle regarding object

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011087791A1 (en) 2011-12-06 2013-06-06 Robert Bosch Gmbh Method for operating adaptive cruise control system of vehicle, involves making driver of vehicle to take manual action regarding object outside vehicle, and supporting alignment of vehicle regarding object

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019208928A1 (en) * 2019-06-19 2020-12-24 Robert Bosch Gmbh Method and device for generating a visual representation of the surroundings of a means of locomotion
DE102020213058A1 (en) 2020-10-15 2022-04-21 Volkswagen Aktiengesellschaft Method and device for partially automated or fully automated control of a vehicle
DE102020213057A1 (en) 2020-10-15 2022-04-21 Volkswagen Aktiengesellschaft Method and device for checking an AI-based information processing system used in partially automated or fully automated control of a vehicle
US11912289B2 (en) 2020-10-15 2024-02-27 Volkswagen Aktiengesellschaft Method and device for checking an AI-based information processing system used in the partially automated or fully automated control of a vehicle
DE102020214944A1 (en) 2020-11-27 2022-06-02 Robert Bosch Gesellschaft mit beschränkter Haftung Determination of the image parts that are relevant for an image classifier with a reduced computing time requirement

Similar Documents

Publication Publication Date Title
DE102011086512B4 (en) fog detection
DE102010039634B4 (en) Arrangement and method for traffic sign recognition
AT521607B1 (en) Method and device for testing a driver assistance system
DE19982422C1 (en) Road sign recognition device reduces image data to simplified representation by erasing regions containing class-specific attribute data
DE102017107264A1 (en) VISIBLE RAIN RECOGNITION USING DEEP LEARNING
DE102017100198A1 (en) FIXING GENERATION FOR MACHINE LEARNING
DE102011055458A1 (en) Adaptation technology for the detection of a free lane by means of reliable local model calibration
DE102016210534A1 (en) Method for classifying an environment of a vehicle
DE102016120066A1 (en) A computer implemented method for controlling an object recognition system
DE102014106506A1 (en) Method for carrying out a diagnosis of a camera system of a motor vehicle, camera system and motor vehicle
WO2020051618A1 (en) Analysis of dynamic spatial scenarios
DE102019214558A1 (en) PROJECTION INFORMATION RECOGNITION DEVICE BASED ON AN ARTIFICIAL NEURAL NETWORK AND PROCESSES OF THE SAME
DE102008043761B4 (en) Method and control unit for adapting a vehicle assistance system
DE102019217723A1 (en) DRIVING SAFETY CONTROL SYSTEM USING AMBIENT NOISE AND CONTROL METHOD THEREFOR
DE102021003567A1 (en) Process for the recognition of object relationships and attributions from sensor data
DE102020112825A1 (en) Method for detecting relevant static objects within a lane as well as computing device for a driver assistance system of a vehicle
DE102020103770A1 (en) Identification of the attention region to improve sensor-based recognition in a vehicle
DE102019129737A1 (en) Method for classifying an environment of a vehicle
DE102018206743A1 (en) A method of operating a driver assistance system of an ego vehicle having at least one environment sensor for detecting an environment of the ego vehicle, computer-readable medium, system, and vehicle
DE102020105070A1 (en) Method for recognizing a drivable area in the surroundings of a vehicle with the aid of a binary artificial neural network, computing device and driver assistance system
DE102019216184A1 (en) Method for the robustification of a neural network against adversarial disturbances
DE102018114628A1 (en) Automatic or semi-automatic parking procedures based on deep learning
DE102014006546A1 (en) motor vehicle
DE102016119592A1 (en) Method for detecting objects in an environmental region of a motor vehicle taking into account sensor data in the infrared wavelength range, object recognition device, driver assistance system and motor vehicle
DE102017004770A1 (en) Method for operating a driver assistance system

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final