DE102008036219A1

DE102008036219A1 - Method for identification of object i.e. traffic sign, in surrounding area of e.g. passenger car, involves determining similarity measure between multiple characteristics of image region and multiple characteristics of characteristic set

Info

Publication number: DE102008036219A1
Application number: DE102008036219A
Authority: DE
Inventors: Alexander Augst; Eric Dr. Wahl
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2008-08-02
Filing date: 2008-08-02
Publication date: 2010-02-04

Abstract

The method involves comparing an image region with a characteristic set of a to-be-identified object. The image region and/or the set are transformed in a virtual perspective using a perspective transformation. A transformed or untransformed image region and a transformed or untransformed characteristic set are obtained. A similarity measure between multiple characteristics of the former region and multiple characteristics of the former set is determined by comparing the latter region with the latter characteristic set. An independent claim is also included for a device for identification of an object in surrounding area of a vehicle.

Description

Die Erfindung betrifft ein Verfahren zur Erkennung von Objekten im Umfeld eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, bei dem wenigstens ein Bildbereich eines Bildes aus der Fahrzeugumgebung, das durch eine am Fahrzeug vorgesehene bildgebende Vorrichtung erfasst wurde, mit einem oder mehreren Merkmalssätzen von einem oder mehreren zu erkennenden Objekten verglichen wird.The The invention relates to a method for detecting objects in the environment a vehicle, in particular a motor vehicle, wherein at least an image area of an image from the vehicle environment, through an imaging device provided on the vehicle has been detected, with one or more feature sets of one or more to be recognized objects to be compared.

Bei bekannten Verfahren zur Objekterkennung im Umfeld eines Fahrzeugs werden durch eine bildgebende Vorrichtung erfasste Bilder in der Regel in einem ersten Schritt einer Bildaufbereitung in der Form von Kantenglättungen, Flussberechnung und dergleichen unterzogen. Anschließend wird mit den Bildern eine Objekterkennung durchgeführt. Die Bilder des Umfelds des Fahrzeugs enthalten dabei meist dreidimensionale Objekte, welche in den Bildern in verschiedenen Perspektiven erscheinen, was ihre Erkennung als Objekt bzw. ihre Klassifikation wesentlich erschwert.at known methods for object recognition in the environment of a vehicle be captured by an imaging device images in the Usually in a first step of image processing in the form from antialiasing, flux calculation and the like. Subsequently, with the pictures an object recognition carried out. The images of the environment of the vehicle included mostly three-dimensional objects, which in the pictures in different Perspectives appear what their recognition as an object or their Classification considerably more difficult.

Die Dokumente DE 10 2007 022 940 A1 und DE 103 23 915 A1 offenbaren eine kamerabasierte Positionserkennung für ein Fahrzeug, bei der für bereits erkannte Objekte aus der Perspektive, in der diese Objekte mit einer Kamera erfasst wurden, die reale Position der Objekte ermittelt wird.The documents DE 10 2007 022 940 A1 and DE 103 23 915 A1 disclose a camera-based position recognition for a vehicle, in which the real position of the objects is determined for already recognized objects from the perspective in which these objects were detected with a camera.

Die Druckschrift WO 02/073535 A2 offenbart ein Verfahren zur Anzeige von mit einer Kamera erfassten Objekten im Umfeld eines Fahrzeugs. Dabei werden die bereits erkannten Objekte bzw. die entsprechenden Bildausschnitte zur verbesserten Anzeige einer geometrischen Entzerrung basierend auf einer affinen Transformation unterzogen. Gegebenenfalls wird mit den transformierten Objekten eine Texterkennung durchgeführt. Bei der durchgeführten affinen Transformation wird nicht die Perspektive berücksichtigt, in der die Kamera das Objekt erfasst.The publication WO 02/073535 A2 discloses a method for displaying camera-detected objects around a vehicle. In this case, the already recognized objects or the corresponding image sections are subjected to an improved display of a geometric equalization based on an affine transformation. Optionally, a text recognition is performed with the transformed objects. The affine transformation performed does not take into account the perspective in which the camera captures the object.

Wie oben dargelegt, weisen bekannte Verfahren zur Objekterkennung den Nachteil auf, dass die Bildbereiche, welche mit Merkmalen von bekannten Objekten verglichen werden, in der Regel in unterschiedlichsten Perspektiven aufgenommen sein können, was deren Vergleich mit den Abbildungen von bekannten Objekten oder deren Merkmalen erschwert.As As stated above, known methods for object recognition have the Disadvantage on that the image areas, which with features of known Objects are compared, usually in different ways Perspectives can be included, what their comparison with the images of known objects or their features difficult.

Aufgabe der Erfindung ist es deshalb, ein Verfahren zur Erkennung von Objekten im Umfeld eines Fahrzeugs bzw. eine entsprechende Vorrichtung bzw. ein Fahrzeug zu schaffen, mit denen eine zuverlässige Erkennung von mit einer bildgebenden Vorrichtung des Fahrzeugs erfassten Objekten erreicht wird.task The invention therefore provides a method for recognizing objects in the environment of a vehicle or a corresponding device or to create a vehicle with which reliable detection of objects detected by an imaging device of the vehicle is reached.

Gelöst wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 bzw. eine Vorrichtung mit den Merkmalen des Anspruchs 16 bzw. ein Fahrzeug mit den Merkmalen des Anspruchs 17. Vorteilhafte Ausführungen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.Solved This object is achieved by a method having the features of the claim 1 or a device with the features of claim 16 or a vehicle with the features of claim 17. Advantageous embodiments and further developments of the invention will become apparent from the dependent Claims.

In dem erfindungsgemäßen Verfahren wird ein Bildbereich eines durch eine bildgebende Vorrichtung eines Fahrzeugs erfassten Bilds der Fahrzeugumgebung mit einem oder mehreren Merkmalssätzen von einem oder mehreren zu erkennenden Objekten verglichen. Der Begriff „Merkmal” umfasst hierbei jedwede Art von Bildinformation bzgl. einer bestimmten Eigenschaft. Insbesondere umfasst der Begriff Merkmal Kantenstrukturen, Amplituden- und Frequenzspektren, Pixelverteilungen, die zumindest im Hinblick auf einen Parameter im Wesentlichen einem vorgegebenen Muster und/oder einer Gesetzmäßigkeit entsprechen. Der erfinderische Gedanke ist dabei auf jede Art von bildgebenden Vorrichtungen anwendbar. Unter bildgebenden Vorrichtungen sind alle Vorrichtungen zu verstehen, die einen bildlichen Ausschnitt der Fahrzeugumgebung bereitzustellen vermögen. Zu den bildgebenden Vorrichtungen in diesem Sinne zählen sowohl solche, die auf Kamerabildern (auch Infrarot) basieren, als auch solche, die auf synthetischen Bildern (gegebenenfalls auch mit einer modellhaft dargestellten Fahrzeugumgebung) basieren und die beispielsweise durch ein Abtasten bzw. „Scannen” der Umgebung durch eine Radar-Vorrichtung, eine Lidar-Vorrichtung oder ein ähnliches Erfassungsmittel erzeugt werden. Auch solche Fälle einer realzeitmäßigen Bilderzeugung auf Basis einer Sensierung der Umgebung sind von dem verwendeten Begriff „Erfassung eines Bilds durch eine bildgebende Vorrichtung” umfasst. Eine bildgebende Vorrichtung im obigen Sinne kann auch aus mehreren Kameras und/oder anderen Sensoren bestehen, deren Bilder zu einem einzigen Bild zusammengefügt werden.In The method according to the invention becomes an image area a detected by an imaging device of a vehicle Image of the vehicle environment with one or more feature sets compared by one or more objects to be recognized. Of the Term "feature" hereby includes any kind of image information regarding a particular property. Especially the term feature includes edge structures, amplitude and frequency spectra, Pixel distributions, at least in terms of a parameter essentially a predetermined pattern and / or a regularity correspond. The inventive idea is in every way imaging devices applicable. Among imaging devices are all devices to understand that a pictorial excerpt be able to provide the vehicle environment. To the imaging Devices in this sense include both those that based on camera images (including infrared), as well as those that on synthetic pictures (possibly also with a model represented vehicle environment) and the example by scanning or "scanning" the environment by a radar device, a lidar device or the like Detection means are generated. Even such cases of a real-time Image generation based on a sense of the environment are of the used term "capture an image by an imaging Device "includes. An imaging device in the above Sense can also consist of several cameras and / or other sensors, whose pictures are put together into a single picture.

Ein Merkmalssatz eines zu erkennenden Objekts beschreibt ein oder mehrere bestimmte, für das Objekt charakteristische Merkmale, insbesondere Merkmale der Struktur, beispielsweise der räumlichen Ausdehnung, der Grau- bzw. Farbwertverteilung der Pixel, etc. des Objekts, wobei der Begriff „Objekt” weit auszulegen ist. Insbesondere kann es sich um ein klar vorbestimmtes dediziertes Objekt handeln, jedoch fällt unter den Begriff „Objekt” auch die Spezifizierung einer vorbestimmten Objektklasse, unter der sich eine Vielzahl von Objekten mit ähnlichen bzw. vergleichbaren Merkmalen zusammenfassen lassen. Beispiele von Objektklassen im Straßenverkehr sind Verkehrsschilder, Personenkraftwagen, Spurmarkierungen, Fahrbahnen, Lastkraftwagen und dergleichen. Unter dem Begriff „Objekt” lassen sich auch bestimmte Komponenten bzw. Teile von größeren Objekten subsumieren, so dass durch einen Merkmalssatz gegebenenfalls nicht ein gesamtes Objekts, sondern nur ein Ausschnitt des Objekts beschrieben sein kann. Unter dem Begriff „Bildbereich eines erfassten Bilds” kann insbesondere ein Ausschnitt dieses Bildes verstanden werden, jedoch kann der Bildbereich gegebenenfalls auch das gesamte Bild umfassen.A feature set of an object to be recognized describes one or more specific characteristics characteristic of the object, in particular features of the structure, for example the spatial extent, the gray or color value distribution of the pixels, etc. of the object, the term "object" being interpreted broadly is. In particular, it may be a clearly predetermined dedicated object, but the term "object" also includes the specification of a predetermined object class, under which a plurality of objects with similar or comparable features can be summarized. Examples of object classes in road traffic are traffic signs, passenger cars, lane markings, lanes, trucks and the like. The term "object" can also be certain components or parts of size subsuming ren objects, so that may be described by a feature set not an entire object, but only a section of the object. The term "image area of a captured image" may, in particular, be understood as a section of this image, but the image area may optionally also encompass the entire image.

In dem erfindungsgemäßen Verfahren werden ein oder mehrere Verarbeitungsschritte zum Vergleich des Bildbereichs mit einem Merkmalssatz durchgeführt. Der jeweilige Verarbeitungsschritt enthält dabei einen ersten und einen zweiten Teilschritt, wobei der erste Teilschritt vor dem zweiten Teilschritt durchgeführt wird. Gegebenenfalls können weitere Teilschritte vor dem ersten Teilschritt bzw. zwischen dem ersten und dem zweiten Teilschritt bzw. nach dem zweiten Teilschritt vorgesehen sein. In dem ersten Teilschritt werden zunächst der Bildbereich und/oder der Merkmalssatz des zu erkennenden Objekts mittels einer perspektivischen Transformation in eine virtuelle Perspektive transformiert. Hierdurch wird ein zweiter Bildbereich erhalten, welcher, je nachdem ob der Bildbereich transformiert wurde oder nicht, der transformierte oder der untransformierte Bildbereich ist. Ferner wird ein zweiter Merkmalssatz erhalten, welcher, je nachdem ob der Merkmalssatz transformiert wurde oder nicht, der transformierte oder der untransformierte Merkmalssatz ist. Nach Durchführung dieser perspektivischen Transformation wird in dem nachfolgenden zweiten Teilschritt ein Ähnlichkeitsmaß zwischen einem oder mehreren Merkmalen des Bildbereichs und einem oder mehreren Merkmalen des Merkmalssatzes ermittelt, wobei bei dieser Ermittlung nicht der ursprüngliche Bildbereich mit dem ursprünglichen Merkmalssatz verglichen wird, sondern ein Vergleich des zweiten Bildbereichs mit dem zweiten Merkmalssatz durchgeführt wird. Unter Ähnlichkeitsmaß ist dabei der Grad der Übereinstimmung zwischen zwei Merkmalen zu verstehen, wobei verschiedene Kriterien für die Art an Übereinstimmung durch eine geeignete Definition des Ähnlichkeitsmaßes festgelegt werden können. Erfindungsgemäß können dabei mehrere glei che oder auch unterschiedliche Ähnlichkeitsmaße zwischen einzelnen Merkmalen oder Gruppen von mehreren Merkmalen bestimmt werden. Basierend auf dem Ergebnis des zweiten Teilschritts, z. B. anhand von einer ausreichenden Anzahl von Merkmalen mit einem Ähnlichkeitsmaß, welches einen vorbestimmten Übereinstimmungsgrad überschreitet, und/oder anhand der Art der Übereinstimmung gemäß den Ähnlichkeitsmaßen kann dann ein Bildbereich als das zu erkennende Objekt identifiziert werden. Somit ergibt sich eine vorteilhafte Objekterkennung, die eine hohe Erkennungswahrscheinlichkeit bzw. Verlässlichkeit der Erkennung bietet.In the method according to the invention are one or several processing steps for comparing the image area with a feature set. The respective processing step contains a first and a second sub-step, wherein the first sub-step is performed before the second sub-step becomes. If necessary, further sub-steps before first sub-step or between the first and the second sub-step or be provided after the second sub-step. In the first The first step is the image area and / or the sub-step Feature set of the object to be recognized by means of a perspective Transformation transformed into a virtual perspective. This will receive a second image area, which, depending on whether the image area or not, the transformed or untransformed image area is. Furthermore, a second feature set is obtained, which, depending after the feature set has been transformed or not, the transformed or the untransformed feature set. After execution this perspective transformation will be described in the following second substep a similarity measure between one or more features of the image area and one or more Characteristics of the feature set determined, in this determination not the original image area with the original one Feature set is compared, but a comparison of the second Image area is performed with the second feature set. By similarity measure is the degree of agreement to understand between two characteristics, using different criteria for the type of conformity by a suitable Definition of the similarity measure can. According to the invention while several sliding surface or different similarity measures between individual features or groups of multiple characteristics be determined. Based on the result of the second substep, z. B. on the basis of a sufficient number of features with a similarity measure, which exceeds a predetermined degree of agreement, and / or by the nature of the match according to the similarity measures Then an image area can be identified as the object to be recognized become. This results in an advantageous object recognition, the one high probability of detection or reliability the detection offers.

Die Transformation des Bildbereichs bzw. des Merkmalssatzes kann mittels einer vorausbestimmten Abbildungsfunktion und/oder vorausbestimmter Parameter erfolgen. Die Transformation kann insbesondere mittels einer zu ermittelnden Zuordnungstabelle für einzelne Bildbereiche bzw. Pixel auch anhand von an sich bekannten Verfahren durchgeführt werden.The Transformation of the image area or the feature set can by means of a predetermined mapping function and / or predefined Parameters take place. The transformation can in particular by means of an assignment table to be determined for individual image areas or pixels also carried out using methods known per se become.

Alle verwendeten Transformationen haben gemeinsam, dass es sich um perspektivische Transformationen handelt. Die Anwendung der perspektivischen Transformation an sich ist dem Fachmann bekannt. Die perspektivische Transformation berücksichtigt die Veränderung der Position bestimmter Bildbereiche zueinander, die einer Veränderung des Beobachtungspunktes entspricht, was insbesondere über eine lineare Skalierung, Scherung und Rotation hinausgeht. Insbesondere umfasst die perspektivische Transformation nichtlineare und/oder numerische mathematische Operationen, die direkt auf einen Bildbereich und/oder Merkmalsatz oder z. B. auf eine veränderbare Zuordnungstabelle angewandt werden, mit deren Hilfe der Bildbereich und/oder Merkmalsatz transformiert wird.All used transformations have in common that it is perspective Transformations acts. Application of perspective transformation itself is known to the person skilled in the art. The perspective transformation takes into account the change in the position of certain image areas to each other, that of a change of the observation point corresponds, in particular via a linear scaling, Shearing and rotation goes beyond. In particular, the perspective includes Transformation of non-linear and / or numerical mathematical operations, directly to an image area and / or feature set or z. B. be applied to a changeable mapping table, with the aid of which the image area and / or feature set is transformed becomes.

Die Durchführung einer solchen perspektivischen Transformation im erfindungsgemäßen Verfahren ist vorteilhaft, weil somit die durch eine reale Verschiebung des Beobachtungspunktes auftretende Veränderung im Bild im Wesentlichen nachgebildet werden kann, so dass ein transformierter Bildbereich bzw. ein transformierter Merkmalsatz entsteht, der mit einem großen Ähnlichkeitsmaß mit dem realen, aus der verschobenen Perspektive aufgenommenen Bild übereinstimmt. Somit liefert der im zweiten Teilschritt des erfindungsgemäßen Verfahrens automatisch durchgeführte Vergleich ein Ähnlichkeitsmaß zwischen dem zweiten Bildbereich und dem zweiten Merkmalsatz, das relativ geringe Abweichungen von dem Ähnlichkeitsmaß aufweist, das durch eine entsprechende reale Verschie bung der Perspektive durch Verschiebung der bildgebenden Vorrichtung ermittelt worden wäre.The Carrying out such a perspective transformation in the method according to the invention is advantageous because thus by a real displacement of the observation point occurring change in the image are essentially replicated can, so that a transformed image area or a transformed Feature set arises that with a large similarity measure with corresponds to the real picture taken from the shifted perspective. Thus, in the second sub-step of the invention provides Procedure automatically performed a similarity measure between the second image area and the second feature set that is relative has slight deviations from the similarity measure, this through a corresponding real displacement of perspective Displacement of the imaging device would have been determined.

Bevorzugt kann die perspektivische Transformation auch die geometrische Abbildungscharakteristik der bildgebenden Vorrichtung berücksichtigen, z. B. die optischen Verzeichnungen einer Kamera entzerren, und/oder zusammen mit einem Entzerrungsalgorithmus ausgeführt werden. Dies ist besonders vorteilhaft, da die Veränderung oder Korrektur der Verzeichnung, z. B. einer Kamera nach dem Stand der Technik, ebenfalls mittels Anwendung einer Zuordnungstabelle errechnet wird. Erfindungsgemäß können die Korrektur der Abbildungscharakteristik der bildgebenden Vorrichtung und die Anwendung einer perspektivischen Transformation mittels derselben Zuordnungstabelle erfolgen, die in Abhängigkeit der Parameter der perspektivischen Transformation verändert wird.Prefers the perspective transformation can also be the geometric imaging characteristic consider the imaging device, z. B. the optical distortions of a camera equalize, and / or together be performed with an equalization algorithm. This is particularly advantageous because the change or correction of Distortion, z. B. a camera according to the prior art, also calculated using an assignment table. According to the invention the correction of the imaging characteristic of the imaging device and the application of a perspective transformation using the same Assignment table, which depends on the parameters the perspective transformation is changed.

Die Zuordnungstabelle kann veränderbar in Abhängigkeit von den aktuell benötigten Parametern der Transformation ausgestaltet sein und die Verschiebung bestimmter repräsentativer Punkte des ursprünglichen Bildes zu den entsprechenden Punkten des transformierten Bildes bestimmen. Die dazwischen liegenden Punkte der Abbildung können auch mittels einer, durch ein Interpolationsverfahren bestimmten Position ermittelt werden. Alternativ können mehrere Zuordnungstabellen für unterschiedliche Variationen der Perspektive angewendet werden.The Mapping table can be changed depending on from the currently required parameters of the transformation be designed and the displacement of certain representative Points of the original image to the corresponding ones Determine points of the transformed image. The intervening Points of illustration can also be identified by means of a Interpolation method determined position. alternative can have multiple mapping tables for different variations to be applied to the perspective.

In dem erfindungsgemäßen Verfahren können basierend auf beliebigen Kriterien in einem oder mehreren Verarbeitungsschritten virtuelle Perspektiven gebildet werden, um hierdurch solche Merkmale in dem Bildbereich zu ermitteln, welche mit einem entsprechenden zu erkennenden Objekt übereinstimmen. Durch die Verwendung verschiedener virtueller Perspektiven kann insbesondere die Vergleichbarkeit der Merkmale des Merkmalssatzes mit denen des Bildbereichs erreicht werden.In the method of the invention can based on any criteria in one or more processing steps virtual perspectives are formed to thereby provide such features in the image area to determine which with a corresponding to match the recognizing object. By use In particular, the comparability of different virtual perspectives the features of the feature set with those of the image area reached become.

Ein weiterer Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass bekannte Merkmalssätze von Objekten, welche beispielsweise in einem Speicher im Fahrzeug hinterlegt sind, zur Objekterkennung verwendet werden können. Insbesondere müssen die Abbildungen von Objekte nicht in einer Vielzahl verschiedener Perspektiven hinterlegt sein, da die aktuell benötigten Perspektiven während der Durchführung des Verfahrens erzeugt werden. Somit wird geringer Speicherplatz für die Speicherung der Merkmalssät ze benötigt. Insbesondere bei einer großen Vielfalt der zu erkennenden bzw. zu unterscheidenden Objekte bietet dies einen großen Vorteil. Insbesondere vorteilhaft ist die Anwendung des Verfahrens in sogenannten eingebetteten Systemen, wie z. B. in einer Bildverarbeitungseinheit eines Fahrzeuges, weil die Speicherressourcen solcher Einheiten teilweise strikt limitiert sind.One further advantage of the method according to the invention is that known feature sets of objects, which are stored for example in a memory in the vehicle, can be used for object recognition. In particular, need the illustrations of objects are not in a variety of different Perspectives be deposited, since the currently required Perspectives during the implementation of the procedure be generated. Thus, less space for the Storage of feature sets needed. Especially in a wide variety of discernible or discernible Objects this offers a big advantage. Especially advantageous is the application of the method in so-called embedded Systems, such. In an image processing unit of a vehicle, because the storage resources of such units are partially strictly limited are.

In einer bevorzugten Ausführungsform der Erfindung wird für einen Verarbeitungsschritt eine virtuelle Perspektive basierend auf Informationen über die räumliche Anordnung der bildgebenden Vorrichtung in Bezug auf das zu erkennende Objekt und/oder über die Beschaffenheit des Objekts ausgewählt. Die räumliche Anordnung ist als räumliche Lage, insbesondere Entfernung und/oder Ausrichtung des Objekts zu verstehen. Die Beschaffenheit des Objekts, insbesondere auch seine geometrischen Eigenschaften, kann auch z. B. aus einer vorangegangenen groben Klassifizierung des Objektes, z. B. Zugehörigkeit zu einer Sammelklasse, bekannt sein. Unter Berücksichtigung dieser Information können besonders gut geeignete virtuelle Perspektiven zum Vergleich von Merkmalen zwischen dem Bildbereich und dem Merkmalssatz bestimmt werden. Somit kann eine höhere Aussagewahrscheinlichkeit der z. B. durch einen Klassifikator ermittelten Ähnlichkeit erreicht werden. Bei den Informationen über die Anordnung der bildgebenden Vorrichtung in Bezug auf das zu erkennende Objekt muss es sich nicht zwangsläufig um die gemessene Anordnung der bildgebenden Vorrichtung zum Objekt handeln. Insbesondere können die Informationen über die Anordnung der bildgebenden Vorrichtung in Bezug auf das zu erkennende Objekt erwarteten und/oder angenommenen Werten entsprechen. Vorzugsweise wird dabei auch eine Umgebung um die erwartete Lage des Objekts in dem durch die bildgebende Vorrichtung erfassten Bild als Bildbereich zum Vergleich mit einem Merkmalssatz verwendet. Bei der Bestimmung der erwarteten Anordnung kann beispielsweise die Tatsache einfließen, dass Verkehrszeichen als zu erkennendes Objekt im Regelfall neben der Straße senkrecht zur Fahrtrichtung angeordnet sind. Ferner kann dabei die Tatsache einfließen, dass Verkehrszeichenschilder in der Regel flach sind. Ebenso kann bei der Verkehrszeichenerkennung beispielsweise die Information berücksichtigt werden, dass das Verkehrszeichen in einer oder mehreren vorbestimmten Höhen über dem Boden angeordnet ist. Analog kann das erfindungsgemäße Verfahren auch für die Erkennung beliebiger anderer Objekte verwendet werden, beispielsweise für die Erkennung entgegenkommender bzw. kreuzender Fahrzeuge. Die Informationen über die Anordnung der bildgebenden Vorrichtung in Bezug auf das zu erkennende Objekt können gegebenenfalls auch durch weitere Sensierungsmittel des Fahrzeuges, beispielsweise ein Lidar, Radar, Laserscanner, Ultraschalsensoren etc. ermittelt werden. Vorteilhafterweise kann sich das erfindungsgemäße Verfahren auch der Information aus dem Navigationssystem des Fahrzeugs bedienen. Die Anordnung von verkehrsrelevanten Stellen wie z. B. Kreuzungen, Ampeln, Fußgängerübergänge, Zufahrtstraßen etc. ist somit bekannt und kann in einer Ausführungsform der Erfindung zur Ermittlung einer vorteilhaften Perspektive genutzt werden, in die das mit dem Aufnahmemittel des Fahrzeuges erfasste Objekt zum Zweck der automatischen Objekterkennung überführt bzw. abgebildet wird.In A preferred embodiment of the invention is for a processing step based on a virtual perspective on information about the spatial arrangement the imaging device with respect to the object to be recognized and / or via the nature of the object selected. The spatial Arrangement is as a spatial location, especially distance and / or orientation of the object. The texture of the object, in particular its geometric properties, can also z. B. from a previous rough classification of the object, z. Eg affiliation to a collective class, be known. Taking this information into account can be particularly well suited for comparing virtual perspectives of features between the image area and the feature set become. Thus, a higher probability of statement the z. B. achieved by a classifier similarity become. In the information about the arrangement of the imaging Device with respect to the object to be detected does not necessarily have to around the measured arrangement of the imaging device to the object act. In particular, the information about the arrangement of the imaging device with respect to the recognizable Object expected and / or accepted values. Preferably It also creates an environment around the expected location of the object in the image captured by the imaging device as the image area used for comparison with a feature set. At the determination the expected arrangement can for example incorporate the fact that traffic signs as object to be recognized usually next the road are arranged perpendicular to the direction of travel. Furthermore, the fact may be incorporated that traffic signs usually flat. Similarly, in traffic sign recognition For example, the information to be considered that the traffic sign in one or more predetermined heights over the floor is arranged. Analogously, the inventive Method also for the detection of any other objects used, for example, for the recognition of more responsive or crossing vehicles. The information about the arrangement the imaging device with respect to the object to be recognized may also be replaced by other sensing agents of the vehicle, for example a lidar, radar, laser scanner, ultrasound sensors etc. are determined. Advantageously, the inventive method also operate the information from the navigation system of the vehicle. The arrangement of traffic-relevant bodies such. Crossings, Traffic lights, pedestrian crossings, Access roads etc. is thus known and can in one Embodiment of the invention for determining an advantageous perspective be used, in which the with the receiving means of the vehicle captured object for the purpose of automatic object recognition or is mapped.

In einer besonders bevorzugten Ausführungsform der Erfindung enthält ein Merkmalssatz bzw. ein Bildbereich jeweils Merkmale, die das zu erkennende Objekt aus der speziellen bzw. vorgegebenen, insbesondere zur Objekterkennung besonders geeigneten, bevorzugt senkrechten Perspektive zeigen, wobei der Bildbereich bzw. der Merkmalssatz in einem jeweiligen Verarbeitungsschritt in eine virtuelle Perspektive transformiert werden, welche im Wesentlichen der vorgegebenen Perspektive entspricht. Somit ist der Bedarf an Speicher zur Speicherung einer Datenbank von Merkmalsätzen sehr gering. Zum Beispiel enthält die Datenbank, in der die zu erkennenden Objekte hinterlegt sind, lediglich die Abbildungen aller zu erkennenden bzw. zu unterscheidenden Verkehrsteilnehmer aus einer oder mehreren ausgewählten speziellen Perspektiven, z. B. jeweils senkrecht aufgenommenen frontalen und seitlichen Perspektiven. Bei der erfindungsgemäßen automatischen Erkennung von Verkehrsteilnehmern wird der durch die bildgebende Vorrichtung aus einer verschobenen Perspektive erfasste Bildbereich, der die Abbildung eines Verkehrsteilnehmers enthält, in die genannte spezielle Perspektive überführt und mit den Merkmalsätzen für die jeweilige Perspektive verglichen. Insbesondere wenn die Position oder Ausrichtung des Verkehrsteilnehmers zu der bildgebenden Vorrichtung zuvor, z. B. mittels eines Laserscanners, ermittelt wurde, kann somit eine im hohen Maße verlässliche Objekterkennung realisiert werden. Die eine oder mehreren speziellen Perspektiven können bevorzugt solche Perspektiven sein, die eine vereinfachte Erstellung der Datenbank und/oder verlässlichere Objekterkennung erlauben.In a particularly preferred embodiment of the invention, a feature set or an image area respectively contains features which show the object to be recognized from the special or predetermined, in particular for object recognition, preferably vertical perspective, wherein the image area or the feature set in a respective Processing step are transformed into a virtual perspective, which essentially corresponds to the given perspective. Thus, the need for memory to store a database of feature sets is very low. For example, the database in which the objects to be recognized are deposited merely contains the images of all to be recognized or distinguished the road user from one or more selected specific perspectives, e.g. B. each vertically recorded frontal and lateral perspectives. In the automatic recognition of road users according to the invention, the image area captured by the imaging device from a shifted perspective, which contains the image of a road user, is converted into said specific perspective and compared with the feature sets for the respective perspective. In particular, if the position or orientation of the road user to the imaging device previously, for. B. by means of a laser scanner, was determined, thus a highly reliable object detection can be realized. The one or more special perspectives may preferably be such perspectives that allow a simplified creation of the database and / or more reliable object recognition.

In einer besonders bevorzugten Ausführungsform werden an sich bekannte Klassifikatoren zur Bestimmung der ähnlichen Merkmale zwischen dem Bildbereich und dem Merkmalssatz des zu erkennenden Objekts verwendet, wobei die Klassifikatoren nunmehr auf den zweiten Bildbereich bzw. den zweiten Merkmalssatz nach Durchführung der Trans formation in die virtuelle Perspektive angewendet werden. Diese Klassifikatoren liefern vorzugsweise Aussagewahrscheinlichkeiten, welche insbesondere die Zuverlässigkeit der Aussage über das Ähnlichkeitsmaß der Merkmale wiedergeben. Hierdurch werden weitere Informationen über die Zuverlässigkeit der Objekterkennung erhalten. Die Klassifikatoren können dabei als Positiv- oder Negativklassifikatoren ausgestaltet sein, wobei sich in der detaillierten Beschreibung eine Definition dieser Klassifikatoren findet.In a particularly preferred embodiment will be per se known classifiers for determining the similar features between the image area and the feature set of the recognizable Object used, the classifiers now on the second Image area or the second feature set after execution transformation into the virtual perspective. These classifiers preferably provide propositional probabilities which in particular the reliability of the statement about reflect the similarity measure of the features. This will provide more information about the reliability of the Objekterkennung received. The classifiers can do this be designed as positive or negative classifiers, wherein In the detailed description, a definition of these classifiers place.

In einer besonders bevorzugten Ausführungsform wird die virtuelle Perspektive eines zu erkennenden Objekts in Abhängigkeit von den ermittelten Aussagewahrscheinlichkeiten von mindestens einem Klassifikator verändert. Insbesondere können die Parameter der virtuellen Perspektiven derart verändert werden, dass der maximale Wert für das Ähnlichkeitsmaß zwischen dem Objekt und dem Merkmalsatz bei der gleichen Aussagewahrscheinlichkeit und/oder der maximale Wert für die Aussagewahrscheinlichkeit bei dem gleichen ermittelten Wert für das Ähnlichkeitsmaß erreicht wird. Mit anderen Worten werden dabei die Parameter der virtuellen Perspektive, in die ein Bildbereich und/oder Merkmalsatz transformiert wird, anhand der durch die eingesetzten Klassifikatoren ermittelten Parameter zugunsten der Objekterkennung angepasst. Anstatt der Aussagewahrscheinlichkeit kann die virtuelle Perspektive in Abhängigkeit von einem weiteren Parameter verändert werden, der die Verlässlichkeit der Aussage der Objekterkennung explizit oder implizit beinhaltet. Das Auffinden der virtuellen Perspektive kann dabei vorteilhafterweise mittels eines Reglers ausgestaltet sein, wobei zumindest ein Parameter der virtuellen Perspektive bzw. der anzuwendenden Transformation einer Stellgröße des Reglers entspricht. Somit kann eine optimale Perspektive z. B. mit dem an sich bekannten PIT-Regler sehr schnell und ohne bzw. nur mit minimalen Überschwingungseffekten gefunden werden.In In a particularly preferred embodiment, the virtual Perspective of an object to be recognized in dependence from the determined propositional probabilities of at least one Classifier changed. In particular, the Parameters of the virtual perspectives changed in such a way be that the maximum value for the similarity measure between the object and the feature set at the same probability of statement and / or the maximum value for the probability of statement reached the same determined value for the similarity measure becomes. In other words, the parameters of the virtual Perspective into which an image area and / or feature set transforms is determined on the basis of the classifiers used Adjusted parameters in favor of object recognition. Instead of the statement probability can the virtual perspective depending on one other parameters are changed, the reliability the statement of object recognition explicitly or implicitly includes. The finding of the virtual perspective can advantageously be configured by means of a controller, wherein at least one parameter the virtual perspective or the transformation to be applied corresponds to a manipulated variable of the controller. Thus, can an optimal perspective z. B. with the known PIT controller very fast and without or only with minimal overshoot effects being found.

Ebenso kann diejenige virtuelle Perspektive in einem Verarbeitungsschritt verwendet werden, welche eine maximale Übereinstimmung zwischen den Aussagen unterschiedlicher Klassifikatoren in einem vorhergehenden Verarbeitungsschritt geliefert hat. Vorzugsweise werden als unterschiedliche Klassifikatoren zumindest ein Positivklassifikator und ein Negativklassifikator eingesetzt. Die Aussagen des Positivklassifikators können z. B. eine Ähnlichkeit des Objekts mit einer Objekt- oder Merkmalsklasse und die Aussagen des Negativklassifikators eine Nichtähnlichkeit desselben Objekts mit mindestens einer von weiteren möglichen Objektklassen (als eine gleichsinnige Aussage) beinhalten. Das Auffinden der optimalen virtuellen Perspektive und/oder das gesamte Verfahren kann auf die Ähnlichkeit bzw. Nichtähnlichkeit und/oder die jeweiligen Aussagewahrscheinlichkeiten optimiert werden. Durch die Verwendung von unterschiedlichen Klassifikatoren kann die Objekterkennungsgenauigkeit weiter verbessert werden. Vorteilhafterweise kann die Anwendung unterschiedlicher Klassifikatoren in Form parallel oder quasiparallel ablaufender Verfahrensschritte ausgestaltet werden. Somit kann die Realzeitfähigkeit des Verfahrens gesteigert werden. Da die Anwendung z. B. eines Positivklassifikators und eines Negativklassifikators unabhängig voneinander ausführbar ist, kann deren Ausführung zeitgleich auf unterschiedlichen Teilen der Recheneinheit, z. B. unterschiedlichen Prozessorenkernen, stattfinden.As well can that virtual perspective in one processing step to be used, which is a maximum match between the statements of different classifiers in one previous processing step has delivered. Preferably become at least one positive classifier as different classifiers and a negative classifier. The statements of the positive classifier can z. B. a similarity of the object with an object or feature class and the statements of the negative classifier a non-similarity of the same object with at least one of other possible object classes (as an equal-minded Statement). Finding the optimal virtual perspective and / or the entire process may be based on similarity or non-similarity and / or the respective propositional probabilities be optimized. By using different classifiers can the object recognition accuracy can be further improved. advantageously, can be the application of different classifiers in parallel form or quasiparallel running process steps are configured. Thus, the real-time capability of the method can be increased become. Since the application z. A positive classifier and a negative classifier is independently executable, their Execution at the same time on different parts of the Arithmetic unit, z. B. different processor cores take place.

In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens wird dieses auf ein dreidimensionales Bilds angewandt. Bei dem dreidimensionalen Bild kann es sich um ein anhand von Sensierungsdaten des Umfeldes des Fahrzeuges ermitteltes 3D-Pixelbild und/oder ein automatisch ermitteltes Modell des mit der bildgebenden Vorrichtung erfassten Objektes handeln. Dieses kann z. B. nur ein Teil eines Objekts, z. B. den im Wesentlichen zum Fahrzeug hin gerichteten Teil des Objekts, beinhalten. Die Umwandlung der Sensierungsdaten in ein Modell kann z. B. in einer bildgebenden Vorrichtung erfolgen, die als ein lidarbsiertes System ausgestaltet ist. Die Veränderung der Perspektive kann dabei als eine virtuelle räumliche Transformation, insbesondere als eine Koordinatentransformation des Bildes und/oder des Merkmalsatzes, ausgestaltet sein. Das Bild und/oder ein Merkmalsatz können zumindest bei einem Verfahrensschritt auch in einer vektorbasierten Form vorliegen.In an advantageous embodiment of the method according to the invention this is applied to a three-dimensional image. The three-dimensional image may be a 3D pixel image determined on the basis of sensing data of the environment of the vehicle and / or an automatically determined model of the object detected by the imaging device. This can be z. B. only a part of an object, for. B. include the substantially directed to the vehicle part of the object. The conversion of Sensierungsdaten in a model can, for. B. in an imaging device, which is designed as a lidarbsiertes system. The change in the perspective can be designed as a virtual spatial transformation, in particular as a coordinate transformation of the image and / or the feature set. The image and / or feature set may also be vector-based at least in one method step form.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird die virtuelle Perspektive in einem Verarbeitungsschritt basierend auf einer oder mehrerer Hypothesen über das zu erkennende Objekt und/oder die Position des zu erkennenden Objekts festgelegt. Eine Hypothese über die Position eines Objekts kann dabei die in einer oben beschriebenen Ausführungsform verwendete erwartete Anordnung des Objekts relativ zu der bildgebenden Vorrichtung sein, die Hypothese kann jedoch auch festlegen, dass die Anordnung eine beliebige Anordnung ist. Ebenso können beliebige Hypothesen über das zu erkennende Objekt verwendet werden. Vorzugsweise wird die virtuelle Perspektive in einem Verarbeitungsschritt basierend auf der oder den Hypothesen derart festgelegt, dass hohe Aussagewahrscheinlichkeiten des oder der Klassifikatoren erreicht werden. Im Falle mehrer Klassifikatoren können ihre Aussagen mittels einer Gewichtungsformel bzw. Gewichtungsfunktion bewertet werden.In a further embodiment of the invention Procedure becomes the virtual perspective in a processing step based on one or more hypotheses about that recognizing object and / or the position of the object to be recognized established. A hypothesis about the position of an object may in the embodiment described above used expected arrangement of the object relative to the imaging device However, the hypothesis may also specify that the arrangement is any arrangement. Likewise, any hypotheses about that to be recognized object to be used. Preferably, the virtual Perspective in a processing step based on or The hypotheses are set such that high propositional probabilities of the classifier (s). In case of several classifiers can their statements by means of a weighting formula or Weighting function are evaluated.

In einer besonders bevorzugten Ausführungsform wird bei der Verwendung von Klassifikatoren zur Ermittlung von übereinstimmenden Merkmalen die virtuelle Perspektive in einem Verarbeitungsschritt basierend auf der oder den Hypothesen derart festgelegt, dass hohe Aussagewahrscheinlichkeiten des oder der Klassifikatoren erreicht werden. Das heißt, die verwendeten Hypothesen werden insbesondere derart gewählt, dass a-priori bekannte Informationen in Bezug auf das Objekt bzw. die räumliche Anordnung des Objekts verwendet werden.In a particularly preferred embodiment is in the Use of classifiers to find matches Features the virtual perspective in one processing step based on the one or more hypotheses set such that high Propositional probabilities of the classifier (s) reached become. That is, the hypotheses used will be particular chosen such that a-priori known information in Reference to the object or the spatial arrangement of the object be used.

In einer weiteren bevorzugten Ausführungsform werden die Hypothese oder die Hypothesen basierend auf einer Verzerrung von einem oder mehreren Merkmalen des Bildbereichs im Vergleich zu entsprechenden Merkmalen des Merkmalssatzes des zu erkennenden Objekts bestimmt. Z. B. wird mittels der Ermittlung der Verzerrung eines leicht zu erkennenden Teils des Objekts in einem Bildbereich, z. B. des Rads eines Fahrzeugs, eine Hypothese über die Perspektive gebildet, aus der das gesamte Objekt (das entsprechende Fahrzeug) durch die bildgebende Vorrichtung erfasst worden ist.In Another preferred embodiment is the hypothesis or the hypotheses based on a bias of one or several features of the image area compared to corresponding Characteristics of the feature set of the object to be detected determined. For example, by detecting the distortion of one easily recognizing part of the object in an image area, e.g. B. the wheel of a vehicle, a hypothesis about the perspective formed, from the the entire object (the corresponding vehicle) through the imaging device has been detected.

In einer besonders bevorzugten Ausführungsform werden die in den jeweiligen Verarbeitungsschritten verwendeten virtuellen Perspektiven einer Plausibilisierungsprüfung unterzogen, insbesondere hinsichtlich der Zugehörigkeit zu demselben Objekt. Die Plausibilisierungsprüfung berücksichtigt insbesondere die bekannte oder vermutete Beschaffenheit des zu erkennenden Objekts. Auf diese Weise können unplausible Ergebnisse vermieden werden und die Objekterkennung weiter verbessert werden.In In a particularly preferred embodiment, the used in the respective processing steps virtual Perspectives of a plausibility check, in particular with regard to belonging to the same object. The plausibility check in particular takes into account the known or suspected nature of the object to be recognized. In this way, implausible results can be avoided and the object recognition can be further improved.

In einer weiteren bevorzugten Ausgestaltung der Erfindung wird nach Durchführung eines Verarbeitungsschritts der Bildbereich in der virtuellen Perspektive auf einer Anzeigeeinheit im Fahrzeuginneren angezeigt, wobei die ermittelten übereinstimmenden, d. h. ein vorbestimmtes Ähnlichkeitsmaß überschreitenden Merkmale optisch hervorgehoben werden. Hierdurch wird dem Fahrer mitgeteilt, welche Objekte durch das Verfahren erkannt wurden. Insbesondere kann sich die virtuelle Perspektive, in die zumindest ein Bildbereich zur Anzeige für den Fahrer transformiert wird, von der virtuellen Perspektive, in der eine automatische Objekterkennung stattfindet, unterscheiden. Die durch die automatische Ob jekterkennung erkannte Merkmale (z. B. Umrisse oder Kanten eines Objekts) können direkt in dem Bild graphisch angezeigt oder z. B. mittels einer grafischen Überblendung, Veränderung der Farbe etc. hervorgehoben werden. Insbesondere wenn sich dabei die Perspektive, in die das Bild zur Anwendung der Objekterkennung transformiert war, von der Perspektive, welche zur Anzeige für den Fahrer verwendet wurde, unterscheidet, können die erkannten Merkmale in die Perspektive, in der das Bild angezeigt wird, überführt werden. Somit werden die hervorzuhebenden Merkmale unkompliziert dem korrekten Platz im angezeigten Bild zugewiesen. Hierdurch kann der Fahrer nebst einer vorteilhaften Darstellung eines transformierten Bildbereichs am Bildschirm auch das Ergebnis der automatischen Objekterkennung in demselben Bild sehen, selbst dann, wenn zur automatischen Objekterkennung eine andere Perspektive als zur Anzeige angewandt worden ist.In Another preferred embodiment of the invention will become Performing a processing step of the image area in virtual perspective on a display unit in the vehicle interior indicated, the determined matching, d. H. exceeding a predetermined degree of similarity Features are highlighted. This will give the driver communicated which objects were detected by the method. Especially may be the virtual perspective, in which at least one image area is transformed to display for the driver, from the virtual perspective, in which an automatic object recognition takes place, differentiate. The automatic object recognition detected features (eg outlines or edges of an object) displayed directly in the image graphically or z. B. by means of a graphic blending, change of color etc. are highlighted. Especially when the perspective, into which the image transforms to apply the object recognition was, from perspective, what to the ad for the driver used, can distinguish the recognized features into the perspective in which the image is displayed become. Thus, the features to be highlighted become straightforward allocated to the correct space in the displayed image. This can the driver along with a favorable representation of a transformed Image area on the screen also the result of automatic object recognition in the same picture, even if for automatic object recognition a different perspective than for display has been applied.

In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird eine Folge von zeitlich aufeinander folgenden, mit der bildgebenden Vorrichtung erfassten Bildern verarbeitet, wobei basierend auf einer Veränderung von Merkmalen des Bildbereichs zwischen Bildern der Folge eine virtuelle Perspektive für einen Verarbeitungsschritt festgelegt wird. Somit können die Parameter einer virtuellen Perspektive, die zur Objekterkennung herangezogen wird, anhand der Ergebnisse von mindestens einem Klassifikator, der auf die vorangegangenen Bilder mit ihren jeweiligen virtuellen Perspektiven angewandt worden ist, ermittelt werden.In a further embodiment of the invention The procedure is a succession of temporally successive, with processed images of the imaging device, wherein based on a change of features of the image area between images of the episode a virtual perspective for a processing step is determined. Thus, you can the parameters of a virtual perspective used for object recognition based on the results of at least one classifier, the on the previous pictures with their respective virtual Prospects has been applied.

Neben dem oben beschriebenen Verfahren betrifft die Erfindung ferner eine Vorrichtung zur Erkennung von Objekten im Umfeld eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, wobei die Vorrichtung eine Verarbeitungseinheit umfasst, mit der jede der oben beschriebenen Varianten des erfindungsgemäßen Verfahrens durchführbar ist. Die Erfindung umfasst ferner ein Fahrzeug, insbesondere ein Kraftfahrzeug, welches eine solche Vorrichtung zur Erkennung von Objekten enthält.Next In the method described above, the invention further relates to a Device for detecting objects in the environment of a vehicle, in particular a motor vehicle, the device being a processing unit comprises, with each of the above-described variants of the invention Method is feasible. The invention further comprises a vehicle, in particular a motor vehicle, which is such Device for detecting objects contains.

Im Folgenden werden anhand der beigefügten Zeichnungen bevorzugte Ausführungsbeispiele der Erfindung beschrieben. Daraus ergeben sich weitere Details, bevorzugte Ausführungsformen und Weiterbildungen der Erfindung. Die geschilderten Ausführungsbeispiele, Ausführungsformen und Weiterbildungen sind, sofern nicht anders angegeben und/oder technisch ausgeschlossen, sowohl einzeln als auch in jeder beliebigen Kombination miteinander anwendbar und vorteilhaft. Im Einzelnen zeigen:The following are based on the attached Drawings preferred embodiments of the invention described. This results in further details, preferred embodiments and further developments of the invention. The described embodiments, embodiments and developments are, unless stated otherwise and / or technically excluded, both individually and in any combination with each other applicable and advantageous. In detail show:

1 eine schematische Darstellung der in einer Ausführungsform des erfindungsgemäßen Verfahrens durchgeführten perspektivischen Transformation am Beispiel einer Verkehrszeichenerkennung; 1 a schematic representation of the performed in an embodiment of the inventive method perspective transformation using the example of a traffic sign recognition;

2 ein Beispiel für die Durchführung von mehreren perspektivischen Transformationen gemäß einer Ausführungsform der Erfindung zur Erkennung eines Kraftfahrzeugs; 2 an example of the implementation of multiple perspective transformations according to an embodiment of the invention for detecting a motor vehicle;

3 eine schematische Darstellung der Datenverarbeitung zur Objekterkennung gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens; 3 a schematic representation of the data processing for object recognition according to an embodiment of the method according to the invention;

4 und 5 Diagramme, welche den Ablauf von bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens verdeutlichen. 4 and 5 Diagrams illustrating the sequence of preferred embodiments of the method according to the invention.

Die nachfolgend beschriebenen Ausführungsformen zur verbesserten Objekterkennung im Umfeld eines Fahrzeugs verarbeiten Bilder, welche durch eine bildgebende Vorrichtung des Kraftfahrzeugs aufgenommen wurden. Der Begriff der bildgebenden Vorrichtung wurde bereits im Vorangegangenen genau definiert. Insbesondere können Bilder einer bildgebenden Vorrichtung sowohl Kamerabilder (auch Bilder einer Infrarotkamera) als auch synthetische Bilder (auch mit einer modellhaft dargestellten Umgebung) umfassen, die beispielsweise durch das Scannen der Umgebung durch eine Radar- oder Lidar- oder Time-Of-Fligt- oder eine Ultraschallvorrichtung oder einer vergleichbaren Vorrichtung erzeugt werden. Die bildgebende Vorrichtung kann aus beispielsweise mehreren Kameras bestehen, deren Bilder bzw. Daten zu einem Gesamtbild zusammengefügt werden.The hereinafter described embodiments for improved Object recognition in the environment of a vehicle process images, which by an imaging device of the motor vehicle were added. The concept of the imaging device has already been mentioned above exactly defined. In particular, images can be an imaging Device both camera images (also pictures of an infrared camera) as well as synthetic images (also with an exemplified environment) include, for example, by scanning the environment through a radar or Lidar or Time-of-Fligt or ultrasonic device or a comparable device. The imaging Device may consist of, for example, several cameras whose Pictures or data are combined to form an overall picture.

In der 1 ist schematisiert eine solche bildgebende Vorrichtung 1 angedeutet, welche an einem in Draufsicht dargestellten Kraftfahrzeug 2 angeordnet ist. In dem Szenario der 1 bewegt sich das Kraftfahrzeug in eine Richtung R entlang einer (nicht gezeigten) Straße, wobei am rechten Straßenrand ein Verkehrsschild 3 angeordnet ist, welches eine Höchstgeschwindigkeit von 30 km/h anzeigt. Das Fahrzeug 2 ist in dem Szenario der 1 gerade dabei, dieses Verkehrsschild zu passieren. Mit Hilfe der bildgebenden Vorrichtung 1 wird ein Bild des Verkehrsschilds 3 erfasst. Ziel des erfindungsgemäßen Verfah rens in der speziellen Anwendung der 1 ist es nunmehr, das Objekt 3 als Verkehrsschild zu erkennen. Allgemein ist es Ziel des erfindungsgemäßen Verfahrens, beliebige Arten von Objekten in einem durch eine bildgebende Vorrichtung erfassten Bereich zu erkennen.In the 1 is schematically such an imaging device 1 indicated, which on a motor vehicle shown in plan view 2 is arranged. In the scenario of 1 the motor vehicle moves in a direction R along a road (not shown), with a road sign on the right hand side of the road 3 is arranged, which indicates a maximum speed of 30 km / h. The vehicle 2 is in the scenario of 1 just about to pass this road sign. With the help of the imaging device 1 becomes an image of the road sign 3 detected. The aim of the method according to the invention in the special application of 1 it is now, the object 3 to recognize as a traffic sign. In general, the aim of the method according to the invention is to detect any types of objects in an area detected by an imaging device.

Gemäß dem Stand der Technik erfolgt eine Objekterkennung basierend auf dem durch die bildgebende Vorrichtung 1 erfassten Bild. Hierbei ist es problematisch, dass es aufgrund des Versatzes des Blickwinkels der bildgebenden Vorrichtung 1 gegenüber dem Verkehrsschild zu einer Verzerrung des Verkehrsschilds im erfassten Bild kommt. Bei einer herkömmlichen Objekterkennung wird das erfasste Bild bzw. ein Teil des Bildes, in dem das zu erkennende Objekt vermutet wird, mit bekannten Merkmalen eines Objekts verglichen, wobei die bekannten Merkmale vorab in einem entsprechenden Speicher, beispielsweise in der Form einer Datenbank, hinterlegt sind. Die Objekte sind in dem Speicher in einer vorbestimmten Perspektive gespeichert, welche in der Regel nicht mit der Perspektive übereinstimmt, in der das Bild mit dem zu erkennenden Objekt aufgenommen wurde. Dies führt zu dem Problem, dass Merkmale in dem erfassten Bild oftmals nicht als Merkmale des Objekts erkannt werden.According to the state of the art, an object recognition is based on that by the imaging device 1 captured image. Here, it is problematic that it is due to the offset of the viewing angle of the imaging device 1 opposite to the traffic sign to a distortion of the traffic sign in the captured image comes. In conventional object recognition, the captured image or a part of the image in which the object to be detected is suspected is compared with known features of an object, wherein the known features are stored in advance in a corresponding memory, for example in the form of a database , The objects are stored in the memory in a predetermined perspective, which generally does not match the perspective in which the image was captured with the object to be recognized. This leads to the problem that features in the captured image are often not recognized as features of the object.

Erfindungsgemäß wird dieses Problem dadurch gelöst, dass eine perspektivische Transformation des Bildes der bildgebenden Vorrichtung und/oder der bekannten Merkmale des Objekts aus der Datenbank derart durchgeführt wird, dass die Vergleichbarkeit der Objektteile in dem Bild mit den bekannten Merkmalen erhöht wird. Es kann dabei das Bild in die Perspektive des Objekts in der Datenbank transformiert werden, jedoch ist es auch möglich, dass die zu erkennenden Merkmale aus der Datenbank in die Perspektive des Bildes transformiert werden. Ebenso besteht die Möglichkeit, dass sowohl das Bild als auch das Objekt in der Datenbank derart transformiert werden, dass sie beide in einer Perspektive dargestellt sind, welche die Vergleichbarkeit des Bilds mit den bekannten Merkmalen ermöglicht.According to the invention this problem solved by a perspective Transformation of the image of the imaging device and / or the known features of the object from the database carried out in such a way is that the comparability of the object parts in the picture with the known features is increased. It can do that Image transformed into the perspective of the object in the database However, it is also possible that the to be recognized Features from the database are transformed into the perspective of the image. There is also the possibility that both the image as also the object in the database to be transformed such that they are both presented in a perspective that comparability of the image with the known features.

Im einfachsten Fall wird erfindungsgemäß das Bild der bildgebenden Vorrichtung in eine virtuelle Perspektive transformiert, welche eine verbesserte Objekterkennung ermöglicht. In dem Szenario der 1 ist ein solcher Fall gezeigt, wobei die Transformation in eine virtuelle Perspektive durch einen gestrichelten Pfeil P und eine gestrichelte Darstellung 1' der bildgebenden Vorrichtung angedeutet ist. Wie sich aus 1 ergibt, wird eine solche perspektivische Transformation in eine virtuelle Perspektive durchgeführt, dass das Verkehrsschild frontal durch die bildgebende Vorrichtung erfasst wird. Durch diese Transformation wird die sich durch die ursprüngliche Perspektive ergebende Verzerrung des Verkehrsschilds kompensiert. Sofern die bekannten Merkmale des Verkehrsschilds in einem entsprechenden Speicher auch in frontaler Darstellung hinterlegt sind, wird durch den Vergleich des transformierten Bilds mit den Merkmalen des Objekts in der Datenbank die Erkennungswahrscheinlichkeit erhöht. Durch eine Transformation in eine frontale Perspektive wird erfindungsgemäß auch die Objekterkennung durch Vergleich mit zweidimensionalen Mustern ermöglicht. Wie bereits erwähnt, können anstatt der Bildung einer virtuellen Perspektive des Bilds genauso die zur Objekterkennung einzusetzenden Merkmale einer entsprechenden inversen Transformation unterzogen werden. Ein Vorteil des erfindungsgemäßen Verfahrens besteht insbesondere darin, dass durch die Transformation in eine virtuelle Perspektive die daran anschließende Objekterkennung bzw. die dieser zu Grunde liegenden Modelle nicht verändert werden müssen.In the simplest case, according to the invention, the image of the imaging device is transformed into a virtual perspective, which enables improved object recognition. In the scenario of 1 Such a case is shown, wherein the transformation into a virtual perspective by a dashed arrow P and a dashed line 1' the imaging device is indicated. As it turned out 1 results, such a perspective transformation is performed in a virtual perspective that the traffic sign is detected frontally by the imaging device. Through this transformation is through the origi perspective compensating the traffic sign compensated. If the known features of the traffic sign are also stored in a corresponding memory in frontal representation, the detection probability is increased by comparing the transformed image with the features of the object in the database. By a transformation into a frontal perspective, object recognition according to the invention is also made possible by comparison with two-dimensional patterns. As already mentioned, instead of forming a virtual perspective of the image, the features to be used for object recognition can likewise be subjected to a corresponding inverse transformation. An advantage of the method according to the invention is, in particular, that the subsequent object recognition or the models underlying this need not be changed by the transformation into a virtual perspective.

In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens kann eine a-piori bekannte, erfassbare oder ermittelbare Information darüber, wie das zu erkennende Objekt relativ zu der bildgebenden Vorrichtung ausgerichtet ist, dafür benutzt werden, die bestmögliche Perspektive auszuwählen, d. h. insbesondere diejenige Perspektive, mit der erreicht wird, dass sowohl das im Bild zu erkennende Objekt als auch die bekannten Merkmale des Objekts aus der Datenbank in der gleichen oder ähnlichen Perspektive wiedergegeben sind. Mit anderen Worten wird zur Wahl der bestmöglichen Perspektive eine Information über die Position von mindestens einem Objekt relativ zu der bildgebende Vorrichtung verwendet. Beispielsweise kann bei der in 1 gezeigten Verkehrszeichenerkennung anhand der Position einer sog. Area-of-Interest, d. h. des Bereichs, in dem das Verkehrszeichenerkennungssystem ein Verkehrszeichen im Bild vermutet, und anhand einer bekannten Tatsache, dass die Verkehrszeichen senkrecht zur Fahrtrichtung aufgestellt werden, eine Ausrichtung des Verkehrszeichens relativ zum Fahrzeug errechnet werden. Hierdurch kann eine geeignete Perspektive gebildet werden, bei der ein Objekterkennungsalgorithmus ein Verkehrszeichen aus einer virtuell gebildeten senkrechten Perspektive als solches erkennen, auslesen und auf beliebige andere Weise verarbeiten kann. Die Information über die Position von dem zu erkennenden Objekt im Raum kann auch anderweitig, beispielsweise mit einem Laserscanverfahren, einem Navigationssystem oder mittels weiterer Sensorik ermittelt werden. Das anhand der Verkehrszeichener kennung beschriebene Prinzip ist genauso auf weitere Anwendungsfälle anwendbar, beispielsweise auf die Detektion von Gegenverkehr oder Kreuzungsverkehr.In an advantageous embodiment of the method according to the invention, an a priori known, detectable or ascertainable information about how the object to be recognized is aligned relative to the imaging device can be used to select the best possible perspective, ie in particular that perspective with which achieved is that both the object to be recognized in the image and the known features of the object from the database in the same or similar perspective are reproduced. In other words, information about the position of at least one object relative to the imaging device is used to select the best possible perspective. For example, at the in 1 shown traffic sign recognition based on the position of a so-called. Area of interest, ie the area in which the traffic sign recognition system suspects a traffic sign in the image, and based on a known fact that the traffic signs are perpendicular to the direction of travel, an orientation of the traffic sign relative to the vehicle be calculated. In this way, a suitable perspective can be formed, in which an object recognition algorithm can recognize a traffic sign from a virtually formed vertical perspective as such, read it and process it in any other way. The information about the position of the object to be recognized in the room can also be determined otherwise, for example by means of a laser scanning method, a navigation system or by means of further sensors. The principle described with reference to the traffic sign recognition is equally applicable to other applications, such as the detection of oncoming traffic or intersection traffic.

Vorteilhafterweise lässt sich die erfindungsgemäße Objekterkennung auch ohne Informationen über die Position des zu erkennenden Objekts verbessern. Dies ist insbesondere dann möglich, wenn die zur Objekterkennung eingesetzten Klassifikatoren nicht nur eine Aussage ausgeben, ob bzw. zu welchem Grad eine Übereinstimmung eines Bildbereichs mit bekannten Merkmalen eines Objekts (auch als eine Negativaussage) vorliegt, sondern auch die Aussagewahrscheinlichkeit als die Information über die Zuverlässigkeit einer solchen Aussage erzeugen. Dabei wird die Ausgabe der Objekterkennung bezüglich des Übereinstimmungsgrads bzw. der Zuverlässigkeit der Aussage dazu verwendet, eine bessere virtuelle Perspektive zu finden. Vorteilhafterweise kann die Erkennungswahrscheinlichkeit zusätzlich dadurch erhöht werden, dass mehrere virtuelle Perspektiven auf das bestimmte Objekt gebildet werden, die mit den jeweiligen bekannten Merkmalen des zu erkennenden Objekts verglichen werden. Beispielsweise können auch zufällig virtuelle Perspektiven gebildet werden und für diese Perspektiven der Übereinstimmungsgrad ermittelt werden. Es können somit beispielsweise iterativ für mehrere unterschiedliche Perspektiven Übereinstimmungsgrade ermittelt werden, wobei ein Bildbereich dann als das Objekt erkannt wird, wenn ein vorbestimmter Übereinstimmungsgrad erreicht bzw. überschritten wird.advantageously, can the object recognition according to the invention even without information about the position of the person to be recognized Improve object. This is especially possible if the classifiers used for object recognition are not just give a statement as to whether or to what degree a match an image area with known features of an object (also called a negative statement), but also the probability of statement as the information about the reliability of a produce such a statement. Thereby the output of the object recognition becomes regarding the degree of conformity or reliability the statement used to provide a better virtual perspective Find. Advantageously, the detection probability additionally be increased by several virtual perspectives are formed on the specific object that with the respective known features of the object to be recognized be compared. For example, also random virtual perspectives are formed and for these perspectives the degree of agreement is determined. It can thus, for example, iteratively for several different perspectives levels of compliance be determined, with an image area then recognized as the object when a predetermined degree of agreement is reached or exceeded.

In einer besonders bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens werden eine oder mehrere Hypothesen über die Position eines zu erkennenden Objekts im Raum gebildet, wobei die entsprechenden virtuellen Perspektiven verändert werden und eine automatische Annäherung hin zu einer Maximierung der Aussagewahrscheinlichkeit angestrebt wird. Dabei kann z. B. eine iterative Annäherung oder Annäherung unter Anwendung eines Reglers, z. B. eines an sich bekannten PIT-Reglers, angewandt werden. Wird beispielsweise bei einem ersten Durchlauf eines Objekterkennungsalgorithmus ein Objekt der Klasse Personenkraftwagen erkannt, können hieraus entsprechende Hypothesen über die Anordnung des Objekts in Relation zu der bildgebenden Vorrichtung erstellt werden. Dabei wird die a-priori bekannte Information über die Position von Personenkraftwagen im Raum verwendet, um sinnvolle Richtungen für die Bildung der virtuellen Perspektiven festzulegen. Im Falle eines Personenkraftwagens wird insbesondere berücksichtigt, dass sich dieser Wagen nur in der Ebene bewegen kann, da seine Höhe im Regelfall relativ konstant und vorhersagbar ist. Wird ein Objekt der Klasse Verkehrszeichen zugeordnet, werden virtuelle Perspektiven insbesondere in Richtungen nach oben und nach rechts gebildet.In a particularly preferred embodiment of the invention Procedure will be one or more hypotheses about Position of an object to be recognized formed in space, the corresponding virtual perspectives are changed and an automatic approach to maximization the probability of statement is sought. It can be z. B. an iterative approach or approach below Application of a regulator, eg. B. a known PIT controller, be applied. For example, on a first pass of an object recognition algorithm is an object of the class passenger cars recognized, can from this hypothesis about the arrangement of the object in relation to the imaging device to be created. In this case, the a-priori known information about the position of passenger cars in the room used to meaningful Directions for the formation of virtual perspectives set. In the case of a passenger car becomes particular takes into account that these cars move only in the plane As a rule, its height can be relatively constant and predictable is. If an object is assigned to the traffic sign class virtual perspectives especially in directions up and formed to the right.

Vorteilhafterweise können in einigen Fällen, die gerade im Straßenverkehr eine wichtige Rolle spielen, die Hypothesen über die Objektposition aus der geometrischen Verzerrung bestimmter leicht zu erkennender Merkmale gewonnen werden, um mit Hilfe dieser Information eine virtuelle Perspektive zur Erkennung von schwer zu erkennenden Merkmalen zu bilden. Die Bildung der Hypothese wird somit aufgrund der Verzerrung bestimmter Merkmale des Objekts im Bild der bildgebenden Vorrichtung durchgeführt. Bei den Merkmalen kann es sich um a-priori bekannte Merkmale bestimmter Objekte oder solche handeln, die leicht automatisch ermittelt werden können. Die Hypothese kann zur Bildung virtueller Perspektiven zur Erkennung weiterer Merkmale des Objekts oder zur Erhöhung der Zuverlässigkeit der Erkennung bestimmter Merkmale dienen. Im Bereich der Verkehrszeichenerkennung kann beispielsweise anhand der Veränderung der Form des Zeichens selbst (aus einem Kreis wird eine Ellipse, ein rechteckiges Zeichen erscheint als Raute etc.) die aktuelle relative Perspektive des Verkehrszeichens zu der bildgebenden Vorrichtung des Fahrzeugs ermittelt werden. Diese Perspektive kann dann wiederum zur Bildung einer entsprechenden virtuellen Perspektive benutzt werden, die zur sicheren Interpretation des Inhalts des Verkehrszeichens, der viel komplexer zu erkennen ist als die Vermessung der Abmessungen der Kontur des Blechschilds, angewandt wird.Advantageously, in some cases, which play an important role in road traffic, the hypotheses about the object position can be obtained from the geometrical distortion of certain easily recognizable features in order to be able to Using this information to form a virtual perspective for the recognition of hard to recognize features. The formation of the hypothesis is thus performed due to the distortion of certain features of the object in the image of the imaging device. The features may be a-priori known features of certain objects or those that can be easily determined automatically. The hypothesis can be used to form virtual perspectives for recognizing further features of the object or for increasing the reliability of the recognition of certain features. In the field of traffic sign recognition, for example, based on the change in the shape of the sign itself (a circle becomes an ellipse, a rectangular sign appears as a rhombus, etc.), the current relative perspective of the traffic sign to the imaging device of the vehicle can be determined. This perspective can in turn be used to form a corresponding virtual perspective, which is used to safely interpret the content of the traffic sign, which is much more complex than measuring the dimensions of the contour of the tin sign.

In bestimmten Applikationen kann es sinnvoll sein, das Bild aus der virtuellen Perspektive auf einer Anzeigeeinheit im Inneren des Kraftfahrzeugs für den Fahrer anzuzeigen. Dieses Bild kann vorteilhafterweise die überlagerten Elemente der automatisch erkannten Merkmale enthalten. Beispielsweise kann im Falle der Verkehrszeichenerkennung aus dem relativ weitwinkligen Bild der bildgebenden Vorrichtung das eigentliche Verkehrszeichen herausgezoomt, seine Form aus der realen Perspektive der bildgebenden Vorrichtung mit dem erfindungsgemäßen Verfahren analysiert und automatisch in eine günstigere virtuelle Perspektive überführt werden, um weitere Details zu erkennen. Der Fahrer, dem der herausgezoomte Bereich auf einer Anzeigeeinheit wiedergegeben wird, kann dann die weiteren Details selbst interpretieren. Dabei kann sich die Perspektive, in der das Bild zur Anzeige für den Fahrer dargestellt wird, von der Perspektive, in der eine automatische Objekterkennung stattfindet, unterscheiden. Wenn die automatische Objekter kennung weitere Details erkennt, können diese ferner direkt in dem Bild vermerkt oder graphisch angezeigt werden. Falls sich die Perspektive, in die das Bild zur Anwendung der Objekterkennung transformiert war, von der Perspektive, welche zur Anzeige für den Fahrer herangezogen wurde, unterscheidet, können die erkannten Merkmale in die Perspektive, in der das Bild angezeigt wird, überführt und angezeigt werden. Eine von beiden Perspektiven kann auch einer physikalischen Perspektive (untransformiertes Bild) entsprechen. Hierdurch kann der Fahrer nebst einer vorteilhaften Darstellung eines transformierten Bildbereichs am Bildschirm auch das Ergebnis der automatischen Objekterkennung in demselben Bild sehen, und zwar selbst dann, wenn zur automatischen Objekterkennung eine andere Perspektive als zur Anzeige angewandt worden ist.In certain applications, it may be useful to remove the image from the virtual perspective on a display unit in the interior of the motor vehicle for the driver. This picture can be advantageous the superimposed elements of the automatically recognized features contain. For example, in the case of traffic sign recognition from the relatively wide-angle image of the imaging device the actual traffic sign zoomed out, its shape from the real perspective of the imaging device with the inventive Processes are analyzed and automatically transformed into a cheaper one virtual perspective be transferred to more To recognize details. The driver who is the zoomed out area is displayed on a display unit, then the other Interpret details yourself. The perspective, in which the image is displayed for display to the driver becomes, from the perspective, in the automatic object recognition takes place, differentiate. If the automatic object identifier recognizes further details, these can also be directly in noted in the image or displayed graphically. If the Perspective into which the image transforms to apply object detection was, from perspective, what to the ad for the driver differentiated, the recognized Features in the perspective in which the image is displayed, transferred and are displayed. One of both perspectives can also be a physical one Perspective (untransformed image). This allows the Driver with an advantageous representation of a transformed Image area on the screen also the result of automatic object recognition see in the same picture, even if automatic Object recognition applied a different perspective than for display has been.

In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens kann die Zuverlässigkeit der Ergebnisse der Objekterkennung verbessert werden, indem mehrere virtuelle Perspektiven gebildet werden. Die Ergebnisse der Objekterkennung basierend auf einem Vergleich der einen Perspektive eines Objekts mit dem entsprechenden Merkmalsatz und die Ergebnisse der Objekterkennung basierend auf dem Vergleich einer anderen virtuellen Perspektive desselben Objekts mit dem anderen entsprechenden Merkmalsatz werden datentechnisch fusioniert und/oder dienen zur gegenseitigen Plasusibilisierung der Ergebnisse. Diese soeben beschriebene Bildung von mehreren virtuellen Perspektiven kann auch lediglich zur Plausibilisierung der Ergebnisse nach einer mit dem erfindungsgemäßen Verfahren oder nach einer mit einem anderen Verfahren erfolgten Objekterkennung angewandt werden. Die Plausibilisierung kann anhand einer a-priori bekannten Beschaffenheit bestimmter Objektklassen durchgeführt werden. 2 zeigt schematisch die Durchführung einer Plausibilisierung basierend auf der Objektklasse eines Personenkraftwagens 3'. Das zu erkennende Objekt 3' wurde dabei ursprünglich in der Perspektive der bildgebenden Vorrichtung 1 entsprechend ihrer physikalischen Anordnung aufgenommen. Unter der Annahme, dass das zu erkennende Objekt 3' ein PKW ist, erfolgt eine Transformation in eine erste virtuelle Perspektive, welche durch die versetzte bildgebende Vorrichtung 1' angedeutet ist. Diese virtuelle Perspektive ist optimiert zur Erkennung des PKW durch einen entsprechenden PKW-Frontansicht-Klassifikator. Ferner wird eine zweite virtuelle Perspektive erzeugt, welche durch die versetzte bildgebende Vorrichtung 1'' angedeutet ist und optimiert ist zur Erkennung einer PKW-Seitenansicht. Wird nunmehr sowohl durch den PKW-Fontansicht-Klassifikator als auch durch den PKW-Seitenansicht-Klassifikator ein PKW erkannt, kann davon ausgegangen werden, dass es sich bei dem durch die bildgebende Einrichtung 1 erfassten Objekt 3' tatsächlich um einen PKW handelt. Dieser kann auch mit Hilfe der transformierten Bildbereiche z. B. vermessen werden. Ergeben sich jedoch Widersprüche, d. h. wird durch einen der Klassifikatoren kein PKW erkannt, ist davon auszugehen, dass die A-priori-Annahme, dass es sich bei dem Objekt um einen PKW handelt, nicht richtig ist.In a further embodiment of the method according to the invention, the reliability of the results of the object recognition can be improved by forming a plurality of virtual perspectives. The results of the object recognition based on a comparison of the one perspective of an object with the corresponding feature set and the results of the object recognition based on the comparison of another virtual perspective of the same object with the other corresponding feature set are data-technically fused and / or serve for mutual plasibilization of the results. This just described formation of several virtual perspectives can also be applied only for plausibility of the results according to an object recognition carried out with the method according to the invention or with another method. The plausibility check can be carried out on the basis of an a-priori known nature of certain object classes. 2 schematically shows the implementation of a plausibility check based on the object class of a passenger car 3 ' , The object to be recognized 3 ' was originally in the perspective of the imaging device 1 recorded according to their physical arrangement. Assuming that the object to be recognized 3 ' is a car, a transformation into a first virtual perspective is performed by the staggered imaging device 1' is indicated. This virtual perspective is optimized to recognize the car through a corresponding car front view classifier. Furthermore, a second virtual perspective generated by the staggered imaging device 1'' is indicated and optimized for detecting a car side view. If a car is now recognized both by the car font view classifier and by the car side view classifier, it can be assumed that it is the one by the imaging device 1 detected object 3 ' actually a car. This can also be with the help of the transformed image areas z. B. be measured. However, if contradictions arise, ie if no car is detected by one of the classifiers, it can be assumed that the a priori assumption that the object is a car is not correct.

3 zeigt eine schematische Darstellung der Datenverarbeitung basierend auf einer Ausführungsform des erfindungsgemäßen Verfahrens. Das durch eine bildgebende Vorrichtung 1 erfasste Bild wird zunächst einer Bildvorverarbeitung unterzogen, welche mit dem Bezugszeichen 4 bezeichnet ist. In dieser Bildvorverarbeitung werden beispielsweise zwei verschiedene virtuelle Perspektiven aus dem Bild der bildgebenden Vorrichtung gebildet. Das Bild der einen virtuellen Perspektive wird einem Klassifikator 5 und das Bild der anderen Perspektive einem Klassifikator 5' zugeführt. Die Klassifikatoren führen eine Objekterkennung durch, bei der sie z. B. basierend auf einem Matching-Verfahren bestimmte Merkmale der Bilder der virtuellen Perspektive mit bekannten Merkmalen aus einer Datenbank vergleichen. Die virtuelle Perspektive für jeden Klassifikator wird iterativ oder mittels eines Reglers schließlich dahingehend verändert, dass die Aussagewahrscheinlichkeit ein Maximum erreicht. Es können auch unterschiedliche Gewichtungen bzgl. der Ähnlichkeits- und Aussagewahrscheinlichkeitsaussage eines Klassifikators benutzt werden. Die iterative Veränderung der virtuellen Perspektive ist durch die Pfeile P1 und P2 in 3 angedeutet. Schließlich erfolgt nach der Objekterkennung mit den Klassifikatoren ein Datenverarbeitungsschritt, der mit dem Bezugszeichen 6 bezeichnet ist. In diesem Schritt werden die Ergebnisse beider Klassifikatoren miteinander verglichen und/oder gegenseitig plausibilisiert. Besonders vorteilhaft ist es dabei, wenn das Verfahren auf die Maximierung einer gewichteten Summe aus den Aussagen mehrerer Klassifikatoren optimiert wird. Z. B. kann das Verfahren derart ausgestaltet sein, dass ein Positivklassifikator, der einen Wert für die Ähnlichkeit des Objektes mit einer bestimmten Objektklasse sowie einen Wert für die Aussagewahrscheinlichkeit liefert, durch eine Aussage eines Negativklassifikators mit derselben Aussagewahrscheinlichkeit überstimmt wird. Die Klassifikatoren können als gleiche Softwarefunktionen, gegebenenfalls mit unterschiedlichen Parametern, ausgestaltet sein, die auf derselben Hardware laufen können. Hierdurch wird der Vorteil einer relativ einfachen Umsetzung des erfindungsgemäßen Verfahrens erreicht. 3 shows a schematic representation of the data processing based on an embodiment of the method according to the invention. This through an imaging device 1 captured image is first subjected to image preprocessing, which by the reference numeral 4 is designated. In this image preprocessing, for example, two different virtual perspectives from the Image of the imaging device formed. The image of a virtual perspective becomes a classifier 5 and the image of the other perspective a classifier 5 ' fed. The classifiers perform an object recognition, in which they z. For example, based on a matching method, compare certain features of the virtual perspective images with known features from a database. The virtual perspective for each classifier is iteratively or by means of a controller finally changed so that the probability of statement reaches a maximum. It is also possible to use different weightings with respect to the similarity and statement probability statement of a classifier. The iterative change of the virtual perspective is indicated by the arrows P1 and P2 in FIG 3 indicated. Finally, after the object recognition with the classifiers, a data processing step takes place, which is denoted by the reference character 6 is designated. In this step, the results of both classifiers are compared and / or mutually plausibilized. It is particularly advantageous if the method is optimized to maximize a weighted sum from the statements of several classifiers. For example, the method may be configured such that a positive classifier, which provides a value for the similarity of the object with a certain object class and a value for the propositional probability, is overruled by a statement of a negative classifier with the same probability of statement. The classifiers can be designed as identical software functions, possibly with different parameters, which can run on the same hardware. As a result, the advantage of a relatively simple implementation of the method according to the invention is achieved.

Bei der Anwendung der in 3 gezeigten Datenverarbeitung auf das in 2 gezeigte Szenario wird mittels der Bildung der virtuellen Perspektive 1' und ihrer Optimierung mittels Maximierung der Zuverlässigkeit der Erkennung durch den Klassifikator 5 eine Frontansicht eines PKW erkannt. Mit dem anderen Klassifikator 5' wird aus der virtuellen Perspektive 1'' auf dieselbe Art und Weise das gleiche Fahrzeug in Seitenansicht erkannt. Bei der Plausibilisierung der Perspektive in Schritt 6 werden schließlich die Daten über die erkannte Objektklasse und/oder die Position verschiedener erkannter Objektdetails im Raum zueinander verglichen. Ist das Ergebnis des automatisch durchgeführten Vergleichs plausibel, ergibt sich eine hohe Zuverlässigkeit der Objekterkennung insgesamt, was insbesondere für Anwendungen im Straßenverkehr erforderlich ist.When applying the in 3 shown data processing on the in 2 The scenario shown is by means of the formation of the virtual perspective 1' and their optimization by maximizing the reliability of recognition by the classifier 5 a front view of a car detected. With the other classifier 5 ' becomes from the virtual perspective 1'' recognized the same vehicle in side view in the same way. During the plausibility of the perspective in step 6 Finally, the data on the detected object class and / or the position of different detected object details in space compared to each other. If the result of the automatically performed comparison is plausible, the result is a high degree of reliability of the object recognition as a whole, which is necessary in particular for applications in road traffic.

Durch die Bildung erfindungsgemäßer virtueller Perspektiven lassen sich die Bilder einer bildgebenden Vorrichtung derart transformieren, dass bestimmte Bereiche im Bild erscheinen, als wären sie aus der Position der virtuellen Kamera aufgenommen worden. Die virtuelle Ausrichtung der virtuellen Kamera kann hierbei jede Darstellung berechnen, die zumindest einen Projektionspunkt des Originalbilds enthält. Zuvor nicht sichtbare Bereiche lassen sich nicht ergänzen. Trotzdem ergibt sich die Möglichkeit, z. B. einen schräg zum Betrachter orientierten Objekt (z. B. ein Fahrzeug) so zu berechnen, dass einzelne Ansichten unter einem 90°-Winkel zum Betrachter erscheinen. Dies wiederum unterstützt die gängigen ansichtbasierten Bildverarbeitungsalgorithmen. Teure Erweiterungen von Datenbanken, die in einem eingebetteten System im Fahrzeug gespeichert werden müssen und welche Objekte in vielen verschiedenen Ansichten enthalten, lassen sich somit vermeiden.By the formation of inventive virtual perspectives let the images of an imaging device be transformed in such a way that certain areas appear in the picture as if they were off the position of the virtual camera has been recorded. The virtual Alignment of the virtual camera can be any representation calculate that contains at least one projection point of the original image. Previously invisible areas can not be completed. Nevertheless, there is the possibility z. B. an oblique to the observer oriented object (eg a vehicle) to calculate so that individual views at a 90 ° angle to the viewer appear. This in turn supports the popular view-based Image processing algorithms. Expensive extensions of databases, which must be stored in an embedded system in the vehicle and which objects contain many different views, can thus be avoided.

Durch die Berechnung von virtuellen Perspektiven unter einer bekannten Ausrichtung lässt sich implizit auch die Ausrichtung des Objekts bestimmen. Dies gilt sowohl für den Fall, dass die virtuelle Kamera exakt auf ein Objekt ausgerichtet wurde, als auch für den Fall, dass die Ausrichtung des Objekts durch Interpolation zweier virtueller Kamerapositionen errechnet wurde. Die Bestimmung der Ausrichtung eines Objekts ist insbesondere dann von Vorteil, wenn Aussagen über die künftigen Relationen zwischen Objekt und Betrachter getroffen werden sollen.By the calculation of virtual perspectives under a known Alignment implicitly also the orientation of the Determine object. This is true in the event that the virtual camera was exactly aligned to an object, as even in the event that the orientation of the object is through Interpolation of two virtual camera positions was calculated. The determination of the orientation of an object is especially then beneficial if statements about the future Relations between object and viewer are to be taken.

In einer vorteilhaften Ausgestaltung der Erfindung kann die Information über die Bewegung des Fahrzeugs in der Form von odometrischen Daten, die Betrachtung der Historie der realen und virtuellen Perspektiven sowie deren Extrapolation in die Zukunft dazu benutzt werden, geeignete virtuelle Perspektiven zu bilden und die Ergebnisse der Objekterkennung untereinander zu plausibilisieren. Der Vorteil liegt in der geeigneten Ausnutzung von a-priori bekannten oder anderweitig automatisch erkannten Informationen. Somit wird eine anzuwendende perspektivische Transformation aus dem zeitlichen Verlauf der relativen Position der Objekte ermittelt. Hierdurch kann eine weitere Erhöhung der Objekterkennungswahrscheinlichkeit erreicht werden. Bei der Berücksichtigung des zeitlichen Verlaufs der relativen Position von Objekten kann beispielsweise die Annahme berücksichtigt werden, dass ein Verkehrszeichen sich in Erdkoordinaten nicht bewegt. Ebenso kann mit derselben bildgebenden Vorrichtung bestimmt werden, dass ein Lastwagen ruht oder sich mit einer bestimmten Geschwindigkeit bewegt. Dann kann aus der Historie der Veränderung bestimmter (leicht automatisch erkennbarer) Merkmale eine für den nächsten Moment günstige virtuelle Perspektive errechnet und frühzeitig verwendet werden.In an advantageous embodiment of the invention, the information about the movement of the vehicle in the form of odometric data, the consideration of the history of real and virtual perspectives and their extrapolation into the future can be used to appropriate to form virtual perspectives and the results of object recognition to plausibilize each other. The advantage lies in the appropriate Utilization of a-priori known or otherwise automatically detected information. Thus, an applicable perspective transformation is made the temporal course of the relative position of the objects determined. This can further increase the object recognition probability be achieved. When considering the temporal For example, the relative position of objects may vary the assumption to be considered that a traffic sign does not move in Earth coordinates. Likewise, with the same imaging Device to be determined that a truck is resting or with moving at a certain speed. Then, from the history the change of certain (easily automatically recognizable) Features one favorable for the next moment calculated virtual perspective and used early become.

Bei dem erfindungsgemäßen Verfahren ist lediglich für Objekte mit einer komplexen dreidimensionalen Form mit Fehlerkennungen zu rechnen, wie z. B. für ein Auto mit einem Anhänger, der unterschiedliche Positionen zum Auto annehmen kann, oder ein menschliches Gesicht, welches aus einer willkürlichen Perspektive erkannt werden soll. Dies liegt daran, dass die verdeckten Teile eines komplex geformten Objekts durch eine perspektivische Transformation falsch interpretiert werden können.In the method according to the invention is only expected for objects with a complex three-dimensional shape with false identifiers, such. B. for a car with a trailer under take different positions to the car, or a human face, which is to be recognized from an arbitrary perspective. This is because the hidden parts of a complex shaped object can be misinterpreted by a perspective transformation.

Erfindungsgemäß kann das Verfahren auch selektiv auf Teile bzw. Segmente eines Objekts angewandt werden, wobei die Anwendung oder Nichtanwendung der virtuellen Perspektive und deren Parameter für jedes Segment unterschiedlich sein können. Eine selektive Anwendung des Verfahrens kann auch den Rechenaufwand vermindern, indem es beispielsweise nur auf eine entsprechende Area-of-Interest angewandt wird. Anschließend können die einzelnen Ergebnisse der Objekterkennungen, die auf die Teile eines Objekts oder des zu erkennenden Bereichs angewandt worden sind, derart miteinander verrechnet bzw. miteinander fusioniert werden, dass daraus eine resultierende Aussage über die Erkennung des Objekts bzw. des Bereichs ermittelt wird, z. B. die Zugehörigkeit des gesamten Objekts bzw. Bereichs zu einer Objektklasse und die entsprechende Aussagewahrscheinlichkeit.According to the invention the method also selectively on parts or segments of an object be applied, the application or non-application of the virtual Perspective and their parameters for each segment are different could be. A selective application of the method can also reduce the computational effort by, for example, only one appropriate area of interest is applied. Subsequently the individual results of the object identifications, those on the parts of an object or the area to be recognized have been applied, so miscalculated or together be merged into a resulting statement about it the detection of the object or the area is determined, for. B. the affiliation of the entire object or area an object class and the corresponding statement probability.

Wie eingangs erwähnt, kann anstatt der perspektivischen Transformation des Bildes einer bildgebenden Vorrichtung genauso eine inverse Transformation der entsprechenden bekannten Merkmale aus einer Datenbank durchgeführt werden, mit welchen die Merkmale des Objekts verglichen werden.As mentioned in the beginning, instead of the perspective transformation the image of an imaging device as well as an inverse transformation the corresponding known features performed from a database with which the features of the object are compared.

Das in den vorangegangenen Ausführungsformen beschriebene erfindungsgemäße Verfahren weist eine Reihe von Vorteilen auf. Es führt zu einer wesentlichen Steigerung der Erkennungswahrscheinlichkeit und Zuverlässigkeit objekterkennender Systeme. Das Verfahren kann auf verschiedene Systeme angewandt werden, insbesondere auf Park- und Rangiersysteme, Verkehrszeichenerkennungssysteme, eine Innenraumkamera zur Bestimmung von Objektpositionen im Innenraum eines Fahrzeuges und andere sensorbasierte Systeme, die eine Interpretation räumlich angeordneter Objekte vornehmen.The According to the invention described in the preceding embodiments Method has a number of advantages. It leads to a significant increase in the detection probability and reliability of object-recognizing systems. The procedure can be applied to different systems, in particular to Parking and maneuvering systems, traffic sign recognition systems, a Interior camera for determining object positions in the interior a vehicle and other sensor-based systems that provide an interpretation make spatially arranged objects.

Das Verfahren bietet eine zusätzliche Möglichkeit zur Plausibilisierung der Ergebnisse der Dateninterpretation. Die Position der Objekte einer bestimmten Klasse im Raum kann somit errechnet und plausibilisiert werden. Der Mehraufwand zur Systemumsetzung ist relativ gering, insbesondere erhöht sich die Anzahl der bildgebende Vorrichtungen nicht. Dafür kann die verwendete Datenbank mit den bekannten Objektmerkmalen deutlich kleiner sein. Insbesondere kann die Datenbank auch nur einfache zweidimensionale Merkmale, die aus einer Standardperspektive erkennbar sind, enthalten. Die Bildung virtueller Perspektiven kann auf ein zweidimensionales Bild, z. B. Kamerabild und/oder auf die Merkmale, mit welchen es verglichen wird, angewandt werden.The Procedure offers an additional possibility to check the plausibility of the results of the data interpretation. The Position of objects of a particular class in space can thus calculated and checked for plausibility. The overhead for system implementation is relatively low, in particular, the number increases the imaging devices not. For that, the used Database with the known object features be significantly smaller. In particular, the database can only be simple two-dimensional Features that are recognizable from a standard perspective are included. The formation of virtual perspectives can be on a two-dimensional Picture, z. B. camera image and / or on the features with which it is applied.

Nachfolgend werden weitere bevorzugte Varianten des erfindungsgemäßen Verfahrens erläutert.following are further preferred variants of the invention Procedure explained.

Es kann aus bestimmten Gründen, z. B. bei der Erstellung einer Datenbank aus Merkmalssätzen von Objekten, zweckmäßig sein, bestimmte schräge Ansichten auf die Objekte, z. B. geneigt um 30° und geneigt um 45°, in der Datenbank zu speichern. Dies kann beispielsweise durch die konkret verwendete Ausführungsform des erfindungsgemäßen Verfahrens bedingt sein. Ein weiterer Grund dafür, dass bestimmte schräge Perspektiven für die zu erkennenden Objekte verwendet werden, kann darin bestehen, dass bestimmte Objekte sich aus einer solchen Perspektive besser erkennen lassen. Wenn die verwendete bildgebende Vorrichtung bei der Erkennung ein Objekt derselben Klasse wie in der Da tenbank erfasst, welches aber um 38° geneigt ist, wird der kleine Bildausschnitt mit dem Objekt z. B. je Schritt um +/– 4° virtuell gedreht, bis eine maximale Ähnlichkeit mit dem in der Datenbank gespeicherten Objekt gefunden wird. Die Erkennungswahrscheinlichkeit wird umso besser, wenn beide Ähnlichkeiten des jeweils um –2 solche Schritte und +3 solche Schritte transformierten Bildausschnitts (jeweils mit dem Objekt aus der Datenbank zu 30° gedreht und zu 45° gedreht) gefunden wird. In diesem Fall plausibilisieren sich die beiden Objekte bei der Erkennung gegenseitig. Das Resultat ist eine höhere Zuverlässigkeit der Erkennung.It can for certain reasons, eg. B. in the creation of a Database of feature sets of objects, appropriate be certain oblique views on the objects, eg. B. inclined by 30 ° and inclined by 45 °, in the database save. This can be done, for example, by the specific embodiment used be conditioned by the method according to the invention. Another reason that certain oblique Perspectives are used for the objects to be recognized may be that certain objects are from such a perspective better to recognize. If the imaging device used when detecting an object of the same class as in the database detected, but which is inclined by 38 °, the small image section with the object z. Eg per step by +/- 4 ° virtually rotated until a maximum similarity with that in the database stored object is found. The detection probability will be even better if both similarities of each -2 such steps and +3 such steps transformed image detail (each rotated with the object from the database to 30 ° and rotated to 45 °) is found. In this case, plausibility the two objects mutually recognize each other. The result is a higher reliability of detection.

4 zeigt ein Beispiel des Ablaufs einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens. Zunächst erfolgt eine Bildaufnahme bzw. Bilderzeugung, beispielsweise aus Sensordaten. Das Bild wird einer Bildvorverarbeitung unterzogen und anschließend werden relevante Bildbereich (Area-of-Interest) aus dem Bild extrahiert, beispielsweise mit Hypothesenbildung. Der daraus erhaltene Bildausschnitt bzw. Bildbereich wird, wie eingehend im Vorangegangenen erläutert wurde, entsprechend transformiert, wodurch virtuelle Perspektiven erzeugt werden. Das transformierte Bild wird dann einer Objekterkennung unterzogen, bei der beliebige Verfahren allein und in Kombination verwendet werden können, insbesondere Merkmalsextraktion, Pattern-Matching, neuronale Netze und/und Fuzzy-Logik. Das Ergebnis der Objekterkennung ist ein Objekt bzw. eine Objektklasse, z. B. ein Fahrzeug, und diese Information kann als Eingabe für Fahrerassistenzsysteme verwendet werden. Ferner wird im Falle der Verwendung von Klassifikatoren eine Aussagewahrscheinlichkeit ausgegeben, die wieder dazu verwendet werden kann, um verbesserte neue virtuelle Perspektiven festzulegen, um die Objekterkennung in einem nächsten Schritt nochmals zu verbessern. Das Verfahren kann somit iterativ ausgestaltet sein, um hierdurch weitere Objekte bzw. deren Merkmale erkennen zu können. 4 shows an example of the sequence of another embodiment of the method according to the invention. Initially, an image acquisition or image generation takes place, for example from sensor data. The image is subjected to image preprocessing and then relevant area-of-interest is extracted from the image, for example by hypothesizing. As has been explained in detail above, the image section or image area obtained therefrom is correspondingly transformed, as a result of which virtual perspectives are generated. The transformed image is then subjected to object recognition, in which arbitrary methods can be used alone and in combination, in particular feature extraction, pattern matching, neural networks and / or fuzzy logic. The result of the object recognition is an object or an object class, eg. A vehicle, and this information can be used as input to driver assistance systems. Furthermore, in the case of the use of classifiers, a statement probability is output, which can be used again to define improved new virtual perspectives, in order to further improve the object recognition in a next step. The method can thus be designed iteratively in order to As a result, to be able to recognize further objects or their features.

Erfindungsgemäß können neben Positivklassifikatoren, die ein Maß der Ähnlichkeit des Objekts z. B. mit einem Muster bzw. die Zugehörigkeit des Objekts zu einer Klasse ermitteln, auch sog. Negativklassifikatoren verwendet werden. Diese Klassifikatoren ermitteln ein Maß für eine Nichtzugehörigkeit zu einer Klasse oder Nichtähnlichkeit mit einem Muster. Ein Negativklassifikator kann in einem Verfahrensschritt die Merkmale des Objekts suchen, die gegen die Zugehörigkeit des Objekts zu einer Klasse sprechen. Negativklassifikatoren können als ein Algorithmus ausgestaltet sein, der z. B. nach den Ausschlusskriterien bei der Bewertung einer Hypothese sucht. Die Anwendung von Negativklassifikato ren ist an sich bekannt. Auch eine Anwendung von Positivklassifikatoren und Negativklassifikatoren auf dasselbe Bild als zwei Verfahrensschritte im Rahmen eines Verfahrens ist an sich bekannt. Die jeweiligen Methoden, die zur Ermittlung der Ähnlichkeit oder Nichtähnlichkeit führen, können allerdings unterschiedlich starke Abhängigkeiten von der Perspektive, auf der das Objekt zu sehen ist, aufweisen. Erfindungsgemäß können für die Anwendung von Positivklassifikatoren und Negativklassifikatoren unterschiedliche Perspektiven eines Objektes, insbesondere in unterschiedliche virtuelle Perspektiven transformierte Bilder (Ansichten auf ein und dasselbe Objekt aus unterschiedlichen virtuellen Perspektiven), herangezogen werden.According to the invention in addition to positive classifiers, which is a measure of similarity the object z. B. with a pattern or affiliation of the object to a class, also called negative classifiers be used. These classifiers determine a measure of a disassociation to a class or non-similarity with a pattern. A negative classifier can be used in one process step looking for the characteristics of the object, against the affiliation speak of the object to a class. Negative classifiers can be designed as an algorithm that z. B. according to the exclusion criteria looking at the evaluation of a hypothesis. The application of negative classifiers is known per se. Also an application of positive classifiers and negative classifiers on the same image as two process steps in the context of a procedure is known per se. The respective methods, to determine similarity or non-similarity lead, however, can vary in strength Dependencies on the perspective on which the object can be seen. According to the invention for the use of positive classifiers and negative classifiers different perspectives of an object, especially in different ones virtual perspectives transformed images (views on and the same object from different virtual perspectives), be used.

In einer bevorzugten Ausgestaltung wird die virtuelle Perspektive ein und desselben Objekts separat auf die maximale Aussagewahrscheinlichkeit unterschiedlicher Klassifikatoren, bevorzugt zumindest eines Positivklassifikators und eines Negativklassifikators, angepasst. In diesem Fall wird die Perspektive separat für den Positivklassifikator und Negativklassifikator angepasst, bis beide eine für den jeweiligen Klassifikator jeweils bestmögliche Aussagensicherheit liefern. Durch den Vergleich der Ergebnisse wird eine insgesamt höhere gesamte Aussagensicherheit für die Objekterkennung einschließlich Objektklassifizierung erreicht. Ein besonders großer Vorteil ergibt sich, wenn zur automatischen Erkennung der Ausschlusskriterien eine andere Perspektive besser geeignet ist als für die Erkennung von Kriterien, die für die Zugehörigkeitskriterien des Objekts zu einer Klasse sprechen. Die virtuelle Perspektive kann allerdings auch derart verändert werden, dass die Aussagen des Positiv- und Negativklassifikators stets bei derselben virtuellen Perspektive ausgewertet werden.In In a preferred embodiment, the virtual perspective becomes one and the same object separately on the maximum probability of statement different Classifiers, preferably at least one positive classifier and a negative classifier, adjusted. In this case will the perspective separately for the positive classifier and Negative classifier adjusted until both one for the respective classifier in each case the best possible statement security deliver. By comparing the results will be a total higher total statement security for the object recognition including object classification reached. A special great advantage arises when for automatic detection the exclusion criteria better suited another perspective is considered to be for the detection of criteria for the membership criteria of the object to a class speak. However, the virtual perspective can also be that way be changed, that the statements of the positive and negative classifier always evaluated at the same virtual perspective.

5 zeigt nochmals ein Diagramm, welches die soeben beschriebenen Ausführungsformen verdeutlicht. Analog zu dem Diagramm der 4 erfolgt zunächst wieder eine Bildaufnahme bzw. Bilderzeugung und das Bild wird einer Bildvorverarbeitung unterzogen. Schließlich wird wiederum ein relevanter Bildbereich (Area-of-Interest) ausgewählt. Nunmehr werden parallel zwei unterschiedliche virtuelle Perspektiven erzeugt und die Bilder entsprechend in diese Perspektiven transformiert. Für die eine virtuelle Perspektive wird ein Positivklassifikator und für die andere ein Negativklassifikator verwendet. Basierend auf den jeweiligen Aussagewahrscheinlichkeiten werden dann wiederum neue virtuelle Perspektiven jeweils für den Positiv- und Negativklassifikator ausgewählt. Nach Abschluss dieses iterativen Vorgehens erfolgt schließlich eine Entscheidungsfindung, insbe sondere basierend auf einer Plausibilisierung, um die zuverlässig erkannten Merkmale von Objekten festzulegen. Die erkannten Objekte können dann im Fahrzeug weiterverarbeitet werden, beispielsweise als Eingabe für ein Fahrerassistenzsystem. 5 shows again a diagram illustrating the embodiments just described. Analogous to the diagram of 4 Initially, an image acquisition or image generation takes place and the image is subjected to image preprocessing. Finally, a relevant image area (area of interest) is again selected. Now, two different virtual perspectives are generated in parallel and the images are correspondingly transformed into these perspectives. For one virtual perspective a positive classifier is used and for the other a negative classifier. Based on the respective propositional probabilities, new virtual perspectives are again selected for the positive and negative classifiers. After completion of this iterative process finally takes a decision, in particular special based on a plausibility, to determine the reliably recognized features of objects. The detected objects can then be further processed in the vehicle, for example as input for a driver assistance system.

In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird die bestmögliche Perspektive gesucht, die zu einer insgesamt gesehen aussagekräftigsten Kombination von angewendeten Klassifikatoren, vorzugsweise eines Positivklassifikators und eines Negativklassifikators, führt. Das heißt, es wird eine virtuelle Perspektive ausgewählt, bei der die maximale Übereinstimmung zwischen den Aussagen von mindestens zwei unterschiedlichen Klassifikatoren, bevorzugt mindestens einem Positivklassifikator und mindestens einem Negativklassifikator, gefunden wird. In diesem Fall wird nur eine Perspektive gefunden, jedoch wurde iterativ die Perspektive basierend auf Aussagewahrscheinlichkeiten von zwei Klassifikatoren verändert. Die Bewertung der Aussagewahrscheinlichkeiten kann mit Hilfe einer vorgegebenen Funktion, Kennlinien oder einer Kennlinienschar erfolgen. Besonders vorteilhaft ist eine Berechnung eines resultierenden Wertes für Ähnlichkeit und/oder Aussagewahrscheinlichkeit bezüglich der Ähnlichkeit, welcher die betreffenden Aussagen unterschiedlicher Klassifikatoren gewichtet. Somit kann ein Objekt einer Klasse zugewiesen werden, wenn hierzu mehrere, zumindest teilweise unabhängige Kriterien dafür sprechen, auch wenn eine Aussagewahrscheinlichkeit jeder Aussage allein genommen nicht hinreichend groß ist. Zu der Aussage eines Klassifikators kann insbesondere die Ähnlichkeit zu dem vorgegebenen Merkmalsatz, die Wahrscheinlichkeit der Zugehörigkeit des Objekts oder eines Teils eines Objekts zu einer bestimmten Klasse sowie die Aussagewahrscheinlichkeit gehören. Ein Klassifikator kann auch als ein nichtdeterministisches Verfahren zur Objekterkennung, z. B. basierend auf neuronalen Netzen, ausgestaltet sein.In a further embodiment of the invention Procedure is sought the best possible perspective that to an overall most meaningful combination of applied classifiers, preferably a positive classifier and a negative classifier. This means, a virtual perspective is selected in which the maximum agreement between the statements of at least two different classifiers, preferably at least one Positive classifier and at least one negative classifier, Is found. In this case, only one perspective is found, however, the perspective was iteratively based on propositional probabilities changed by two classifiers. The evaluation of the statement probabilities can with the help of a given function, characteristics or a Characteristic family done. Particularly advantageous is a calculation a resulting value for similarity and / or Probability of similarity which the respective statements of different classifiers weighted. Thus, an object can be assigned to a class, if this several, at least partially independent criteria speak for it, even if a statement probability each statement alone is not sufficiently large. In particular, the similarity to the statement of a classifier to the given feature set, the probability of belonging of the object or part of an object to a particular class as well as the probability of statement belong. A classifier can also be used as a non-deterministic method of object recognition, z. Based on neural networks.

Die im Vorangegangenen beschriebenen Varianten des erfindungsgemäßen Verfahrens verbessern die Zuverlässigkeit der Objekterkennung. Falls ein möglicher Fehler in der Objekterkennung z. B. bei der Zuweisung des Objekts zu einer bestimmten Klasse zu verhältnismäßig schwerwiegenderen Folgen führen würde als ein anderer möglicher Fehler, kann das Kriterium der Entscheidung der Zuordnung eines Objekts zu einer Klasse auch asymmetrisch ausgestaltet sein. Somit können für die Zuweisung eines Objekts in verschiedene Objektklassen unterschiedliche Mindestanforderungen und/oder Zusammen hänge zwischen den Aussagen von Positiv- und Negativklassifikatoren zu Grunde gelegt werden.The variants of the method according to the invention described above improve the reliability of the object recognition. If a possible error in the object detection z. For example, when assigning the object to a particular one Class would lead to relatively more serious consequences than another possible error, the criterion of the decision of the assignment of an object to a class can also be designed asymmetrically. Thus, different minimum requirements and / or relationships between the statements of positive and negative classifiers can be used to assign an object to different object classes.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

- DE 102007022940 A1 [0003]
- DE 10323915 A1 [0003]
WO 02/073535 A2 [0004]

Claims

Method for detecting objects in the environment of a vehicle ( 2 ), in particular of a motor vehicle, in which: an image area of an image-forming device ( 1 ) of the vehicle ( 2 ) captured image of the vehicle environment with one or more feature sets of one or more objects to be detected ( 3 ), characterized in that the comparison of the image area with a feature set of an object to be recognized ( 3 ) such that one or more processing steps are performed, wherein in a processing step - the image area and / or the feature set of the object to be recognized ( 3 ) are transformed into a virtual perspective by a perspective transformation, whereby a second image area, which is the transformed or untransformed image area, and a second feature set, which is the transformed or untransformed feature set, is obtained; A similarity measure between one or more features of the image area and one or more features of the feature set is determined by a comparison of the second image area with the second feature set.

A method according to claim 1, characterized in that for a processing step a virtual perspective based on information about the spatial arrangement of the imaging device ( 1 ) with respect to the object to be recognized ( 3 ) and / or the nature of the object to be recognized ( 3 ) is determined and / or selected.

Method according to claim 1 or 2, characterized in that the information about the arrangement of the imaging device ( 1 ) with respect to the object to be recognized ( 3 ) from an expected arrangement of the object to be recognized ( 3 ) with respect to the imaging device ( 1 ) is determined.

Method according to one of the preceding claims, characterized in that a feature set respectively features the object to be recognized ( 3 ) from a given perspective and the image area is transformed in a processing step into a virtual perspective, which essentially corresponds to the given perspective.

Method according to one of the preceding claims, characterized in that an image area displays the image of the object ( 3 ) from a given perspective and the feature set is transformed in a processing step into a virtual perspective, which essentially corresponds to the given perspective.

Method according to one of the preceding claims, characterized in that the object recognition by means of a comparison of the features between the image area and the feature set of the object to be recognized ( 3 ) in a processing step based on one or more classifiers ( 5 . 5 ' ), which determine similarity measures and / or statement probabilities, wherein at least one classifier is preferably designed as a negative classifier.

Method according to claim 6, characterized in that the virtual perspective of an object to be recognized ( 3 ) depending on the determined propositional probabilities of at least one classifier ( 5 ' ) is changed from previous processing steps such that the probability of statement is increased over the similarity measure of the features and / or via the recognition of the object.

Method according to claim 6 or 7, characterized in that the one virtual perspective is used in a processing step which determines a maximum match between the proposition probabilities of different classifiers ( 5 . 5 ' ) in a previous processing step.

Method according to one of the preceding claims, characterized in that the virtual perspective in a processing step based on one or more hypotheses about the object to be detected ( 3 ) and / or the spatial arrangement of the object to be recognized ( 3 ) is selected.

Method according to claim 9 in combination with one of claims 6 to 8, characterized in that the virtual perspective is determined in a processing step based on the hypothesis (s) such that high statement probabilities of the classifier (s) ( 5 . 5 ' ) can be achieved.

A method according to claim 9 or 10, characterized in that the hypothesis or hypotheses based on a distortion of one or more features of the image area compared to corresponding features of the feature set of the object to be detected ( 3 ).

Method according to one of the preceding claims, characterized in that it is applied to a three-dimensional image becomes.

Method according to one of the preceding claims, characterized in that the virtu. Used in the respective processing steps all perspectives of a plausibility check.

Method according to one of the preceding claims, characterized in that after performing a processing step the image area in the virtual perspective on a display unit is displayed in the vehicle interior, wherein determined, exceeding a predetermined similarity measure Features are highlighted.

Method according to one of the preceding claims, characterized in that a sequence of temporally successive, with the imaging device ( 1 ) is processed, wherein based on a change of features of the image area in the images of the sequence, a virtual perspective for a processing step is determined.

Device for detecting objects in the vicinity of a vehicle ( 2 ), in particular of a motor vehicle, wherein the device comprises a processing unit, with which a method according to one of the preceding claims can be carried out.

Vehicle, in particular motor vehicle, characterized in that the vehicle includes a device according to claim 16.