DE102009014437A1

DE102009014437A1 - Object e.g. pedestrian, recognition system i.e. stereoscopic system, for motor vehicle, has validation device checking whether object and/or preset character e.g. contour, of object is detected in image region in image

Info

Publication number: DE102009014437A1
Application number: DE102009014437A
Authority: DE
Inventors: Matthias Strauss; Stefan Dr. Lüke
Original assignee: Continental Teves AG and Co OHG
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2008-03-26
Filing date: 2009-03-26
Publication date: 2009-11-12
Anticipated expiration: 2029-03-27
Also published as: DE102009014437B4

Abstract

The device has a sensor element for detecting an image in a visible spectral region, and another sensor element for detecting another image in a non-visible spectral region e.g. remote infrared region. An object recognition device (110) detects an object of a preset object class in an image region based on the former image. A validation device (113) checks whether the object and/or a preset character e.g. contour, of the object is detected in the image region in the latter image, and determines reliability of the object detection depending on the result of the checking. An independent claim is also included for a method for recognition of objects.

Description

Technisches GebietTechnical area

Die Erfindung bezieht sich auf die Erkennung von Objekten anhand von Bilddaten. Insbesondere betrifft die Erfindung ein Objekterkennungssystem und ein Objekterkennungsverfahren. Das Objekterkennungssystem und das Verfahren sind insbesondere für einen Einsatz in einem Kraftfahrzeug geeignet.The The invention relates to the recognition of objects based on Image data. In particular, the invention relates to an object recognition system and an object recognition method. The object recognition system and the Methods are especially for use in one Motor vehicle suitable.

Hintergrund der ErfindungBackground of the invention

In modernen Kraftfahrzeugen werden in zunehmendem Maße Bilderfassungssysteme eingesetzt, um Objekte im Umfeld des Fahrzeugs zu erkennen. Hierbei kann es sich um Objekte, wie beispielsweise weitere Fahrzeuge oder Fußgänger, handeln, mit denen das Kraftfahrzeug potenziell kollidieren kann. Aufgrund der Erkennung eines derartigen Objekts können in dem Fahrzeug Sicherheitsmaßnahmen ausgeführt werden, die eine Kollision mit dem Objekt verhindern oder Kollisionsfolgen verringern. Des Weiteren können Bilderfassungssysteme eingesetzt werden, um beispielsweise Verkehrsschilder automatisch zu erkennen und den Fahrer auf Beschränkungen aufmerksam zu machen und/oder den Fahrzustand des Fahrzeugs geeignet zu beeinflussen. Ein Beispiel hierfür ist die Erkennung von Verkehrschildern, welche die erlaubte Fahrgeschwindigkeit beschränken.In Modern motor vehicles are increasingly becoming imaging systems used to detect objects around the vehicle. in this connection can be objects, such as other vehicles or Pedestrians, acting with which the motor vehicle potentially collide. Due to the detection of such Object may be in the vehicle security measures be executed, which prevent a collision with the object or reduce collision sequences. Furthermore, image acquisition systems used, for example, road signs automatically recognize and alert the driver to restrictions to make and / or to influence the driving condition of the vehicle suitable. An example of this is the detection of traffic signs, which restrict the permitted travel speed.

Die Objekterkennung kann sowohl anhand von Bildern im für den Menschen sichtbaren Spektralbereich erfolgen, als auch anhand von Bildern im nicht sichtbaren Spektralbereich, insbesondere im Infrarotbereich. Infrarotbilder ermöglichen dabei die Erkennung von Objekten auch bei schlechten Sichtverhältnissen, vor allem bei Dunkelheit.The Object recognition can be based both on images for the People visible spectral range, as well as by means of Images in the invisible spectral range, especially in the infrared range. Infrared images allow the detection of objects even in poor visibility, especially in the dark.

Aus der DE 10 2006 010 295 A1 geht ein Kamerasystem mit zwei Bildaufnehmern hervor, die in unterschiedlichen Spektralbereichen empfindlich sein können. In einer beschriebenen Ausgestaltung ist ein Bildaufnehmer im fernen Infrarotbereich empfindlich und der andere Bildaufnehmer im nahen Infrarotbereich oder im sichtbaren Spektralbereich. Die mit den Bildaufnehmern erfassten Bilder werden zum getrennt voneinander ausgewertet, um darin Objekte zu erkennen. Anhand der redundant erfassten Objekte wird eine Plausibilisierung der Objekterkennung durchgeführt.From the DE 10 2006 010 295 A1 is a camera system with two imagers out, which can be sensitive in different spectral ranges. In one described embodiment, an imager is sensitive in the far infrared region and the other imager is sensitive in the near infrared or visible spectral range. The images captured by the imagers are evaluated separately to detect objects therein. On the basis of the redundantly detected objects, a plausibility check of the object recognition is carried out.

Hierzu ist es allerdings erforderlich, dass ein Objekt, das einem Spektralbereich erfasst worden ist, einem Objekt zugeordnet wird, dass in dem anderen Spektralbereich erfasst worden ist. Wenn dies nicht eindeutig gelingt, können Fehler bei der Plausibilisierung auftreten.For this However, it is necessary for an object to be a spectral range has been detected, assigned to one object, that in the other Spectral range has been detected. If this does not succeed, Errors can occur in the plausibility check.

Darstellung der ErfindungPresentation of the invention

Es ist daher eine Aufgabe der vorliegenden Erfindung, eine zuverlässigere Plausibilisierung von Objekten zu ermöglichen, die mittels eines bildbasierten Objekterkennungssystems erkannt worden sind.It It is therefore an object of the present invention to provide a more reliable To enable plausibility of objects using an image-based object recognition system have been recognized.

Die Aufgabe wird gelöst durch ein Objekterkennungssystem mit den Merkmalen des Patentanspruchs 1 und durch ein Verfahren zur Objekterkennung mit dem Merkmalen des Anspruchs 13. Ausführungsformen des Objekterkennungssystems und des Verfahrens sind in den abhängigen Ansprüchen angegeben.The Task is solved by an object recognition system with the features of claim 1 and by a method for Object recognition with the features of claim 13. Embodiments of the object recognition system and the method are in the dependent Claims specified.

Gemäß einem ersten Aspekt der Erfindung wird ein Objekterkennungssystem vorgeschlagen, das wenigstens eine Bilderfassungseinrichtung mit einem Bildsensor aufweist, der rasterförmig angeordnete Sensorelemente eines ersten Typs und eines zweiten Typs umfasst. Mittels der Sensorelemente des ersten Typs ist ein Bild in einem ersten Spektralbereich erfassbar, und mittels der Sensorelemente des zweiten Typs ist ein weiteres Bild in einem zweiten Spektralbereich erfassbar. Weiterhin umfasst das System eine Objekterkennungsein richtung, die dazu ausgestaltet ist, anhand eines ersten, mit den Sensorelementen eines Typs erfassten Bildes ein Objekt einer vorgegebenen Objektklasse in einem Bildbereich zu erkennen, sowie eine Plausibilisierungseinrichtung, die dazu ausgestaltet ist, zu prüfen, ob das Objekt und/oder ein vorgegebenes Merkmal des Objekts im Wesentlichen in dem gleichen Bildbereich in dem zweiten, mit den Sensorelementen des anderen Typs erfassten Bild erkennbar ist, und in Abhängigkeit von dem Ergebnis der Prüfung eine Zuverlässigkeit der Objekterkennung zu ermitteln.According to one The first aspect of the invention proposes an object recognition system which has at least one image capture device with an image sensor, the grid-shaped arranged sensor elements of a first Type and a second type. By means of the sensor elements of of the first type, an image can be detected in a first spectral range, and by means of the sensor elements of the second type is another Image can be detected in a second spectral range. Furthermore includes the system is an object recognition device designed to do so is, based on a first, with the sensor elements of a type detected Image an object of a given object class in an image area recognize, as well as a plausibility device that designed to do so is to check if the object and / or a given Feature of the object substantially in the same image area in the second, detected with the sensor elements of the other type Image is recognizable, and depending on the result the test a reliability of the object recognition to investigate.

Gemäß einem zweiten Aspekt der Erfindung wird ein Verfahren zum Erkennen von Objekten vorgeschlagen, bei dem mittels wenigstens eines Bildsensor, der rasterförmig angeordnete Sensorelemente eines ersten Typs und eines zweiten Typs umfasst, zwei Bilder erfasst werden, wobei mittels der Sensorelemente des ersten Typs ein Bild in einem ersten Spektralbereich erfasst wird und mittels der Sensorelemente des zweiten Typs ein weiteres Bild in einem zweiten Spektralbereich erfasst wird. Anhand eines ersten, mit den Sensorelementen eines Typs erfassten Bildes wird ein Objekt einer vorgegebenen Objektklasse in einem Bildbereich erkannt. Es wird geprüft, ob das Objekt und/oder ein vorgegebenes Merkmal des Objekts im Wesentlichen in dem gleichen Bildbereich des zweiten, zweiten, mit den Sensorelementen des anderen Typs erfassten Bilds erkennbar ist, und in Abhängigkeit von dem Ergebnis der Prüfung wird eine Zuverlässigkeit der Objekterkennung ermittelt.According to one second aspect of the invention is a method for detecting Objects proposed in which by means of at least one image sensor, the grid-shaped arranged sensor elements of a first Type and a second type, two images are captured, wherein by means of the sensor elements of the first type an image in a first Spectral range is detected and by means of the sensor elements of second type another image in a second spectral range is detected. Based on a first, with the sensor elements of a type captured image becomes an object of a given object class detected in an image area. It checks if the object and / or a predetermined feature of the object substantially in the same image area of the second, second, with the sensor elements image detected by the other type, and in dependence From the result of the test becomes a reliability the object detection determined.

Die Erfindung beinhaltet die Idee, Objekte redundant anhand von Bildern zu erfassen, die im Wesentlichen deckungsgleich sind. Hierdurch kann eine Plausibilisierung durchgeführt werden, die dadurch vereinfacht wird, dass für ein Objekt, das in einem Bildbereich eines Bildes erkannt worden ist, in dem im Wesentlichen gleichen Bildbereich des anderen Bildes geprüft wird, ob das Objekt dort ebenfalls erkannt werden kann oder ob vorgegebenen Merkmale des Objekts in diesem Bildbereich erkennbar sind. Hierdurch wird erreicht, dass in den Bilder abgebildete Objekte einander einfacher und zuverlässiger zugeordnet werden können bzw. in einem Bild enthaltene Merkmale eines Objekts ei nem in einem anderen Bild erkannten Objekt einfacher und zuverlässiger zugeordnet werden können. Damit wird die Plausibilisierung zuverlässiger.The Invention involves the idea of redundantly retrieving objects from images which are essentially congruent. hereby A plausibility check can be carried out, which simplifies this is that for an object that is in an image area of a Image has been recognized, in the substantially same image area the other picture is checked if the object is there as well can be recognized or given characteristics of the object in can be seen in this image area. This ensures that Objects pictured in the pictures make each other easier and more reliable can be assigned or contained in a picture Characteristics of an object on an object recognized in another image easier and more reliable can be assigned. This makes the plausibility check more reliable.

Ein weiterer Vorteil der Erfindung besteht darin, dass eine Objekterkennung nicht in beiden Bildern durchgeführt zu werden braucht, sondern dass die Plausibilisierung eines in einem Bild erkannten Objekts anhand von in dem zweiten Bild enthaltenen Merkmalen des Objekts vorgenommen werden kann. Hierdurch wird die Plausibilisierung vereinfacht. Insbesondere kann sie ressourcenschonender durchgeführt werden, da eine Objekterkennung in der Regel sehr ressourcenintensiv ist.One Another advantage of the invention is that an object recognition does not need to be done in both pictures, but that the plausibility of an object recognized in an image based on features of the object contained in the second image can be made. This simplifies the plausibility check. In particular, it can be carried out in a resource-saving manner because object recognition is usually very resource-intensive is.

Um im Wesentlichen deckungsgleiche Bilder in beiden Spektralbereichen erfassen zu können, ist es in einer Ausgestaltung des Objekterkennungssystems und des Verfahrens vorgesehen, dass die Sensorelemente des zweiten Typs innerhalb des Bildsensors zwischen den Sensorelementen des ersten Typs angeordnet sind. Insbesondere können die Sensorelemente innerhalb des Bildsensors derart angeordnet sein, dass sich Sensorelemente des ersten und zweiten Typs innerhalb des Rasters nach einem vorgegebenen Muster abwechseln.Around essentially congruent images in both spectral ranges In one embodiment of the object recognition system, it is possible to grasp it and the method provided that the sensor elements of the second Type within the image sensor between the sensor elements of first type are arranged. In particular, the sensor elements be arranged within the image sensor such that sensor elements of the first and second types within the grid after a predetermined one Alternate patterns.

Die beiden Spektralbereiche sind vorzugsweise voneinander verschiedenen. In einer Ausgestaltung des Objekterkennungssystems und des Verfahrens ist vorgesehen, dass es sich bei dem ersten Spektralbereich um einen sichtbaren Spektralbereich und bei dem zweiten Spektralbereich um einen nicht sichtbaren Spektralbereich handelt. Gleichfalls können jedoch beide Spektralbereiche in einem nicht sichtbaren Bereich liegen.The both spectral ranges are preferably different from each other. In an embodiment of the object recognition system and the method it is provided that the first spectral range is a visible spectral range and in the second spectral range a non-visible spectral range is. Likewise however, both spectral ranges in a non-visible region lie.

Unter einem sichtbaren Spektralbereich wird in Rahmen der Erfindung ein Spektralbereich verstanden, der vom Menschen bzw. mittels des menschlichen Auges wahrnehmbar ist. Entsprechend handelt es sich bei dem nicht sichtbaren Spektralbereich um einen Spektralbereich der vom Menschen nicht wahrnehmbar ist.Under a visible spectral range is within the scope of the invention Spectral range understood by the human or by means of the human Eye is perceptible. Accordingly, it is not visible spectral range around a spectral range of the human is not perceptible.

In einer Ausführungsform des Objekterkennungssystems und des Verfahrens handelt es sich bei dem nicht sichtbaren Spektralbereich um einen Nah- und/oder Ferninfrarotbereich. In diesem Spektralbereichen ist vorteilhaft eine Bilderfassung auch bei Dunkelheit möglich. Sofern eine Bilderfassung im Nahinfrarotbereich vorgesehen ist, weist das Objekterkennungssystem zu diesem Zweck vorzugsweise eine Beleuchtungseinrichtung auf, die den Bilderfassungsbereich der Bilderfassungseinrichtung zumindest teilweise mit Licht im Nahinfrarotbereich ausleuchtet. Der Ferninfrarotbereich umfasst die von Objekten ausgesendete Wärmestrahlung. Damit können Merkmale von Objekte erfasst werden, die unabhängig vom sichtbaren Spektralbereich sind, wodurch die Zuverlässigkeit der Plausibilisierung eines Objekts weiter erhöht werden kann.In an embodiment of the object recognition system and the The method is the invisible spectral range around a near and / or far infrared range. In this spectral range Advantageously, an image capture is possible even in the dark. If image acquisition in the near-infrared region is provided, The object recognition system preferably has one for this purpose Lighting device, the image capture area of the image capture device at least partially illuminated with near-infrared light. The far infrared range includes the heat radiation emitted by objects. With that you can Characteristics of objects to be captured, regardless of visible spectral range, reducing the reliability the plausibility of an object can be further increased can.

Eine Ausgestaltung des Objekterkennungssystems und des Verfahrens beinhaltet, dass es sich bei dem ersten Bild um das im sichtbaren Spektralbereich erfasste Bild handelt und bei dem zweiten Bild um das im nicht sichtbaren Spektralbereich erfasste Bild. Dies ist insbesondere dann zweckmäßig, wenn es sich bei dem nicht sichtbaren Spektralbereich um den Ferninfrarotbereich handelt, in dem oftmals nur einzelne Merkmale von Objekten erfasst werden können, die für eine zuverlässige Objekterkennung nicht ausreichend sind. Diese können jedoch vorteilhaft zur Plausibilisierung herangezogen werden.A Embodiment of the object recognition system and method includes that the first image is that in the visible spectral range Captured image acts and the second image in the not visible Spectral range captured image. This is particularly useful if the non-visible spectral range is the far-infrared range which often only records individual features of objects that can be for a reliable Object recognition are not sufficient. These can, however be used advantageously for plausibility.

Eine weitere Ausgestaltung des Objekterkennungssystem und des Verfahrens zeichnet sich dadurch aus, dass das erste Bild situationsabhängig auswählbar ist. Somit kann für eine Objekterkennung das Bild herangezogen werden, welches in einer Situation am besten geeignet ist. Bei ausreichender Umgebungshelligkeit kann es sich hierbei um das im sichtbaren Spektralbereich erfasste Bild handeln. Bei Dunkelheit kann es sich hingegen um das im nicht sichtbaren Spektralbereich erfasste Bild handeln.A further embodiment of the object recognition system and the method is characterized by the fact that the first image can be selected depending on the situation is. Thus, the image can be used for an object recognition which is most suitable in a situation. With sufficient ambient brightness this may be the one detected in the visible spectral range Act picture. In the dark, on the other hand, it can be that which is not visible Spectral range captured image act.

Eine Ausführungsform des Objekterkennungssystems und des Verfahrens ist dadurch gekennzeichnet, dass es sich bei dem vorgegebenen Merkmal um eine Kontur des Objekts handelt. Auch dann, wenn es sich bei dem nicht sichtbaren Spektralbereich um den Ferninfrarotbereich handelt, können Konturen bestimmter Objekte, wie beispielsweise die Umrisse von Personen, auch in den im nicht sichtbaren Spektralbereich erfassten Bildern erkannt werden und zur Plausibilisierung und/oder zur Objekterkennung herangezogen werden.A Embodiment of the object recognition system and the method is characterized in that it is the given feature is a contour of the object. Even if it is the invisible spectral range around the far infrared range can, contours of certain objects, such as the outlines of persons, even in the non-visible spectral range captured images and for plausibility and / or be used for object recognition.

Eine weitere Ausführungsform des Objekterkennungssystems und des Verfahrens zeichnet sich dadurch aus, dass es sich bei dem vorgegebenen Merkmal um eine Wärmequelle des Objekts handelt, die im Bereich der Umrisse des Objekts angeordnet ist. Dies ist insbesondere dann vorteilhaft, wenn es sich bei dem nicht sichtbaren Spektralbereich um den Ferninfrarotbereich handelt, in dem oftmals nur einzelne Merkmale von Objekten erfasst werden können. Die Wärmequelle kann dabei innerhalb der Umrisse des Objekts angeordnet sein oder im Randbereich des Objekts außerhalb seiner Umrisse.A further embodiment of the object recognition system and the method is characterized in that the predetermined feature is a heat source of the object, which is arranged in the region of the contours of the object. This is particularly advantageous when it is in the non-visible spectral range to the Far-infrared area, in which often only individual features of objects can be detected. The heat source can be arranged within the contours of the object or in the edge region of the object outside its contours.

Wie zuvor erwähnt kann eine Plausibilisierung eines Objekts anhand eines vorgegebenen Merkmals des Objekts in einem Bild vorgenommen werden, gleichfalls kann jedoch auch vorgesehen sein, dass auf der Grundlage beider erfassten Bilder eine Objekterkennung durchgeführt wird. Daher sieht eine Ausgestaltung Objekterkennungssystems und des Verfahrens vor, dass die Objekterkennungseinrichtung dazu ausgestaltet ist, eine Objekterkennung bezüglich des in dem ersten Spektralbereich erfassten Bildes und des in dem zweiten Spektralbereich erfassten Bildes durchzuführen, und dass die Plausibilisierungseinrichtung dazu ausgestaltet ist, zu prüfen, ob das Objekt in beiden Bildern im Wesentlichen an der gleichen Bildposition erkennbar ist.As previously mentioned may be a plausibility check of an object based on a given feature of the object in an image, however, it may also be provided on the basis of both detected images performed an object detection becomes. Therefore, an embodiment of object recognition system and of Method before that the object recognition device designed to do so is an object recognition with respect to that in the first spectral range captured image and the detected in the second spectral range Image and that the plausibility checker is designed to check if the object is in both Images is essentially recognizable at the same image position.

Eine Weiterbildung des Objekterkennungssystems und des Verfahrens zeichnet sich dadurch aus, dass zwei beabstandet angeordnete Bilderfassungseinrichtungen mit in einem Überlappungsbereich überlappenden Bilderfassungsbereichen vorgesehen sind, und dass eine Verarbeitungseinrichtung vorgesehen ist, die dazu ausgestaltet ist, anhand der mittels der Bilderfassungseinrichtungen erfassten Bilder für den ersten und den zweiten Spektralbereich jeweils einen Abstand von in dem Überlappungsbereich enthaltenen Objektpunkten zu einem vorgegebenen Punkt zu bestimmen. Hierdurch können die Bilddaten durch Abstandsinformationen ergänzt werden.A Development of the object recognition system and the method draws characterized in that two spaced apart image capture devices overlapping with in an overlapping area Imaging areas are provided, and that a processing device provided is, which is designed to, by means of the image capture devices captured images for the first and the second spectral range each a distance of contained in the overlapping area To determine object points to a given point. hereby The image data can be supplemented by distance information become.

Eine Ausführungsform des Objekterkennungssystems und des Verfahrens beinhaltet, dass die Objekterkennungseinrichtung dazu ausgestaltet ist, anhand der in einem Spektralbereich erfassten Bilder einen Abstand des Objekts zu dem vorgegebenen Punkt zu ermitteln, und dass die Plausibilisierungseinrichtung dazu ausgestaltet ist, zu prüfen, ob das Objekt und/oder das vorgegeben Merkmal des Objekts anhand der in dem anderen Spektralbereich erfassten Bilder im wesentlichen im gleichen Abstand zu dem vorgegebenen Punkt erkennbar ist. Damit wird erreicht, dass in den Bildern abgebildete Objekte einander noch einfacher und zuverlässiger zugeordnet werden können bzw. in einem Bild enthaltene Merkmale eines Objekts einem in einem anderen Bild erkannten Objekt noch einfacher und zuverlässiger zugeordnet werden können.A Embodiment of the object recognition system and the method includes that the object recognition device is designed to a distance on the basis of the images captured in a spectral range of the object to the given point, and that the Plausibility device is designed to check whether the object and / or the given feature of the object based the images captured in the other spectral range substantially identifiable at the same distance from the given point. This will be that the objects depicted in the pictures still reach each other easier and more reliable can be assigned or in an image contained features of an object in one another image recognized object even easier and more reliable assigned can be.

Darüber hinaus wird gemäß einem weiteren Aspekt der Erfindung ein Kraftfahrzeug vorgeschlagen, das Objekterkennungssystem der zuvor beschriebenen Art umfasst. Vorzugsweise dient das Objekterfassungssystem dabei dazu, Objekte im Umfeld des Fahrzeugs zu erkennen und zu plausibilisieren, mit denen das Fahrzeug potenziell kollidieren könnte. Hierbei handelt es sich insbesondere um Personen im Fahrzeugumfeld und um weitere Fahrzeuge.About that In addition, according to another aspect of the invention proposed a motor vehicle, the object recognition system of includes previously described type. Preferably, the object detection system serves thereby to recognize objects in the environment of the vehicle and to make it plausible, with which the vehicle could potentially collide. in this connection these are in particular persons in the vehicle environment and around other vehicles.

Die zuvor genannten und weitere Vorteile, Besonderheiten und zweckmäßige Weiterbildungen der Erfindung werden auch anhand der Ausführungsbeispiele deutlich, die nachfolgend unter Bezugnahme auf die Figuren beschrieben werden.The previously mentioned and other advantages, special features and functional Further developments of the invention are also based on the embodiments clearly, which will be described below with reference to the figures become.

Kurze Beschreibung der FigurenBrief description of the figures

Von den Figuren zeigt:From the figures shows:

1 eine schematische Blockdarstellung eines erfindungsgemäß ausgestalteten Objekterkennungssystems und 1 a schematic block diagram of an inventively designed object recognition system and

2 eine schematische Darstellung einer rasterförmigen Anordnung von Sensorelementen eines Bildsensors. 2 a schematic representation of a grid-shaped arrangement of sensor elements of an image sensor.

Darstellung von AusführungsbeispielenRepresentation of embodiments

1 zeigt Komponenten eines Objekterkennungssystems, das beispielsweise in einem Kraftfahrzeug eingesetzt werden kann, um Objekte im Umfeld des Kraftfahrzeugs zu erkennen und ihre relative Position in Bezug auf das Kraftfahrzeug zu bestimmen. Hierbei kann es sich etwa um Objekte handeln, mit denen das Kraftfahrzeug potenziell kollidieren könnte, wie etwa weitere Fahrzeuge oder Fußgänger handeln, oder um Verkehrsschilder, die etwa Geschwindigkeitsbegrenzungen anzeigen. Gleichfalls kann das Objekterkennungssystem jedoch auch in anderen Anwendungen eingesetzt werden. 1 shows components of an object recognition system, which can be used for example in a motor vehicle to detect objects in the vicinity of the motor vehicle and to determine their relative position with respect to the motor vehicle. These may be, for example, objects with which the motor vehicle could potentially collide, such as other vehicles or pedestrians, or traffic signs indicating, for example, speed limits. However, the object recognition system can also be used in other applications.

Das in der 1 gezeigte Objekterkennungssystem ist als stereoskopisches System ausgestaltet und umfasst zwei Bilderfassungseinrichtungen 101a, 101b, die beabstandet zueinander angeordnet sind. Die Bilderfassungseinrichtungen erfassen jeweils Bilder eines Bilderfassungsbereichs 102a, 102b, und die Bilderfassungsbereiche 102a, 102b überdecken sich zumindest teilweise in einem Überlappungsbereich 103. Bei einem Einsatz in einem Kraftfahrzeug sind die Bilderfassungsbereiche 102a, 102b vorzugsweise in Vorwärtsfahrtrichtung nach vorne ausgerichtet, so dass Objekte erfasst werden können, denen sich das Fahrzeug bei Vorwärtsfahrt nähert. Innerhalb des Fahrzeugs können die Bilderfassungseinrichtungen 101a, 101b beispielsweise im Bereich einer Frontscheibe angeordnet sein, insbesondere im Bereich eines an der Frontscheibe montierten Rückspiegels, so dass das Sichtfeld des Fahrers in möglichst geringem Maße eingeschränkt.That in the 1 shown object recognition system is designed as a stereoscopic system and includes two image capture devices 101 . 101b which are spaced apart from each other. The image capture devices each capture images of an image capture area 102 . 102b , and the image capture areas 102 . 102b at least partially overlap in an overlap area 103 , When used in a motor vehicle, the image capture areas 102 . 102b Preferably, in the forward direction of travel aligned forward so that objects can be detected, which the vehicle approaches when driving forward. Inside the vehicle, the image capture devices 101 . 101b be arranged, for example, in the region of a windshield, in particular in the region of a mounted on the windshield rear view mirror, so that the field of view of the driver is limited in the least possible extent.

Die Bilderfassungseinrichtungen 101a, 101b erfassen jeweils Bilder des zugehörigen Bilderfassungsbereichs 102a, 102b in einem für den Menschen sichtbaren Spektralbereich und in einem für den Menschen nicht sichtbaren Spektralbereich. Der nicht sichtbare Spektralbereich ist vorzugsweise ein Ferninfrarotbereich (FIR-Bereich) der von Objekten abgegebene Wärmestrahlung umfasst. Gleichfalls kann der nicht sichtbare Spektralbereich jedoch auch im nahen Infrarotspektrum (NIR-Bereich) liegen.The image capture devices 101 . 101b capture images of the associated image capture area 102 . 102b in a spectral range visible to humans and in a spectral range not visible to humans. The non-visible spectral range is preferably a far-infrared range (FIR range) of the heat radiation emitted by objects. Likewise, the non-visible spectral range can also be in the near infrared spectrum (NIR range).

Sofern eine Bilderfassung im NIR-Bereich vorgesehen ist, verfügt das Objekterkennungssystem vorzugsweise über eine Beleuchtungseinrichtung, die Licht im NIR-Bereich abstrahlt und die Bilderfassungsbereiche 102a, 102b der Bilderfassungseinrichtungen 101a, 101b zumindest teilweise ausleuchtet. Die Beleuchtungseinrichtung kann insbesondere bei schlechten Lichtverhältnissen, wie etwa bei Dunkelheit, aktiviert werden, um eine Bilderfassung zu ermöglichen. Bei einem Einsatz des Objekterkennungssystems in einer Kraftfahrzeug lässt sich dadurch vor allem bei Dunkelheit die Bilderfassung verbessern, da das Licht im NIR-Bereich von weiteren Verkehrsteilnehmer nicht wahrgenommen wird, und daher ein größerer Umfeldbereich ausgeleuchtet werden kann als mit dem sichtbaren Abblendlicht des Fahrzeugs.If image capture is provided in the NIR range, the object recognition system preferably has an illumination device that emits light in the NIR range and the image capture regions 102 . 102b the image capture facilities 101 . 101b at least partially illuminates. The illumination device can be activated in particular in low-light conditions, such as in the dark, in order to enable image acquisition. When using the object recognition system in a motor vehicle, the image acquisition can thereby be improved, especially in the dark, since the light in the NIR range is not perceived by other road users, and therefore a larger surrounding area can be illuminated than with the visible low beam of the vehicle.

Zur Bilderfassung verfügen die Bilderfassungseinrichtungen 101a, 101b jeweils über einen Bildsensor 201. Die Bildsensoren 201 der Bilderfassungseinrichtungen 101a, 102b sind vorzugsweise in gleicher Weise ausgestaltet. Sie umfassen Sensorelemente 202, 203, die in einer Ebene in einem matrixartigen Raster angeordnet sind, wie es in 2 schematisch dargestellt ist. Weiterhin sind optische Elemente vorgesehen, mit denen der jeweilige Bilderfassungsbereich 102a, 102b auf dem Bildsensor 201 abgebildet wird.The image capture devices are equipped with image capture 101 . 101b each via an image sensor 201 , The image sensors 201 the image capture facilities 101 . 102b are preferably configured in the same way. They include sensor elements 202 . 203 arranged in a plane in a matrix-like raster, as shown in FIG 2 is shown schematically. Furthermore, optical elements are provided with which the respective image capture area 102 . 102b on the image sensor 201 is shown.

Grundsätzlich verfügen die Bildsensoren 201 über Sensorelemente 202 eines ersten Typs (in 2 weiß dargestellt), die im sichtbaren Spektralbereich ansprechen. Jedes Sensorelement 202 des ersten Typs enthält ein lichtempfindliches Halbleiterelement, das ein Signal erzeugt, welches ein Maß für die in das Sensorelement 202, 203 einfallende Lichtmenge ist. Die Halbleiterelemente können beispielsweise entsprechend der CMOS- oder CCD-Technologie hergestellt sein (CMOS: Complementary Metal Oxide Semiconductor; CCD: Charges Coupled Device). Um den Spektralbereich zu begrenzen, in dem ein Sensorelement 202, 203 empfindlich ist, ist das Halbleiterelement in einer Ausgestaltung mit einer Filterschicht überzogen, die nur für Licht in dem gewünschten Spektralbereich durchlässig ist.Basically, the image sensors have 201 via sensor elements 202 of a first type (in 2 shown in white), which respond in the visible spectral range. Each sensor element 202 of the first type includes a semiconductor light-sensitive element which generates a signal indicative of that in the sensor element 202 . 203 incident amount of light is. The semiconductor elements may, for example, be produced in accordance with CMOS or CCD technology (CMOS: Complementary Metal Oxide Semiconductor; CCD: Charges Coupled Device). To limit the spectral range in which a sensor element 202 . 203 is sensitive, the semiconductor element is coated in one embodiment with a filter layer which is permeable only to light in the desired spectral range.

Um Farbbilder erfassen zu können, sind unterschiedliche Sensorelemente 202 des ersten Typs vorgesehen, die durch Verwendung einer bestimmten Filterschicht einem vorgegebenen Farbbereich zugeordnet sind. Die verschiedenen vorgesehenen Farbbereiche entsprechend in einer Ausgestaltung jeweils einer der Primärfarben Rot, Grün und Blau, so dass ein Farbbild im RGB-Farbraum oder einem Teil des RGB-Farbraums erzeugt werden kann. Die in verschiedenen Farbbereichen ansprechenden Sensorelemente 202 des ersten Typs sind in einem vorgegebenen Muster in dem Bildsensor 201 verteilt. Vorzugsweise wird dabei eine möglichst gleichmäßige, insbesondere eine möglichst isotrope, Anordnung gewählt.To capture color images are different sensor elements 202 of the first type, which are assigned by using a specific filter layer a predetermined color range. In a refinement, the various color areas provided correspond in each case to one of the primary colors red, green and blue, so that a color image can be generated in the RGB color space or a part of the RGB color space. The responsive in different color ranges sensor elements 202 of the first type are in a predetermined pattern in the image sensor 201 distributed. Preferably, the most uniform possible, in particular a possible isotropic, arrangement is chosen.

Gleichfalls können jedoch auch Sensorelemente 202 des ersten Typs verwendet werden, die im Wesentlichen im gesamten sichtbaren Spektralbereich empfindlich sind. Mittels derartiger Sensorelemente lassen sich Grauwertbilder erfassen.Likewise, however, sensor elements can also be used 202 of the first type, which are sensitive to substantially all of the visible spectral range. Grayscale images can be acquired by means of such sensor elements.

Des Weiteren umfassen die Bildsensoren 201 Sensorelemente 203 eines zweiten Typs (in 2 schwarz dargestellt), die in dem vorgesehenen nicht sichtbaren Spektralbereich empfindlich sind. Insbesondere dann, wenn es sich hierbei um einen NIR-Bereich handelt, können die Sensorelemente 203 des zweiten Typs in gleicher Weise ausgestaltet sein, wie die Sensorelementen 203 des ersten Typs, und eine Filterschicht aufweisen, die im Nahinfrarotbereich lichtdurchlässig ist. Gleichfalls können in anderer Weise ausgestaltete Sensorelemente eingesetzt werden, die in dem vorgesehenen nicht sichtbaren Spektral bereich ansprechen. Im Falle, dass es sich bei dem nicht sichtbaren Spektralbereich um einen Ferninfrarotbereich handelt, kann es sich etwa um mikrobiolometrische oder auch pyroelektrische Sensorelemente 203 handeln. Die Sensorelemente 203 des zweiten Typs sind gleichfalls in einem vorgegebenen Muster gleichmäßig in dem Bildsensor 201 verteilt, so dass eine möglichst isotrope Anordnung entsteht.Furthermore, the image sensors include 201 sensor elements 203 of a second type (in 2 shown in black), which are sensitive in the intended non-visible spectral range. In particular, if this is an NIR range, the sensor elements 203 of the second type can be configured in the same way as the sensor elements 203 of the first type, and a filter layer which is transparent in the near infrared region. Likewise, differently configured sensor elements can be used, which respond in the intended non-visible spectral range. In the case where the non-visible spectral range is a far-infrared range, it may be about microbiological or even pyroelectric sensor elements 203 act. The sensor elements 203 of the second type are also uniform in a predetermined pattern in the image sensor 201 distributed so that a possible isotropic arrangement arises.

In der beispielhaften Ausgestaltung der Bildsensoren 201, die in der 2 dargestellt ist, sind in jeder Zeile und Spalte der rasterförmigen Anordnung abwechselnd Sensorelemente 202, 203 des ersten und zweiten Typs vorgesehen. Dies bedeutet insbesondere, dass Sensorelemente 202, 203 des ersten und zweiten Typs in gleicher Anzahl vorliegen. Alternativ kann jedoch auch eine andere Anordnung gewählt werden, insbesondere eine Anordnung mit weniger Sensorelementen 203 des zweiten Typs. So könnte beispielsweise nur in jeder zweiten Zeile des Rasters Sensorelemente 203 des zweiten Typs vorhanden sein, die sich mit Sensorelementen 202 des ersten Typs abwechseln.In the exemplary embodiment of the image sensors 201 in the 2 is shown, are in each row and column of the grid-shaped arrangement alternately sensor elements 202 . 203 of the first and second types. This means in particular that sensor elements 202 . 203 of the first and second types are the same number. Alternatively, however, a different arrangement can be selected, in particular an arrangement with fewer sensor elements 203 of the second type. For example, only every second row of the grid could contain sensor elements 203 be present of the second type, which deals with sensor elements 202 of the first type alternate.

Wenn die Erfassung von Farbbildern im sichtbaren Spektralbereich vorgesehen ist, wird die Anordnung von Sensorelementen 202 des ersten Typs, die in unterschiedlichen Farbbereichen empfindlich sind, entsprechend dem vorgesehenen Anwendungsbereich des Objekterkennungssystems gewählt. Bei dem zuvor beschriebenen Einsatz in Kraftfahrzeug ist es etwa vorteilhaft, dass wenigstens Sensorelemente 202 vorgesehen sind, die im roten Spektralbereich empfindlich sind, da Objekte im Straßenverkehr häufig Merkmale aufweisen, die rot gefärbt sind. Beispiele hierfür sind Rück- und/oder Bremsleuchten an Fahrzeugen und rote Bereiche von Verkehrschildern. Darüber hinaus sind vorzugsweise Sensorelemente 202 des ersten Typs vorgesehen, die wenigstens in einem zweiten sichtbaren Spektralbereich empfindlich sind. Hierbei kann es sich etwa um einen blauen Bereich handeln, da Strukturen im grünen bzw. gelben Bereich oftmals weniger gut aufgelöst werden können. Sensorelemente 202 des ersten Typs, die in einem dritten sichtbaren Spektralbereich ansprechen, können gleichfalls vorgesehen werden.If the detection of color images in the visible spectral range is provided, the arrangement of sensor elements 202 of the first Type, which are sensitive in different color ranges, selected according to the intended application of the object recognition system. In the above-described use in motor vehicles, it is approximately advantageous that at least sensor elements 202 are provided, which are sensitive in the red spectral range, since objects in traffic often have features that are colored red. Examples include rear and / or brake lights on vehicles and red areas of traffic signs. In addition, preferably, sensor elements 202 of the first type, which are sensitive at least in a second visible spectral range. This can be a blue area, as structures in the green or yellow area are often less well resolved. sensor elements 202 of the first type, which respond in a third visible spectral range, may also be provided.

In einer beispielhaften Ausgestaltung der in der 2 gezeigten Konfiguration sind zwei verschiedenen Sensorelementen 202 des ersten Typs vorgesehen, die im roten und blauen Spektralbereich empfindlich sind. Insbesondere können die Sensorelemente 202 des ersten Typs in den ungeraden Zeilen des Rasters im roten Spektralbereich empfindlich sein und in den geraden Zeilen im blauen Spektralbereich. Um auch Sensorelemente 202 des ersten Typs zu integrieren, die beispielsweise im grünen Spektralbereich empfindlich sind, können diese etwa in den gerade oder ungeraden Zeilen des Rasters anstelle der Sensorelemente 203 des zweiten Typs vorgesehen werden.In an exemplary embodiment of the in the 2 shown configuration are two different sensor elements 202 of the first type, which are sensitive in the red and blue spectral range. In particular, the sensor elements 202 of the first type in the odd rows of the grid in the red spectral region and in the even lines in the blue spectral region. To also sensor elements 202 of the first type, which are sensitive, for example, in the green spectral range, they can be approximately in the even or odd rows of the grid instead of the sensor elements 203 of the second type are provided.

Den Bilderfassungseinrichtung 101a, 101b ist jeweils eine Verarbeitungseinrichtung 104a, 104b zugeordnet, welche die Signale des zugeordneten Bildsensors 201 ausliest und Bilder erzeugt, die als Bildsignale ausgegeben werden. Dabei werden in jeder Verarbeitungseinrichtung 104a, 104b die Signale der Sensorelemente 202, 203 des ersten und des zweiten Typs getrennt voneinander ausgelesen und verarbeitet, so dass ein Bild im sichtbaren Spektralbereich und ein Infrarotbild erzeugt wird. Zu diesem Zweck verfügen die Verarbeitungseinrichtungen 104a, 104b jeweils über eine erste Verarbeitungseinheit 105a, 105b, die zur Erzeugung von Bildern im sichtbaren Spektralbereich vorgesehen ist, und eine zweite Verarbeitungseinheit 105a, 105b, die zur Erzeugung von Infrarotbildern vorgesehen ist.The image capture device 101 . 101b each is a processing device 104a . 104b associated with the signals of the associated image sensor 201 and reads images that are output as image signals. In each processing device 104a . 104b the signals of the sensor elements 202 . 203 of the first and second types are read out and processed separately so as to produce an image in the visible spectral range and an infrared image. For this purpose, the processing equipment 104a . 104b each via a first processing unit 105a . 105b , which is intended to generate images in the visible spectral range, and a second processing unit 105a . 105b , which is intended to generate infrared images.

Die Verarbeitungseinheiten 104a, 104b erzeugen anhand der Signale der Sensorelemente 202 des ersten Typs vorzugsweise jeweils ein Bild, das im Folgenden auch als Farbbild bezeichnet wird. Hierunter sind jedoch nicht nur Farbbilder im eigentlichen Sinne zu verstehen, sondern gegebenenfalls auch Graustufenbilder im sichtbaren Spektralbereich. Wenn Sensorelemente 202 des ersten Typs vorgesehen sind, die in unterschiedlichen sichtbaren Spektralbereichen empfindlich sind, wird hierzu eine Farbinterpolation in einer dem Fachmann an sich bekannten Weise vorgenommen. Darüber hinaus können Bildpunkte, die innerhalb der Bildsensoren 201 von Sensorelementen 203 des zweiten Typs belegt sind, durch eine geeignete Interpolation aus den Signalen der umgebenden Sensorelemente 202 des ersten Typs berechnet werden. Auf diese Weise können Farbbilder erzeugt werden, deren Dimensionen denen der Bildsensoren 201 entsprechen.The processing units 104a . 104b generate based on the signals of the sensor elements 202 of the first type preferably each one image, which is also referred to below as a color image. However, this does not only mean color images in the true sense, but possibly also grayscale images in the visible spectral range. If sensor elements 202 are provided of the first type, which are sensitive in different visible spectral ranges, this color interpolation is carried out in a manner known to those skilled in the art. In addition, pixels that are inside the image sensors 201 of sensor elements 203 of the second type are occupied by a suitable interpolation from the signals of the surrounding sensor elements 202 of the first type. In this way, color images can be generated whose dimensions are those of the image sensors 201 correspond.

Die Verarbeitungseinheiten 105a, 105b erzeugen Infrarotbilder aus den Signalen der Sensorelemente 203 des zweiten Typs, die in einer Ausgestaltung als Grauwertbilder ausgestaltet sein können. Die Anzahl der Bildpunkte dieser Bilder bzw. deren Dimension entspricht in einer Ausführungsform der Anzahl der Sensorelemente 203 des zweiten Typs. Gleichfalls können die Anzahl der Bildpunkte jedoch durch eine Interpolation erhöht werden, die in einer dem Fachmann an sich bekannten Weise vorgenommen werden kann. Vorzugsweise werden die Dimensionen des Infrarotbilds dabei durch Interpolation in Übereinstimmung mit den Dimensionen des Farbbilds gebracht. Hierdurch ergeben sich einander überdeckende Bilder desselben Bildausschnitts, welche die gleiche Größe aufweisen.The processing units 105a . 105b generate infrared images from the signals of the sensor elements 203 of the second type, which in one embodiment may be configured as gray value images. The number of pixels of these images or their dimension corresponds in one embodiment to the number of sensor elements 203 of the second type. Likewise, however, the number of pixels may be increased by interpolation, which may be done in a manner known to those skilled in the art. Preferably, the dimensions of the infrared image are brought by interpolation in accordance with the dimensions of the color image. This results in overlapping images of the same image detail, which have the same size.

Die in den Verarbeitungseinheiten 104a, 104b erzeugten Bildsignale werden einer Auswerteeinrichtung 107 zugeführt. Die Auswertung der von beiden ersten Verarbeitungseinheiten 104a, 104b erhalten Farbbildsignale erfolgt dabei in eine Farbauswerteeinheit 108 der Auswerteeinrichtung 107, die anhand der erhalten Farbbildsignale Farbstereobilddaten erzeugt. Getrennt hiervon bestimmt eine Infrarotauswerteeinheit 109 aus den erhaltenen Infrarotbildsignalen Infrarotstereobilddaten. Die Stereobilddaten enthalten neben den Farbinformationen bzw. Grauwertinformationen der Bildpunkte Abstandsdaten, die den Abstand zwischen einem abgebildeten Gegenstand und einem definierten Punkt angeben, bei dem es sich beispielsweise um einen Punkt zwischen den beiden Bilderfassungseinrichtungen 101a, 101b handeln kann. In einer Ausgestaltung enthalten die Bilddaten dabei für jeden Bildpunkt einen zugeordneten Abstandswert.The in the processing units 104a . 104b generated image signals are an evaluation 107 fed. The evaluation of the first two processing units 104a . 104b receive color image signals is carried out in a color evaluation unit 108 the evaluation device 107 which generates color-stereo image data based on the obtained color image signals. Separately determined by an infrared evaluation unit 109 from the obtained infrared image signals, infrared stereo image data. The stereo image data contain, in addition to the color information or grayscale information of the pixels, distance data indicating the distance between an imaged object and a defined point, which is, for example, a point between the two image capturing devices 101 . 101b can act. In one embodiment, the image data contain an assigned distance value for each pixel.

Die Ermittlung der Stereobilddaten beruht auf einer stereoskopischen Bildauswertung, die für die Farbbildsignale und die Infrarotbildsignale grundsätzlich in der gleichen Weise vorgenommen werden kann. Insbesondere werden dabei anhand von Bildpaaren, die ein mittels der ersten Bilderfassungseinrichtung 101a erfasstes Bild sowie ein zur gleichen Zeit mittels der zweiten Bilderfassungseinrichtung 102 erfasstes Bild umfassen, Abstände zu Gegenständen ermittelt, die in den Bildern abgebildet sind. Hierzu werden die Positionen von einander entsprechenden zu einem Gegenstand gehörenden Bildpunkten innerhalb der beiden Bilder einer Bildpaares miteinander verglichen, um den Abstand des Gegenstand zu den definierten Punkt zu ermitteln.The determination of the stereo image data is based on a stereoscopic image analysis, which can be carried out in principle for the color image signals and the infrared image signals in the same way. In particular, by means of image pairs, the one by means of the first image capture device 101 captured image and at the same time by means of the second image capture device 102 captured image, determined distances to objects that are shown in the images. For this purpose, the positions of corresponding pixels belonging to an object within the two images of a pair of images are compared with one another in order to determine the distance of the object to the defined point.

Alternativ zu der in der 1 gezeigten Konfiguration mit zwei Bilderfassungseinrichtungen 101a, 101b kann auch lediglich eine Bilderfassungseinrichtung vorgesehen sein. In diesem Fall werden Bilddaten bereitgestellt, die keine Abstandsinformationen enthalten. Entsprechend kann bei Verwendung nur einer Bilderfassungseinrichtung auch die Auswerteeinrichtung 107 wegfallen, da eine stereoskopische Bildauswertung nicht vorgenommen werden kann. Die Bilddaten werden dann von einer der Bilderfassungseinrichtung zugeordneten Verarbeitungseinrichtung bereitgestellt, welche die Funktionen einer der zuvor beschriebenen Verarbeitungseinrichtungen 104a, 104b aufweist.Alternatively to the one in the 1 shown configuration with two image capture devices 101 . 101b can also be provided only an image capture device. In this case, image data that does not contain distance information is provided. Accordingly, when using only one image capture device and the evaluation 107 omitted because a stereoscopic image analysis can not be made. The image data is then provided by a processor associated with the image capture device which performs the functions of one of the previously described processing devices 104a . 104b having.

Die ermittelten Bilddaten werden einer Objekterkennungseinrichtung 110 zugeführt. In der Objekterkennungseinrichtung 110 erfolgt die Verarbeitung der Farbbilddaten vorzugsweise zunächst in einem ersten Objekterkennungsmodul 111 getrennt von der Verarbeitung der Infrarotbilddaten, die in einem zweiten Objekterkennungsmodul 112 vorgenommen werden kann. In den Objekterkennungsmodulen 111, 112 werden Objekte vorgegebener Objektklassen anhand von charakteristischen Merkmalen der Objekte erkannt. Dies kann in einer dem Fachmann grundsätzlich bekannten Weise mittels eines oder mehrerer Klassifizierer erfolgen. Beispiele geeigneter Klassifizierer sind Neuronale Netze oder Support Vector Machines. Für die Erkennung von Objekten einer bestimmen Klasse können in den Farbbilddaten und in den Infrarotbilddaten unterschiedli che Merkmale herangezogen werden, die anhand der jeweiligen Bilddaten erkennbar sind.The determined image data become an object recognition device 110 fed. In the object recognition device 110 the processing of the color image data preferably takes place first in a first object recognition module 111 separate from the processing of the infrared image data contained in a second object recognition module 112 can be made. In the object recognition modules 111 . 112 Objects of predefined object classes are recognized on the basis of characteristic features of the objects. This can be done by one or more classifiers in a manner known to those skilled in the art. Examples of suitable classifiers are neural networks or support vector machines. For the detection of objects of a certain class, different features can be used in the color image data and in the infrared image data that can be recognized on the basis of the respective image data.

Alternativ kann es auch vorgesehen sein, das entweder die Farbbilddaten oder die Infrarotbilddaten einem Objekterkennungsmodul 111, 112 zugeführt werden, um anhand der Bilddaten eine Objekterkennung vorzunehmen. Dabei werden der Objekterkennung die Bilddaten zugrunde gelegt, die eine zuverlässigere Erkennung von Objekte der vorgegebenen Objektklassen ermöglichen. Es kann dabei fest vorgegebenen sein, welche Bilddaten als Grundlage für eine Objekterkennung dienen. Gleichfalls kann jedoch auch eine situationsspezifische Auswahl der für die Objekterkennung heranzuziehenden Bilddaten vorgesehen sein. Dies ist insbesondere dann zweckmäßig, wenn das Objekterkennungssystem in unterschiedlichen Situationen eingesetzt wird, in denen die verschiedenen Bilddaten unterschiedlich gut für eine Objekterkennung geeignet sind. Wird das Objekterkennungssystem beispielsweise auch bei Dunkelheit eingesetzt, wie es bei einem Einsatz in einem Kraftfahrzeug in der Regel der Fall ist, kann etwa bei Dunkelheit eine Objekterkennung unter Verwendung der Infrarotbilddaten vorgenommen werden, und bei ausreichender Helligkeit können die Farbbilddaten für die Objekterkennung herangezogen werden.Alternatively, it can also be provided that either the color image data or the infrared image data is an object recognition module 111 . 112 are fed to make an object recognition based on the image data. The object recognition is based on the image data, which enables a more reliable detection of objects of the given object classes. It can be predefined which image data serve as the basis for object recognition. Likewise, however, a situation-specific selection of the image data to be used for the object recognition can also be provided. This is particularly expedient if the object recognition system is used in different situations in which the different image data are of different suitability for object recognition. If the object recognition system is used, for example, even in the dark, as is generally the case with use in a motor vehicle, object recognition using the infrared image data can be carried out in the dark, for example, and if the brightness is sufficient, the color image data can be used for the object recognition.

Die vorgegebenen Objektklassen beziehen sich auf Objekte, die im Hinblick auf den vorgesehenen Einsatzzweck des Objekterkennungssystems relevant sind. Bei einem Einsatz in einem Kraftfahrzeug können beispielsweise Objektklassen vorgesehen sein, die Objekte umfassen, mit denen das Fahrzeug kollidieren könnte. Hierbei handelt es sich um Fußgänger und weitere Fahrzeuge. In Bezug auf weitere Fahrzeuge sind dabei vorzugsweise mehrere Objektklassen vorgesehen entsprechend den unterschiedlichen Typen von Fahrzeugen. Insbesondere können unterschiedliche Objektklassen für Personenkraftwagen, Lastkraftwagen und Zweiräder vorgesehen sein. Letztere können beispielsweise noch in motorisierte und unmotorisierte Zweiräder unterteilt werden.The given object classes refer to objects that in terms of relevant to the intended use of the object recognition system are. When used in a motor vehicle, for example Object classes are provided, which include objects with which the Vehicle could collide. This is Pedestrians and other vehicles. In relation to further vehicles are preferably several object classes provided according to the different types of vehicles. In particular, different object classes for Passenger cars, trucks and bicycles provided be. For example, the latter can still be used in motorized and non-motorized two-wheelers are divided.

Nach Durchführung der Objekterkennung in dem Objekterkennungsmodul 111 und/oder in dem Objekterkennungsmodul 112 werden die Erkennungsergebnisse sowie die Bilddaten an eine Plausibilisierungseinrichtung 113 übergeben. Die Erkennungsergebnisse umfassen dabei Angaben zum Objekttyp eines erkannten Objekts, zu dem Bildbereich, in dem ein Objekt erkannt worden ist, sowie gegebenenfalls der Größe des erkannten Objekts Sofern Stereobilddaten bestimmt werden, wird zudem der Abstand des Objekts zu dem definierten Punkt angegeben. Zusätzlich enthalten die Erkennungsergebnisse vorzugsweise Angaben zur Zuverlässigkeit der Erkennung, d. h. zu der Wahrscheinlichkeit, mit der ein erkanntes Objekt tatsächlich vorliegt. Diese Angaben werden in einer dem Fachmann an sich bekannten Weise beispielsweise mittels der verwendeten Klassifizierer bestimmt.After performing the object recognition in the object recognition module 111 and / or in the object recognition module 112 The recognition results and the image data are sent to a plausibility checker 113 to hand over. The recognition results include information on the object type of a detected object, the image area in which an object has been detected, and, if appropriate, the size of the detected object. If stereo image data are determined, the distance of the object to the defined point is also specified. In addition, the recognition results preferably contain information about the reliability of the recognition, ie the probability with which a recognized object actually exists. This information is determined in a manner known to those skilled in the art, for example by means of the classifiers used.

Die Plausibilisierungseinrichtung 113 gleicht die Erkennungsergebnisse, die anhand von Bilddaten eines Typs ermittelt worden sind, mit den Bilddaten des anderen Typs oder mit gegebenenfalls für diese Bilddaten vorliegenden Erkennungsergebnissen ab, um eine Zuverlässigkeit der Objekterkennung zu ermitteln.The plausibility checker 113 matches the recognition results obtained from image data of one type with the image data of the other type or with recognition results for such image data, if necessary, to determine reliability of the object recognition.

Sofern sowohl auf der Grundlage der Farbbilddaten als auch auf der Grundlage der Infrarotbilddaten eine Objekterkennung bezüglich der Objektklasse vorgenommen worden ist, zu der das erkannte Objekt gehört, prüft die Plausibilisierungseinrichtung 113, ob ein Objekt der Objektklasse anhand beider Bilddaten an einem übereinstimmenden Positionen erkannt worden ist. Hierbei werden die Positionen innerhalb des Farbbildes und des Infrarotbildes zugrunde gelegt, die bei tatsächlich vorhandenen Objekten im Wesentlichen übereinstimmen, da die Bilder im Wesentlichen deckungsgleich sind. Geringe Abweichungen der Position eines Objekts, die aufgrund von Ungenauigkeit bei der Objekterkennung entstehen können, werden toleriert. Wenn Stereobilddaten vorliegen, prüft die Plausibilisierungseinrichtung zudem, ob das Objekt anhand der Farbbilddaten und der Infrarotbilddaten mit gleichem Abstand zu dem definierten Punkt erkannt worden ist. Geringe Abweichungen des Abstands werden auch hier zugelassen.If object recognition has been carried out both on the basis of the color image data and on the basis of the infrared image data with regard to the object class to which the detected object belongs, the plausibility check device checks 113 whether an object of the object class has been recognized from both image data at a matching position. This is based on the positions within the color image and the infrared image, which are actually present if Ob essentially the same as the images are essentially congruent. Minor deviations in the position of an object, which may arise due to inaccuracy in the object recognition, are tolerated. In addition, when there is stereo image data, the plausibility checker checks whether the object has been recognized from the color image data and the infrared image data equidistant from the defined point. Small deviations of the distance are also allowed here.

Wenn die Plausibilisierungseinrichtung 113 feststellt, dass ein Objekt lediglich anhand der Bilddaten eines Typs erkannt worden ist, anhand der Bilddaten des anderen Typs jedoch nicht, oder wenn die Positionen des Objekts innerhalb der Bilder der verschiedenen Typen über ein vorgegebenes Maß hinaus voneinander abweichen, dann wird das Objekt verworfen oder die Erkennung des Objekts wird als unsicher eingestuft. Gleiches gilt, wenn gegebenenfalls die anhand der Bilddaten der verschiedenen Typen ermittelten Abstände zu dem Objekt um ein vorgegebenes Maß hinaus voneinander abweichen. Die zulässige Abweichung der Position und Abstände kann dabei in einer Ausgestaltung auch in Abhängigkeit von den Wahrscheinlichkeiten bestimmt werden, mit denen das Objekt in den Bilddaten der beiden Typen erkannt worden ist. Wenn die Positionen und gegebenenfalls die Abstände in den vorgegebenen Grenzen übereinstimmen, dann werden die Erkennungsergebnisse bezüglich des Objekts von der Plausibilisierungseinrichtung 114 als zuverlässig qualifiziert.If the plausibility device 113 determines that an object has been recognized only on the basis of the image data of one type but not on the other type image data, or if the positions of the object within the images of the different types deviate from each other by a predetermined amount, then the object is discarded or the detection of the object is classified as unsafe. The same applies if, if appropriate, the distances to the object determined by the image data of the different types deviate from each other by a predetermined amount. The permissible deviation of the position and distances can also be determined in one embodiment depending on the probabilities with which the object has been recognized in the image data of the two types. If the positions and, where appropriate, the distances in the given limits match, then the recognition results relating to the object from the plausibility check device 114 qualified as reliable.

Wenn eine Objekterkennung lediglich auf der Grundlage von Bilddaten eines Typs durchgeführt wird, d. h. entweder auf der Grundlage der Farbbilddaten oder der Infrarotbilddaten, dann führt die Plausibilisierungseinrichtung 113 eine Plausibilisierung des Objekts anhand der Bilddaten durch, die nicht zur Objekterkennung herangezogen worden sind. Hierzu werden vorgegebene Merkmale von Objekten der verschiedenen Objektklassen herangezogen, die anhand dieser Bilddaten ermittelbar sind. Dabei wird für ein erkanntes Objekt einer Objektklasse geprüft, ob das vorgegebene Merkmal des Objekts an der Bildposition vorliegen, die für das Objekt aufgrund der Objekterkennung ermittelt worden ist. Dabei wird wiederum ausgenutzt, dass die Bilder der verschiedenen Typen im Wesentlichen deckungsgleich sind. Wenn Stereobilddaten vorliegen, wird zudem geprüft, ob die Merkmale in einem Abstand zu definierten Punkt erkannt werden können, der dem Abstand des Objekts zu dem Punkt entspricht.If an object recognition is performed only on the basis of image data of one type, that is, either on the basis of the color image data or the infrared image data, then the plausibility checker performs 113 a plausibility of the object based on the image data, which have not been used for object recognition. For this purpose, predetermined features of objects of the different object classes are used, which can be determined on the basis of these image data. In this case, it is checked for a recognized object of an object class whether the predetermined feature of the object is present at the image position that has been determined for the object on the basis of the object recognition. In turn, it is exploited that the images of the different types are essentially congruent. If there is stereo image data, it is also checked whether the features can be detected at a distance to a defined point, which corresponds to the distance of the object to the point.

Bei dem Merkmal eines Objekts kann es sich um seine Kontur handeln, sofern diese in den Bilddaten erkennbar ist, die nicht für die Objekterkennung herangezogen worden sind. Wenn neben den Farbbilddaten Infrarotbilddaten im NIR-Bereich erfasst werden, dann kann die Kontur eines Objekts in der Regel in den Bilddaten beider Typen erkannt und daher zur Plausibilisierung herangezogen werden. Gleiches gilt in der Regel in Bezug auf die Erkennung von Personen, wenn Infrarotbilddaten im FIR-Bereich erfasst werden. In diesem lassen sie Umrisse der Person bei ausreichend geringer Umgebungstemperatur ebenfalls erkennen.at the feature of an object can be its contour, if this is recognizable in the image data, not for the object recognition have been used. If in addition to the color image data Infrared image data captured in the NIR area, then the contour can of an object is usually recognized in the image data of both types and therefore be used for plausibility. same for usually in terms of detection of people when infrared image data in the FIR area. In this they let outlines of Detect person at sufficiently low ambient temperature.

Wird also beispielsweise eine Person, wie etwa ein Fußgänger oder ein Zweiradfahrer, aufgrund einer in dem Objekterkennungsmodul 111 durchgeführten Objekterkennung erkannt, dann prüft die Plausibilisierungseinrichtung 113, ob an der im Wesentlichen gleichen Bildposition innerhalb der im FIR-Bereich erfassten Infrarotbilddaten die Kontur einer Person erkannt werden kann. Ist dies der Fall, werden die Erkennungsergebnisse bezüglich der Person von der Plausibilisierungseinrichtung 113 als zuverlässig eingestuft. Geringe Abweichungen in der Bildposition werden dabei, wie zuvor bereits beschrieben, zugelassen. Wird in den Infrarotbilddaten hingegen keine Kontur einer Person an der gegebenen Bildposition ermittelt, dann wird die erkannte Person verworfen, oder die Erkennung wird als unsicher qualifiziert.Thus, for example, a person, such as a pedestrian or a cyclist, will become a person in the object recognition module 111 recognized object detection, then checks the plausibility check device 113 whether the contour of a person can be recognized at the substantially same image position within the infrared image data captured in the FIR region. If this is the case, the recognition results relating to the person from the plausibility check device 113 classified as reliable. Minor deviations in the image position are permitted, as already described above. If, on the other hand, no contour of a person at the given image position is determined in the infrared image data, then the recognized person is discarded or the recognition is qualified as unsafe.

Sofern Stereobilddaten vorliegen, wird zusätzlich geprüft, ob die Kontur einer Person in einem Abstand zu dem definierten Punkt innerhalb der Infrarotbilddaten erkannt wird, der dem für die Person ermittelten Abstand im Wesentlichen entspricht. Nur wenn dies der Fall ist, werden die Erkennungsergebnisse bezüglich der Person von der Plausibilisierungseinrichtung 113 als zuverlässig eingestuft. Geringe Abweichungen der Abstände werden dabei, wie zuvor bereits beschrieben, zugelassen. Überschreitet die Abweichung ein vorgegebenes Maß werden die Erkennungsergebnisse verworfen oder als unsicher eingestuft.If stereo image data are available, it is additionally checked whether the contour of a person is detected at a distance to the defined point within the infrared image data, which substantially corresponds to the distance determined for the person. Only when this is the case will the recognition results relating to the person from the plausibility checker become 113 classified as reliable. Small deviations of the distances are allowed, as already described above. If the deviation exceeds a predetermined level, the recognition results are discarded or classified as unsafe.

Gleichfalls können jedoch auch andere vorgegebene Merkmale des Objekts herangezogen werden. Dies ist insbesondere dann zweckmäßig, wenn die Kontur eines Objekts nicht in den Bilddaten beider Typen ermittelt werden kann. Dies ist oftmals der Fall, wenn neben den Farbbilddaten Infrarotbilddaten im FIR-Bereich erfasst werden. In diesem Fall können jedoch oftmals andere Merkmale vorgegeben werden, die eine Plausibilisierung des Objekts ermöglichen. Diese Merkmale können sich insbesondere auf Wärmequellen beziehen, die für ein Objekt charakteristisch sind.Likewise however, other predetermined features of the object may be used be used. This is particularly useful if the contour of an object is not in the image data of both types can be determined. This is often the case when, in addition to the Color image data Infrared image data in the FIR area can be detected. In In this case, however, other features can often be specified be used to make the object plausible. These features may be specific to heat sources which are characteristic of an object.

Ein Beispiel hierfür ist der Auspuff eines Kraftfahrzeugs bzw. die von dem Auspuff ausgestoßenen Abgase, die in der Regel eine höhere Temperatur als die Umgebung aufweisen. Wird also etwa ein Kraftfahrzeug aufgrund einer in dem Objekterkennungsmodul 111 durchgeführten Objekterkennung anhand der Farbbilddaten erkannt, dann prüft die Plausibilisierungseinrichtung 113, ob an der im Wesentlichen gleichen Bildposition innerhalb der im FIR-Bereich erfassten Infrarotbilddaten Wärmequellen erkennbar sind, die einem Auspuff oder den Auspuffabgasen entsprechen. Ist dies der Fall, werden die Erkennungsergebnisse bezüglich des Kraftfahrzeugs von der Plausibilisierungseinrichtung 113 als zuverlässig eingestuft. Werden in den Infrarotbilddaten hingegen derartige Wärmequellen an der gegebenen Bildposition nicht ermittelt, dann wird das erkannte Kraftfahrzeug verworfen oder die Erkennung als unsicher qualifiziert.An example of this is the exhaust of a motor vehicle or the expelled exhaust gases from the exhaust, which usually have a higher temperature than the environment. So is about a motor vehicle due to a in the object recognition module 111 object recognition detected based on the color image data, then checks the plausibility device 113 whether heat sources are visible at substantially the same image position within the infrared image data captured in the FIR region, corresponding to an exhaust or the exhaust fumes. If this is the case, the recognition results relating to the motor vehicle from the plausibility check device 113 classified as reliable. If, on the other hand, such heat sources are not detected at the given image position in the infrared image data, then the recognized motor vehicle is discarded or the recognition is qualified as unsafe.

Liegen Stereobilddaten vor, wird zusätzlich geprüft, ob die Wärmequelle in einem Abstand zu dem definierten Punkt innerhalb der Infrarotbilddaten erkannt wird, der dem für das Kraftfahrzeug ermittelten Abstand im Wesentlichen entspricht. Nur wenn dies der Fall ist, werden die Erkennungsergebnisse von der Plausibilisierungseinrichtung 113 als zuverlässig eingestuft. Geringe Abweichungen der Abstände werden dabei zugelassen. Überschreitet die Abweichung ein vorgegebenes Maß werden die Erkennungsergebnisse verworfen oder als unsicher eingestuft.If stereo image data are present, it is additionally checked whether the heat source is detected at a distance from the defined point within the infrared image data that substantially corresponds to the distance determined for the motor vehicle. Only if this is the case are the recognition results from the plausibility checker 113 classified as reliable. Small deviations of the distances are allowed. If the deviation exceeds a predetermined level, the recognition results are discarded or classified as unsafe.

Im Hinblick auf eine Erkennung von Fußgängern stellen Hände und Kopf oftmals Wärmequellen dar, deren Temperatur die Umgebungstemperatur übersteigt. Dementsprechend kann anhand dieser Merkmale mittels der Infrarotbilddaten im FIR-Bereich eine Plausibilisierung eines Fußgängers vorgenommen werden, der auf der Grundlage von Farbbilddaten erkannt worden ist. Diese Plausibilisierung kann zusätzlich zu der zuvor beschriebenen Plausibilisierung anhand der Kontur der Person durchgeführt werden, wodurch die Zuverlässigkeit weiter gesteigert werden kann.in the With regard to the detection of pedestrians Hands and head often heat sources, whose Temperature exceeds ambient temperature. Accordingly can use these characteristics by means of the infrared image data in the FIR range Plausibility of a pedestrian made which has been recognized on the basis of color image data. This plausibility check may be in addition to the one described above Plausibility checks are carried out based on the contour of the person whereby the reliability can be further increased.

Wenn die Erkennungsergebnisse nicht verworfen werden, dann werden sie von der Plausibilisierungseinrichtung 113 ausgegeben und können von weiteren Systemen verwendet werden. Zusätzlich wird die Zuverlässigkeit der Erkennungsergebnisse an das weitere System gemeldet. Bei einem Einsatz des Objekterkennungssystems in einem Kraftfahrzeug kann es sich hierbei beispielsweise um Sicherheitssysteme handeln, die für ein erkanntes Objekt die Wahrscheinlichkeit bestimmen, mit der das Fahrzeug mit dem Objekt kollidieren könnte. Übersteigt diese ein vorgegebenes Maß können Sicherheitsmaßnahmen eingeleitet werden, welche die Kollision verhindern oder Kollisionsfolgen mindern.If the recognition results are not discarded then they are taken from the plausibility checker 113 and can be used by other systems. In addition, the reliability of the recognition results is reported to the other system. When using the object recognition system in a motor vehicle, this can be, for example, safety systems which determine the probability with which the vehicle could collide with the object for a recognized object. If these exceed a given level, safety measures can be taken to prevent the collision or reduce collision consequences.

In der Regel sind dabei gestufte Maßnahmen vorgesehen, die sich in ihrer Eingriffsstärke unterscheiden. Die Stufe einer auszuführenden Sicherheitsmaßnahme ergibt sich dabei aus der Wahrscheinlichkeit einer Kollision und der Zuverlässigkeit, mit der das Objekt erkannt worden ist. Insbesondere kann bei einer geringeren Zuverlässigkeit eine Maßnahme einer geringeren Stufe durchgeführt werden. So kann es vorgesehen sein, dass die Maßnahme auf eine Warnung des Fahrers des Kraftfahrzeugs beschränkt wird, wenn die Erkennung des Objekts von der Plausibilisierungseinrichtung 113 als unsicher eingestuft worden ist. Bei einer zuverlässigen Erkennung könne beispielsweise auch Eingriffe in das Fahrverhalten des Fahrzeugs vorgenommen werden.As a rule, there are provided stepped measures that differ in their intervention strength. The level of security to be performed results from the probability of a collision and the reliability with which the object has been detected. In particular, a measure of a lesser degree can be performed with a lower reliability. Thus, it may be provided that the measure is limited to a warning of the driver of the motor vehicle when the detection of the object from the plausibility check device 113 considered unsafe. In a reliable detection, for example, interventions in the driving behavior of the vehicle can be made.

Obwohl die Erfindung in den Zeichnungen und der vorausgegangenen Darstellung im Detail beschrieben wurde, sind die Darstellungen illustrativ bzw. beispielhaft und nicht einschränkend zu verstehen; insbesondere ist die Erfindung nicht auf die erläuterten Ausführungsbeispiele beschränkt.Even though the invention in the drawings and the previous illustration has been described in detail, the illustrations are illustrative or by way of example and not limitation; especially the invention is not limited to the illustrated embodiments limited.

Beispielsweise kann zusätzlich zu einer Bilderfassung im FIR-Bereich anstelle einer Bilderfassung in einem sichtbaren Spektralbereich eine Bilderfassung in einem nicht sichtbaren Spektralbereich vorgenommen werden. Hierbei kann es sich um einen NIR Bereich handeln. Der Fachmann erkennt, dass die Objekterkennung und -plausibilisierung in diesem analog zu der vorangegangenen Beschreibung durchgeführt werden kann.For example may be in addition to image acquisition in the FIR area instead Image capture in a visible spectral range, an image capture be made in a non-visible spectral range. in this connection it can be an NIR area. The person skilled in the art recognizes that the object recognition and -plausibilisierung in this analogous to the previous description can be performed.

Weitere Varianten der Erfindung und ihre Ausführung ergeben sich für den Fachmann aus der vorangegangenen Offenbarung, den Figuren und den Patentansprüchen.Further Variants of the invention and their execution arise for the expert from the previous disclosure, the Figures and the claims.

In den Patentansprüchen verwendete Begriffe wie ”umfassen”, ”aufweisen”, ”beinhalten”, ”enthalten” und dergleichen schließen weitere Elemente oder Schritte nicht aus. Die Verwendung des unbestimmten Artikels schließt eine Mehrzahl nicht aus. Eine einzelne Einrichtung kann die Funktionen mehrerer in den Patentansprüchen genannten Einheiten beziehungsweise Einrichtungen ausführen.In the terms used in the claims such as "comprise", "comprise", "include", "contain" and the like do not exclude other elements or steps out. The use of the indefinite article concludes a majority are not. A single facility can do the functions several units mentioned in the claims or Perform facilities.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102006010295 A1 [0004]

Claims

An object recognition system comprising at least an image capture device with an image sensor, the grid-shaped arranged sensor elements of a first type and a second type wherein, by means of the sensor elements of the first type, an image can be detected in a first spectral range and by means of the sensor elements of the second type another image in a second spectral range is detectable, further comprising an object recognition device, which is designed to, based on a first, with the sensor elements of a type of captured image, an object of a given feature class in a picture area, and comprising a plausibility checker, which is designed to check whether the object and / or a given feature of the object substantially in the same Image area in the second, with the sensor elements of the other type captured image, and depending on the Result of the test a reliability of Determine object recognition.

An object recognition system according to claim 1, wherein said Sensor elements of the second type within the image sensor between the sensor elements of the first type are arranged.

An object recognition system according to claim 1 or 2, wherein the first spectral range is a visible spectral range and at the second spectral range around a non-visible spectral range is.

Object recognition system according to one of the preceding Claims, wherein it is the non-visible spectral range is a near and / or far infrared range.

Object recognition system according to one of the preceding Claims, wherein the first image is that in the visible spectral range captured image and the second Image around the image captured in the invisible spectral range.

Object detection system according to one of the preceding Claims, wherein the first image is situation-dependent is selectable.

Object recognition system according to one of the preceding Claims, wherein the given feature um is a contour of the object.

Object recognition system according to one of the preceding Claims, wherein the given feature um a heat source of the object that is in the area of Outlines of the object is arranged.

Object recognition system according to one of the preceding Claims in which the object recognition device to is configured, an object recognition with respect to in the first spectral range captured image and in the second spectral range recorded image, wherein the plausibility device is designed to check if the object is in both Images have been recognized essentially at the same image position is.

Object recognition system according to one of the preceding Claims, comprising two spaced-apart image capture devices with in an overlap area overlapping image capture areas, and comprising a processing device configured therefor is detected by means of the image capture devices Images for the first and second spectral range respectively a distance from that contained in the overlap area To determine object points to a given point.

An object recognition system according to claim 10, wherein said Object recognition device is designed to, based on the in A spectral region captured images a distance of the object to determine the given point and the plausibility check is designed to check whether the object and / or a given feature of the object based on that in the other spectral range captured images substantially the same distance from the given Point is recognizable.

A motor vehicle comprising an object recognition system according to any one of the preceding claims.

Method for recognizing objects, in which - by means of at least one image sensor arranged in a grid shape Comprises sensor elements of a first type and a second type, two images are detected, wherein by means of the sensor elements of first type an image in a first spectral range is detected and by means of the sensor elements of the second type another image in a second spectral range, - based on a first, with the sensor elements of a type detected image Object of a given object class is detected in an image area, - checked is whether the object and / or a given feature of the object essentially in the same image area of the second, with the Sensor elements of the other type of captured image is recognizable, and - depending on the result of Check a reliability of object recognition is determined.