DE102009014437B4

DE102009014437B4 - Object Recognition System and Method

Info

Publication number: DE102009014437B4
Application number: DE102009014437.4A
Authority: DE
Inventors: Matthias Strauss; Dr. Lüke Stefan
Original assignee: Continental Autonomous Mobility Germany GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2008-03-26
Filing date: 2009-03-26
Publication date: 2023-01-19
Anticipated expiration: 2029-03-27
Also published as: DE102009014437A1

Abstract

Objekterkennungssystem, umfassend wenigstens eine Bilderfassungseinrichtung (101a, 101b) mit einem einzelnen Bildsensor (201), der rasterförmig angeordnete Sensorelemente eines ersten Typs (202) und eines zweiten Typs (203) umfasst, wobei die Sensorelemente des zweiten Typs (203) innerhalb des Bildsensors zwischen den Sensorelementen des ersten Typs (202) angeordnet sind, wobei mittels der Sensorelemente des ersten Typs ein Bild in einem ersten Spektralbereich erfassbar ist und mittels der Sensorelemente des zweiten Typs ein weiteres Bild in einem zweiten Spektralbereich erfassbar ist, weiterhin umfassend eine Objekterkennungseinrichtung (110), die dazu ausgestaltet ist, anhand eines ersten, mit den Sensorelementen eines Typs erfassten Bildes ein Objekt einer vorgegebenen Objektklasse in einem Bildbereich zu erkennen, und umfassend eine Plausibilisierungseinrichtung (113), die dazu ausgestaltet ist, zu prüfen, ob das Objekt und/oder ein vorgegebenes Merkmal des Objekts im Wesentlichen in dem gleichen Bildbereich in dem zweiten, mit den Sensorelementen des anderen Typs erfassten Bild erkennbar ist, und in Abhängigkeit von dem Ergebnis der Prüfung eine Zuverlässigkeit der Objekterkennung zu ermitteln.Object recognition system, comprising at least one image capturing device (101a, 101b) with a single image sensor (201), which comprises sensor elements of a first type (202) and a second type (203) arranged in a grid, the sensor elements of the second type (203) being located within the image sensor are arranged between the sensor elements of the first type (202), wherein an image can be captured in a first spectral range by means of the sensor elements of the first type and a further image in a second spectral range can be captured by means of the sensor elements of the second type, further comprising an object recognition device (110 ), which is designed to recognize an object of a specified object class in an image area on the basis of a first image captured with the sensor elements of a type, and comprising a plausibility checking device (113) which is designed to check whether the object and/or or a predetermined feature of the object substantially is recognizable in the same image area in the second image captured with the sensor elements of the other type, and to determine a reliability of the object detection as a function of the result of the test.

Description

Technisches Gebiettechnical field

Die Erfindung bezieht sich auf die Erkennung von Objekten anhand von Bilddaten. Insbesondere betrifft die Erfindung ein Objekterkennungssystem und ein Objekterkennungsverfahren. Das Objekterkennungssystem und das Verfahren sind insbesondere für einen Einsatz in einem Kraftfahrzeug geeignet.The invention relates to the detection of objects using image data. In particular, the invention relates to an object recognition system and an object recognition method. The object recognition system and the method are particularly suitable for use in a motor vehicle.

Hintergrund der ErfindungBackground of the Invention

In modernen Kraftfahrzeugen werden in zunehmendem Maße Bilderfassungssysteme eingesetzt, um Objekte im Umfeld des Fahrzeugs zu erkennen. Hierbei kann es sich um Objekte, wie beispielsweise weitere Fahrzeuge oder Fußgänger, handeln, mit denen das Kraftfahrzeug potenziell kollidieren kann. Aufgrund der Erkennung eines derartigen Objekts können in dem Fahrzeug Sicherheitsmaßnahmen ausgeführt werden, die eine Kollision mit dem Objekt verhindern oder Kollisionsfolgen verringern. Des Weiteren können Bilderfassungssysteme eingesetzt werden, um beispielsweise Verkehrsschilder automatisch zu erkennen und den Fahrer auf Beschränkungen aufmerksam zu machen und/oder den Fahrzustand des Fahrzeugs geeignet zu beeinflussen. Ein Beispiel hierfür ist die Erkennung von Verkehrschildern, welche die erlaubte Fahrgeschwindigkeit beschränken.Image acquisition systems are used to an increasing extent in modern motor vehicles in order to recognize objects in the area surrounding the vehicle. These can be objects, such as other vehicles or pedestrians, with which the motor vehicle can potentially collide. Due to the detection of such an object, safety measures can be implemented in the vehicle that prevent a collision with the object or reduce the consequences of a collision. Furthermore, image acquisition systems can be used in order, for example, to automatically recognize traffic signs and to draw the driver's attention to restrictions and/or to suitably influence the driving state of the vehicle. An example of this is the recognition of traffic signs that limit the permitted driving speed.

Die Objekterkennung kann sowohl anhand von Bildern im für den Menschen sichtbaren Spektralbereich erfolgen, als auch anhand von Bildern im nicht sichtbaren Spektralbereich, insbesondere im Infrarotbereich. Infrarotbilder ermöglichen dabei die Erkennung von Objekten auch bei schlechten Sichtverhältnissen, vor allem bei Dunkelheit.The object can be recognized both on the basis of images in the spectral range that is visible to humans and on the basis of images in the spectral range that is not visible, in particular in the infrared range. Infrared images enable the detection of objects even in poor visibility, especially in the dark.

Aus der DE 10 2006 010 295 A1 geht ein Kamerasystem mit zwei Bildaufnehmern hervor, die in unterschiedlichen Spektralbereichen empfindlich sein können. In einer beschriebenen Ausgestaltung ist ein Bildaufnehmer im fernen Infrarotbereich empfindlich und der andere Bildaufnehmer im nahen Infrarotbereich oder im sichtbaren Spektralbereich. Die mit den Bildaufnehmern erfassten Bilder werden zum getrennt voneinander ausgewertet, um darin Objekte zu erkennen. Anhand der redundant erfassten Objekte wird eine Plausibilisierung der Objekterkennung durchgeführt.From the DE 10 2006 010 295 A1 is a camera system with two image recorders that can be sensitive in different spectral ranges. In a described embodiment, an image recorder is sensitive in the far infrared range and the other image recorder in the near infrared range or in the visible spectral range. The images recorded with the image recorders are evaluated separately from one another in order to identify objects in them. A plausibility check of the object recognition is carried out on the basis of the redundantly detected objects.

Hierzu ist es allerdings erforderlich, dass ein Objekt, das einem Spektralbereich erfasst worden ist, einem Objekt zugeordnet wird, dass in dem anderen Spektralbereich erfasst worden ist. Wenn dies nicht eindeutig gelingt, können Fehler bei der Plausibilisierung auftreten.However, this requires that an object that has been detected in one spectral range is assigned to an object that has been detected in the other spectral range. If this is not clearly successful, errors can occur during the plausibility check.

Die DE 10 2007 013 664 A1 beschreibt eine Objekterkennung mit zwei gesonderten Bildsensoren, die Bilder in unterschiedlichen Spektralbereichen erfassen können, ähnlich wie das aus der DE 10 2006 010 295 A1 bekannte Kamerasystem. Aus der DE 10 2008 027 588 A1 ist eine Fußgänger-Erfassungsvorrichtung mit einer oder mehreren CCD-Kameras bekannt, die eine erste Fußgänger-Beurteilungseinheit, welche anhand der Größe und des Bewegungszustand eines erkannten Objekts einen Fußgänger detektiert, und eine zweite Fußgänger-Beurteilungseinheit aufweist, welche anhand der Formdaten des erkannten Objekts einen Fußgänger zu detektiert. Eine dritte Fußgänger-Beurteilungseinheit ist vorgesehen, um auf Basis der Beurteilungen der ersten und zweiten Fußgänger-Beurteilungseinheit abschließend festzustellen, ob es sich beim erkannten Objekt um einen Fußgänger handelt.the DE 10 2007 013 664 A1 describes object recognition with two separate image sensors that can capture images in different spectral ranges, similar to that from DE 10 2006 010 295 A1 known camera system. From the DE 10 2008 027 588 A1 a pedestrian detection device with one or more CCD cameras is known, which has a first pedestrian evaluation unit, which detects a pedestrian based on the size and the state of movement of a detected object, and a second pedestrian evaluation unit, based on the shape data of the detected object to detect a pedestrian. A third pedestrian assessment unit is provided to finally determine whether the detected object is a pedestrian based on the assessments of the first and second pedestrian assessment units.

Darstellung der ErfindungPresentation of the invention

Es ist daher eine Aufgabe der vorliegenden Erfindung, eine zuverlässigere Plausibilisierung von Objekten zu ermöglichen, die mittels eines bildbasierten Objekterkennungssystems erkannt worden sind.It is therefore an object of the present invention to enable a more reliable plausibility check of objects that have been recognized by means of an image-based object recognition system.

Die Aufgabe wird gelöst durch ein Objekterkennungssystem mit den Merkmalen des Patentanspruchs 1 und durch ein Verfahren zur Objekterkennung mit dem Merkmalen des Anspruchs 11 Ausführungsformen des Objekterkennungssystems und des Verfahrens sind in den abhängigen Ansprüchen angegeben.The object is achieved by an object recognition system having the features of patent claim 1 and by a method for object recognition having the features of claim 11. Embodiments of the object recognition system and the method are specified in the dependent claims.

Gemäß einem ersten Aspekt der Erfindung wird ein Objekterkennungssystem vorgeschlagen, das wenigstens eine Bilderfassungseinrichtung mit einem Bildsensor aufweist, der rasterförmig angeordnete Sensorelemente eines ersten Typs und eines zweiten Typs umfasst. Mittels der Sensorelemente des ersten Typs ist ein Bild in einem ersten Spektralbereich erfassbar, und mittels der Sensorelemente des zweiten Typs ist ein weiteres Bild in einem zweiten Spektralbereich erfassbar. Weiterhin umfasst das System eine Objekterkennungseinrichtung, die dazu ausgestaltet ist, anhand eines ersten, mit den Sensorelementen eines Typs erfassten Bildes ein Objekt einer vorgegebenen Objektklasse in einem Bildbereich zu erkennen, sowie eine Plausibilisierungseinrichtung, die dazu ausgestaltet ist, zu prüfen, ob das Objekt und/oder ein vorgegebenes Merkmal des Objekts im Wesentlichen in dem gleichen Bildbereich in dem zweiten, mit den Sensorelementen des anderen Typs erfassten Bild erkennbar ist, und in Abhängigkeit von dem Ergebnis der Prüfung eine Zuverlässigkeit der Objekterkennung zu ermitteln.According to a first aspect of the invention, an object recognition system is proposed which has at least one image acquisition device with an image sensor which comprises sensor elements of a first type and a second type arranged in a grid. An image in a first spectral range can be detected by means of the sensor elements of the first type, and a further image in a second spectral range can be detected by means of the sensor elements of the second type. The system also includes an object recognition device, which is designed to recognize an object of a specified object class in an image area based on a first image captured with the sensor elements of one type, and a plausibility check device, which is designed to check whether the object and /or a predetermined feature of the object is essentially recognizable in the same image area in the second image captured with the sensor elements of the other type, and to determine a reliability of the object recognition depending on the result of the test.

Gemäß einem zweiten Aspekt der Erfindung wird ein Verfahren zum Erkennen von Objekten vorgeschlagen, bei dem mittels wenigstens eines Bildsensor, der rasterförmig angeordnete Sensorelemente eines ersten Typs und eines zweiten Typs umfasst, zwei Bilder erfasst werden, wobei mittels der Sensorelemente des ersten Typs ein Bild in einem ersten Spektralbereich erfasst wird und mittels der Sensorelemente des zweiten Typs ein weiteres Bild in einem zweiten Spektralbereich erfasst wird. Anhand eines ersten, mit den Sensorelementen eines Typs erfassten Bildes wird ein Objekt einer vorgegebenen Objektklasse in einem Bildbereich erkannt. Es wird geprüft, ob das Objekt und/oder ein vorgegebenes Merkmal des Objekts im Wesentlichen in dem gleichen Bildbereich des zweiten, zweiten, mit den Sensorelementen des anderen Typs erfassten Bilds erkennbar ist, und in Abhängigkeit von dem Ergebnis der Prüfung wird eine Zuverlässigkeit der Objekterkennung ermittelt.According to a second aspect of the invention, a method for detecting objects is proposed, in which two images are captured by means of at least one image sensor, which comprises sensor elements of a first type and a second type arranged in a grid, wherein by means of the sensor elements of the first type an image in is detected in a first spectral range and a further image is detected in a second spectral range by means of the sensor elements of the second type. An object of a specified object class is detected in an image area on the basis of a first image captured with the sensor elements of one type. It is checked whether the object and/or a predetermined feature of the object is essentially recognizable in the same image area of the second, second image captured with the sensor elements of the other type, and depending on the result of the check, a reliability of the object detection is determined determined.

Die Erfindung beinhaltet die Idee, Objekte redundant anhand von Bildern zu erfassen, die im Wesentlichen deckungsgleich sind. Hierdurch kann eine Plausibilisierung durchgeführt werden, die dadurch vereinfacht wird, dass für ein Objekt, das in einem Bildbereich eines Bildes erkannt worden ist, in dem im Wesentlichen gleichen Bildbereich des anderen Bildes geprüft wird, ob das Objekt dort ebenfalls erkannt werden kann oder ob vorgegebenen Merkmale des Objekts in diesem Bildbereich erkennbar sind. Hierdurch wird erreicht, dass in den Bilder abgebildete Objekte einander einfacher und zuverlässiger zugeordnet werden können bzw. in einem Bild enthaltene Merkmale eines Objekts einem in einem anderen Bild erkannten Objekt einfacher und zuverlässiger zugeordnet werden können. Damit wird die Plausibilisierung zuverlässiger.The invention includes the idea of detecting objects redundantly using images that are essentially congruent. In this way, a plausibility check can be carried out, which is simplified by the fact that for an object that has been recognized in an image area of an image, it is checked in essentially the same image area of the other image whether the object can also be recognized there or whether it is specified Features of the object are recognizable in this image area. The result of this is that objects depicted in the images can be associated with one another more easily and more reliably, or features of an object contained in one image can be associated more easily and reliably with an object recognized in another image. This makes the plausibility check more reliable.

Ein weiterer Vorteil der Erfindung besteht darin, dass eine Objekterkennung nicht in beiden Bildern durchgeführt zu werden braucht, sondern dass die Plausibilisierung eines in einem Bild erkannten Objekts anhand von in dem zweiten Bild enthaltenen Merkmalen des Objekts vorgenommen werden kann. Hierdurch wird die Plausibilisierung vereinfacht. Insbesondere kann sie ressourcenschonender durchgeführt werden, da eine Objekterkennung in der Regel sehr ressourcenintensiv ist.A further advantage of the invention is that object recognition does not have to be carried out in both images, but that the plausibility check of an object recognized in one image can be carried out using features of the object contained in the second image. This simplifies the plausibility check. In particular, it can be carried out in a resource-saving manner, since object recognition is generally very resource-intensive.

Um im Wesentlichen deckungsgleiche Bilder in beiden Spektralbereichen erfassen zu können, ist es erfindungsgemäß vorgesehen, dass die Sensorelemente des zweiten Typs innerhalb des Bildsensors zwischen den Sensorelementen des ersten Typs angeordnet sind. Insbesondere können die Sensorelemente innerhalb des Bildsensors derart angeordnet sein, dass sich Sensorelemente des ersten und zweiten Typs innerhalb des Rasters nach einem vorgegebenen Muster abwechseln.In order to be able to capture essentially congruent images in both spectral ranges, it is provided according to the invention that the sensor elements of the second type are arranged within the image sensor between the sensor elements of the first type. In particular, the sensor elements can be arranged within the image sensor in such a way that sensor elements of the first and second type alternate within the grid according to a predetermined pattern.

Die beiden Spektralbereiche sind vorzugsweise voneinander verschiedenen. In einer Ausgestaltung des Objekterkennungssystems und des Verfahrens ist vorgesehen, dass es sich bei dem ersten Spektralbereich um einen sichtbaren Spektralbereich und bei dem zweiten Spektralbereich um einen nicht sichtbaren Spektralbereich handelt. Gleichfalls können jedoch beide Spektralbereiche in einem nicht sichtbaren Unter einem sichtbaren Spektralbereich wird in Rahmen der Erfindung ein Spektralbereich verstanden, der vom Menschen bzw. mittels des menschlichen Auges wahrnehmbar ist. Entsprechend handelt es sich bei dem nicht sichtbaren Spektralbereich um einen Spektralbereich der vom Menschen nicht wahrnehmbar ist.The two spectral ranges are preferably different from one another. In one configuration of the object recognition system and the method, it is provided that the first spectral range is a visible spectral range and the second spectral range is a non-visible spectral range. Equally, however, both spectral ranges can be included in a non-visible range. Within the scope of the invention, a visible spectral range is understood to mean a spectral range that can be perceived by humans or by means of the human eye. Accordingly, the non-visible spectral range is a spectral range that cannot be perceived by humans.

In einer Ausführungsform des Objekterkennungssystems und des Verfahrens handelt es sich bei dem nicht sichtbaren Spektralbereich um einen Nah- und/oder Ferninfrarotbereich. In diesem Spektralbereichen ist vorteilhaft eine Bilderfassung auch bei Dunkelheit möglich. Sofern eine Bilderfassung im Nahinfrarotbereich vorgesehen ist, weist das Objekterkennungssystem zu diesem Zweck vorzugsweise eine Beleuchtungseinrichtung auf, die den Bilderfassungsbereich der Bilderfassungseinrichtung zumindest teilweise mit Licht im Nahinfrarotbereich ausleuchtet. Der Ferninfrarotbereich umfasst die von Objekten ausgesendete Wärmestrahlung. Damit können Merkmale von Objekte erfasst werden, die unabhängig vom sichtbaren Spektralbereich sind, wodurch die Zuverlässigkeit der Plausibilisierung eines Objekts weiter erhöht werden kann.In one embodiment of the object recognition system and the method, the non-visible spectral range is a near and/or far infrared range. In this spectral range, image acquisition is also advantageously possible in the dark. If image acquisition in the near-infrared range is provided, the object recognition system preferably has an illumination device for this purpose, which at least partially illuminates the image acquisition area of the image acquisition device with light in the near-infrared range. The far-infrared range includes the thermal radiation emitted by objects. In this way, features of objects can be detected that are independent of the visible spectral range, as a result of which the reliability of the plausibility check of an object can be further increased.

Eine Ausgestaltung des Objekterkennungssystems und des Verfahrens beinhaltet, dass es sich bei dem ersten Bild um das im sichtbaren Spektralbereich erfasste Bild handelt und bei dem zweiten Bild um das im nicht sichtbaren Spektralbereich erfasste Bild. Dies ist insbesondere dann zweckmäßig, wenn es sich bei dem nicht sichtbaren Spektralbereich um den Ferninfrarotbereich handelt, in dem oftmals nur einzelne Merkmale von Objekten erfasst werden können, die für eine zuverlässige Objekterkennung nicht ausreichend sind. Diese können jedoch vorteilhaft zur Plausibilisierung herangezogen werden.One embodiment of the object recognition system and the method includes that the first image is the image captured in the visible spectral range and the second image is the image captured in the non-visible spectral range. This is expedient in particular when the non-visible spectral range is the far-infrared range, in which it is often only possible to detect individual features of objects that are not sufficient for reliable object recognition. However, these can advantageously be used for plausibility checks.

Eine weitere Ausgestaltung des Objekterkennungssystem und des Verfahrens zeichnet sich dadurch aus, dass das erste Bild situationsabhängig auswählbar ist. Somit kann für eine Objekterkennung das Bild herangezogen werden, welches in einer Situation am besten geeignet ist. Bei ausreichender Umgebungshelligkeit kann es sich hierbei um das im sichtbaren Spektralbereich erfasste Bild handeln. Bei Dunkelheit kann es sich hingegen um das im nicht sichtbaren Spektralbereich erfasste Bild handeln.A further refinement of the object recognition system and of the method is characterized in that the first image can be selected as a function of the situation. The image that is best suited to a situation can thus be used for object recognition. If there is sufficient ambient light, this can be the image recorded in the visible spectral range. In the case of darkness, on the other hand, it can be the image recorded in the non-visible spectral range.

Eine Ausführungsform des Objekterkennungssystems und des Verfahrens ist dadurch gekennzeichnet, dass es sich bei dem vorgegebenen Merkmal um eine Kontur des Objekts handelt. Auch dann, wenn es sich bei dem nicht sichtbaren Spektralbereich um den Ferninfrarotbereich handelt, können Konturen bestimmter Objekte, wie beispielsweise die Umrisse von Personen, auch in den im nicht sichtbaren Spektralbereich erfassten Bildern erkannt werden und zur Plausibilisierung und/oder zur Objekterkennung herangezogen werden.An embodiment of the object recognition system and the method is characterized in that the predefined feature is a contour of the object. Even if the non-visible spectral range is the far infrared range, contours of certain objects, such as the outlines of people, can also be recognized in the images captured in the non-visible spectral range and used for plausibility checking and/or object recognition.

Eine weitere Ausführungsform des Objekterkennungssystems und des Verfahrens zeichnet sich dadurch aus, dass es sich bei dem vorgegebenen Merkmal um eine Wärmequelle des Objekts handelt, die im Bereich der Umrisse des Objekts angeordnet ist. Dies ist insbesondere dann vorteilhaft, wenn es sich bei dem nicht sichtbaren Spektralbereich um den Ferninfrarotbereich handelt, in dem oftmals nur einzelne Merkmale von Objekten erfasst werden können. Die Wärmequelle kann dabei innerhalb der Umrisse des Objekts angeordnet sein oder im Randbereich des Objekts außerhalb seiner Umrisse.A further embodiment of the object recognition system and the method is characterized in that the predefined feature is a heat source of the object, which is arranged in the area of the outline of the object. This is particularly advantageous when the non-visible spectral range is the far-infrared range, in which often only individual features of objects can be detected. The heat source can be arranged within the outline of the object or in the edge area of the object outside its outline.

Wie zuvor erwähnt kann eine Plausibilisierung eines Objekts anhand eines vorgegebenen Merkmals des Objekts in einem Bild vorgenommen werden, gleichfalls kann jedoch auch vorgesehen sein, dass auf der Grundlage beider erfassten Bilder eine Objekterkennung durchgeführt wird. Daher sieht eine Ausgestaltung Objekterkennungssystems und des Verfahrens vor, dass die Objekterkennungseinrichtung dazu ausgestaltet ist, eine Objekterkennung bezüglich des in dem ersten Spektralbereich erfassten Bildes und des in dem zweiten Spektralbereich erfassten Bildes durchzuführen, und dass die Plausibilisierungseinrichtung dazu ausgestaltet ist, zu prüfen, ob das Objekt in beiden Bildern im Wesentlichen an der gleichen Bildposition erkennbar ist.As previously mentioned, an object can be checked for plausibility using a predefined feature of the object in an image, but it can also be provided that object recognition is carried out on the basis of both captured images. Therefore, one embodiment of the object recognition system and of the method provides that the object recognition device is designed to carry out object recognition with regard to the image captured in the first spectral range and the image captured in the second spectral range, and that the plausibility check device is designed to check whether the Object is recognizable in both images essentially at the same image position.

Eine Weiterbildung des Objekterkennungssystems und des Verfahrens zeichnet sich dadurch aus, dass zwei beabstandet angeordnete Bilderfassungseinrichtungen mit in einem Überlappungsbereich überlappenden Bilderfassungsbereichen vorgesehen sind, und dass eine Verarbeitungseinrichtung vorgesehen ist, die dazu ausgestaltet ist, anhand der mittels der Bilderfassungseinrichtungen erfassten Bilder für den ersten und den zweiten Spektralbereich jeweils einen Abstand von in dem Überlappungsbereich enthaltenen Objektpunkten zu einem vorgegebenen Punkt zu bestimmen. Hierdurch können die Bilddaten durch Abstandsinformationen ergänzt werden.A further development of the object recognition system and the method is characterized in that two spaced-apart image capture devices are provided with image capture areas that overlap in an overlapping area, and that a processing device is provided which is designed to use the images captured by the image capture devices for the first and the second spectral range to determine in each case a distance from object points contained in the overlapping region to a specified point. In this way, the image data can be supplemented with distance information.

Eine Ausführungsform des Objekterkennungssystems und des Verfahrens beinhaltet, dass die Objekterkennungseinrichtung dazu ausgestaltet ist, anhand der in einem Spektralbereich erfassten Bilder einen Abstand des Objekts zu dem vorgegebenen Punkt zu ermitteln, und dass die Plausibilisierungseinrichtung dazu ausgestaltet ist, zu prüfen, ob das Objekt und/oder das vorgegeben Merkmal des Objekts anhand der in dem anderen Spektralbereich erfassten Bilder im wesentlichen im gleichen Abstand zu dem vorgegebenen Punkt erkennbar ist. Damit wird erreicht, dass in den Bildern abgebildete Objekte einander noch einfacher und zuverlässiger zugeordnet werden können bzw. in einem Bild enthaltene Merkmale eines Objekts einem in einem anderen Bild erkannten Objekt noch einfacher und zuverlässiger zugeordnet werden können.One embodiment of the object recognition system and the method includes that the object recognition device is designed to determine a distance of the object from the specified point on the basis of the images recorded in a spectral range, and that the plausibility checking device is designed to check whether the object and/or or the specified feature of the object can be recognized on the basis of the images recorded in the other spectral range essentially at the same distance from the specified point. This means that objects depicted in the images can be assigned to one another even more easily and reliably, or features of an object contained in one image can be assigned even more easily and reliably to an object recognized in another image.

Das Objekterkennungssystem der zuvor beschriebenen Art kann Teil eines Kraftfahrzeugs sein. Vorzugsweise dient das Objekterfassungssystem dabei dazu, Objekte im Umfeld des Fahrzeugs zu erkennen und zu plausibilisieren, mit denen das Fahrzeug potenziell kollidieren könnte. Hierbei handelt es sich insbesondere um Personen im Fahrzeugumfeld und um weitere Fahrzeuge.The object recognition system of the type described above can be part of a motor vehicle. The object detection system is preferably used to recognize and validate objects in the area surrounding the vehicle with which the vehicle could potentially collide. These are in particular people in the vehicle environment and other vehicles.

Die zuvor genannten und weitere Vorteile, Besonderheiten und zweckmäßige Weiterbildungen der Erfindung werden auch anhand der Ausführungsbeispiele deutlich, die nachfolgend unter Bezugnahme auf die Figuren beschrieben werden.The aforementioned and other advantages, special features and expedient developments of the invention are also clear from the exemplary embodiments, which are described below with reference to the figures.

Figurenlistecharacter list

Von den Figuren zeigt:

1 eine schematische Blockdarstellung eines erfindungsgemäß ausgestalteten Objekterkennungssystems und
2 eine schematische Darstellung einer rasterförmigen Anordnung von Sensorelementen eines Bildsensors.

From the figures shows:

1 a schematic block diagram of an object recognition system designed according to the invention and
2 a schematic representation of a grid-like arrangement of sensor elements of an image sensor.

Darstellung von AusführungsbeispielenPresentation of exemplary embodiments

1 zeigt Komponenten eines Objekterkennungssystems, das beispielsweise in einem Kraftfahrzeug eingesetzt werden kann, um Objekte im Umfeld des Kraftfahrzeugs zu erkennen und ihre relative Position in Bezug auf das Kraftfahrzeug zu bestimmen. Hierbei kann es sich etwa um Objekte handeln, mit denen das Kraftfahrzeug potenziell kollidieren könnte, wie etwa weitere Fahrzeuge oder Fußgänger handeln, oder um Verkehrsschilder, die etwa Geschwindigkeitsbegrenzungen anzeigen. Gleichfalls kann das Objekterkennungssystem jedoch auch in anderen Anwendungen eingesetzt werden. 1 shows components of an object recognition system that can be used in a motor vehicle, for example, in order to recognize objects in the area surrounding the motor vehicle and to determine their relative position in relation to the motor vehicle. These can be objects with which the motor vehicle could potentially collide, such as other vehicles or pedestrians, or traffic signs that indicate speed limits, for example. However, the object recognition system can also be used in other applications.

Das in der 1 gezeigte Objekterkennungssystem ist als stereoskopisches System ausgestaltet und umfasst zwei Bilderfassungseinrichtungen 101a, 101 b, die beabstandet zueinander angeordnet sind. Die Bilderfassungseinrichtungen erfassen jeweils Bilder eines Bilderfassungsbereichs 102a, 102b, und die Bilderfassungsbereiche 102a, 102b überdecken sich zumindest teilweise in einem Überlappungsbereich 103. Bei einem Einsatz in einem Kraftfahrzeug sind die Bilderfassungsbereiche 102a, 102b vorzugsweise in Vorwärtsfahrtrichtung nach vorne ausgerichtet, so dass Objekte erfasst werden können, denen sich das Fahrzeug bei Vorwärtsfahrt nähert. Innerhalb des Fahrzeugs können die Bilderfassungseinrichtungen 101 a, 101 b beispielsweise im Bereich einer Frontscheibe angeordnet sein, insbesondere im Bereich eines an der Frontscheibe montierten Rückspiegels, so dass das Sichtfeld des Fahrers in möglichst geringem Maße eingeschränkt.That in the 1 The object recognition system shown is designed as a stereoscopic system and includes two image acquisition devices 101a, 101b, which are spaced apart from one another are arranged. The image capturing devices each capture images of an image capturing area 102a, 102b, and the image capturing areas 102a, 102b overlap at least partially in an overlapping area 103. When used in a motor vehicle, the image capturing areas 102a, 102b are preferably aligned forward in the forward direction of travel, so that objects are recorded which the vehicle approaches when driving forward. Inside the vehicle, the image capturing devices 101a, 101b can be arranged, for example, in the area of a windscreen, in particular in the area of a rear-view mirror mounted on the windscreen, so that the driver's field of vision is restricted to the least possible extent.

Die Bilderfassungseinrichtungen 101 a, 101b erfassen jeweils Bilder des zugehörigen Bilderfassungsbereichs 102a, 102b in einem für den Menschen sichtbaren Spektralbereich und in einem für den Menschen nicht sichtbaren Spektralbereich. Der nicht sichtbare Spektralbereich ist vorzugsweise ein Ferninfrarotbereich (FIR-Bereich) der von Objekten abgegebene Wärmestrahlung umfasst. Gleichfalls kann der nicht sichtbare Spektralbereich jedoch auch im nahen Infrarotspektrum (NIR-Bereich) liegen.The image capturing devices 101a, 101b each capture images of the associated image capturing area 102a, 102b in a spectral range that is visible to humans and in a spectral range that is not visible to humans. The non-visible spectral range is preferably a far-infrared range (FIR range) that includes thermal radiation emitted by objects. However, the non-visible spectral range can also be in the near infrared spectrum (NIR range).

Sofern eine Bilderfassung im NIR-Bereich vorgesehen ist, verfügt das Objekterkennungssystem vorzugsweise über eine Beleuchtungseinrichtung, die Licht im NIR-Bereich abstrahlt und die Bilderfassungsbereiche 102a, 102b der Bilderfassungseinrichtungen 101a, 101b zumindest teilweise ausleuchtet. Die Beleuchtungseinrichtung kann insbesondere bei schlechten Lichtverhältnissen, wie etwa bei Dunkelheit, aktiviert werden, um eine Bilderfassung zu ermöglichen. Bei einem Einsatz des Objekterkennungssystems in einer Kraftfahrzeug lässt sich dadurch vor allem bei Dunkelheit die Bilderfassung verbessern, da das Licht im NIR-Bereich von weiteren Verkehrsteilnehmer nicht wahrgenommen wird, und daher ein größerer Umfeldbereich ausgeleuchtet werden kann als mit dem sichtbaren Abblendlicht des Fahrzeugs.If image acquisition in the NIR range is provided, the object recognition system preferably has an illumination device which emits light in the NIR range and at least partially illuminates the image acquisition areas 102a, 102b of the image acquisition devices 101a, 101b. The lighting device can be activated in particular in poor light conditions, such as in the dark, in order to enable an image to be captured. When using the object recognition system in a motor vehicle, the image capture can be improved, especially in the dark, since the light in the NIR range is not perceived by other road users, and a larger area around the area can therefore be illuminated than with the visible low beam of the vehicle.

Zur Bilderfassung verfügen die Bilderfassungseinrichtungen 101a, 101b jeweils über einen Bildsensor 201. Die Bildsensoren 201 der Bilderfassungseinrichtungen 101a, 102b sind vorzugsweise in gleicher Weise ausgestaltet. Sie umfassen Sensorelemente 202, 203, die in einer Ebene in einem matrixartigen Raster angeordnet sind, wie es in 2 schematisch dargestellt ist. Weiterhin sind optische Elemente vorgesehen, mit denen der jeweilige Bilderfassungsbereich 102a, 102b auf dem Bildsensor 201 abgebildet wird.For image acquisition, the image acquisition devices 101a, 101b each have an image sensor 201. The image sensors 201 of the image acquisition devices 101a, 102b are preferably configured in the same way. They include sensor elements 202, 203, which are arranged in a plane in a matrix-like grid, as shown in 2 is shown schematically. Furthermore, optical elements are provided, with which the respective image detection area 102a, 102b is imaged on the image sensor 201.

Grundsätzlich verfügen die Bildsensoren 201 über Sensorelemente 202 eines ersten Typs (in 2 weiß dargestellt), die im sichtbaren Spektralbereich ansprechen. Jedes Sensorelement 202 des ersten Typs enthält ein lichtempfindliches Halbleiterelement, das ein Signal erzeugt, welches ein Maß für die in das Sensorelement 202, 203 einfallende Lichtmenge ist. Die Halbleiterelemente können beispielsweise entsprechend der CMOS- oder CCD-Technologie hergestellt sein (CMOS: Complementary Metal Oxide Semiconductor; CCD: Charges Coupled Device). Um den Spektralbereich zu begrenzen, in dem ein Sensorelement 202, 203 empfindlich ist, ist das Halbleiterelement in einer Ausgestaltung mit einer Filterschicht überzogen, die nur für Licht in dem gewünschten Spektralbereich durchlässig ist.In principle, the image sensors 201 have sensor elements 202 of a first type (in 2 shown in white) that respond in the visible spectral range. Each sensor element 202 of the first type contains a light-sensitive semiconductor element which generates a signal which is a measure of the amount of light incident on the sensor element 202, 203. The semiconductor elements can be produced, for example, in accordance with CMOS or CCD technology (CMOS: Complementary Metal Oxide Semiconductor; CCD: Charges Coupled Device). In order to limit the spectral range in which a sensor element 202, 203 is sensitive, in one configuration the semiconductor element is covered with a filter layer which is only permeable to light in the desired spectral range.

Um Farbbilder erfassen zu können, sind unterschiedliche Sensorelemente 202 des ersten Typs vorgesehen, die durch Verwendung einer bestimmten Filterschicht einem vorgegebenen Farbbereich zugeordnet sind. Die verschiedenen vorgesehenen Farbbereiche entsprechend in einer Ausgestaltung jeweils einer der Primärfarben Rot, Grün und Blau, so dass ein Farbbild im RGB-Farbraum oder einem Teil des RGB-Farbraums erzeugt werden kann. Die in verschiedenen Farbbereichen ansprechenden Sensorelemente 202 des ersten Typs sind in einem vorgegebenen Muster in dem Bildsensor 201 verteilt. Vorzugsweise wird dabei eine möglichst gleichmäßige, insbesondere eine möglichst isotrope, Anordnung gewählt.In order to be able to capture color images, different sensor elements 202 of the first type are provided, which are assigned to a predetermined color range by using a specific filter layer. In one embodiment, the various color areas provided correspond to one of the primary colors red, green and blue, so that a color image can be generated in the RGB color space or a part of the RGB color space. The sensor elements 202 of the first type, which respond in different color areas, are distributed in the image sensor 201 in a predetermined pattern. Preferably, an arrangement that is as uniform as possible, in particular as isotropic as possible, is selected.

Gleichfalls können jedoch auch Sensorelemente 202 des ersten Typs verwendet werden, die im Wesentlichen im gesamten sichtbaren Spektralbereich empfindlich sind. Mittels derartiger Sensorelemente lassen sich Grauwertbilder erfassen.Equally, however, sensor elements 202 of the first type can also be used, which are essentially sensitive in the entire visible spectral range. Gray value images can be captured by means of such sensor elements.

Des Weiteren umfassen die Bildsensoren 201 Sensorelemente 203 eines zweiten Typs (in 2 schwarz dargestellt), die in dem vorgesehenen nicht sichtbaren Spektralbereich empfindlich sind. Insbesondere dann, wenn es sich hierbei um einen NIR-Bereich handelt, können die Sensorelemente 203 des zweiten Typs in gleicher Weise ausgestaltet sein, wie die Sensorelementen 203 des ersten Typs, und eine Filterschicht aufweisen, die im Nahinfrarotbereich lichtdurchlässig ist. Gleichfalls können in anderer Weise ausgestaltete Sensorelemente eingesetzt werden, die in dem vorgesehenen nicht sichtbaren Spektralbereich ansprechen. Im Falle, dass es sich bei dem nicht sichtbaren Spektralbereich um einen Ferninfrarotbereich handelt, kann es sich etwa um mikrobolometrische oder auch pyroelektrische Sensorelemente 203 handeln. Die Sensorelemente 203 des zweiten Typs sind gleichfalls in einem vorgegebenen Muster gleichmäßig in dem Bildsensor 201 verteilt, so dass eine möglichst isotrope Anordnung entsteht.Furthermore, the image sensors 201 comprise sensor elements 203 of a second type (in 2 shown in black), which are sensitive in the intended non-visible spectral range. In particular, if this is an NIR range, the sensor elements 203 of the second type can be configured in the same way as the sensor elements 203 of the first type and can have a filter layer that is transparent to light in the near infrared range. Likewise, sensor elements configured in a different way can be used, which respond in the intended non-visible spectral range. In the event that the non-visible spectral range is a far-infrared range, microbolometric or else pyroelectric sensor elements 203 can be involved. The sensor elements 203 of the second type are also distributed uniformly in the image sensor 201 in a predetermined pattern, so that an arrangement which is as isotropic as possible is produced.

In der beispielhaften Ausgestaltung der Bildsensoren 201, die in der 2 dargestellt ist, sind in jeder Zeile und Spalte der rasterförmigen Anordnung abwechselnd Sensorelemente 202, 203 des ersten und zweiten Typs vorgesehen. Dies bedeutet insbesondere, dass Sensorelemente 202, 203 des ersten und zweiten Typs in gleicher Anzahl vorliegen. Alternativ kann jedoch auch eine andere Anordnung gewählt werden, insbesondere eine Anordnung mit weniger Sensorelementen 203 des zweiten Typs. So könnte beispielsweise nur in jeder zweiten Zeile des Rasters Sensorelemente 203 des zweiten Typs vorhanden sein, die sich mit Sensorelementen 202 des ersten Typs abwechseln.In the exemplary embodiment of the image sensors 201 shown in FIG 2 is shown, alternately sensor elements 202, 203 of the first and second type are provided in each row and column of the grid-like arrangement. This means in particular that sensor elements 202, 203 of the first and second type are present in the same number. Alternatively, however, a different arrangement can also be selected, in particular an arrangement with fewer sensor elements 203 of the second type. For example, sensor elements 203 of the second type could be present only in every second line of the grid, alternating with sensor elements 202 of the first type.

Wenn die Erfassung von Farbbildern im sichtbaren Spektralbereich vorgesehen ist, wird die Anordnung von Sensorelementen 202 des ersten Typs, die in unterschiedlichen Farbbereichen empfindlich sind, entsprechend dem vorgesehenen Anwendungsbereich des Objekterkennungssystems gewählt. Bei dem zuvor beschriebenen Einsatz in Kraftfahrzeug ist es etwa vorteilhaft, dass wenigstens Sensorelemente 202 vorgesehen sind, die im roten Spektralbereich empfindlich sind, da Objekte im Straßenverkehr häufig Merkmale aufweisen, die rot gefärbt sind. Beispiele hierfür sind Rück- und/oder Bremsleuchten an Fahrzeugen und rote Bereiche von Verkehrschildern. Darüber hinaus sind vorzugsweise Sensorelemente 202 des ersten Typs vorgesehen, die wenigstens in einem zweiten sichtbaren Spektralbereich empfindlich sind. Hierbei kann es sich etwa um einen blauen Bereich handeln, da Strukturen im grünen bzw. gelben Bereich oftmals weniger gut aufgelöst werden können. Sensorelemente 202 des ersten Typs, die in einem dritten sichtbaren Spektralbereich ansprechen, können gleichfalls vorgesehen werden.If the detection of color images in the visible spectral range is intended, the arrangement of sensor elements 202 of the first type, which are sensitive in different color ranges, is selected according to the intended area of application of the object recognition system. When used in a motor vehicle as described above, it is advantageous that at least sensor elements 202 are provided that are sensitive in the red spectral range, since objects in road traffic often have features that are colored red. Examples of this are rear and/or brake lights on vehicles and red areas on traffic signs. In addition, sensor elements 202 of the first type are preferably provided, which are sensitive at least in a second visible spectral range. This can be a blue area, for example, since structures in the green or yellow area can often be resolved less well. Sensor elements 202 of the first type, which respond in a third visible spectral range, can also be provided.

In einer beispielhaften Ausgestaltung der in der 2 gezeigten Konfiguration sind zwei verschiedenen Sensorelementen 202 des ersten Typs vorgesehen, die im roten und blauen Spektralbereich empfindlich sind. Insbesondere können die Sensorelemente 202 des ersten Typs in den ungeraden Zeilen des Rasters im roten Spektralbereich empfindlich sein und in den geraden Zeilen im blauen Spektralbereich. Um auch Sensorelemente 202 des ersten Typs zu integrieren, die beispielsweise im grünen Spektralbereich empfindlich sind, können diese etwa in den gerade oder ungeraden Zeilen des Rasters anstelle der Sensorelemente 203 des zweiten Typs vorgesehen werden.In an exemplary embodiment in the 2 In the configuration shown, two different sensor elements 202 of the first type are provided, which are sensitive in the red and blue spectral range. In particular, the sensor elements 202 of the first type can be sensitive in the red spectral range in the odd rows of the grid and in the blue spectral range in the even rows. In order to also integrate sensor elements 202 of the first type, which are sensitive in the green spectral range, for example, these can be provided in the even or odd rows of the grid instead of the sensor elements 203 of the second type.

Den Bilderfassungseinrichtung 101a, 101 b ist jeweils eine Verarbeitungseinrichtung 104a, 104b zugeordnet, welche die Signale des zugeordneten Bildsensors 201 ausliest und Bilder erzeugt, die als Bildsignale ausgegeben werden. Dabei werden in jeder Verarbeitungseinrichtung 104a, 104b die Signale der Sensorelemente 202, 203 des ersten und des zweiten Typs getrennt voneinander ausgelesen und verarbeitet, so dass ein Bild im sichtbaren Spektralbereich und ein Infrarotbild erzeugt wird. Zu diesem Zweck verfügen die Verarbeitungseinrichtungen 104a, 104b jeweils über eine erste Verarbeitungseinheit 105a, 105b, die zur Erzeugung von Bildern im sichtbaren Spektralbereich vorgesehen ist, und eine zweite Verarbeitungseinheit 106a, 106b, die zur Erzeugung von Infrarotbildern vorgesehen ist.A processing device 104a, 104b is assigned to each of the image acquisition devices 101a, 101b, which reads out the signals from the assigned image sensor 201 and generates images which are output as image signals. In each processing device 104a, 104b, the signals of the sensor elements 202, 203 of the first and second type are read out and processed separately from one another, so that an image is generated in the visible spectral range and an infrared image. For this purpose, the processing devices 104a, 104b each have a first processing unit 105a, 105b, which is provided for generating images in the visible spectral range, and a second processing unit 106a, 106b, which is provided for generating infrared images.

Die Verarbeitungseinheiten 105a, 105b erzeugen anhand der Signale der Sensorelemente 202 des ersten Typs vorzugsweise jeweils ein Bild, das im Folgenden auch als Farbbild bezeichnet wird. Hierunter sind jedoch nicht nur Farbbilder im eigentlichen Sinne zu verstehen, sondern gegebenenfalls auch Graustufenbilder im sichtbaren Spektralbereich. Wenn Sensorelemente 202 des ersten Typs vorgesehen sind, die in unterschiedlichen sichtbaren Spektralbereichen empfindlich sind, wird hierzu eine Farbinterpolation in einer dem Fachmann an sich bekannten Weise vorgenommen. Darüber hinaus können Bildpunkte, die innerhalb der Bildsensoren 201 von Sensorelementen 203 des zweiten Typs belegt sind, durch eine geeignete Interpolation aus den Signalen der umgebenden Sensorelemente 202 des ersten Typs berechnet werden. Auf diese Weise können Farbbilder erzeugt werden, deren Dimensionen denen der Bildsensoren 201 entsprechen.The processing units 105a, 105b preferably generate an image based on the signals from the sensor elements 202 of the first type, which is also referred to below as a color image. However, this does not only mean color images in the actual sense, but possibly also gray scale images in the visible spectral range. If sensor elements 202 of the first type are provided, which are sensitive in different visible spectral ranges, color interpolation is carried out for this purpose in a manner known per se to a person skilled in the art. In addition, pixels that are occupied by sensor elements 203 of the second type within the image sensors 201 can be calculated by suitable interpolation from the signals of the surrounding sensor elements 202 of the first type. In this way, color images can be generated whose dimensions correspond to those of the image sensors 201 .

Die Verarbeitungseinheiten 106a, 106b erzeugen Infrarotbilder aus den Signalen der Sensorelemente 203 des zweiten Typs, die in einer Ausgestaltung als Grauwertbilder ausgestaltet sein können. Die Anzahl der Bildpunkte dieser Bilder bzw. deren Dimension entspricht in einer Ausführungsform der Anzahl der Sensorelemente 203 des zweiten Typs. Gleichfalls können die Anzahl der Bildpunkte jedoch durch eine Interpolation erhöht werden, die in einer dem Fachmann an sich bekannten Weise vorgenommen werden kann. Vorzugsweise werden die Dimensionen des Infrarotbilds dabei durch Interpolation in Übereinstimmung mit den Dimensionen des Farbbilds gebracht. Hierdurch ergeben sich einander überdeckende Bilder desselben Bildausschnitts, welche die gleiche Größe aufweisen.The processing units 106a, 106b generate infrared images from the signals of the sensor elements 203 of the second type, which in one embodiment can be in the form of gray value images. In one embodiment, the number of pixels in these images or their dimension corresponds to the number of sensor elements 203 of the second type. However, the number of pixels can also be increased by interpolation, which can be carried out in a manner known per se to a person skilled in the art. The dimensions of the infrared image are preferably brought into agreement with the dimensions of the color image by interpolation. This results in overlapping images of the same image detail, which have the same size.

Die in den Verarbeitungseinrichtungen 104a, 104b erzeugten Bildsignale werden einer Auswerteeinrichtung 107 zugeführt. Die Auswertung der von beiden ersten Verarbeitungseinheiten 105a, 105b erhalten Farbbildsignale erfolgt dabei in eine Farbauswerteeinheit 108 der Auswerteeinrichtung 107, die anhand der erhalten Farbbildsignale Farbstereobilddaten erzeugt. Getrennt hiervon bestimmt eine Infrarotauswerteeinheit 109 aus den erhaltenen Infrarotbildsignalen Infrarotstereobilddaten. Die Stereobilddaten enthalten neben den Farbinformationen bzw. Grauwertinformationen der Bildpunkte Abstandsdaten, die den Abstand zwischen einem abgebildeten Gegenstand und einem definierten Punkt angeben, bei dem es sich beispielsweise um einen Punkt zwischen den beiden Bilderfassungseinrichtungen 101a, 101 b handeln kann. In einer Ausgestaltung enthalten die Bilddaten dabei für jeden Bildpunkt einen zugeordneten Abstandswert.The image signals generated in the processing devices 104a, 104b are supplied to an evaluation device 107. The color image signals received from the two first processing units 105a, 105b are evaluated in a color evaluation unit 108 of the evaluation device 107, which uses the color image signals received to generate color stereo image data. Separately from this, an infrared evaluation unit 109 determines infrared stereo image data from the infrared image signals received. the ste In addition to the color information or gray value information of the pixels, reoimage data contain distance data that indicate the distance between an imaged object and a defined point, which can be, for example, a point between the two image capturing devices 101a, 101b. In one embodiment, the image data contain an associated distance value for each pixel.

Die Ermittlung der Stereobilddaten beruht auf einer stereoskopischen Bildauswertung, die für die Farbbildsignale und die Infrarotbildsignale grundsätzlich in der gleichen Weise vorgenommen werden kann. Insbesondere werden dabei anhand von Bildpaaren, die ein mittels der ersten Bilderfassungseinrichtung 101a erfasstes Bild sowie ein zur gleichen Zeit mittels der zweiten Bilderfassungseinrichtung 102 erfasstes Bild umfassen, Abstände zu Gegenständen ermittelt, die in den Bildern abgebildet sind. Hierzu werden die Positionen von einander entsprechenden zu einem Gegenstand gehörenden Bildpunkten innerhalb der beiden Bilder einer Bildpaares miteinander verglichen, um den Abstand des Gegenstand zu den definierten Punkt zu ermitteln.The determination of the stereo image data is based on a stereoscopic image evaluation, which can basically be carried out in the same way for the color image signals and the infrared image signals. In particular, distances to objects that are depicted in the images are determined on the basis of image pairs, which include an image captured by the first image capturing device 101a and an image captured at the same time by the second image capturing device 102 . For this purpose, the positions of mutually corresponding pixels belonging to an object within the two images of an image pair are compared with one another in order to determine the distance of the object from the defined point.

Alternativ zu der in der 1 gezeigten Konfiguration mit zwei Bilderfassungseinrichtungen 101a, 101b kann auch lediglich eine Bilderfassungseinrichtung vorgesehen sein. In diesem Fall werden Bilddaten bereitgestellt, die keine Abstandsinformationen enthalten. Entsprechend kann bei Verwendung nur einer Bilderfassungseinrichtung auch die Auswerteeinrichtung 107 wegfallen, da eine stereoskopische Bildauswertung nicht vorgenommen werden kann. Die Bilddaten werden dann von einer der Bilderfassungseinrichtung zugeordneten Verarbeitungseinrichtung bereitgestellt, welche die Funktionen einer der zuvor beschriebenen Verarbeitungseinrichtungen 104a, 104b aufweist.As an alternative to the one in the 1 In the configuration shown with two image acquisition devices 101a, 101b, only one image acquisition device can also be provided. In this case, image data is provided that does not contain any distance information. Correspondingly, when only one image acquisition device is used, the evaluation device 107 can also be omitted since a stereoscopic image evaluation cannot be carried out. The image data are then provided by a processing device which is assigned to the image acquisition device and which has the functions of one of the processing devices 104a, 104b described above.

Die ermittelten Bilddaten werden einer Objekterkennungseinrichtung 110 zugeführt. In der Objekterkennungseinrichtung 110 erfolgt die Verarbeitung der Farbbilddaten vorzugsweise zunächst in einem ersten Objekterkennungsmodul 111 getrennt von der Verarbeitung der Infrarotbilddaten, die in einem zweiten Objekterkennungsmodul 112 vorgenommen werden kann. In den Objekterkennungsmodulen 111, 112 werden Objekte vorgegebener Objektklassen anhand von charakteristischen Merkmalen der Objekte erkannt. Dies kann in einer dem Fachmann grundsätzlich bekannten Weise mittels eines oder mehrerer Klassifizierer erfolgen. Beispiele geeigneter Klassifizierer sind Neuronale Netze oder Support Vector Machines. Für die Erkennung von Objekten einer bestimmen Klasse können in den Farbbilddaten und in den Infrarotbilddaten unterschiedliche Merkmale herangezogen werden, die anhand der jeweiligen Bilddaten erkennbar sind.The determined image data are supplied to an object recognition device 110 . In the object recognition device 110 the processing of the color image data preferably takes place initially in a first object recognition module 111 separately from the processing of the infrared image data, which can be carried out in a second object recognition module 112 . Objects of predetermined object classes are recognized in the object recognition modules 111, 112 on the basis of characteristic features of the objects. This can be done in a way that is fundamentally known to a person skilled in the art by means of one or more classifiers. Examples of suitable classifiers are neural networks or support vector machines. Different features can be used in the color image data and in the infrared image data for the detection of objects of a specific class, which are recognizable from the respective image data.

Alternativ kann es auch vorgesehen sein, das entweder die Farbbilddaten oder die Infrarotbilddaten einem Objekterkennungsmodul 111, 112 zugeführt werden, um anhand der Bilddaten eine Objekterkennung vorzunehmen. Dabei werden der Objekterkennung die Bilddaten zugrunde gelegt, die eine zuverlässigere Erkennung von Objekte der vorgegebenen Objektklassen ermöglichen. Es kann dabei fest vorgegebenen sein, welche Bilddaten als Grundlage für eine Objekterkennung dienen. Gleichfalls kann jedoch auch eine situationsspezifische Auswahl der für die Objekterkennung heranzuziehenden Bilddaten vorgesehen sein. Dies ist insbesondere dann zweckmäßig, wenn das Objekterkennungssystem in unterschiedlichen Situationen eingesetzt wird, in denen die verschiedenen Bilddaten unterschiedlich gut für eine Objekterkennung geeignet sind. Wird das Objekterkennungssystem beispielsweise auch bei Dunkelheit eingesetzt, wie es bei einem Einsatz in einem Kraftfahrzeug in der Regel der Fall ist, kann etwa bei Dunkelheit eine Objekterkennung unter Verwendung der Infrarotbilddaten vorgenommen werden, und bei ausreichender Helligkeit können die Farbbilddaten für die Objekterkennung herangezogen werden.Alternatively, provision can also be made for either the color image data or the infrared image data to be supplied to an object recognition module 111, 112 in order to carry out object recognition using the image data. In this case, the object recognition is based on the image data that enable a more reliable recognition of objects of the specified object classes. In this case, it can be firmly specified which image data serve as the basis for object recognition. At the same time, however, a situation-specific selection of the image data to be used for object recognition can also be provided. This is expedient in particular when the object recognition system is used in different situations in which the different image data are of different suitability for object recognition. If the object recognition system is also used in the dark, for example, as is usually the case when used in a motor vehicle, object recognition can be carried out using the infrared image data in the dark, and the color image data can be used for object recognition if there is sufficient brightness.

Die vorgegebenen Objektklassen beziehen sich auf Objekte, die im Hinblick auf den vorgesehenen Einsatzzweck des Objekterkennungssystems relevant sind. Bei einem Einsatz in einem Kraftfahrzeug können beispielsweise Objektklassen vorgesehen sein, die Objekte umfassen, mit denen das Fahrzeug kollidieren könnte. Hierbei handelt es sich um Fußgänger und weitere Fahrzeuge. In Bezug auf weitere Fahrzeuge sind dabei vorzugsweise mehrere Objektklassen vorgesehen entsprechend den unterschiedlichen Typen von Fahrzeugen. Insbesondere können unterschiedliche Objektklassen für Personenkraftwagen, Lastkraftwagen und Zweiräder vorgesehen sein. Letztere können beispielsweise noch in motorisierte und unmotorisierte Zweiräder unterteilt werden.The specified object classes relate to objects that are relevant with regard to the intended use of the object recognition system. When used in a motor vehicle, for example, object classes can be provided that include objects with which the vehicle could collide. These are pedestrians and other vehicles. With regard to further vehicles, a number of object classes are preferably provided in accordance with the different types of vehicles. In particular, different object classes can be provided for passenger cars, trucks and two-wheelers. The latter can, for example, be divided into motorized and non-motorized two-wheelers.

Nach Durchführung der Objekterkennung in dem Objekterkennungsmodul 111 und/oder in dem Objekterkennungsmodul 112 werden die Erkennungsergebnisse sowie die Bilddaten an eine Plausibilisierungseinrichtung 113 übergeben. Die Erkennungsergebnisse umfassen dabei Angaben zum Objekttyp eines erkannten Objekts, zu dem Bildbereich, in dem ein Objekt erkannt worden ist, sowie gegebenenfalls der Größe des erkannten Objekts Sofern Stereobilddaten bestimmt werden, wird zudem der Abstand des Objekts zu dem definierten Punkt angegeben. Zusätzlich enthalten die Erkennungsergebnisse vorzugsweise Angaben zur Zuverlässigkeit der Erkennung, d.h. zu der Wahrscheinlichkeit, mit der ein erkanntes Objekt tatsächlich vorliegt. Diese Angaben werden in einer dem Fachmann an sich bekannten Weise beispielsweise mittels der verwendeten Klassifizierer bestimmt.After the object recognition has been carried out in the object recognition module 111 and/or in the object recognition module 112, the recognition results and the image data are transferred to a plausibility check device 113. The detection results include information on the object type of a detected object, the image area in which an object has been detected and, if applicable, the size of the detected object. If stereo image data is determined, the distance of the object from the defined point is also specified. In addition, the recognition results preferably contain information on the reliability of the recognition, ie on the probability probability with which a recognized object is actually present. This information is determined in a manner known per se to a person skilled in the art, for example by means of the classifiers used.

Die Plausibilisierungseinrichtung 113 gleicht die Erkennungsergebnisse, die anhand von Bilddaten eines Typs ermittelt worden sind, mit den Bilddaten des anderen Typs oder mit gegebenenfalls für diese Bilddaten vorliegenden Erkennungsergebnissen ab, um eine Zuverlässigkeit der Objekterkennung zu ermitteln.The plausibility checking device 113 compares the recognition results, which have been determined using image data of one type, with the image data of the other type or with recognition results that may be available for this image data, in order to determine the reliability of the object recognition.

Sofern sowohl auf der Grundlage der Farbbilddaten als auch auf der Grundlage der Infrarotbilddaten eine Objekterkennung bezüglich der Objektklasse vorgenommen worden ist, zu der das erkannte Objekt gehört, prüft die Plausibilisierungseinrichtung 113, ob ein Objekt der Objektklasse anhand beider Bilddaten an einem übereinstimmenden Positionen erkannt worden ist. Hierbei werden die Positionen innerhalb des Farbbildes und des Infrarotbildes zugrunde gelegt, die bei tatsächlich vorhandenen Objekten im Wesentlichen übereinstimmen, da die Bilder im Wesentlichen deckungsgleich sind. Geringe Abweichungen der Position eines Objekts, die aufgrund von Ungenauigkeit bei der Objekterkennung entstehen können, werden toleriert. Wenn Stereobilddaten vorliegen, prüft die Plausibilisierungseinrichtung zudem, ob das Objekt anhand der Farbbilddaten und der Infrarotbilddaten mit gleichem Abstand zu dem definierten Punkt erkannt worden ist. Geringe Abweichungen des Abstands werden auch hier zugelassen.If object recognition has been carried out with regard to the object class to which the recognized object belongs both on the basis of the color image data and on the basis of the infrared image data, plausibility check device 113 checks whether an object of the object class has been recognized at a matching position on the basis of both image data . This is based on the positions within the color image and the infrared image that essentially match in the case of objects that are actually present, since the images are essentially congruent. Small deviations in the position of an object, which can arise due to inaccuracy in object recognition, are tolerated. If stereo image data is available, the plausibility checking device also checks whether the object has been recognized using the color image data and the infrared image data at the same distance from the defined point. Slight deviations in the distance are also permitted here.

Wenn die Plausibilisierungseinrichtung 113 feststellt, dass ein Objekt lediglich anhand der Bilddaten eines Typs erkannt worden ist, anhand der Bilddaten des anderen Typs jedoch nicht, oder wenn die Positionen des Objekts innerhalb der Bilder der verschiedenen Typen über ein vorgegebenes Maß hinaus voneinander abweichen, dann wird das Objekt verworfen oder die Erkennung des Objekts wird als unsicher eingestuft. Gleiches gilt, wenn gegebenenfalls die anhand der Bilddaten der verschiedenen Typen ermittelten Abstände zu dem Objekt um ein vorgegebenes Maß hinaus voneinander abweichen. Die zulässige Abweichung der Position und Abstände kann dabei in einer Ausgestaltung auch in Abhängigkeit von den Wahrscheinlichkeiten bestimmt werden, mit denen das Objekt in den Bilddaten der beiden Typen erkannt worden ist. Wenn die Positionen und gegebenenfalls die Abstände in den vorgegebenen Grenzen übereinstimmen, dann werden die Erkennungsergebnisse bezüglich des Objekts von der Plausibilisierungseinrichtung 114 als zuverlässig qualifiziert.If the plausibility checking device 113 determines that an object has only been recognized on the basis of the image data of one type but not on the basis of the image data of the other type, or if the positions of the object within the images of the different types deviate from one another by more than a predetermined extent, then the object is discarded or the detection of the object is classified as uncertain. The same applies if the distances to the object determined using the image data of the different types deviate from one another by a predetermined amount. In one embodiment, the permissible deviation of the position and distances can also be determined as a function of the probabilities with which the object was recognized in the image data of the two types. If the positions and, if applicable, the distances match within the specified limits, then the recognition results with regard to the object are qualified by the plausibility check device 114 as reliable.

Wenn eine Objekterkennung lediglich auf der Grundlage von Bilddaten eines Typs durchgeführt wird, d.h. entweder auf der Grundlage der Farbbilddaten oder der Infrarotbilddaten, dann führt die Plausibilisierungseinrichtung 113 eine Plausibilisierung des Objekts anhand der Bilddaten durch, die nicht zur Objekterkennung herangezogen worden sind. Hierzu werden vorgegebene Merkmale von Objekten der verschiedenen Objektklassen herangezogen, die anhand dieser Bilddaten ermittelbar sind. Dabei wird für ein erkanntes Objekt einer Objektklasse geprüft, ob das vorgegebene Merkmal des Objekts an der Bildposition vorliegen, die für das Objekt aufgrund der Objekterkennung ermittelt worden ist. Dabei wird wiederum ausgenutzt, dass die Bilder der verschiedenen Typen im Wesentlichen deckungsgleich sind. Wenn Stereobilddaten vorliegen, wird zudem geprüft, ob die Merkmale in einem Abstand zu definierten Punkt erkannt werden können, der dem Abstand des Objekts zu dem Punkt entspricht.If object recognition is only carried out on the basis of image data of one type, i.e. either on the basis of the color image data or the infrared image data, then the plausibility check device 113 carries out a plausibility check of the object using the image data which were not used for object recognition. For this purpose, predetermined features of objects of the different object classes are used, which can be determined using this image data. For a recognized object of an object class, a check is made as to whether the specified feature of the object is present at the image position that has been determined for the object on the basis of the object recognition. This in turn utilizes the fact that the images of the different types are essentially congruent. If stereo image data is available, it is also checked whether the features can be recognized at a distance from the defined point that corresponds to the distance of the object from the point.

Bei dem Merkmal eines Objekts kann es sich um seine Kontur handeln, sofern diese in den Bilddaten erkennbar ist, die nicht für die Objekterkennung herangezogen worden sind. Wenn neben den Farbbilddaten Infrarotbilddaten im NIR-Bereich erfasst werden, dann kann die Kontur eines Objekts in der Regel in den Bilddaten beider Typen erkannt und daher zur Plausibilisierung herangezogen werden. Gleiches gilt in der Regel in Bezug auf die Erkennung von Personen, wenn Infrarotbilddaten im FIR-Bereich erfasst werden. In diesem lassen sie Umrisse der Person bei ausreichend geringer Umgebungstemperatur ebenfalls erkennen.The feature of an object can be its contour if this can be recognized in the image data that was not used for object recognition. If infrared image data is recorded in the NIR range in addition to the color image data, the contour of an object can usually be recognized in the image data of both types and can therefore be used for plausibility checks. The same is usually true with regard to the detection of people when infrared image data is captured in the FIR range. In this, they also reveal the outlines of the person when the ambient temperature is sufficiently low.

Wird also beispielsweise eine Person, wie etwa ein Fußgänger oder ein Zweiradfahrer, aufgrund einer in dem Objekterkennungsmodul 111 durchgeführten Objekterkennung erkannt, dann prüft die Plausibilisierungseinrichtung 113, ob an der im Wesentlichen gleichen Bildposition innerhalb der im FIR-Bereich erfassten Infrarotbilddaten die Kontur einer Person erkannt werden kann. Ist dies der Fall, werden die Erkennungsergebnisse bezüglich der Person von der Plausibilisierungseinrichtung 113 als zuverlässig eingestuft. Geringe Abweichungen in der Bildposition werden dabei, wie zuvor bereits beschrieben, zugelassen. Wird in den Infrarotbilddaten hingegen keine Kontur einer Person an der gegebenen Bildposition ermittelt, dann wird die erkannte Person verworfen, oder die Erkennung wird als unsicher qualifiziert.If, for example, a person, such as a pedestrian or a cyclist, is detected based on an object detection carried out in the object detection module 111, the plausibility check device 113 then checks whether the contour of a person is detected at essentially the same image position within the infrared image data recorded in the FIR range can be. If this is the case, the recognition results relating to the person are classified as reliable by the plausibility checking device 113 . As previously described, small deviations in the image position are permitted. If, on the other hand, no contour of a person is determined in the infrared image data at the given image position, then the identified person is rejected, or the identification is qualified as uncertain.

Sofern Stereobilddaten vorliegen, wird zusätzlich geprüft, ob die Kontur einer Person in einem Abstand zu dem definierten Punkt innerhalb der Infrarotbilddaten erkannt wird, der dem für die Person ermittelten Abstand im Wesentlichen entspricht. Nur wenn dies der Fall ist, werden die Erkennungsergebnisse bezüglich der Person von der Plausibilisierungseinrichtung 113 als zuverlässig eingestuft. Geringe Abweichungen der Abstände werden dabei, wie zuvor bereits beschrieben, zugelassen. Überschreitet die Abweichung ein vorgegebenes Maß werden die Erkennungsergebnisse verworfen oder als unsicher eingestuft.If stereo image data is available, it is additionally checked whether the contour of a person is recognized at a distance from the defined point within the infrared image data that essentially corresponds to the distance determined for the person. Only if this is the case are the recognition results relating to the person classified as reliable by the plausibility checking device 113 . Small deviations of the distances are allowed as described above. If the deviation exceeds a predetermined level, the recognition results are rejected or classified as uncertain.

Gleichfalls können jedoch auch andere vorgegebene Merkmale des Objekts herangezogen werden. Dies ist insbesondere dann zweckmäßig, wenn die Kontur eines Objekts nicht in den Bilddaten beider Typen ermittelt werden kann. Dies ist oftmals der Fall, wenn neben den Farbbilddaten Infrarotbilddaten im FIR-Bereich erfasst werden. In diesem Fall können jedoch oftmals andere Merkmale vorgegeben werden, die eine Plausibilisierung des Objekts ermöglichen. Diese Merkmale können sich insbesondere auf Wärmequellen beziehen, die für ein Objekt charakteristisch sind.At the same time, however, other predefined features of the object can also be used. This is particularly useful when the contour of an object cannot be determined in the image data of both types. This is often the case when infrared image data is captured in the FIR range in addition to the color image data. In this case, however, other features can often be specified, which allow the object to be checked for plausibility. In particular, these characteristics can relate to heat sources that are characteristic of an object.

Ein Beispiel hierfür ist der Auspuff eines Kraftfahrzeugs bzw. die von dem Auspuff ausgestoßenen Abgase, die in der Regel eine höhere Temperatur als die Umgebung aufweisen. Wird also etwa ein Kraftfahrzeug aufgrund einer in dem Objekterkennungsmodul 111 durchgeführten Objekterkennung anhand der Farbbilddaten erkannt, dann prüft die Plausibilisierungseinrichtung 113, ob an der im Wesentlichen gleichen Bildposition innerhalb der im FIR-Bereich erfassten Infrarotbilddaten Wärmequellen erkennbar sind, die einem Auspuff oder den Auspuffabgasen entsprechen. Ist dies der Fall, werden die Erkennungsergebnisse bezüglich des Kraftfahrzeugs von der Plausibilisierungseinrichtung 113 als zuverlässig eingestuft. Werden in den Infrarotbilddaten hingegen derartige Wärmequellen an der gegebenen Bildposition nicht ermittelt, dann wird das erkannte Kraftfahrzeug verworfen oder die Erkennung als unsicher qualifiziert.An example of this is the exhaust pipe of a motor vehicle or the exhaust gases emitted by the exhaust pipe, which are usually at a higher temperature than the surroundings. If, for example, a motor vehicle is recognized on the basis of object recognition carried out in object recognition module 111 using the color image data, then plausibility check device 113 checks whether heat sources that correspond to an exhaust pipe or the exhaust gases can be identified at essentially the same image position within the infrared image data recorded in the FIR range . If this is the case, the recognition results relating to the motor vehicle are classified as reliable by plausibility checking device 113 . If, on the other hand, such heat sources are not detected in the infrared image data at the given image position, then the detected motor vehicle is rejected or the detection is qualified as uncertain.

Liegen Stereobilddaten vor, wird zusätzlich geprüft, ob die Wärmequelle in einem Abstand zu dem definierten Punkt innerhalb der Infrarotbilddaten erkannt wird, der dem für das Kraftfahrzeug ermittelten Abstand im Wesentlichen entspricht. Nur wenn dies der Fall ist, werden die Erkennungsergebnisse von der Plausibilisierungseinrichtung 113 als zuverlässig eingestuft. Geringe Abweichungen der Abstände werden dabei zugelassen. Überschreitet die Abweichung ein vorgegebenes Maß werden die Erkennungsergebnisse verworfen oder als unsicher eingestuft.If stereo image data is available, it is also checked whether the heat source is detected at a distance from the defined point within the infrared image data that essentially corresponds to the distance determined for the motor vehicle. The recognition results are classified as reliable by the plausibility checking device 113 only if this is the case. Slight deviations in the distances are permitted. If the deviation exceeds a predetermined level, the recognition results are rejected or classified as uncertain.

Im Hinblick auf eine Erkennung von Fußgängern stellen Hände und Kopf oftmals Wärmequellen dar, deren Temperatur die Umgebungstemperatur übersteigt. Dementsprechend kann anhand dieser Merkmale mittels der Infrarotbilddaten im FIR-Bereich eine Plausibilisierung eines Fußgängers vorgenommen werden, der auf der Grundlage von Farbbilddaten erkannt worden ist. Diese Plausibilisierung kann zusätzlich zu der zuvor beschriebenen Plausibilisierung anhand der Kontur der Person durchgeführt werden, wodurch die Zuverlässigkeit weiter gesteigert werden kann.With regard to pedestrian detection, hands and heads are often heat sources whose temperature exceeds the ambient temperature. Accordingly, based on these features, a plausibility check of a pedestrian who has been recognized on the basis of color image data can be carried out using the infrared image data in the FIR range. This plausibility check can be carried out in addition to the previously described plausibility check based on the contour of the person, as a result of which the reliability can be further increased.

Wenn die Erkennungsergebnisse nicht verworfen werden, dann werden sie von der Plausibilisierungseinrichtung 113 ausgegeben und können von weiteren Systemen verwendet werden. Zusätzlich wird die Zuverlässigkeit der Erkennungsergebnisse an das weitere System gemeldet. Bei einem Einsatz des Objekterkennungssystems in einem Kraftfahrzeug kann es sich hierbei beispielsweise um Sicherheitssysteme handeln, die für ein erkanntes Objekt die Wahrscheinlichkeit bestimmen, mit der das Fahrzeug mit dem Objekt kollidieren könnte. Übersteigt diese ein vorgegebenes Maß können Sicherheitsmaßnahmen eingeleitet werden, welche die Kollision verhindern oder Kollisionsfolgen mindern.If the recognition results are not discarded, then they are output by the plausibility check device 113 and can be used by other systems. In addition, the reliability of the recognition results is reported to the other system. When the object recognition system is used in a motor vehicle, this can involve, for example, safety systems which, for a recognized object, determine the probability with which the vehicle could collide with the object. If this exceeds a predetermined level, safety measures can be initiated which prevent the collision or reduce the consequences of a collision.

In der Regel sind dabei gestufte Maßnahmen vorgesehen, die sich in ihrer Eingriffsstärke unterscheiden. Die Stufe einer auszuführenden Sicherheitsmaßnahme ergibt sich dabei aus der Wahrscheinlichkeit einer Kollision und der Zuverlässigkeit, mit der das Objekt erkannt worden ist. Insbesondere kann bei einer geringeren Zuverlässigkeit eine Maßnahme einer geringeren Stufe durchgeführt werden. So kann es vorgesehen sein, dass die Maßnahme auf eine Warnung des Fahrers des Kraftfahrzeugs beschränkt wird, wenn die Erkennung des Objekts von der Plausibilisierungseinrichtung 113 als unsicher eingestuft worden ist. Bei einer zuverlässigen Erkennung könne beispielsweise auch Eingriffe in das Fahrverhalten des Fahrzeugs vorgenommen werden.As a rule, graduated measures are provided, which differ in their degree of intervention. The level of a security measure to be carried out results from the probability of a collision and the reliability with which the object has been detected. In particular, if the reliability is lower, a measure of a lower level can be carried out. Provision can thus be made for the measure to be limited to a warning to the driver of the motor vehicle if the recognition of the object by plausibility checking device 113 has been classified as uncertain. With a reliable detection, for example, interventions in the driving behavior of the vehicle can be made.

Obwohl die Erfindung in den Zeichnungen und der vorausgegangenen Darstellung im Detail beschrieben wurde, sind die Darstellungen illustrativ bzw. beispielhaft und nicht einschränkend zu verstehen; insbesondere ist die Erfindung nicht auf die erläuterten Ausführungsbeispiele beschränkt.Although the invention has been described in detail in the drawings and the previous illustration, the illustrations are to be understood as illustrative or exemplary and not restrictive; in particular, the invention is not limited to the exemplary embodiments explained.

Beispielsweise kann zusätzlich zu einer Bilderfassung im FIR-Bereich anstelle einer Bilderfassung in einem sichtbaren Spektralbereich eine Bilderfassung in einem nicht sichtbaren Spektralbereich vorgenommen werden. Hierbei kann es sich um einen NIR Bereich handeln. Der Fachmann erkennt, dass die Objekterkennung und - plausibilisierung in diesem analog zu der vorangegangenen Beschreibung durchgeführt werden kann.For example, in addition to image capture in the FIR range, instead of image capture in a visible spectral range, image capture can be performed in a non-visible spectral range. This can be a NIR area. The person skilled in the art recognizes that the object recognition and plausibility check can be carried out in this analogous to the preceding description.

Claims

Object recognition system, comprising at least one image acquisition device (101a, 101b) with a single image sensor (201), the grid-like arranged sensor elements of a first type (202) and a second type (203), wherein the sensor elements of the second type (203) are arranged within the image sensor between the sensor elements of the first type (202), wherein an image can be detected in a first spectral range by means of the sensor elements of the first type and a further image can be captured in a second spectral range by means of the sensor elements of the second type, further comprising an object recognition device (110) which is designed to use a first image captured by the sensor elements of one type to detect an object of a specified object class in an image region and comprising a plausibility checking device (113) which is designed to check whether the object and/or a specified feature of the object can be recognized essentially in the same image area in the second image captured with the sensor elements of the other type , and depending on the result of the test a reliability of determine object recognition.

object recognition system claim 1 , wherein the first spectral range is a visible spectral range and the second spectral range is a non-visible spectral range.

object recognition system claim 2 , the non-visible spectral range being a near and/or far infrared range.

object recognition system claim 2 or 3 , wherein the first image is the image captured in the visible spectral range and the second image is the image captured in the non-visible spectral range.

Object detection system according to one of the preceding claims, wherein the first image can be selected depending on the situation.

An object recognition system according to any one of the preceding claims, wherein the predetermined feature is a contour of the object.

An object detection system according to any one of the preceding claims, wherein the predetermined feature is a heat source of the object located in the area of the outline of the object.

Object recognition system according to one of the preceding claims, in which the object recognition device (110) is designed to carry out object recognition with regard to the image captured in the first spectral range and the image captured in the second spectral range, the plausibility checking device (113) being designed to check whether the object has been recognized in both images essentially at the same image position.

Object recognition system according to one of the preceding claims, comprising two spaced-apart image acquisition devices (101a, 101b) with overlapping image acquisition areas (102a, 102b) in an overlapping area (103), and comprising a processing device (107) which is designed to use the means of the image acquisition devices determined images for the first and the second spectral range in each case a distance from object points contained in the overlapping area to a predetermined point.

object recognition system claim 9 , wherein the object recognition device (110) is designed to use the images recorded in a spectral range to determine a distance of the object from the specified point and the plausibility checking device (113) is designed to check whether the object and/or a specified feature of the object is recognizable from the images captured in the other spectral range essentially at the same distance from the specified point.

Method for recognizing objects, in which - by means of a single image sensor (201) comprising sensor elements of a first type (202) and a second type (203) arranged in a grid, the sensor elements of the second type (203) being arranged within the image sensor between the sensor elements of the first type (202). two images are captured, with one image being captured in a first spectral range using the sensor elements of the first type and another image being captured in a second spectral range using the sensor elements of the second type, - based on a first image captured with the sensor elements of a type, an object of a predetermined object class is detected in an image area, - it is checked whether the object and/or a predetermined feature of the object can be recognized essentially in the same image area of the second image captured with the sensor elements of the other type, and - A reliability of the object recognition is determined as a function of the result of the test.