DE102009012758A1

DE102009012758A1 - Device and method for detecting at least one object

Info

Publication number: DE102009012758A1
Application number: DE102009012758A
Authority: DE
Inventors: Matthias Dipl.-Ing. Hoffmeier
Original assignee: Hella KGaA Huek and Co
Current assignee: Cariad SE
Priority date: 2009-03-12
Filing date: 2009-03-12
Publication date: 2010-09-16
Also published as: WO2010103061A1

Abstract

Die Erfindung betrifft eine Vorrichtung (10, 20, 90) zur Detektion mindestens eines Objektes (21) mit einer Kamera, umfassend einen ersten Bilderfassungssensor (4), einer Stereokamera, umfassend einen zweiten Bilderfassungssensor (2) und einen dritten Bilderfassungssensor (3) und einer Auswerteeinheit. Die Auswerteeinheit ermittelt in einem mit Hilfe der Kamera erfassten Bild die Abbildung des Objektes (21) in diesem Bild und die Position der Abbildung des Objektes (21). Ferner legt die Auswerteeinheit einen Bildbereich eines mit Hilfe der Stereokamera erfassten Bildpaares in Abhängigkeit von der ermittelten Position des Objektes (21) im mit Hilfe der Kamera erfassten Bild fest und verarbeitet den festgelegten Bildbereich zur Detektion einer Abbildung des Objektes (21).The invention relates to a device (10, 20, 90) for detecting at least one object (21) with a camera, comprising a first image capture sensor (4), a stereo camera comprising a second image capture sensor (2) and a third image capture sensor (3) and an evaluation unit. The evaluation unit determines the image of the object (21) in this image and the position of the image of the object (21) in an image acquired with the aid of the camera. Furthermore, the evaluation unit determines an image area of a pair of images acquired with the aid of the stereo camera as a function of the determined position of the object (21) in the image acquired with the aid of the camera and processes the defined image area to detect an image of the object (21).

Description

Die Erfindung betrifft eine Vorrichtung zur Detektion mindestens eines Objektes. Die Vorrichtung umfasst eine einen ersten Bilderfassungssensor umfassende Kamera, eine einen zweiten und einen dritten Bilderfassungssensor umfassende Stereokamera und eine Auswerteeinheit. Die Auswerteeinheit detektiert in einem mit Hilfe der Kamera erfassten Bild die Abbildung des Objektes in diesem Bild und ermittelt die Position der Abbildung des Objektes in dem Bild. Ferner betrifft die Erfindung ein Verfahren zur Detektion mindestens eines Objektes.The The invention relates to a device for detecting at least one Object. The apparatus includes a first image sensing sensor Camera, a second and a third image acquisition sensor comprehensive stereo camera and an evaluation unit. The evaluation unit detects in an image captured with the help of the camera, the image of the object in this picture and determines the position of the picture of the object in the picture. Furthermore, the invention relates to a method for detection at least one object.

Die Vorrichtung und das Verfahren werden insbesondere in Fahrassistenzsystemen eingesetzt. In Fahrassistenzsystemen werden zur Detektion von Objekten Stereokameras oder Monokameras verwendet, mit deren Hilfe Bilder mit Abbildungen eines Erfassungsbereiches erfasst werden. In den Bildern werden Abbildungen von Objekten detektiert und die detektierten Objekte werden in Objektklassen klassifiziert. Hierzu werden voreingestellte Detektionsalgorithmen abgearbeitet. Um eine ausreichend hohe Detektions- und Klassifizierungsgenauigkeit zu erreichen, müssen Detektionsalgorithmen mit einer hohen Güte verwendet werden. Solche Detekti onsalgorithmen mit einer hohen Güte benötigen verhältnismäßig viel Zeit zur Detektion und Klassifizierung der Objekte und viel Speicherplatz. Bei der Verwendung von Detektionsalgorithmen mit einer niedrigeren Genauigkeit werden zwar sowohl die benötigte Detektionsgeschwindigkeit als auch der benötigte Speicherplatz reduziert. Jedoch besteht dabei die Gefahr, dass Objekte nicht detektiert und/oder falsch klassifiziert werden, so dass das Fahrassistenzsystem eventuell falsche Informationen an den Fahrzeugführer oder andere durch das Fahrassistenzsystem zu steuernde Einheiten liefert. Hierdurch kann gegebenenfalls die Verkehrssicherheit gefährdet werden.The The device and the method are used in particular in driver assistance systems used. In driver assistance systems are used to detect objects Stereo cameras or monocameras used with their help pictures be captured with images of a detection area. In the Images are images of objects detected and the detected Objects are classified into object classes. These are preset Processing algorithms processed. In order to achieve a sufficiently high detection and to achieve classification accuracy, detection algorithms must be used be used with a high quality. Such detection algorithms with a high quality need relatively a lot of time to detect and classify the objects and much Space. When using detection algorithms with Although a lower accuracy will be both the required Detection speed and the required storage space reduced. However, there is a danger that objects will not be detected and / or misclassified so that the driver assistance system may incorrect information to the driver or others supplies units to be controlled by the driver assistance system. hereby if necessary, road safety can be endangered.

Aus dem Dokument DE 100 33 355 A1 ist eine Stereokamera mit zwei Bildsensoren bekannt, welche von einem Auslesetaktsignalgenerator gesteuert pixelweise ausgelesen werden.From the document DE 100 33 355 A1 is a stereo camera with two image sensors known, which are read out pixel by pixel controlled by a read-out clock signal generator.

Aus dem Dokument DE 10 2004 061 998 A1 ist eine Vorrichtung für ein Kraftfahrzeug mit einem Stereokamerasystem mit einer ersten Kamera und einer zweiten Kamera bekannt, wobei die erste Kamera und die zweite Kamera sich in wenigstens einer Kameraeigenschaft unterscheiden. Insbesondere sind die Lichtempfindlichkeit der ersten Kamera und die Lichtempfindlichkeit der zweiten Kamera unterschiedlich.From the document DE 10 2004 061 998 A1 a device for a motor vehicle with a stereo camera system with a first camera and a second camera is known, wherein the first camera and the second camera differ in at least one camera characteristic. In particular, the photosensitivity of the first camera and the photosensitivity of the second camera are different.

Aus dem Dokument DE 42 19 851 A1 ist eine Stereokamera bekannt, die eine einzelne Objektlinse, eine einzelne Abbildungslinse und ein Zwillingsprisma zwischen diesen beiden Linsen aufweist. Vorzugsweise ist zumindest die Abbildungslinse eine Verbundlinse.From the document DE 42 19 851 A1 For example, a stereo camera is known that has a single object lens, a single imaging lens, and a twin prism between these two lenses. Preferably, at least the imaging lens is a compound lens.

Aus dem Dokument DE 44 10 358 A1 ist eine Stereokamera mit elektromechanisch betätigbaren Verschlüssen und mit elektromechanisch betä tigbaren Blenden bekannt. Es ist eine einzige Steuerelektronik mit zwei Ausgängen vorgesehen. An dem einen Ausgang sind beide Verschlussschrittmotoren, am anderen die Blendenschrittmotoren angeschlossen.From the document DE 44 10 358 A1 is a stereo camera with electromechanically actuated closures and known with electromechanically actuable aperture. There is a single control electronics with two outputs provided. At the one output both closing stepping motors are connected, at the other the diaphragm stepping motors are connected.

Aus dem Dokument DE 100 25 593 A1 ist eine Stereokamera bekannt, bei der der Abstand zwischen den optischen Achsen der Aufnahmeobjekte schmäler eingestellt ist als der herkömmliche Abstand zwischen den optischen Achsen.From the document DE 100 25 593 A1 is known a stereo camera in which the distance between the optical axes of the receiving objects is set narrower than the conventional distance between the optical axes.

Es ist Aufgabe der Erfindung, eine Vorrichtung und ein Verfahren zur Detektion mindestens eines Objektes anzugeben, bei denen das Objekt bei geringem Speicherbedarf schnell und zuverlässig detektierbar ist.It Object of the invention, an apparatus and a method for Specify detection of at least one object in which the object quickly and reliably detectable with low storage requirements is.

Die Aufgabe wird durch eine Vorrichtung mit den Merkmalen des Patentanspruches 1 und durch ein Verfahren mit den Merkmalen des unabhängigen Verfahrensanspruchs gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.The The object is achieved by a device having the features of the claim 1 and by a method having the features of the independent method claim solved. Advantageous developments of the invention are specified in the dependent claims.

Durch die Verarbeitung nur eines in Abhängigkeit von der ermittelten Position des Objektes im mit Hilfe der Kamera erfassten Bild festgelegten Bildbereichs des mit Hilfe der Stereokamera erfassten Bildpaares zur Detektion einer Abbildung des Objektes wird, verglichen mit der Verarbeitung des gesamten Bildpaares zur Detektion der Abbildung des Objektes, eine wesentlich ressourcenschonenderere Verarbeitung der Bilddaten zur Detektion des Objektes erreicht. Dadurch wird eine höhere Detektionsgeschwindigkeit bei geringerem Speicherbedarf erreicht. Auch die Detektionsrate, die die Anzahl der detektierten Objekte pro Zeiteinheit angibt, wird erhöht. Durch die schnellere Detektion des Objektes im mit Hilfe der Stereokamera erfassten Bildpaar kann das Objekt auch schneller klassifi ziert werden und/oder eine oder mehrere Eigenschaften des Objektes schneller ermittelt werden. Bei der Weiterverarbeitung der Eigenschaften des Objektes und/oder des klassifizierten Objektes, beispielsweise in einem Fahrassistenzsystem, können anzusteuernde Einheiten des Fahrzeugs schneller angesteuert werden. Die Festlegung des weiterzuverarbeitenden Bildbereiches des mit Hilfe der Stereokamera erfassten Bildpaares in Abhängigkeit von der ermittelten Position des Objektes im mit Hilfe der Kamera erfassten Bild erfolgt insbesondere derart, dass derjenige Bildbereich ausgewählt wird, in dem das Objekt auf Grund der Position der Abbildung des Objektes im mit Hilfe der Kamera erfassten Bild mit hoher Wahrscheinlichkeit abgebildet ist.By processing only one image area of the image pair detected by the stereo camera depending on the detected position of the object detected by the camera for detecting an image of the object, the image of the object is compared with the processing of the whole image pair , Achieved a much more resource-conserving processing of the image data for the detection of the object. As a result, a higher detection speed is achieved with less memory requirement. The detection rate, which indicates the number of detected objects per unit time, is also increased. Due to the faster detection of the object in the image pair acquired with the aid of the stereo camera, the object can also be classified more quickly and / or one or more properties of the object can be determined more quickly. In the further processing of the properties of the object and / or the classified object, for example in a driver assistance system, units of the vehicle to be activated can be controlled more quickly. The further processing of the image area of the image pair acquired with the aid of the stereo camera as a function of the determined position of the object in the image acquired with the aid of the camera takes place in particular such that the image area is selected in which the object is selected on the basis of the position of the image of the object in FIG captured with the help of the camera image with high true is portrayed.

Es ist vorteilhaft, wenn den durch die Bilderfassungssensoren aufgenommenen Bildern entsprechende Bilddaten erzeugt werden. Die Bilddaten werden, insbesondere mit Hilfe der Auswerteeinheit, verarbeitet bzw. weiterverarbeitet.It is advantageous when taken by the image acquisition sensors Images corresponding image data are generated. The image data will in particular with the aid of the evaluation unit, processed or further processed.

Es ist vorteilhaft, wenn die Stereokamera eine zweite Stereokamera ist und wenn die Kamera einen vierten Bilderfassungssensor umfasst und eine erste Stereokamera ist. Durch die Verwendung zweier Stereokameras kann mit Hilfe einer jeden Stereokamera in jeweils nur einem von der Stereokamera erfassten Bildpaar die Entfernung eines in dem Bild detektierten Objektes zur Vorrichtung ermittelt werden.It is advantageous if the stereo camera is a second stereo camera and if the camera includes a fourth image sensing sensor and a first stereo camera is. By using two stereo cameras can with the help of each stereo camera in only one of each the stereo camera captured image pair the distance of one in the Image detected object to the device can be determined.

Es ist vorteilhaft, wenn die Auswerteeinheit anhand der Abbildung des Objektes im festgelegten Bildbereich mindestens eine Eigenschaft des Objektes, insbesondere eine Objektklasse, zu der das Objekt gehört, ermittelt. Es ist besonders vorteilhaft, wenn die Auswerteeinheit in Abhängigkeit von der Eigenschaft des Objektes ein Ausgangssignal mit Informatio nen über das Objekt erzeugt und eine Steuereinheit zur Steuerung mindestens eines Aktuators in Abhängigkeit des Ausgangssignals der Auswerteeinheit vorgesehen ist. Hierdurch können in einem Fahrassistenzsystem auf einfache Weise beispielsweise die Lichtabstrahlung der Frontscheinwerfer, ein Gurtstraffer, ein Bremsassistent, ein Lichtassistent, ein Geschwindigkeitsassistent, ein Spurwechselassistent und/oder eine Kopfstütze angesteuert werden. Alternativ oder zusätzlich kann das Ausgangssignal oder eine dem Ausgangssignal entsprechende Information über eine Mensch-Maschine-Schnittstelle, insbesondere über eine Anzeigeneinheit, an eine Bedienperson der Vorrichtung ausgegeben werden.It is advantageous if the evaluation unit based on the figure of the Object in the defined image area at least one property of the object, in particular an object class, to which the object heard, determined. It is especially advantageous if the Evaluation unit depending on the property of the Object an output signal with information on the NEN Object generated and a control unit to control at least one Actuator in dependence of the output signal of the evaluation unit is provided. This can be done in a driver assistance system in a simple way, for example, the light emission of the headlights, a belt tensioner, a brake assistant, a light assistant, a speed assistant, a lane change assistant and / or a headrest controlled become. Alternatively or additionally, the output signal or an information corresponding to the output signal a man-machine interface, in particular over a Display unit, issued to an operator of the device become.

Bei einer bevorzugten Ausführungsform der Erfindung arbeitet die Auswerteeinheit beim Detektieren der Abbildung des Objektes in dem mit Hilfe der Kamera erfassten Bild einen ersten Algorithmus und bei der Detektion der Abbildung des Objektes im festgelegten Bildausschnitt des mit Hilfe der Stereokamera erfassten Bildpaares einen zweiten Algorithmus ab. Dabei hat der zweite Algorithmus eine höhere Detektionsgenauigkeit als der erste Algorithmus. Als erster Algorithmus wird insbesondere ein Algorithmus verwendet, der nur eine geringe Detektionsgenauigkeit hat, dafür aber schnell ist und nur relativ wenig Ressourcen, insbesondere relativ wenig Arbeitsspeicher, erfordert. Als zweiter Algorithmus wird vorzugsweise ein Algorithmus mit einer hohen Detektionsgenauigkeit verwendet, der verglichen mit dem ersten Algorithmus viel Ressourcen erfordert und dadurch relativ langsam ist. Insbesondere erfordert der zweite Algorithmus gegenüber dem ersten Algorithmus mehr Arbeitsspeicher. Mit Hilfe des ersten Algorithmus erfolgt lediglich eine grobe Detektion von Objekten in dem mit Hilfe der Kamera erfassten Bild. Mit Hilfe des zweiten Algorithmus werden in dem Bildbereich, in dem die Abbildungen der im mit Hilfe der Kamera erfassten Bild detektierten Objekte mit hoher Wahrscheinlichkeit dargestellt sind, die Objekte detektiert. Die Klassifizierung der Objekte erfolgt insbesondere erst anhand der im festgelegten Bildbereich detektierten Abbildungen der Objekte. Auf diese Weise wird eine zuverlässige Klassifizierung der detektierten Objekte sichergestellt. Da hierzu nur ein verhältnismäßig kleiner Bildbereich des von der Stereokamera erfassten Bildpaares mit Hilfe des zweiten Algorithmus ausgewertet werden muss, wird der benötigte Speicherplatz im Vergleich zur gesamten Auswertung des mit Hilfe der Stereokamera erfassten Bildpaares mit Hilfe des zweiten Algorithmus erheblich reduziert.at a preferred embodiment of the invention operates the evaluation unit when detecting the image of the object in the image captured by means of the camera, a first algorithm and during the detection of the image of the object in the defined image section of the captured with the help of the stereo camera image pair a second Algorithm. The second algorithm has a higher one Detection accuracy as the first algorithm. As the first algorithm In particular, an algorithm that uses only a small amount is used Detection accuracy has, but is fast and only relatively few resources, especially relatively little memory, requires. The second algorithm is preferably an algorithm used with a high detection accuracy compared with the first algorithm requires a lot of resources and thereby is relatively slow. In particular, the second algorithm requires more memory compared to the first algorithm. With the help of the first algorithm, only a rough detection takes place objects in the image captured by the camera. With help of the second algorithm are displayed in the image area where the images the image detected in the image captured by the camera are shown with high probability, the objects detected. The classification of the objects takes place in particular first the images of the objects detected in the defined image area. In this way, a reliable classification the detected objects ensured. Since this is only a relative small image area of the image pair captured by the stereo camera must be evaluated with the help of the second algorithm the required storage space compared to the entire evaluation of the captured with the help of the stereo camera image pair using the second algorithm significantly reduced.

Es ist vorteilhaft, wenn die Auswerteeinheit in den Bildern einer mit Hilfe der Kamera erfassten Bildfolge jeweils die Abbildung des Objektes in dem jeweiligen Bild detektiert und die Position der Abbildung des Objektes in den Bildern ermittelt, und wenn die Auswerteeinheit einen Bildbereich eines mit Hilfe der zweiten Stereokamera erfassten Bildpaares in Abhängigkeit von mindestens zwei ermittelten Positionen des Objektes in mindestens zwei Bildern der mit Hilfe der Kamera erfassten Bildfolge festlegt. Durch die Erfassung einer Bildfolge mit Hilfe der Kamera und die Detektion der Abbildungen des Objektes in mehreren Bildern dieser Bildfolge kann eine Nachverfolgung des Objektes, ein sogenanntes Tracking, durchgeführt werden. Hierdurch kann der Bildbereich des mit Hilfe der Stereokamera erfassten Bildpaares, in dem nach der Abbildung des Objektes gesucht wird, derart festgelegt werden, dass das Objekt mit sehr hoher Wahrscheinlichkeit abgebildet wird, und/oder ein kleiner Bildbereich ausgewählt werden.It is advantageous if the evaluation unit in the images with a Using the camera captured image sequence respectively the image of the object detected in the respective image and the position of the image of the object in the images, and if the evaluation unit an image area of a captured by means of the second stereo camera Image pair depending on at least two determined Positions of the object in at least two pictures with the help determines the captured image sequence. By capturing a Image sequence with the help of the camera and the detection of the images the object in multiple images of this image sequence can be tracked of the object, a so-called tracking. As a result, the image area of the detected with the help of the stereo camera Pair of pictures, in which the picture of the object is searched, be set so that the object with very high probability is displayed, and / or a small image area is selected become.

Alternativ oder zusätzlich kann hierdurch bei der Verwendung der Vorrichtung in einem Fahrassistenzsystem die Fahrbewegung des Fahrzeugs, insbesondere eine Kurvenfahrt, ermittelt werden. Auf diese Weise kann beispielsweise frühzeitig festgestellt werden, wenn ein Objekt aufgrund einer Kurvenfahrt des Fahrzeuges nicht im mit Hilfe der Stereokamera erfassten Bildpaar dargestellt werden wird, und somit auf eine Festlegung eines zu durchsuchenden Bildbereiches verzichtet werden kann.alternative or additionally, this may result in the use of the device in a driver assistance system, the driving movement of the vehicle, in particular a cornering, to be determined. In this way, for example be detected early when an object is due a cornering of the vehicle not in with the help of the stereo camera captured image pair will be displayed, and thus to a determination a searchable image area can be dispensed with.

Bei einer bevorzugten Ausführungsform der Erfindung sind die Bilderfassungssensoren und/oder die Auswerteeinheit auf einer Platine, insbesondere einer Leiterplatte aus Epoxydharz, aufgebracht. Die Bilderfassungssensoren und die Auswerteeinheit sind fest mit der Platine verbunden, so dass die Lage der Bilderfassungssensoren zueinander fix und unveränderbar ist. Ferner sind die Bilderfassungssensoren und die Auswerteeinheit elektrisch leitend mit der Platine verbunden. Durch die fixe Position der Bilderfassungssensoren zueinander wird der Kalibrierungsaufwand reduziert. Es ist nur ein einmaliges Kalibrieren bei der Montage der Bilderfassungssensoren notwendig, ein Nachkalibrieren während des Betriebes der Vorrichtung ist nicht notwendig.In a preferred embodiment of the invention, the image acquisition sensors and / or the evaluation unit are mounted on a printed circuit board, in particular a printed circuit board made of epoxy resin. The image acquisition sensors and the evaluation unit are firmly connected to the circuit board, so that the position of the image acquisition sensors to each other is fixed and unchangeable. Furthermore, the image acquisition sensors and the evaluation unit are electrically conductive with connected to the board. Due to the fixed position of the image acquisition sensors to each other, the calibration effort is reduced. It is only a one-time calibration necessary in the assembly of image acquisition sensors, a recalibration during operation of the device is not necessary.

Die Bilderfassungssensoren sind vorzugsweise optische Halbleitersensoren, CCD-Bilderfassungssensoren und/oder CMOS-Bilderfassungssensoren. Solche Sensoren lassen sich einfach und kostengünstig herstellen. Ferner werden die gesamten Herstellungskosten der Vorrichtung reduziert.The Image sensing sensors are preferably semiconductor optical sensors, CCD image capture sensors and / or CMOS image capture sensors. Such sensors can be produced easily and inexpensively. Furthermore, the overall manufacturing cost of the device is reduced.

Des Weiteren ist es vorteilhaft, wenn ein erstes und ein zweites Objektiv derart angeordnet sind, dass jeweils eine Abbildung eines Erfassungsbereiches der ersten Stereokamera auf jeweils einem Bilderfassungsbereich der Bilderfassungssensoren der ersten Stereokamera abgebildet und/oder fokussiert sind, und wenn ein drittes und ein viertes Objektiv derart angeordnet sind, dass jeweils eine Abbildung eines Erfassungsbereiches der zweiten Stereokamera auf jeweils einem Bilderfassungsbereich der Bilderfassungssensoren der zweiten Stereokamera abgebildet und/oder fokussiert sind. Die Objektive können fest mit der Platine verbunden sein und oder in einem Gehäuse, in dem die Vorrichtung aufgenommen ist, angeordnet sein.Of Furthermore, it is advantageous if a first and a second objective are arranged such that in each case an image of a detection area the first stereo camera on each image capture area imaged and / or the image acquisition sensors of the first stereo camera are focused, and if a third and a fourth lens like that are arranged, that in each case an illustration of a detection range the second stereo camera on each image capture area imaged and / or the image acquisition sensors of the second stereo camera are focused. The lenses can be fixed to the board be connected and or in a housing in which the device is received, be arranged.

Das erste und das zweite Objektiv sind vorzugsweise identisch. Ebenso sind das dritte und das vierte Objektiv vorzugsweise identisch. Es ist besonders vorteilhaft, wenn das erste und das zweite Objektiv einen kleineren Öffnungswinkel als das dritte und das vierte Objektiv haben. Der Öffnungswinkel des ersten und zweiten Objektivs hat insbesondere einen Wert im Bereich von 15° bis 25°, der Öffnungswinkel des dritten und vierten Objektivs im Bereich von 45° bis 65°. Hierdurch wird erreicht, dass die erste Stereokamera eine größere Brennweite als die zweite Stereokamera hat. Mit Hilfe der ersten Stereokamera wird somit ein Fernbereich erfasst, während mit Hilfe der zweiten Stereokamera ein Nahbereich vor der Vorrichtung erfasst wird. Auf diese Weise können Objekte schon in großer Entfernung zur Vorrichtung mit Hilfe der ersten Stereokamera detektiert werden und später im mit Hilfe der zweiten Stereokamera erfassten Bildpaar klassifiziert werden, sobald sich das Objekt im Nahbereich befindet. Hierzu wird das Bildpaar der ersten Stereokamera zeitlich vor dem Bildpaar der zweiten Stereokamera erfasst.The first and second lenses are preferably identical. As well For example, the third and fourth lenses are preferably identical. It is particularly advantageous if the first and the second lens a smaller opening angle than the third and the fourth Lens. The opening angle of the first and second Lens in particular has a value in the range of 15 ° to 25 °, the opening angle of the third and fourth Lens in the range of 45 ° to 65 °. hereby is achieved that the first stereo camera a larger Focal length than the second stereo camera has. With the help of the first Stereo camera is thus detected a long range while using Help the second stereo camera a close range in front of the device is detected. In this way, objects can already be in great Distance to the device can be detected using the first stereo camera and later captured in the second stereo camera Image pair are classified as soon as the object is in close range located. For this, the image pair of the first stereo camera is temporally recorded in front of the image pair of the second stereo camera.

Ferner ist es vorteilhaft, mindestens eine Infrarotlichtquelle, insbesondere mit mindestens einer Infrarotleuchtdiode, zur Beleuchtung des Erfassungsbereiches der ersten Stereokamera und/oder des Erfassungsbereiches der zweiten Stereokamera vorzusehen. Auf diese Weise können Objekte auch in der Nacht detektiert und klassifiziert werden.Further it is advantageous to use at least one infrared light source, in particular with at least one infrared light emitting diode, for illumination of the detection area the first stereo camera and / or the detection area of the second Provide stereo camera. In this way you can create objects can also be detected and classified at night.

Bei einer bevorzugten Ausführungsform der Erfindung umfasst die Auswerteeinheit ein erstes Verarbeitungsmodul, ein zweites Verarbeitungsmodul und ein Zentralmodul. Das erste Verarbeitungsmodul detektiert in einem mit Hilfe der Kamera erfassten Bild die Abbildungen von Objekten in diesem Bild und übermittelt eine erste Objektliste mit Informationen über die detektierten Objekte an das Zentralmodul. Dabei werden die Informationen mit Hilfe von Daten übertragen. Ebenso detektiert das zweite Verarbeitungsmodul in einem Bildbereich des mit Hilfe der Stereokamera erfassten Bildpaares die Abbildungen der Objekte und übermittelt eine zweite Objektliste mit Informationen über die detektierten Objekte an das Zentralmodul. Das Zentralmodul erzeugt anschließend in Abhängigkeit der Informationen der ersten Objektliste und der Informationen der zweiten Objektliste ein Ausgangssignal mit Ausgangsinformationen. Das Ausgangssignal dient insbesondere zur Ansteuerung von Einheiten, die durch das Fahrassistenzsystem gesteuert werden. Mit Hilfe der Informationen der ersten und der zweiten Objektliste können relevante Objekte, insbesondere Spur- und Straßenbegrenzungselemente, Verkehrszeichen, Fahrzeuge und/oder Personen, zuverlässig detektiert werden.at a preferred embodiment of the invention the evaluation unit, a first processing module, a second processing module and a central module. The first processing module detects in an image captured with the help of the camera, the images of objects in this picture and submit a first object list Information about the detected objects to the central module. The information is transmitted using data. Likewise, the second processing module detects in an image area of the captured with the help of the stereo camera image pair the pictures of the objects and transmits a second list of objects Information about the detected objects to the central module. The central module then generates depending on the information of the first object list and the information of the second object list an output signal with output information. The output signal is used in particular for controlling units, which are controlled by the driver assistance system. With the help of Information of the first and the second object list can relevant objects, in particular lane and road boundary elements, Traffic signs, vehicles and / or people, reliable be detected.

Ferner betrifft die Erfindung ein Verfahren zur Detektion mindestens eines Objektes, bei dem mit Hilfe einer Kamera ein Bild erfasst wird und die Abbildung des Objektes in diesem Bild detektiert und die Position der Abbildung des Objektes ermittelt wird. Ferner wird mit Hilfe einer Stereokamera ein Bildpaar erfasst und ein Bildbereich des Bildpaares in Abhängigkeit von der ermittelten Position des Objektes im mit Hilfe der Kamera erfassten Bild festgelegt. Der festgelegte Bildbereich wird nach einer Abbildung des Objektes durchsucht.Further The invention relates to a method for detecting at least one Object that captures an image using a camera and the image of the object detected in this image and the position the image of the object is determined. Further, with help a stereo camera captures a pair of images and an image area of the Picture pair depending on the determined position of the object in the image captured by the camera. The defined image area becomes after a picture of the object searched.

Das durch den unabhängigen Verfahrensanspruch spezifizierte Verfahren kann in gleicher Weise weitergebildet werden wie die Vorrichtung nach dem Patentanspruch 1. Insbesondere kann das Verfahren mit den in den auf die Vorrichtung rückbezogenen abhängigen Patentansprüchen angegebenen Merkmalen bzw. entsprechenden Verfahrensmerkmalen weitergebildet werden.The specified by the independent method claim Method can be developed in the same way as the device according to claim 1. In particular, the method with the in dependent on the device Claims specified or corresponding Trained procedural features.

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung, welche die Erfindung in Verbindung mit den beigefügten Figuren anhand von Ausführungsbeispielen näher erläutert.Further Features and advantages of the invention will become apparent from the following Description, which the invention in conjunction with the accompanying figures explained in more detail with reference to embodiments.

Es zeigen:It demonstrate:

1 eine Draufsicht auf eine schematisch dargestellte Vorrichtung zur Detektion mindestens eines Objektes gemäß einer ersten Ausführungsform der Erfindung; 1 a plan view of a schematically illustrated device for detecting at least one object according to a first embodiment of the invention;

2 eine schematische perspektivische Darstellung einer Vorrichtung zur Detektion mindestens eines Objektes gemäß einer zweiten Ausführungsform der Erfindung; 2 a schematic perspective view of an apparatus for detecting at least one object according to a second embodiment of the invention;

3 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung zur Detektion mindestens eines Objektes nach 2 in einer ersten Verkehrssituation; 3 a schematic representation of a vehicle with a device for detecting at least one object according to 2 in a first traffic situation;

4 eine schematische Darstellung des Fahrzeugs nach 3 in einer zweiten Verkehrssituation; und 4 a schematic representation of the vehicle according to 3 in a second traffic situation; and

5 eine schematische Darstellung einer Vorrichtung zur Detektion mindestens eines Objektes gemäß einer dritten Ausführungsform der Erfindung. 5 a schematic representation of an apparatus for detecting at least one object according to a third embodiment of the invention.

In 1 ist eine Draufsicht auf eine schematische Darstellung einer Vorrichtung 10 zur Detektion mindestens eines Objektes dargestellt. Die Vorrichtung umfasst eine Platine 1 und weitere mit der Platine 1 verbundene Bauteile 2 bis 7. Die Platine 1 wiederum umfasst einen Träger aus isolierendem Material, der elektrisch leitende Verbindungen hat, die die elektrischen Anschlüsse der mit der Platine 1 verbundenen Bauteile 2 bis 7 miteinander verbinden. Die elektrisch leitenden Verbindungen sind vorzugsweise als Leiterbahnen in Form einer gedruckten Schaltung ausgeführt. Die Platine 1 ist vorzugsweise aus Epoxydharz mit Leiterbahnen aus Kupfer hergestellt und wird auch als Leiterplatte bezeichnet.In 1 is a plan view of a schematic representation of a device 10 shown for detecting at least one object. The device comprises a circuit board 1 and more with the board 1 connected components 2 to 7 , The board 1 In turn, it includes a support of insulating material having electrically conductive connections that connect the electrical connections to the board 1 connected components 2 to 7 connect with each other. The electrically conductive connections are preferably designed as printed conductors in the form of a printed circuit. The board 1 is preferably made of epoxy resin with traces of copper and is also referred to as a printed circuit board.

Auf der Platine 1 sind ein erster Bilderfassungssensor 4, ein zweiter Bilderfassungssensor 5, ein dritter Bilderfassungssensor 2 und ein vierter Bilderfassungssensor 3 angeordnet. Die Bilderfassungssensoren 2 bis 5 sind über elektrische Verbindungen mit den nicht dargestellten Leiterbahnen der Platine 1 elektrisch verbunden. Die Bilderfassungssensoren 2 bis 5 können sowohl Farbbilderfassungssensoren als auch Grauwertbilderfassungssensoren sein. Vorzugsweise sind entweder alle Bilderfassungssensoren 2 bis 5 Farbbilderfassungssensoren oder alle Bilderfassungssensoren 2 bis 5 Grauwertbilderfassungssensoren. Der erste Bilderfassungssensor 4 und der zweite Bilderfassungssensor 5 bilden eine erste Sensorgruppe und der dritte Bilderfassungssensor 2 und der vierte Bilderfassungssensor 3 bilden eine zweite Sensorgruppe. Vorzugsweise sind die Bilderfassungssensoren 2 bis 5 jeder Sensorgruppe jeweils typengleich. Es ist vorteilhaft, wenn alle vier Bilderfassungssensoren 2 bis 5 typengleich sind.On the board 1 are a first image capture sensor 4 , a second image capture sensor 5 , a third image acquisition sensor 2 and a fourth image sensing sensor 3 arranged. The image capture sensors 2 to 5 are via electrical connections with the printed conductors, not shown, of the board 1 electrically connected. The image capture sensors 2 to 5 Both color imaging sensors and gray scale imaging sensors may be used. Preferably, either all image acquisition sensors 2 to 5 Color image sensing sensors or all image sensing sensors 2 to 5 Gray scale imaging sensors. The first image capture sensor 4 and the second image detection sensor 5 form a first sensor group and the third image sensor 2 and the fourth image sensing sensor 3 form a second sensor group. Preferably, the image capture sensors are 2 to 5 each sensor group identical in each case. It is advantageous if all four image acquisition sensors 2 to 5 are the same type.

Die Bilderfassungssensoren 2 bis 5 sind mit der Platine 1 über jeweils über Lötverbindungen verbunden. Alternativ können die Bilderfassungssensoren 2 bis 5 in jeweils einen mit der Platine 1 jeweils mit Hilfe von Lötverbindungen verbunden Sockel gesteckt sein. Die Bilderfassungssensoren 2 bis 5 sind insbesondere in Form von Optoarrays aufgebracht. Durch die hierdurch bewirkte fixe Position der Bilderfassungssensoren 2 bis 5 zueinander, insbesondere durch die fixe Position des ersten Bilderfassungssensors 4 zum zweiten Bilderfassungssensor 5 und die fixe Position des dritten Bilderfassungssensors 2 zum vierten Bilderfassungssensor 3, ist der Kalibrierungsaufwand zur Kalibrierung der Vorrichtung 10 reduziert. Es ist nur ein einmaliges Kalibrieren bei der Montage der Bilderfassungssensoren 2 bis 5 notwendig. Ein Nachkalibrieren während des Betriebs der Vorrichtung 10 ist nicht notwendig.The image capture sensors 2 to 5 are with the board 1 each connected via solder joints. Alternatively, the image acquisition sensors 2 to 5 in each case one with the board 1 each be connected by means of solder joints connected socket. The image capture sensors 2 to 5 are applied in particular in the form of opto-arrays. Due to the resulting fixed position of the image acquisition sensors 2 to 5 to each other, in particular by the fixed position of the first image detection sensor 4 to the second image acquisition sensor 5 and the fixed position of the third image sensing sensor 2 to the fourth image acquisition sensor 3 , is the calibration effort to calibrate the device 10 reduced. It is only a one-time calibration when mounting the image acquisition sensors 2 to 5 necessary. A recalibration during operation of the device 10 is not necessary.

Die Bilderfassungssensoren 2 bis 5 sind vorzugsweise optische Halbleitersensoren, insbesondere CCD-Bilderfassungssensoren und/oder CMOS-Bilderfassungssensoren. Der dritte Bilderfassungssensor 2 und der vierte Bilderfassungssensor 4 sind insbesondere derart angeordnet, dass die Mittelpunkte ihrer Bilderfassungsbereiche auf einer Geraden liegen, die parallel zu einer der langen Seitenkanten 102 der Platine 1 verläuft. Der erste Bilderfassungssensor 4 und der zweite Bilderfassungssensor 5 sind vorzugsweise derart angeordnet, dass die Mittelpunkte ihrer Bilderfassungsbereiche auf einer zweiten Geraden liegen, die die erste Gerade orthogonal schneidet. Ferner sind die Bilderfassungssensoren 2 bis 5 insbesondere derart angeordnet, dass der Abstand des Schnittpunkts der beiden Geraden zum Mittelpunkt des Bilderfassungsbereiches des ersten Bilderfassungssensors 4 und der Abstand des Schnittpunkts zum Mittelpunkt des Bilderfassungsbereiches des zweiten Bilderfassungssensors 5 identisch sind. E benso sind der Abstand des Schnittpunkts zum Mittelpunkt des Bilderfassungsbereiches des dritten Bilderfassungssensors 2 und der Abstand des Schnittpunkts zum Mittelpunkt des Bilderfassungsbereiches des vierten Bilderfassungssensors 3 identisch. Die Bilderfassungssensoren 2 bis 5 sind so auf der Platine 1 angeordnet, dass zumindest die Bilderfassungsbereiche des ersten Bilderfassungssensors 4 und des zweiten Bilderfassungssensors 5 abgesehen von geringen Fertigungstoleranzen in der ersten Ebene angeordnet sind und die Bilderfassungsbereiche des dritten Bilderfassungssensors 2 und des vierten Bilderfassungssensors 5 in einer zweiten Ebene angeordnet sind. Vorzugsweise sind alle Bilderfassungsbereiche der Bilderfassungssensoren 2 bis 5 in einer Ebene angeordnet.The image capture sensors 2 to 5 are preferably optical semiconductor sensors, in particular CCD image acquisition sensors and / or CMOS image acquisition sensors. The third image acquisition sensor 2 and the fourth image sensing sensor 4 are arranged in particular such that the centers of their image detection areas lie on a straight line parallel to one of the long side edges 102 the board 1 runs. The first image capture sensor 4 and the second image detection sensor 5 are preferably arranged such that the centers of their image capture areas are located on a second straight line which orthogonally intersects the first straight line. Further, the image sensing sensors are 2 to 5 in particular arranged such that the distance of the intersection of the two straight lines to the center of the image capture area of the first image acquisition sensor 4 and the distance of the intersection to the center of the image capture area of the second image capture sensor 5 are identical. Likewise, the distance of the intersection point is the center of the image-capturing area of the third image-capturing sensor 2 and the distance of the intersection point from the center of the image-capturing area of the fourth image-capturing sensor 3 identical. The image capture sensors 2 to 5 are so on the board 1 arranged that at least the image sensing areas of the first image sensing sensor 4 and the second image acquisition sensor 5 are arranged apart from low manufacturing tolerances in the first plane and the image sensing areas of the third image sensing sensor 2 and the fourth image acquisition sensor 5 arranged in a second plane. Preferably, all image capture areas are the image capture sensors 2 to 5 arranged in a plane.

Alternativ sind auch andere Anordnungen der Bilderfassungssensoren 2 bis 5 möglich. Insbesondere können die Bilderfassungssensoren 2 bis 5 derart angeordnet sein, dass die Mittelpunkte ihrer Bilderfassungsbereiche auf einer Geraden liegen, die parallel zur Kante 102 verläuft. Ferner können die Bilderfassungssensoren 2 bis 5 unterschiedliche Größen haben.Alternatively, other arrangements of image sensing sensors are also possible 2 to 5 possible. In particular, the image acquisition sensors can 2 to 5 be arranged so that the centers of their image sensing areas lie on a straight line parallel to the edge 102 runs. Furthermore, the image acquisition sensors 2 to 5 have different sizes.

Ferner umfasst die Vorrichtung 10 eine Auswerteeinheit. In 1 sind zwei zu dieser Auswerteeinheit gehörende Bauelemente dargestellt und mit den Bezugszeichen 6 und 7 bezeichnet. Die Bauelemente 6, 7 sind insbesondere Field programmable Gate Arrays (FPGAs). Die Bauelemente 6, 7 können alternativ auch auf der Rückseite der Platine 1 angeordnet sein, die der Vorderseite der Platine 1, auf der die Bilderfassungssensoren 2 bis 5 aufgebracht sind, entgegengesetzt ist. Die von den Bilderfassungssensoren 2 bis 5 erzeugten Bilddaten werden über von der Platine 1 bereitgestellte elektrische Verbindungen zu der Auswerteeinheit übertragen. Die Verarbeitung der Bilddaten in der Auswerteeinheit erfolgt mit Hilfe von in die Auswerteeinheit implementierten Bildverarbeitungsalgorith men. Hierzu kann in der Auswerteeinheit mindestens ein Bildverarbeitungsprogramm gespeichert sein.Furthermore, the device comprises 10 an evaluation unit. In 1 two belonging to this evaluation unit components are shown and with the reference numerals 6 and 7 designated. The components 6 . 7 are in particular field programmable gate arrays (FPGAs). The components 6 . 7 Alternatively, you can also use the back of the board 1 be arranged on the front of the board 1 on which the image capture sensors 2 to 5 are applied, is opposite. The from the image acquisition sensors 2 to 5 generated image data are transferred from the board 1 provided electrical connections to the evaluation transferred. The processing of the image data in the evaluation unit takes place with the aid of image processing algorithms implemented in the evaluation unit. For this purpose, at least one image processing program can be stored in the evaluation unit.

In 2 ist eine schematische perspektivische Darstellung einer Vorrichtung 20 zur Detektion mindestens eines Objektes gemäß einer zweiten Ausführungsform der Erfindung gezeigt. Elemente mit gleichem Aufbau oder gleicher Funktion haben dieselben Bezugszeichen. Die Abstände 80, 83 zwischen den Bilderfassungssensoren 2 bis 5 sind durch die gedruckte Schaltung der Platine 1 vorgegeben.In 2 is a schematic perspective view of a device 20 for detecting at least one object according to a second embodiment of the invention. Elements with the same structure or the same function have the same reference numerals. The distances 80 . 83 between the image acquisition sensors 2 to 5 are through the printed circuit of the board 1 specified.

Ferner umfasst die Vorrichtung 20 vier Objektive 60 bis 63. Die Objektive 60 bis 63 sind derart angeordnet, dass die optische Achse des ersten Objektives 63 durch den Mittelpunkt des Bilderfassungsbereiches des ersten Bilderfassungssensors 4, die optische Achse des zweiten Objektives 62 durch den Mittelpunkt des Bilderfassungsbereiches des zweiten Bilderfassungssensors 5, die optische Achse des dritten Objektives 60 durch den Mittelpunkt des Bilderfassungsbereiches des dritten Bilderfassungssensors 2 und die optische Achse des vierten Objektives 61 durch den Mittelpunkt des Bilderfassungsbereiches des vierten Bilderfassungssensors 3 verläuft. Die Objektive 60 bis 63 sind insbesondere derart angeordnet, dass die optischen Achsen der Objektive 60 bis 63 orthogonal zu den jeweiligen Bilderfassungsbereichen der jeweiligen Bilderfassungssensoren 2 bis 5 verlaufen. Alternativ können die Objektive 60 bis 63 derart angeordnet sein, dass ihre optischen Achsen die Bilderfassungsbereiche nahe der jeweiligen Mittelpunkte schneiden.Furthermore, the device comprises 20 four lenses 60 to 63 , The lenses 60 to 63 are arranged such that the optical axis of the first objective 63 through the center of the image capture area of the first image capture sensor 4 , the optical axis of the second objective 62 through the center of the image capture area of the second image capture sensor 5 , the optical axis of the third lens 60 through the center of the image sensing area of the third image sensing sensor 2 and the optical axis of the fourth lens 61 through the center of the image sensing area of the fourth image sensing sensor 3 runs. The lenses 60 to 63 are in particular arranged such that the optical axes of the lenses 60 to 63 orthogonal to the respective image capture areas of the respective image capture sensors 2 to 5 run. Alternatively, the lenses can 60 to 63 be arranged so that their optical axes intersect the image sensing areas near the respective centers.

Die Objektive 60 bis 63 sind insbesondere mit der Platine 1 verbunden, vorzugsweise auf die Platine 1 geklebt, mit der Platine 1 verschraubt oder über geeignete Klemm- oder Rastverbindungen mit der Platine 1 verbun den. Alternativ können die Objektive 60 bis 63 auch in ein nicht dargestelltes Gehäuse integriert sein. Das Gehäuse kann beispielsweise zum dauerhaften Schutz der Vorrichtung 20 vor Umwelteinflüssen, insbesondere vor Wasser und/oder Vandalismus, dienen. Die Objektive sind vorteilhafterweise mit Hilfe von Haltern an der Platine 1 befestigt, wobei jeweils zwei Stifte eines Haltes in Löcher der Platine 1 einrasten.The lenses 60 to 63 are in particular with the board 1 connected, preferably on the board 1 glued, with the board 1 bolted or via suitable clamping or snap connections with the board 1 connected. Alternatively, the lenses can 60 to 63 be integrated into a housing, not shown. The housing can, for example, for permanent protection of the device 20 against environmental influences, especially against water and / or vandalism serve. The lenses are advantageously using holders on the board 1 attached, with two pins each of a stop in holes of the board 1 engage.

Der erste Bilderfassungssensor 4, der zweite Bilderfassungssensor 5, das erste Objektiv 63 und das zweite Objektiv 62 bilden zusammen eine erste Stereokamera. Ebenso bilden der dritte Bilderfassungssensor 2, der vierte Bilderfassungssensor 3, das dritte Objektiv 60 und das vierte Objektiv 61 eine zweite Stereokamera. Bei einer alternativen Ausführungsform der Erfindung kann anstelle der ersten Stereokamera eine einen Bilderfassungssensor und ein Objektiv umfassenden Monokamera vorgesehen sein.The first image capture sensor 4 , the second image sensor 5 , the first lens 63 and the second lens 62 together form a first stereo camera. Likewise form the third image acquisition sensor 2 , the fourth image sensor 3 , the third lens 60 and the fourth lens 61 a second stereo camera. In an alternative embodiment of the invention, instead of the first stereo camera, a monocamera comprising an image acquisition sensor and an objective can be provided.

Die Objektive 60 bis 63 haben jeweils eine oder mehrere Linsen und/oder weitere optische Elemente und dienen insbesondere zur Fokussierung von Abbildungen auf die Bilderfassungsbereiche der Bilderfassungssensoren 2 bis 5. Die Objektive 62, 63 der ersten Stereokamera und die Objektive 60, 61 der zweiten Stereokamera sind vorzugsweise jeweils identisch. Die Objektive 62, 63 der ersten Stereokamera haben eine größere Brennweite als die Objektive 60, 61 der zweiten Stereokamera. Hierzu haben die Objektive 62, 63 einen Öffnungswinkel von 15° bis 25° und die Objektive 60, 61 einen Öffnungswinkel von 45° bis 65°. Durch diese Wahl der Objektive 60 bis 63 wird erreicht, dass mit Hilfe der ersten Stereokamera Bilder mit Abbildung eines Fernbereichs erfasst werden und mit Hilfe der zweiten Stereokamera Bilder mit Abbildung eines Nahbereichs erfasst werden. Als Nahbereich ist insbesondere der Bereich vor der Vorrichtung 20 bis zu einer Entfernung von ca. 60 m bezeichnet. Im Nahbereich wer den auch die Randbereiche einer Fahrbahn 16 erfasst. Entsprechend wird der Bereich ab einer Entfernung von 60 m als Fernbereich bezeichnet.The lenses 60 to 63 each have one or more lenses and / or other optical elements and are used in particular for focusing images on the image capture areas of the image acquisition sensors 2 to 5 , The lenses 62 . 63 the first stereo camera and the lenses 60 . 61 the second stereo camera are preferably identical in each case. The lenses 62 . 63 the first stereo camera have a larger focal length than the lenses 60 . 61 the second stereo camera. To do this, have the lenses 62 . 63 an opening angle of 15 ° to 25 ° and the lenses 60 . 61 an opening angle of 45 ° to 65 °. Through this choice of lenses 60 to 63 is achieved that with the help of the first stereo camera images are captured with a long-range image and captured with the help of the second stereo camera images with a close-up image. As a short-range is in particular the area in front of the device 20 up to a distance of about 60 m. In the vicinity who also the edge areas of a roadway 16 detected. Accordingly, the range is referred to as the distance range from a distance of 60 m.

Ferner sind auf der Platine 1 Bauteile 70 einer Infrarotbeleuchtungsvorrichtung angeordnet. Die Bauteile 70 sind insbesondere Infrarotdioden. Durch die Verwendung von Infrarotlicht kann die Vorrichtung 20 auch bei Dunkelheit zur Bilderfassung verwendet werden, da die Erfassungsbereiche der Stereokameras zumindest teilweise mit Hilfe der Infrarotbeleuchtungsvorrichtung ausgeleuchtet werden.Further, on the board 1 components 70 an infrared illuminating device arranged. The components 70 are in particular infrared diodes. By using infrared light, the device can 20 also be used in the dark for image capture, since the detection areas of the stereo cameras are at least partially illuminated by means of the infrared illumination device.

Die Vorrichtung 20 zur Detektion mindestens eines Objektes wird insbesondere in Verbindung mit Fahrassistenzsystemen in Fahrzeugen, insbesondere in Straßenfahrzeugen, verwendet. Sie kann aber auch in Verbindung mit Verkehrsleitsystemen verwendet werden. Die Vorrichtung 20 ist dann vorzugsweise ortfest angeordnet, beispielsweise an einem Masten angebracht, wie einem Masten einer Lichtzeichensignalanlage.The device 20 for detecting at least one object is used in particular in connection with driver assistance systems in vehicles, in particular in road vehicles. It can also be used in conjunction with traffic control systems. The device 20 is then preferably arranged stationary, for example, attached to a mast, such as a mast of a signal light signaling system.

In 3 ist eine schematische Darstellung eines Fahrzeugs 15 mit einer Vorrichtung zur Detektion mindestens eines Objektes nach 2 in einer ersten Verkehrssituation gezeigt. Das Fahrzeug 15 fährt auf der Fahrbahn 16 in Fahrtrichtung P1.In 3 is a schematic representation of a vehicle 15 with a device for detecting at least one object 2 shown in a first traffic situation. The vehicle 15 drives on the road 16 in the direction of travel P1.

Der Erfassungsbereich der ersten Stereokamera ist durch die Volllinien 17a, 17b angedeutet und mit dem Bezugszeichen 11 bezeichnet. Der Erfassungsbereich der zweiten Stereokamera ist durch die Volllinien 18a, 18b angedeutet und mit dem Bezugszeichen 12 bezeichnet. Ein neben der Fahrbahn 16 angeordnetes Objekt 21, insbesondere ein Verkehrszeichen, liegt zumindest teilweise im Erfassungsbereich 11 der ersten Stereokame ra. Das Objekt 21 ist soweit vom Fahrzeug 15 entfernt, dass es sich noch nicht im Erfassungsbereich 12 der zweiten Stereokamera befindet.The detection range of the first stereo camera is the solid lines 17a . 17b indicated and by the reference numeral 11 designated. The coverage of the second stereo camera is through the solid lines 18a . 18b indicated and by the reference numeral 12 designated. One beside the roadway 16 arranged object 21 , in particular a traffic sign, is at least partially within the scope of coverage 11 the first stereo camera ra. The object 21 is so far from the vehicle 15 removed that it is not yet in the detection area 12 the second stereo camera is located.

In 4 ist eine schematische Darstellung des Fahrzeugs 15 nach 3 in einer zweiten Verkehrssituation gezeigt. Die zweite Verkehrssituation ist zeitlich kurz nach der in 3 gezeigten ersten Verkehrssituation eingetreten. Das Fahrzeug 15 hat sich in der Zwischenzeit soweit in Fahrtrichtung P1 auf das Objekt 21 zu bewegt, dass das Objekt 21 außerhalb des Erfassungsbereiches 11 der ersten Stereokamera und innerhalb des Erfassungsbereiches 12 der zweiten Stereokamera angeordnet ist.In 4 is a schematic representation of the vehicle 15 to 3 shown in a second traffic situation. The second traffic situation is temporally shortly after in 3 occurred first traffic situation. The vehicle 15 has in the meantime so far in the direction P1 to the object 21 to move that object 21 outside the coverage area 11 the first stereo camera and within the detection range 12 the second stereo camera is arranged.

Bei der Detektion eines Objektes 21 wird zunächst zu einem ersten Zeitpunkt mit Hilfe der ersten Stereokamera ein erstes Bildpaar mit einer Abbildung des Erfassungsbereiches 11 erfasst. Mit Hilfe der Auswerteeinheit wird eine Abbildung des Objektes 21 in dem mit Hilfe der ersten Stereokamera aufgenommenen ersten Bildpaar detektiert und die Position der Abbildung des Objektes 21 ermittelt. Hierzu arbeitet die Auswerteeinheit einen ersten Detektionsalgorithmus ab. Zu einem zweiten, zeitlich nach dem ersten Zeitpunkt angeordneten Zeitpunkt wird mit Hilfe der zweiten Stereokamera ein zweites Bildpaar mit einer Abbildung des Erfassungsbereiches 12 der zweiten Stereokamera erfasst. In Abhängigkeit von der ermittelten Position der Abbildung des Objektes 21 im ersten Bildpaar wird ein Bildbereich des zweiten Bildpaares festgelegt. Der Bildbereich wird insbesondere derart festgelegt, dass die Abbildung des detektierten Objektes 21 im zweiten Bildpaar zum zweiten Zeitpunkt mit einer hohen Wahrscheinlichkeit in dem festgelegten Bildbereich dargestellt ist. Anschließend verarbeitet die Auswerteeinheit den festgelegten Bildbereich des zweiten Bildpaares zur Detektion der Abbildung des Objektes 21 im zwei ten Bildpaar. Hierzu arbeitet die Auswerteeinheit einen zweiten Detektionsalgorithmus ab.In the detection of an object 21 First of all, a first image pair with an image of the detection area is first of all taken with the aid of the first stereo camera 11 detected. With the help of the evaluation unit is a picture of the object 21 detected in the first pair of images recorded using the first stereo camera and the position of the image of the object 21 determined. For this purpose, the evaluation unit processes a first detection algorithm. At a second time, which is arranged temporally after the first time, a second image pair with an image of the detection area is made with the aid of the second stereo camera 12 captured by the second stereo camera. Depending on the determined position of the image of the object 21 In the first image pair, an image area of the second image pair is determined. The image area is in particular determined such that the image of the detected object 21 is shown in the second image pair at the second time with a high probability in the specified image area. Subsequently, the evaluation unit processes the defined image area of the second image pair to detect the image of the object 21 in the second image pair. For this purpose, the evaluation unit operates a second detection algorithm.

Der erste und der zweite Detektionsalgorithmus unterscheiden sich dadurch, dass der erste Detektionsalgorithmus eine wesentlich geringere Detektionsgenauigkeit als der zweite Detektionsalgorithmus hat. Je höher die Detektionsgenauigkeit eines Detektionsalgorithmus ist, umso zuverlässiger werden zu detektierende Objekte 21 auch tatsächlich detektiert. Der zweite Detektionsalgorithmus benötigt für die Detektion eines Objektes 21 eine wesentlich längere Zeit als der erste Detektionsalgorithmus und einen ebenfalls wesentlich mehr Ressourcen, insbesondere mehr Speicherplatz. Der erste Detektionsalgorithmus wird auch als Feature-Stereo und der zweite Detektionsalgorithmus als dichtes Stereo.The first and second detection algorithms differ in that the first detection algorithm has a significantly lower detection accuracy than the second detection algorithm. The higher the detection accuracy of a detection algorithm, the more reliable are objects to be detected 21 actually detected. The second detection algorithm needed for the detection of an object 21 a much longer time than the first detection algorithm and also significantly more resources, especially more storage space. The first detection algorithm is also called feature stereo and the second detection algorithm is dense stereo.

Dadurch wird erreicht, dass ein Objekt 21 bereits grob mit Hilfe des mit Hilfe der ersten Stereokamera aufgenommenen ersten Bildpaares detektiert wird, wenn sich das Objekt 21 noch im Fernbereich befindet. Durch die Verwendung des ersten Detektionsalgorithmus zur Detektion des Objektes 21 im Fernbereich werden hierfür nur wenig Zeit und relativ wenig Speicher benötigt. Hat sich das Objekt 21 soweit auf die Vorrichtung 20 zu bewegt bzw. die Vorrichtung 20 soweit auf das Objekt 21 zu bewegt, dass sich das Objekt 21 im Nahbereich und somit im Erfassungsbereich 12 der zweiten Stereokamera befindet, so wird es mit Hilfe des zweiten Detektionsalgorithmus im zweiten Bildpaar zuverlässig detektiert. Da die Position des Objektes 21 im ersten Bildpaar ermittelt wurde und somit bekannt ist, kann ein Bildbereich des zweiten Bildpaares festgelegt werden, indem das Objekt 21 im zweiten Bildpaar abgebildet wird. Somit muss nicht das gesamte zweite Bildpaar mit Hilfe des zweiten Detektionsalgorithmus nach der Abbildung des Objektes 21 durchsucht werden, sondern nur der festgelegte Bildbereich. Hierdurch wird zur Detektion der Abbildung des Objektes 21 im zweiten Bildpaar trotz der hohen Detektionsgenauigkeit des zweiten Detektionsalgorithmus nur wenig Zeit und wenig Speicherplatz benötigt. Verglichen mit einer Vorrichtung zur Detektion von Objekten mit nur einer Stereokamera werden somit sowohl die Detektionsreichweite, die Detektionsrate, die Detektionsgeschwindigkeit und die Detektionsgüte verbessert.This will accomplish that an object 21 already roughly detected with the help of the first stereo camera recorded first image pair, when the object 21 still in the far range. By using the first detection algorithm to detect the object 21 in the remote area, this requires little time and relatively little memory. Has the object 21 so far on the device 20 to move or the device 20 so far on the object 21 too moved that the object 2 1 in the near range and thus in the detection range 12 is the second stereo camera, it is reliably detected using the second detection algorithm in the second image pair. Because the position of the object 21 was determined in the first image pair and thus is known, an image area of the second image pair can be determined by the object 21 is shown in the second image pair. Thus, not the entire second image pair needs to be scanned using the second detection algorithm after imaging the object 21 be searched, but only the specified image area. This will cause the detection of the image of the object 21 in the second image pair, despite the high detection accuracy of the second detection algorithm only little time and little space needed. Thus, compared with a device for detecting objects with only one stereo camera, both the detection range, the detection rate, the detection speed and the detection quality are improved.

Bei einer bevorzugten Ausführungsform der Erfindung wird anhand der Abbildung des Objektes 21 im zweiten Bildpaar mindestens eine Eigenschaft des Objektes 21 ermittelt. Insbesondere wird eine Objektklasse ermittelt, der das Objekt 21 zuordenbar ist. Bei Fahrassistenzsystemen wird auf diese Weise insbesondere ermittelt, ob es sich bei dem Objekt 21 um ein Verkehrsschild, ein bewegtes selbsterleuchtetes Objekt, ein statisches selbsterleuchtetes Objekt und/oder um eine Person oder ein Tier handelt. Die Ermittlung der Objektklasse erfolgt insbesondere durch den Vergleich mit in einer Datenbank hinterlegten Objekten. Um eine zuverlässige Klassifizierung von Objekten 21 zu gewährleisten, würde eine Detektion ausschließlich mit Hilfe des ersten Detektionsalgorithmus mit der geringeren Detektionsgenauigkeit nicht ausreichen. Somit müsste bei der Verwendung nur eines Stereokamerasystems das gesamte Bildpaar mit Hilfe des zeit- und speicherintensiven zweiten Detektionsalgorithmus durchsucht werden.In a preferred embodiment of the invention is based on the image of the object 21 in the second image pair at least one property of the object 21 determined. In particular, an object class is determined that contains the object 21 is assignable. In driver assistance systems, in particular it is determined in this way whether the object is 21 is a traffic sign, a moving self-illuminated object, a static self-illuminated object, and / or a person or an animal. The object class is determined in particular by comparison with objects stored in a database. To get a reliable classification of objects 21 To ensure that detection would only be insufficient with the aid of the first detection algorithm with the lower detection accuracy. Thus, when using only a stereo camera system would have the entire picture be searched using the time- and memory-intensive second detection algorithm.

Bei einer weiteren bevorzugten Ausführungsform der Erfindung wird mit Hilfe der ersten Stereokamera eine Bildfolge von nacheinander aufgenommenen Bildern mit Abbildungen des Erfassungsbereiches 11 erfasst. In den Bildern der Bildfolge werden die Abbildungen des Objektes 21 mit Hilfe einer in der Auswerteeinheit hinterlegten Trackingfunktion ermittelt und somit die Abbildung des Objektes 21 über die Bilder der Bildfolge ermittelt. Durch die Verfolgung der Position der Abbildung des Objektes 21 kann eine genauere Vorhersage gemacht werden, in welchem Bildbereich des Bildpaares der zweiten Stereokamera das Objekt 21 abgebildet wird, wenn es sich im Nahbereich befindet. Insbesondere kann auf diese Weise bei einem Fahrassistenzsystem frühzeitig ermittelt werden, wenn ein Objekt 21, insbesondere aufgrund einer Kurvenfahrt eines Fahrzeugs 15, überhaupt nicht in den Nahbereich eintritt und somit nicht weiter berücksichtigt werden muss.In a further preferred embodiment of the invention, with the aid of the first stereo camera, an image sequence of successively recorded images with images of the detection area 11 detected. In the pictures of the picture sequence the pictures of the object become 21 determined using a stored in the evaluation unit tracking function and thus the image of the object 21 determined via the images of the image sequence. By tracking the position of the image of the object 21 a more accurate prediction can be made in which image area of the image pair of the second stereo camera the object 21 is pictured when it is in close range. In particular, in this way it can be determined early in a driver assistance system if an object 21 , in particular due to a cornering of a vehicle 15 , does not enter the immediate area at all and therefore does not need to be considered further.

In 5 ist eine schematische Darstellung einer Vorrichtung 90 zur Detektion mindestens eines Objektes 21 dargestellt. Das mit Hilfe der ersten Stereokamera erfasste Bildpaar wird in einem ersten Speicherelement 29 gespeichert. Mit Hilfe einer ersten Verarbeitungseinheit 31 wird die Abbildung des Objektes 21 in dem mit Hilfe der ersten Stereokamera erfassten Bildpaar detektiert und die Position der Abbildung des Objektes 21 im Bildpaar ermittelt. Ferner wird mit Hilfe der Verarbeitungseinheit 31 eine erste Objektliste mit Informationen über die im ersten Bildpaar detektierten Objekte 21 erzeugt und an eine Fusionseinheit 40 übermittelt.In 5 is a schematic representation of a device 90 for detecting at least one object 21 shown. The image pair acquired with the aid of the first stereo camera is stored in a first memory element 29 saved. With the help of a first processing unit 31 becomes the picture of the object 21 detected in the captured with the help of the first stereo camera image pair and the position of the image of the object 21 determined in the image pair. Further, using the processing unit 31 a first object list with information about the objects detected in the first image pair 21 generated and sent to a fusion unit 40 transmitted.

Das mit Hilfe des zweiten Stereokamerasystems erfasste zweite Bildpaar wird in einem zweiten Speicherelement 28 gespeichert. Mit Hilfe einer zweiten Verarbeitungseinheit 30 wird eine zweite Objektliste mit Informationen über die im zweiten Bildpaar detektierten Objekte 21 erzeugt und ebenfalls an die Fusionseinheit 40 ermittelt. Die Fusionseinheit 40 erzeugt in Abhängigkeit von den Informationen der ersten Objektliste und den Informationen der zweiten Objektliste ein Ausgangssignal, welches an eine Mensch-Maschine-Schnittstelle 50 und/oder eine Steuereinheit 52 übermittelt wird. Die Mensch-Maschine-Schnittstelle 50 ist insbesondere eine Anzeigeeinheit, über die der Bedienperson Informationen über relevante mit Hilfe einer Vorrichtung 90 detektierte und klassifizierte Objekte 21 übermittelt werden. Die Steuereinheit 52 dient zur Ansteuerung von Aktuatoren 54 bis 58. Bei den Aktuatoren 54 bis 58 handelt es sich insbesondere um ein Steuermodul zur Steuerung der Frontscheinwerfer eines Fahrzeugs 15, einen Bremsassistent eines Fahrzeugs 15, eine Einheit zur Steuerung einer Antriebseinheit einer Kopfstütze des Fahrzeugs 15 und/oder eine Einheit zur Steuerung eines Gurtstraffers.The captured with the help of the second stereo camera system second image pair is in a second memory element 28 saved. With the help of a second processing unit 30 is a second object list with information about the objects detected in the second image pair 21 generated and also to the fusion unit 40 determined. The fusion unit 40 generates an output signal which is sent to a man-machine interface in dependence on the information of the first object list and the information of the second object list 50 and / or a control unit 52 is transmitted. The man-machine interface 50 is in particular a display unit, via which the operator information about relevant with the help of a device 90 detected and classified objects 21 be transmitted. The control unit 52 serves to control actuators 54 to 58 , At the actuators 54 to 58 In particular, it is a control module for controlling the headlights of a vehicle 15 , a brake assistant of a vehicle 15 a unit for controlling a drive unit of a headrest of the vehicle 15 and / or a unit for controlling a belt tensioner.

Das beschriebene Verfahren und die beschriebene Vorrichtung 10, 20, 90 können auch zur Erfassung, zur Aufzeichnung, zur Bewertung und zum Zählen von statischen und bewegten Objekten sowie zur Verfolgung und zur Analyse des Bewegungsverhaltens von Personen und/oder Objekten und zur Vermessung von Objekten und/oder Personen genutzt werden. Die Vorrichtung 10, 20, 90 kann zur Objekterkennung in Kraftfahrzeugen, für Kraftfahrzeugassistenzsysteme, im Straßenverkehr, in Fertigungseinrichtungen, in Veranstaltungseinrichtungen, im Fern- und Nahverkehr, in landwirtschaftlichen Betrieben, in öffentlichen Einrichtungen, zum Kontrollieren von Massenflüssen und in Industrieprozessen zum Einsatz kommen. Die Vorrichtung 10, 20, 90 wird auch als Kombikamera bezeichnet.The method described and the device described 10 . 20 . 90 They can also be used to acquire, record, evaluate and count static and moving objects, and to track and analyze the movement behavior of people and / or objects and to measure objects and / or people. The device 10 . 20 . 90 can be used for object recognition in motor vehicles, for motor vehicle assistance systems, in road traffic, in production facilities, in event facilities, in long-distance and local traffic, on farms, in public facilities, for controlling mass flows and in industrial processes. The device 10 . 20 . 90 is also referred to as combi camera.

Bei einer weiteren Ausführungsform der Erfindung kann zusätzlich ein Mikrophon zur Aufzeichnung von Geräuschen vorgesehen sein. Die Geräusche werden zusammen mit den dazugehörigen Bildern gespeichert und/oder ausgewertet.at Another embodiment of the invention may additionally a microphone is provided for recording noises be. The sounds will be together with the corresponding ones Images saved and / or evaluated.

11: Platinecircuit board
2 bis 52 until 5: BilderfassungssensorImage Sensor
6, 76 7: Bauelementmodule
10, 20, 9010 20, 90: Vorrichtungcontraption
11, 1211 12: Erfassungsbereichdetection range
1515: Fahrzeugvehicle
1616: Fahrbahnroadway
17a, 17b, 18a,17a, 17b, 18a,: 18b Volllinie 18b full line
2121: Objektobject
28, 2928 29: Speicherelementstorage element
30, 3130 31: Verarbeitungseinheitprocessing unit
4040: Fusionseinheitfusion unit
5050: Mensch-Maschine-SchnittstelleHuman-machine interface
5252: Steuereinheitcontrol unit
54, 56, 5854 56, 58: Aktuatoractuator
60 bis 6360 to 63: Objektivlens
7070: Infrarotdiodeinfrared diode
80, 8380 83: Abstanddistance
102102: Kanteedge
P1P1: Fahrtrichtungdirection of travel

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

- DE 10033355 A1 [0003]
DE 102004061998 A1 [0004]
- DE 4219851 A1 [0005]
- DE 4410358 A1 [0006]
- DE 10025593 A1 [0007]

Claims

Device for detecting at least one object, comprising a camera, comprising a first image-sensing sensor ( 4 ), with a stereo camera comprising a second image capture sensor ( 2 ) and a third image acquisition sensor ( 3 ), and with an evaluation unit, wherein the evaluation unit in an image captured with the aid of the camera, the image of the object ( 21 ) is detected in this image and the position of the image of the object ( 21 ), the evaluation unit determines an image area of an image pair acquired with the aid of the stereo camera as a function of the determined position of the object ( 21 ) in the image acquired with the aid of the camera, and the evaluation unit determines the defined image area for detecting an image of the object ( 21 ) processed.

Contraption ( 10 . 20 . 90 ) according to claim 1, characterized in that the stereo camera is a second stereo camera, and that the camera has a fourth image sensor ( 5 ) and a first stereo camera.

Contraption ( 10 . 20 . 90 ) according to one of the preceding claims, characterized in that the evaluation unit based on the image of the object ( 21 ) in the defined image area at least one property of the object ( 21 ), in particular an object class containing the object ( 21 ) is determined.

Contraption ( 10 . 20 . 90 ) according to claim 3, characterized in that the evaluation unit in dependence on the property of the object ( 21 ) an output signal with information about the object ( 21 ) generated.

Contraption ( 90 ) according to claim 4, characterized in that a control unit ( 52 ) for controlling at least one actuator ( 54 . 56 . 58 ) is provided as a function of the output signal of the evaluation unit.

Contraption ( 10 . 20 . 90 ) according to one of the preceding claims, characterized in that the evaluation unit in the detection of the image of the object ( 21 ) in the image acquired with the aid of the camera, a first algorithm and in the detection of the image of the object ( 21 ) processes a second algorithm in the defined image area of the image pair acquired with the aid of the stereo camera, the second algorithm having a higher detection accuracy than the first algorithm.

Contraption ( 10 . 20 . 90 ) according to one of the preceding claims, characterized in that the evaluation unit in the images of an image sequence acquired with the aid of the camera in each case the image of the object ( 21 ) are detected in the respective image and the positions of the images of the object ( 21 ), and in that the evaluation unit determines an image area of an image pair acquired with the aid of the second stereo camera as a function of at least two determined position of the object ( 21 ) in at least two images of the image sequence acquired with the aid of the camera.

Contraption ( 10 . 20 . 90 ) according to one of the preceding claims, characterized in that the camera captures the image or the images of the image sequence before the stereo camera detects the image pair.

Contraption ( 10 . 20 . 90 ) according to one of the preceding claims, characterized in that the image acquisition sensors ( 2 to 5 ) and / or the evaluation unit on a circuit board ( 1 ), in particular a printed circuit board made of epoxy resin, are applied and connected to this electrically conductive.

Contraption ( 10 . 20 . 90 ) according to one of the preceding claims, characterized in that the image acquisition sensors ( 2 to 5 ) are semiconductor optical sensors, CCD image sensing sensors and / or CMOS image sensing sensors.

Contraption ( 20 . 90 ) according to one of claims 2 to 10, characterized in that a first objective ( 63 ) and a second lens ( 62 ) are arranged such that in each case an image of a detection range of the first stereo camera on in each case an image detection range of the image acquisition sensors ( 4 . 5 ) of the first stereo camera and / or focused, and that a third lens ( 60 ) and a fourth lens ( 61 ) are arranged such that in each case an image of a detection range of the second stereo camera on in each case one image-capturing region of the image-capturing sensors ( 2 . 3 ) of the second stereo camera are imaged and / or focused.

Contraption ( 20 . 90 ) according to claim 11, characterized in that the first objective ( 63 ) and the second lens ( 62 ) has a smaller aperture angle than the third lens ( 60 ) and the fourth lens ( 61 ) to have.

Contraption ( 20 . 90 ) according to one of claims 2 to 12, characterized in that at least one infrared diode ( 70 ) is provided for illuminating a part of the detection area of the first stereo camera and / or a part of the detection area of the second stereo camera.

Contraption ( 90 ) after one of vorge Henden claims, characterized in that the evaluation unit, a first processing module ( 30 ), a second processing module ( 31 ) and a central module ( 40 ), the first processing module ( 30 ) in an image captured with the aid of the camera, the images of objects ( 21 ) in this image and a first object list with information about the detected objects ( 21 ) to the central module ( 40 ), the second processing module ( 32 ) in a partial area of the image pair captured with the aid of the stereo camera, the images of the objects ( 21 ) and a second object list with information about the detected objects ( 21 ) to the central module ( 40 ) and the central module ( 40 ) generates an output signal in dependence on the information of the first object list and the information of the second object list.

Method for detecting at least one object in which an image is acquired with the aid of a camera, the image of the object ( 21 ) is detected in this image and the position of the image of the object ( 21 ) are detected, with the aid of a stereo camera, a pair of images is detected, an image area of the image pair depending on the determined position of the object ( 21 ) and in which the defined image area is determined according to a representation of the object ( 21 ) is searched.