DE102006055905B4

DE102006055905B4 - Method for vehicle environment detection and device for environment detection in a motor vehicle

Info

Publication number: DE102006055905B4
Application number: DE102006055905.3A
Authority: DE
Inventors: Thorsten Blaetter; Dr. Krökel Dieter
Original assignee: ADC Automotive Distance Control Systems GmbH
Current assignee: ADC Automotive Distance Control Systems GmbH
Priority date: 2006-11-27
Filing date: 2006-11-27
Publication date: 2020-01-30
Anticipated expiration: 2026-11-28
Also published as: DE102006055905A1

Abstract

Verfahren zur Umfelderkennung eines Kraftfahrzeugs (10) mittels eines Bilderfassungssystems (20), bei demein Bild eines vom Erfassungssystem erfassten Sichtfelds (21) des Fahrzeugumfelds auf zumindest einen Bildaufnehmer abgebildet wird, wobeider Bildaufnehmer eine Mehrzahl von Bildpunktaufnehmern und zumindest eine erste Art von Bildpunktaufnehmern mit einer ersten Empfindlichkeit undzumindest eine zweite Art von Bildpunktaufnehmern mit einer zweiten, von der ersten unterschiedlichen Empfindlichkeit aufweist,dadurch gekennzeichnet, dassnur ein Teil der vom Bildaufnehmer erzeugten Bilddaten ausgewertet wird, wobei das Sichtfeld in Teilbereiche aufgeteilt wird und jeder Teilbereich des Sichtfelds auf mindestens zwei Bildpunktaufnehmer unterschiedlicher Art abgebildet wird, und wobei für jeden Teilbereich in Abhängigkeit vom Umgebungslicht und/oder einer erkannten Verkehrssituation nur die Helligkeitsmesswerte von zumindest einer vorgegebenen Art von Bildpunktaufnehmern verarbeitet werden.Method for recognizing the surroundings of a motor vehicle (10) by means of an image acquisition system (20), in which an image of a field of view (21) of the vehicle surroundings recorded by the acquisition system is imaged on at least one image pickup, the image pickup comprising a plurality of image point recorders and at least a first type of image point pickup with one first sensitivity and at least a second type of pixel sensor with a second sensitivity different from the first, characterized in that only a part of the image data generated by the image sensor is evaluated, the field of view being divided into sub-areas and each part of the field of view being divided into at least two pixel sensors Type is mapped, and for each sub-area, depending on the ambient light and / or a recognized traffic situation, only the brightness measurement values of at least one predefined type of image point sensor are processed the.

Description

Die Erfindung betrifft ein Verfahren zur Fahrzeugumfelderkennung gemäß dem Oberbegriff von Anspruch 1 und eine Vorrichtung zur Umfelderkennung in einem Kraftfahrzeug gemäß dem Oberbegriff von Anspruch 14.The invention relates to a method for vehicle environment detection according to the preamble of claim 1 and a device for environment detection in a motor vehicle according to the preamble of claim 14.

Bei der Fahrzeugumfelderkennung mittels eines Kamerasystems müssen weite Helligkeitsbereiche abgedeckt werden. Tagsüber kann Blendung durch die Sonne oder deren Reflexionen die Sicht der Kamera beeinträchtigen. Nachts ist man auf die eigene Fahrzeugbeleuchtung angewiesen. Auch kann es gleichzeitig in einer Szene, wie beispielsweise bei Tunnelausfahrten, zu enormen Helligkeitsunterschieden kommen.When recognizing the vehicle surroundings using a camera system, wide brightness ranges must be covered. During the day, glare from the sun or its reflections can impair the view of the camera. At night you have to rely on your own vehicle lighting. There can also be enormous differences in brightness in a scene, such as when exiting tunnels.

Um diese großen Unterschiede trotzdem noch mit dem gleichen System auszuwerten, gibt es mehrere Möglichkeiten. Zeitlich versetzte Helligkeitsunterschiede, wie Tag und Nacht, können beispielsweise mit einer verstellbaren Blende ausgeglichen werden. Es können auch optische Filter verwendet werden, deren Filtereffekt sich dem einfallenden Licht anpasst, so genannte phototrope Gläser. Um gleichzeitig auftretende Helligkeitsunterschiede ohne Sättigungseffekte zu verarbeiten, werden CMOS Imager-Chips verwendet, die eine nicht-lineare Kennlinie besitzen, so zum Beispiel HDRC von IMS/Stuttgart, Kodak, Micron und anderen Herstellern, oder es wird durch schnell aufeinander folgende Mehrfachbelichtung unterschiedlicher Länge die gesamte Dynamik einer Szene mittels eines hochauflösenden AD-Wandlers erfasst wie in einem System von FHG-IMS/Duisburg. Bei der Mehrfachbelichtung ist eine aufwendige und gut angepasste Zeitsteuerung sowie eine Nachverarbeitung der Mehrfachbilder zu einem hochauflösenden Bild erforderlich. Außerdem kann es zu Artefakten wie doppelbelichteten Objekten kommen, die bei hohen Geschwindigkeiten beispielsweise Verkehrszeichen am Rande der Fahrbahn unscharf erscheinen lassen. Bei Imagern mit nichtlinearer Kennlinie kann zwar ein sehr hoher Dynamikbereich gleichzeitig aufgenommen werden, was aber mit einem geringen Kontrast der hellen Bereiche im Bild einhergeht.There are several ways to evaluate these big differences with the same system. Differences in brightness, such as day and night, can be compensated for with an adjustable aperture, for example. Optical filters can also be used, the filter effect of which adapts to the incident light, so-called phototropic glasses. In order to process simultaneously occurring differences in brightness without saturation effects, CMOS imager chips are used that have a non-linear characteristic, such as HDRC from IMS / Stuttgart, Kodak, Micron and other manufacturers, or it is done by rapid successive multiple exposures of different lengths the entire dynamic of a scene is recorded using a high-resolution AD converter, as in a system from FHG-IMS / Duisburg. With multiple exposure, complex and well-adapted timing and post-processing of the multiple images into a high-resolution image are required. In addition, artifacts such as double-exposed objects can occur, which, for example, make traffic signs appear blurred at the edge of the road at high speeds. Imagers with a non-linear characteristic can record a very high dynamic range at the same time, but this is accompanied by a low contrast of the bright areas in the image.

Um die hellen Tagfahrsituationen etwas abzudunkeln gibt es die Möglichkeit, Filter einzusetzen, die nur einen limitierten Teil des Sonnenspekturms durchlassen, also beispielsweise Farbfilter, OD-Filter. Gleichzeitig sollen diese Filter nicht in Nachtfahrsituationen zum Einsatz kommen, da die Szenen bereits dunkel sind und man hier die zur Verfügung stehende Helligkeit nicht noch mehr beeinträchtigen möchte.In order to darken the bright daytime driving situations, there is the option of using filters that only allow a limited part of the sun spike tower, e.g. color filters, OD filters. At the same time, these filters should not be used in night driving situations, since the scenes are already dark and you do not want to impair the available brightness even more here.

Die DE 103 04 703 A1 offenbart ein Verfahren zur Sichtbarmachung der Umgebung eines Fahrzeugs, insbesondere bei Dunkelheit, das gekennzeichnet ist durch - die Bereitstellung eines Visuell-Abbilds bzw. von dessen digitalen Daten der Umgebung, bevorzugt eines farbigen Visuell-Abbilds, wobei das visuelle Abbild die visuell sichtbaren Objekte zeigt, und - die Bereitstellung eines Infrarot-Abbilds bzw. von dessen digitalen Daten der Umgebung, wobei das Infrarot-Abbild die von den visuell sichtbaren und/oder weiteren Objekten ausgehende Infrarot-Strahlung zeigt.The DE 103 04 703 A1 discloses a method for making the surroundings of a vehicle visible, in particular in the dark, which is characterized by the provision of a visual image or of its digital data of the surroundings, preferably a colored visual image, the visual image showing the visually visible objects , and - the provision of an infrared image or its digital data of the surroundings, the infrared image showing the infrared radiation emanating from the visually visible and / or further objects.

Die DE 102 20 825 A1 betrifft eine Vorrichtung zur Bilderfassung mit mindestens einem Pixel, das mehrere Bildaufnahmeelemente umfasst, die unterschiedlich spektrale Empfindlichkeiten besitzen. Die spektrale Empfindlichkeit zumindest eines der Bildaufnahmeelemente liegt im Wesentlichen außerhalb des Wellenlängenbereiches von 400 nm bis 700 nm.The DE 102 20 825 A1 relates to a device for image acquisition with at least one pixel, which comprises a plurality of image recording elements which have different spectral sensitivities. The spectral sensitivity of at least one of the image recording elements is essentially outside the wavelength range from 400 nm to 700 nm.

Die EP 0 505 237 A1 betrifft ein in Verfahren zur Verbesserung der Nachtsicht durch Beleuchtung der Straße und der darin befindlichen Objekte mittels zweier Scheinwerfer, die Lichtstrahlen bestimmter Wellenlängen emittieren, und Erfassen eines von diesen Strahlen beleuchteten Bildes der Fahrbahn mittels eines Kamerasystems. Die beiden Scheinwerfer leuchten jeweils im Nahinfrarot- und im Ultraviolettfeld aus, und das Bild wird auch in Spektralbändern aufgenommen, die das nahe Infrarot und Ultraviolett abdecken, und das aus dieser Doppelaufnahme resultierende kombinierte Nachtbild wird an den Fahrer in oder in der Nähe seines üblichen Sichtfeldes zurückgegeben.The EP 0 505 237 A1 relates to a method for improving the night vision by illuminating the street and the objects therein by means of two headlights which emit light rays of specific wavelengths, and capturing an image of the roadway illuminated by these rays by means of a camera system. The two headlights illuminate in the near infrared and ultraviolet fields, respectively, and the image is also recorded in spectral bands covering the near infrared and ultraviolet, and the combined night image resulting from this double exposure is directed to the driver in or near his usual field of view returned.

Aufgabe der vorliegenden Erfindung ist es nun, ein Verfahren und eine Vorrichtung der eingangs genannten Art anzugeben, welche es insbesondere ermöglichen, ein breites Spektrum an Belichtungssituationen und/oder Beleuchtungs- und Umfelderkennungsapplikationen abzudecken.The object of the present invention is now to provide a method and a device of the type mentioned at the outset which, in particular, make it possible to cover a wide spectrum of exposure situations and / or lighting and environment detection applications.

Diese Aufgabe wird durch ein Verfahren zur Fahrzeugumfelderkennung mit den Merkmalen nach Anspruch 1 und eine Vorrichtung zur Umfelderkennung in einem Kraftfahrzeug mit den Merkmalen nach Anspruch 14 gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.This object is achieved by a method for vehicle environment detection with the features of claim 1 and a device for environment detection in a motor vehicle with the features of claim 14. Further refinements of the invention result from the dependent claims.

Gemäß einer Ausführungsform der Erfindung ist ein Verfahren zur Umfelderkennung eines Kraftfahrzeugs mittels eines Bilderfassungssystems vorgesehen, bei dem ein Bild eines vom Erfassungssystem erfassten Sichtfelds des Fahrzeugumfelds auf zumindest einen Bildaufnehmer abgebildet wird. Der Bildaufnehmer weist eine Mehrzahl von Bildpunktaufnehmern auf. Dabei ist zumindest eine erste Art von Bildpunktaufnehmern mit einer ersten spektralen Empfindlichkeit und zumindest eine zweite Art von Bildpunktaufnehmern mit einer zweiten, von der ersten unterschiedlichen, spektralen Empfindlichkeit auf. In einer bevorzugten Ausführungsform wird die spektrale Empfindlichkeit z. B. durch Farbfilter so vorgegeben, dass nur elektromagnetische Strahlung in einem vorgegebenen Spektralbereich vom Bildpunktaufnehmer detektiert wird und elektromagnetische Strahlung aus einem anderen Spektralbereich nicht zum Helligkeitswert beiträgt (z. B. Rotfilter, Blaufilter, Infrarotfilter, UV-Filter etc.). Eine andere Möglichkeit die spektrale Empfindlichkeit vorzugeben besteht darin, die elektromagnetische Strahlung in breiten Spektralbereichen abgeschwächt zu detektieren, wobei der Grad der Abschwächung in Abhängigkeit von der Wellenlänge der Strahlung erfolgen kann. Im Bereich des sichtbaren Lichts erzielt z. B. ein Graufilter diesen Effekt. According to one embodiment of the invention, a method is provided for recognizing the surroundings of a motor vehicle by means of an image acquisition system, in which an image of a field of view of the vehicle surroundings captured by the acquisition system is imaged on at least one image sensor. The image sensor has a plurality of pixel sensors. There is at least a first type of pixel pickup with a first spectral sensitivity and at least a second type of Pixel sensors with a second spectral sensitivity different from the first. In a preferred embodiment, the spectral sensitivity is e.g. B. specified by color filters so that only electromagnetic radiation in a given spectral range is detected by the image point sensor and electromagnetic radiation from another spectral range does not contribute to the brightness value (e.g. red filter, blue filter, infrared filter, UV filter etc.). Another possibility of specifying the spectral sensitivity is to detect the weakened electromagnetic radiation in broad spectral ranges, the degree of weakening depending on the wavelength of the radiation. In the area of visible light z. B. a gray filter this effect.

Erfindungsgemäß wird nur ein Teil der vom Bildaufnehmer erzeugten Bilddaten ausgewertet, wobei in Abhängigkeit vom Umgebungslicht und/oder einer erkannten Verkehrssituation nur die Helligkeitsmesswerte von zumindest einer vorgegebenen Art von Bildpunktaufnehmern verarbeitet werden.Die verschiedenen Arten von Bildpunktaufnehmern mit unterschiedlichen spektralen Empfindlichkeiten können beispielsweise durch Filter erhalten werden, die den Bildpunktaufnehmern vorgeschaltet sind. Dieses Prinzip wird z. B. bei Farbkamerachips angewendet. Eine Verkehrssituation z. B. eine Baustelle auf der Fahrbahn, eine Nachfahrt, die eine Steuerung des Fernlichts erfordert oder eine Situation die erhöhte Aufmerksamkeit des Fahrers erfordert und durch Verkehrszeichen (Stoppschild, Geschwindigkeitsbegrenzung, Baustelle) angezeigt wird kann durch eine Auswertung der Bilddaten mit einem geeigneten Auswerteprogramm erkannt werden. Die Helligkeit kann entweder mit einer separaten Photozelle oder mit dem Bildaufnehmer selbst bestimmt werden.According to the invention, only a part of the image data generated by the image sensor is evaluated, and depending on the ambient light and / or a recognized traffic situation, only the brightness measurement values of at least one predefined type of pixel sensor are processed that are upstream of the pixel sensors. This principle is used e.g. B. applied to color camera chips. A traffic situation e.g. B. a construction site on the road, a descent that requires control of the high beam or a situation that requires increased driver attention and is indicated by traffic signs (stop sign, speed limit, construction site) can be recognized by evaluating the image data with a suitable evaluation program , The brightness can be determined either with a separate photocell or with the image sensor itself.

Gemäß einer weiteren Ausführungsform der Erfindung kann das Bild des vom Erfassungssystem erfassten Sichtfelds des Fahrzeugumfelds auf einer Anzahl Bildpunktaufnehmer abgebildet werden. Die Abbildung erfolgt derart, dass jeder Teilbereich des Sichtfelds auf wenigstens einen ersten Bildpunktaufnehmer und wenigstens einen zweiten Bildpunktaufnehmer abgebildet wird. Der erste Bildpunktaufnehmer ist von der ersten Art von Bildpunktaufnehmern und der zweite Bildpunktaufnehmer von der zweiten Art von Bildpunktaufnehmern, so dass bei gleichem vom Umfeld ausgehendem Licht der erste und der zweite Bildpunktaufnehmer unterschiedliche Helligkeitsmesswerte erzeugen. Selektiv können pro Teilbereich des Sichtfelds die Helligkeitsmesswerte aller jener Bildpunktaufnehmer, auf die der Teilbereich projiziert wird und die eine bestimmte Empfindlichkeit aufweisen, ausgewertet werden, wobei die bestimmte Empfindlichkeit in Abhängigkeit von der lokal vom Teilbereich ausgehenden Beleuchtung festgelegt wird. Beispielsweise kann das Fahrzeugumfeld insbesondere durch ein geeignetes optisches System derart abgebildet werden, dass jeder Teilbereich des Sichtfelds von wenigstens zwei Bildpunktaufnehmern unterschiedlicher Empfindlichkeit aufgenommen wird. Selektiv können dann, in Abhängigkeit von der lokalen Helligkeit pro Teilbereich des Sichtfelds, in jedem Teilbereich des Sichtfelds die Helligkeitsmesswerte aller Bildpunktaufnehmer mit einer bestimmten Empfindlichkeit ausgewertet werden. Dabei kann diese Empfindlichkeit sowohl mit der Zeit als auch von Teilbereich zu Teilbereich variieren; insbesondere kann die Empfindlichkeit, bei der die Helligkeitsmesswerte der Bildpunktaufnehmer ausgewertet werden, in jedem Teilbereich individuell festgelegt werden.According to a further embodiment of the invention, the image of the field of view of the vehicle surroundings detected by the detection system can be imaged on a number of image point sensors. The mapping is carried out in such a way that each sub-area of the field of view is mapped to at least one first pixel pickup and at least one second pixel pickup. The first pixel pickup is of the first type of pixel pickup and the second pixel pickup is of the second type of pixel pickup, so that with the same light coming from the surroundings, the first and the second pixel pickup generate different brightness measurement values. For each sub-area of the field of view, the brightness measurement values of all those image point sensors onto which the sub-area is projected and which have a specific sensitivity can be selectively evaluated, the specific sensitivity being determined as a function of the lighting emanating locally from the sub-area. For example, the vehicle surroundings can be imaged in particular by a suitable optical system in such a way that each partial area of the field of view is recorded by at least two image point sensors of different sensitivity. Depending on the local brightness per sub-area of the field of view, the brightness measured values of all the image point sensors can then be selectively evaluated with a certain sensitivity in each sub-area of the field of view. This sensitivity can vary both over time and from section to section; In particular, the sensitivity at which the brightness measurement values of the pixel sensors are evaluated can be individually determined in each sub-area.

Die Auswahl kann gemäß einer Ausführungsform der Erfindung erfolgen, indem, jeweils für einen Teilbereich des Sichtfelds, bei einem Überschreiten eines bestimmten oberen Grenzwertes des Helligkeitsmesswertes eines Bildpunktaufnehmers einer hohen Empfindlichkeit auf die Auswertung der Helligkeitsmesswerte des oder der den fraglichen Teilbereich abdeckenden Bildpunktaufnehmer mit einer geringeren Empfindlichkeit zurückgegriffen wird, während bei einem Unterschreiten eines unteren Grenzwertes für die Helligkeitsmesswerte der weniger empfindlichen Bildpunktaufnehmer eine Auswertung der Messwerte von Bildpunktaufnehmern einer höheren Empfindlichkeit, welche den gleichen Teilbereich des Sichtfelds abdecken, vorgenommen wird.According to one embodiment of the invention, the selection can be made, in each case for a sub-area of the field of view, when a certain upper limit of the brightness measurement value of a pixel sensor with a high sensitivity is exceeded, based on the evaluation of the brightness measurement values of the pixel sensor or sensors covering the sub-area with a lower sensitivity is used, while falling below a lower limit for the brightness measurement values of the less sensitive image point sensors, an evaluation of the measurement values of image point sensors of a higher sensitivity, which cover the same sub-area of the field of view, is carried out.

Unter einem Bildpunktaufnehmer ist im Rahmen der vorliegenden Erfindung insbesondere ein einzelnes lichtempfindliches Element zu verstehen. Ein solches Element ist häufig in einem Bildaufnehmer, welcher eine Vielzahl von Bildpunktaufnehmern umfasst, angeordnet. Ein Bildaufnehmer kann beispielsweise ein CCD-Array sein. Die Bildpunktaufnehmer sind dann die einzelnen Photoelemente des CCD-Arrays. Die Bildpunktaufnehmer sind häufig, aber nicht zwingend, in Zeilen und Spalten angeordnet und werden auch als Pixel bezeichnet. Im Rahmen der vorliegenden Erfindung ist auch von Bedeutung, dass in einer geeigneten Vorrichtung zur Fahrzeugumfelderkennung Bildpunktaufnehmer angeordnet sind, welche eine unterschiedliche Empfindlichkeit aufweisen. In diesem Zusammenhang ist die unterschiedliche Empfindlichkeit nicht zwangsläufig als die Empfindlichkeit des Bildpunktaufnehmers per se zu verstehen, sondern als die Empfindlichkeit eines kompletten optischen Systems, das heisst als das Verhältnis eines Helligkeitsmesssignals, das vom Bildpunktaufnehmer generiert wird, bezogen auf die Belichtung der Vorrichtung beziehungsweise auf die Helligkeit - oder auch „Farbe“ - eines von dem Bildpunktaufnehmer detektierten - beziehungsweise auf einen Bereich, auf dem der Bildpunktaufnehmer angeordnet ist, projizierten - Objektes. Unter „Farbe“ ist dabei die spektrale Zusammensetzung des vom Objekt ausgehenden Lichtes zu verstehen. Die unterschiedliche Empfindlichkeit kann einerseits durch die Anordnung von unterschiedlichen Filtern im Strahlengang verschiedener Bildpunktaufnehmer, auf die im wesentlichen das gleiche Objekt - oder der selbe Ausschnitt des Sichtfeldes einer Vorrichtung zur Fahrzeugumfelderkennung - projiziert wird, erreicht werden. Andererseits ist es auch möglich, zwei Bildpunktaufnehmer, auf welche im Wesentlichen der gleiche Teilbereich des Sichtfeldes projiziert wird, unterschiedlich lange zu belichten, beispielsweise durch unterschiedlich lange Belichtungszeiten von Bildpunktaufnehmern eines CCD-Arrays. Selbstverständlich können auch Bildpunktaufnehmer unterschiedlicher Bauart Verwendung finden. Der Effekt soll aber immer derselbe sein, nämlich dass ein Teilbereich respektive jeder Teilbereich eines Sichtfeldes einer geeigneten Vorrichtung zur Fahrzeugumfelderkennung simultan mit unterschiedlicher Empfindlichkeit aufgenommen wird, derart, dass für die an sich gleiche Beleuchtungssituation immer wenigstens zwei unterschiedliche Helligkeitsmesswerte zur Verfügung stehen, oder, mit anderen Worten, dass mit dem gleichen darstellbaren und erfassbaren Bereich der Helligkeitsmesswerte unterschiedliche Beleuchtungssituationen aufgenommen werden können.In the context of the present invention, a pixel pickup is to be understood in particular as a single light-sensitive element. Such an element is often arranged in an image sensor, which comprises a large number of pixel sensors. An image sensor can be a CCD array, for example. The image point sensors are then the individual photo elements of the CCD array. The pixel recorders are often, but not necessarily, arranged in rows and columns and are also referred to as pixels. In the context of the present invention, it is also important that pixel sensors, which have a different sensitivity, are arranged in a suitable device for vehicle surroundings detection. In this context, the different sensitivity is not necessarily to be understood as the sensitivity of the pixel pickup per se, but as the sensitivity of a complete optical system, that is to say as the ratio of a brightness measurement signal generated by the pixel pickup, based on the exposure of the device or on the brightness - or also “color” - of an object detected by the pixel pickup or projected onto an area on which the pixel pickup is arranged. Under “Color” is the spectral composition of the light emanating from the object. The different sensitivity can be achieved, on the one hand, by arranging different filters in the beam path of different image point sensors, onto which essentially the same object - or the same section of the field of view of a device for vehicle surroundings detection - is projected. On the other hand, it is also possible to expose two image point recorders, onto which essentially the same partial area of the field of view is projected, for different lengths of time, for example by exposure times of pixel recordings of a CCD array of different lengths. Of course, pixel sensors of different designs can also be used. However, the effect should always be the same, namely that a partial area or each partial area of a field of view of a suitable device for vehicle surroundings detection is recorded simultaneously with different sensitivity, such that at least two different brightness measurement values are always available for the same lighting situation, or, with In other words, different lighting situations can be recorded with the same representable and detectable range of the brightness measured values.

Anders ausgedrückt umfasst das Verfahren also, das Bild eines Objektes simultan mit unterschiedlichen Belichtungs-Messbereichen aufzunehmen und in Teilbereichen der Abbildung spezifisch und selektiv Signale auszuwerten, die in einem Messbereich aufgenommen wurden, welcher eine gute Auflösung gewährleistet, ohne zu einer Übersteuerung des Bildpunktaufnehmers oder einer diesem nachgeschalteten Auswerteelektronik zu führen.In other words, the method includes recording the image of an object simultaneously with different exposure measurement areas and, in partial areas of the image, evaluating signals specifically and selectively that were recorded in a measurement area that ensures good resolution without overdriving the pixel sensor or one to guide this downstream evaluation electronics.

Nach einer weiteren Ausführungsform der Erfindung kann das Verfahren umfassen, wenigstens fallweise, in unterschiedlichen Teilbereichen des Sichtfeldes die Ausgangssignale von Bildpunktaufnehmern unterschiedlicher Empfindlichkeit auszuwerten.According to a further embodiment of the invention, the method can include, at least on a case-by-case basis, evaluating the output signals from pixel sensors of different sensitivity in different partial areas of the field of view.

Das Verfahren kann weiterhin gemäss einer Ausführungsform Erfindung umfassen, die Abbildung von Teilbereichen des Sichtfelds mit relativ grösserer Helligkeit auf Bildpunktaufnehmern mit relativ geringerer Empfindlichkeit und die Abbildung von Teilbereichen des Sichtfelds mit relativ geringerer Helligkeit auf Bildpunktaufnehmern mit relativ grösserer Empfindlichkeit auszuwerten.According to one embodiment, the method can further comprise evaluating the imaging of partial areas of the field of view with relatively greater brightness on pixel sensors with relatively lower sensitivity and the mapping of partial areas of the field of view with relatively lower brightness on pixel sensors with relatively greater sensitivity.

Gemäss einer weiteren Ausführungsform der Erfindung können die Ausgangssignale der ausgewerteten Bildpunktaufnehmer in unterschiedlichen Teilbereichen zu einem einzigen Bild zusammengeführt werden. Hierunter ist keineswegs zwangsläufig die physische Darstellung eines Bildes auf einem Bildschirm zu verstehen, sondern ebenfalls die Auswertung des gesamten Sichtbereichs für eine nachgeordnete Applikation.According to a further embodiment of the invention, the output signals of the evaluated image point recorders can be combined into a single image in different partial areas. This does not necessarily mean the physical representation of an image on a screen, but also the evaluation of the entire viewing area for a subordinate application.

Je nach angestrebtem Anwendungsfall kann das Verfahren gemäß einer Ausführungsform der Erfindung umfassen, weiterhin beispielsweise erste und zweite Bildpunktaufnehmer mit spektral unterschiedlichen Empfindlichkeiten zu verwenden oder auch erste und zweite Bildpunktaufnehmer mit breitbandig unterschiedlichen Empfindlichkeiten zu verwenden. Wie oben bereits erwähnt bezieht sich diese Empfindlichkeit auf die Helligkeit eines erfassten Objektes, und kann bei an sich physisch identischen Bildpunktaufnehmern beispielsweise durch die Anordnung geeigneter Filter in den jeweiligen Strahlengängen der Bildpunktaufnehmer erreicht werden.Depending on the intended application, the method according to one embodiment of the invention can further comprise, for example, using first and second pixel sensors with spectrally different sensitivities or also using first and second pixel sensors with broadband different sensitivities. As already mentioned above, this sensitivity relates to the brightness of a detected object, and can be achieved in the case of physically identical pixel sensors, for example, by arranging suitable filters in the respective beam paths of the pixel sensors.

In einer weiteren Ausführungsform der Erfindung können im Strahlengang zu wenigstens den ersten oder den zweiten Bildpunktaufnehmern optische Filter angeordnet werden, dergestalt, dass die Transmission des Lichtes zu den ersten und den zweiten Bildpunktaufnehmern unterschiedlich ist. Weiterhin kann die unterschiedliche Empfindlichkeit auch dadurch erreicht werden, dass erste und zweite Bildpunktaufnehmer unterschiedlich lang belichtet und/oder mit unterschiedlich langen Aufnahme-Integrationszeiten betrieben werden.In a further embodiment of the invention, optical filters can be arranged in the beam path to at least the first or the second pixel pickups, in such a way that the transmission of the light to the first and the second pixel pickups is different. Furthermore, the different sensitivity can also be achieved by exposing the first and second image point recorders to different lengths and / or operating them with recording integration times of different lengths.

Gemäß einer weiteren Ausführungsform der Erfindung kann das Verfahren umfassen, das erfasste Sichtfeld des Umfelds wenigstens zweifach auf voneinander verschiedenen Flächen abzubilden, wobei die ersten Bildpunktaufnehmer auf einer ersten Fläche und die zweiten Bildpunktaufnehmer auf einer zweiten Fläche angeordnet sind, und in einer Weiterbildung wenigstens im Strahlengang einer der Abbildungen einen optischen Filter anzuordnen, derart, dass in den optischen Strahlengängen wenigstens zweier Abbildungen die Transmission spektral oder breitbandig unterschiedlich ist.According to a further embodiment of the invention, the method can comprise imaging the detected field of view of the surroundings at least twice on different surfaces, the first pixel sensors being arranged on a first surface and the second pixel sensors being arranged on a second surface, and in a further development at least in the beam path to arrange an optical filter in one of the images such that the transmission is spectrally or broadband different in the optical beam paths of at least two images.

Gemäß einer anderen Ausführungsform der Erfindung kann das Verfahren umfassen, innerhalb eines Flächenbereichs eines Bildaufnehmers Bildpunktaufnehmer mit unterschiedlicher Empfindlichkeit anzuordnen und innerhalb des Flächenbereichs, auf den ein Teilbereich abgebildet wird, selektiv nur die Ausgangssignale von Bildpunktaufnehmern mit identischer Empfindlichkeit auszuwerten. Ein Teilbereich ist dabei so definiert, dass der Flächenbereich, auf den er abgebildet wird, wenigstens einen Bildpunktaufnehmer jeder Empfindlichkeit aufweist.According to another embodiment of the invention, the method can include arranging pixel sensors with different sensitivity within an area of an image sensor and selectively evaluating only the output signals of pixel sensors with identical sensitivity within the area on which a partial area is imaged. A subarea is defined in such a way that the area on which it is imaged has at least one pixel pickup of any sensitivity.

In einer Ausführungsform der Erfindung kann parallel auch die Empfindlichkeit der gesamten Vorrichtung oder eines Teils der Bildpunktaufnehmer bei zeitvariablen Belichtungssituationen in Abhängigkeit von der gesamten Belichtungssituation variiert werden, beispielsweise durch die Variation einer Blende oder der Belichtungszeit.In one embodiment of the invention, the sensitivity of the entire device or a part of the image point pickups in time-variable exposure situations can also be dependent can be varied from the entire exposure situation, for example by varying an aperture or the exposure time.

Eine weitere Ausführungsform der Erfindung sieht eine Vorrichtung zur Umfelderkennung in einem Kraftfahrzeug vor, die einen Bildaufnehmer sowie eine Auswerteeinheit umfasst. Der Bildaufnehmer umfasst seinerseits eine Mehrzahl von Bildpunktaufnehmern, welche insbesondere in Zeilen und Spalten angeordnet sind, wobei wenigstens innerhalb eines Flächenbereichs des Bildaufnehmers wenigstens drei Bildpunktaufnehmer mit unterschiedlichen Empfindlichkeiten, bezogen auf das von einem Objekt ausgehende Licht, angeordnet sind. Die Auswerteeinheit umfasst Mittel zur selektiven und ausschliesslichen Auswertung der Helligkeitsmesswerte aller jener Bildpunktaufnehmer innerhalb jedes Teilbereichs des Sichtfelds, die eine identische Empfindlichkeit aufweisen. Ein Teilbereich umfasst wenigstens einen Bildpunktaufnehmer jeder Empfindlichkeit. Dabei kann diese Empfindlichkeit sowohl mit der Zeit als auch von Teilbereich zu Teilbereich variieren; insbesondere wird die Empfindlichkeit, bei der die Helligkeitsmesswerte der Bildpunktaufnehmer ausgewertet werden, in jedem Teilbereich individuell festgelegt werden.A further embodiment of the invention provides a device for environment detection in a motor vehicle, which comprises an image sensor and an evaluation unit. The image pickup in turn comprises a plurality of image point pickups, which are arranged in particular in rows and columns, at least three image point pickups with different sensitivities, based on the light emitted by an object, being arranged at least within a surface area of the image pickup. The evaluation unit comprises means for the selective and exclusive evaluation of the brightness measurement values of all those image point sensors within each partial area of the field of view that have an identical sensitivity. A sub-area comprises at least one pixel pickup of each sensitivity. This sensitivity can vary both over time and from section to section; In particular, the sensitivity at which the brightness measurement values of the pixel sensors are evaluated will be individually determined in each sub-area.

In einer Ausführungsform der Vorrichtung werden die unterschiedlichen Empfindlichkeiten durch die Anordnung von Filtern mit unterschiedlicher Transmissionscharakteristik erzielt.In one embodiment of the device, the different sensitivities are achieved by arranging filters with different transmission characteristics.

In einer weiteren Ausführungsform ist innerhalb eines Flächenbereichs, welcher der Abbildung eines Teilbereichs des Sichtfelds der Vorrichtung dient, wenigstens ein Bildpunktaufnehmer filterlos ausgeführt.In a further embodiment, at least one image point sensor is embodied without a filter within a surface area which serves to image a partial area of the field of view of the device.

Selbstverständlich können die oben angegebenen Verfahrensvarianten beziehungsweise die Merkmale der oben angegebenen Ausführungsformen einer Vorrichtung zur Fahrzeugumfelderkennung jeweils untereinander zu spezifischen Ausführungsformen kombiniert werden.Of course, the above-mentioned method variants or the features of the above-mentioned embodiments of a device for vehicle surroundings recognition can each be combined with one another to form specific embodiments.

Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en).Further advantages and possible uses of the present invention result from the following description in connection with the embodiment (s) shown in the drawing (s).

In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in der/den Zeichnung(en) werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet.In the description, in the claims, in the abstract and in the drawing (s), the terms and associated reference symbols used in the list of reference symbols given below are used.

Die Zeichnung(en) zeigt/zeigen in

1 ein Kraftfahrzeug, welches eine den beanspruchten Gegenstand realisierende Vorrichtung umfasst;
2 ein Beispiel für eine von einem System zur Fahrzeugumfelderfassung zu erfassende Szenerie;
3 eine schematisierte Darstellung eines ersten Beispiels für eine zur Durchführung des Verfahrens geeignete Vorrichtung;
4 einen Bildaufnehmer mit in Zeilen und Spalten angeordneten Bildpunktaufnehmern;
5 eine schematisierte Darstellung des Verfahrens;
6 eine schematisierte Darstellung eines zweiten Beispiels für eine zur Durchführung des Verfahrens geeignete Vorrichtung;
7 eine schematisierte Darstellung für einen beispielhaften Bildaufnehmer, der Bildpunktaufnehmer mit zwei unterschiedlichen Empfindlichkeiten umfasst; und
8 eine schematisierte Darstellung für einen beispielhaften Bildaufnehmer, der Bildpunktaufnehmer mit vier unterschiedlichen Empfindlichkeiten umfasst.

The drawing (s) shows in

1 a motor vehicle comprising a device realizing the claimed subject matter;
2 an example of a scene to be captured by a system for vehicle surroundings detection;
3 a schematic representation of a first example of a device suitable for performing the method;
4 an image sensor with pixel sensors arranged in rows and columns;
5 a schematic representation of the method;
6 a schematic representation of a second example of a device suitable for performing the method;
7 a schematic representation of an exemplary image sensor that includes image sensor with two different sensitivities; and
8th a schematic representation of an exemplary image sensor, which includes image sensors with four different sensitivities.

In der 1 ist ein Fahrzeug 10 dargestellt welches eine Vorrichtung 20 zur Umfelderkennung aufweist. Das Sichtfeld 21 der Vorrichtung ist schematisch dargestellt und kann je nach Anwendung einen größeren oder kleineren Öffnungswinkel aufweisen oder beispielsweise stärker zum Fahrbahnrand hin ausgerichtet sein; dies ist nicht primär erfindungswesentlich.In the 1 is a vehicle 10 shown which is a device 20 for environment detection. The field of vision 21 the device is shown schematically and, depending on the application, can have a larger or smaller opening angle or, for example, be oriented more towards the edge of the road; this is not primarily essential to the invention.

Die Vorrichtung 20 zur Umfelderkennung weist einen Bildaufnehmer auf, der als Bildpunktaufnehmer der ersten Art Graufilter, als Bildpunktaufnehmer der zweiten Art Gelbfilter und als Bildpunktaufnehmer der dritten Art Bildpunktaufnehmer ohne vorgeschalteten Filter vorsieht. Die verschiedenen Arten der Bildpunktaufnehmer
Bei sehr hellen Umfeldern, die z. B. für direkte Sonneneinstrahlung typisch sind, sind die Helligkeitswerte der Bildpunktaufnehmer ohne Filter i. d. R. in der Sättigung und Umgebungsobjekte werden nur kontrastarm dargestellt. In diesem Fall werden nur die Daten der Bildpunktaufnehmer mit Graufilter ausgewertet, die eine kontrastreiche Darstellung von Umgebungsobjekten ermöglicht. Im umgekehrten Fall, wenn das Umfeld sehr lichtarm ist, z. B. während der Dämmerung, würde eine Auswertung nur der Bildpunktaufnehmer mit Graufilter ein viel zu dunkles Bild ergeben, in diesem Fall werden die Bildpunktaufnehmer ohne Filter ausgewertet. Dadurch kann der Dynamikbereich des Bildaufnehmersystems im Vergleich zu einem einfachen Bildaufnehmer wesentlich erhöht werden. Als Bildpunktaufnehmer der zweiten Art ein Farbfilter wie z.B. ein Gelbfilter oder ein Rotfilter vorgesehen. In der Umgebung einer Baustelle beispielsweise, werden die Helligkeitswerte der Bildpunktaufnehmer mit Gelbfilter bevorzugt ausgewertet, um die gelben provisorischen Fahrbahnmarkierungen, die die Fahrspur begrenzen, mit großer Sicherheit zu erkennen. Diese Ausgestaltung der Erfindung ist z.B. für eine Warnfunktion, wenn die Fahrspur verlassen wird, von Bedeutung. Bildpunktaufnehmer mit Rotfilter sind z. B. bei der Erkennung von Verkehrszeichen oder den Rückleuchten eines vorausfahrenden Fahrzeugs von Bedeutung.The device 20 for environment detection has an image sensor, which provides a gray filter as a pixel sensor of the first type, a yellow filter as a pixel sensor of the second type and a pixel sensor without an upstream filter as a third sensor. The different types of pixel sensors
In very bright environments, e.g. B. are typical for direct sunlight, the brightness values of the image point sensors without filters are usually in the saturation and surrounding objects are only displayed with low contrast. In this case, only the data from the pixel sensors with a gray filter are evaluated, which enables a high-contrast display of surrounding objects. In the opposite case, if the environment is very light poor, e.g. B. during twilight, an evaluation of only the image point sensor with gray filter would result in a much too dark picture, in this case the image point sensor without filter is evaluated. As a result, the dynamic range of the image pickup system can be significantly increased compared to a simple image pickup. As the pixel pickup of the second A color filter such as a yellow filter or a red filter is provided. In the vicinity of a construction site, for example, the brightness values of the image point pickups with a yellow filter are preferably evaluated in order to be able to recognize with certainty the yellow provisional lane markings which delimit the lane. This embodiment of the invention is important, for example, for a warning function when the lane is left. Pixel sensors with a red filter are e.g. B. in the detection of traffic signs or the taillights of a vehicle in front of importance.

In der 2 ist ein Beispiel für ein Szenario dargestellt, dessen Erfassung durch eine Vorrichtung zur Fahrzeugumfelderfassung aufgrund der großen Helligkeitsunterschiede hohe Anforderungen stellt. Innerhalb des Sichtfeldes 21 befindet sich ein Waldstück 212 im Gegenlicht samt einem Schattenbereich. Den Kontrast dazu bildet der Himmel 212 mit der tiefstehenden Sonne. Weiter verschärft wird die Situation, wenn die Fahrbahn beispielsweise nass ist und die Sonne spiegelt. Weitere Beispiele für Szenarien mit großen Helligkeitsunterschieden sind Tunnelein- oder - ausfahrten, Durchfahrten durch Alleen oder Einfahrten in und Ausfahrten aus Waldstücken an hellen Sommertagen, Nachtfahrsituationen mit Gegenverkehr, insbesondere bei Regen, und dergleichen mehr.In the 2 an example of a scenario is shown, the detection of which by a device for vehicle surroundings detection places high demands on account of the large differences in brightness. Within the field of vision 21 there is a piece of forest 212 backlit with a shadow area. The sky contrasts 212 with the low sun. The situation is further exacerbated when, for example, the road is wet and the sun is reflecting. Further examples of scenarios with large differences in brightness are tunnel entrances or exits, passages through avenues or entrances into and exits from forest areas on bright summer days, night driving situations with oncoming traffic, especially when it rains, and the like.

Wird die Empfindlichkeit eines Bildaufnehmers, beispielsweise durch geeignete Filter, Blenden, oder die Wahl der Belichtung, so gewählt, dass der helle Bereich 212 noch ohne Übersteuerung des Bilderfassungssystems erfassbar ist, so wird in den dunklen Bereichen des Sichtfeldes der Kontrast so gering, dass beispielsweise die Person 213 oder das Schild 215 nicht mehr erfassbar sind. Wird die Empfindlichkeit, oder, anders ausgedrückt, der Messbereich der photoempfindlichen Elemente, hingegen so gewählt, dass die Gegenstände in der Schattenzone oder vor dem Waldstück noch mit einer hinreichenden Auflösung abgebildet werden, wird es im hellen Bereich 212 zu einer Übersteuerung kommen, derart, dass dort die Erfassung in der Konsequenz als ausgefallen betrachtet werden muss. Ein entgegenkommendes Fahrzeug 214 oder andere Gegenstände in diesem Bereich sind dann nicht mehr erkennbar.If the sensitivity of an image sensor, for example by means of suitable filters, diaphragms, or the choice of exposure, is chosen so that the bright area 212 is still detectable without overdriving the image acquisition system, the contrast in the dark areas of the field of view becomes so low that, for example, the person 213 or the shield 215 are no longer detectable. If, on the other hand, the sensitivity, or, to put it another way, the measuring range of the photosensitive elements, is chosen so that the objects in the shadow zone or in front of the forest are still displayed with sufficient resolution, it will be in the bright area 212 Oversteer occur in such a way that the detection must consequently be regarded as failed. An oncoming vehicle 214 or other objects in this area are then no longer recognizable.

In der 3 ist eine erste beispielhafte Ausführungsform für eine Vorrichtung 20, wie sie zur Durchführung eines Verfahrens der beschriebenen Art verwendbar ist, sowie deren Anwendung schematisch dargestellt. Das Sichtfeld 21 ist schematisch mit einem dunklen Bereich 211 und einem hellen Bereich 212 dargestellt. Die beispielhaft dargestellte Vorrichtung 2 weist zwei stark vereinfacht als Linsen 22 dargestellte abbildende Systeme auf; real finden hier zum Beispiel Objektivsysteme Anwendung.In the 3 10 is a first exemplary embodiment for a device 20 how it can be used to carry out a method of the type described, and its application is shown schematically. The field of vision 21 is schematic with a dark area 211 and a bright area 212 shown. The device shown as an example 2 has two simplistic than lenses 22 imaging systems shown on; Real lens systems are used here, for example.

Das Sichtfeld 21 wird im Beispiel auf zwei Bildaufnehmer 23a und 23b abgebildet; es kann hier auch eine Abbildung auf zwei unterschiedliche Flächenbereiche eines einzigen Bildaufnehmers erfolgen. Eine schematische Darstellung eines Bildaufnehmers 23 ist in 4 dargestellt. Dieser umfasst M × N Bildpunktaufnehmer ZmCn, die in M Zeilen Zm und in N Spalten Cn angeordnet sind. Auf die Bildaufnehmer 23a und 23b werden und " des Sichtfelds projiziert. In dem Strahlengang der " auf dem Bildaufnehmer 23b ist ein Filterelement 24 angeordnet, beispielsweise ein Graufilter, der die Helligkeit des auf den Bildaufnehmer 23b projizierten Bildes 21" gegenüber der Helligkeit des auf den Bildaufnehmer 23a projizierten Bildes 21' reduziert. Das Sichtfeld kann in Teilbereiche aufgeteilt werden; beispielhaft ist ein Teilbereich 219 sowie dessen und " eingezeichnet.The field of vision 21 is in the example on two image recorders 23a and 23b displayed; imaging on two different surface areas of a single image sensor can also take place here. A schematic representation of an image sensor 23 is in 4 shown. This includes M × N pixel sensors ZmCn that in M lines cm and in N columns cn are arranged. On the image sensor 23a and 23b become and "of the field of view. In the beam path of the "on the image sensor 23b is a filter element 24 arranged, for example a gray filter, the brightness of the image sensor 23b projected image 21 " versus the brightness of the on the imager 23a projected image 21 ' reduced. The field of vision can be divided into sections; a section is exemplary 219 as well as its and "drawn.

Die Auswertung des Sichtfeldes erfolgt nun, indem für alle Teilbereiche, die im dunklen Feld liegen, die Helligkeitsmesswerte der dem jeweiligen Teilbereich zugeordneten Bildpunktaufnehmer des Bildaufnehmers 23a verwertet werden während für alle Teilbereiche, die im hellen Feld liegen, die Helligkeitsmesswerte der dem jeweiligen Teilbereich zugeordneten Bildpunktaufnehmer des Bildaufnehmers 23b verwertet werden. „Zugeordnet“ ist dabei in dem Sinne zu verstehen, dass ein Bildpunktaufnehmer in einem Flächenbereich angeordnet ist, auf den der Teilbereich projiziert wird. Die Auswertung erfolgt damit aufgrund des nicht abgedunkelten, also mit einer hohen Empfindlichkeit aufgenommenen Bildes 211' des dunklen Bereiches und der abgedunkelten und damit mit einer geringeren Empfindlichkeit aufgenommenen " des hellen Bereiches.The field of view is now evaluated by measuring the brightness values of the image sensor of the image sensor assigned to the respective area for all sub-areas lying in the dark field 23a while the brightness measurement values of the image sensor's image point sensors assigned to the respective area are used for all partial areas lying in the bright field 23b be used. “Assigned” is to be understood in the sense that an image point sensor is arranged in a surface area onto which the partial area is projected. The evaluation is therefore carried out on the basis of the non-darkened image, that is to say with a high sensitivity 211 ' of the dark area and the darkened and thus recorded with less sensitivity "of the bright area.

Dieses Ergebnis ist in 5 dargestellt. Die Auswahl kann beispielsweise erfolgen, indem für jeden Bildpunkt m,n der Helligkeitsmesswert des in der Zeile m und der Spalte n des Bildaufnehmers 23a angeordneten relativ empfindlicheren Bildpunktaufnehmers ZmCn(a) mit einem oberen Grenzwertwert verglichen wird. Liegt der Messwert unter dem oberen Grenzwert, wird das Signal des Bildpunktaufnehmers ZmCn(a) des Bildaufnehmers 23a zur Verarbeitung herangezogen, liegt der Wert darüber, wird der Helligkeitsmesswert des in der Zeile m und der Spalte n des Bildaufnehmers 23b angeordneten relativ weniger empfindlichen Bildpunktaufnehmers ZmCn(b) herangezogen. Alternativ oder ergänzend wird das Signal des Bildpunktaufnehmers ZmCn(b) auf dem Bildaufnehmer 23b mit einem unteren Grenzwert verglichen. Liegt das Signal über dem unteren Grenzwert, wird das Signal des Bildpunktaufnehmers ZmCn(b) des Bildaufnehmers 23b zur Verarbeitung herangezogen, liegt der Wert darunter, wird das Signal des empfindlicheren Bildpunktaufnehmers ZmCn(a) des Bildaufnehmers 23a herangezogen. Es versteht sich von selbst, dass die Auswahl der Grenzwerte in geeigneter Weise den Verhältnissen der Empfindlichkeiten angepasst sein muss. Wie leicht nachvollziehbar ist, beziehen sich die Angaben zur Empfindlichkeit auf die Helligkeit des Sichtfeldes 21 beziehungsweise der dort vorhandenen und auf den Bildaufnehmern abgebildeten Objekte.This result is in 5 shown. The selection can be made, for example, for each pixel m, n the measured brightness value of the image sensor in row m and column n 23a arranged relatively more sensitive image point sensor ZmCn (a) is compared with an upper limit value. If the measured value is below the upper limit value, the signal of the pixel pickup ZmCn (a) of the image pickup 23a If the value is used for processing, the value is greater than the brightness measurement value in the row m and column n of the image sensor 23b arranged relatively less sensitive pixel sensor ZmCn (b) used. As an alternative or in addition, the signal of the pixel pickup ZmCn (b) on the image pickup 23b compared to a lower limit. If the signal is above the lower limit value, the signal of the pixel pickup ZmCn (b) of the image pickup 23b used for processing, the value is below, the signal of the more sensitive pixel sensor ZmCn (a) of the image sensor 23a used. It goes without saying even that the selection of the limit values must be suitably adapted to the ratios of the sensitivities. As is easy to understand, the information on sensitivity relates to the brightness of the field of view 21 or the objects available there and imaged on the image recorders.

Parallel hierzu kann auch die Empfindlichkeit der gesamten Vorrichtung oder eines der beiden Bildaufnehmer bei zeitvariablen Belichtungssituationen in Abhängigkeit von der gesamten Belichtungssituation variiert werden, beispielsweise durch die Variation einer Blende oder der Belichtungszeit.At the same time, the sensitivity of the entire device or one of the two image recorders in time-variable exposure situations can be varied as a function of the overall exposure situation, for example by varying an aperture or the exposure time.

Bei einer nicht dargestellten Ausführungsform mit drei Bildaufnehmern 23a, 23b, 23c, wobei 23a die größte Empfindlichkeit aufweist und 23c die geringste Empfindlichkeit aufweist, könnte dieser Algorithmus wie folgt ausgeführt sein: Die Helligkeitsmesswerte der Bildpunktaufnehmer ZmCm(b) des Bildaufnehmers mit der mittleren Empfindlichkeit werden mit einem oberen und einem unteren Grenzwert verglichen. Liegt der Messwert unter dem unteren Grenzwert, wird der Messwert des Bildpunktaufnehmers ZmCn(a) des empfindlicheren Bildaufnehmers 23a zur Verarbeitung herangezogen. Liegt der Messwert über dem oberen Grenzwert, wird der Messwert des geringer empfindlichen Bildpunktaufnehmers ZmCn(c) des Bildaufnehmers 23c zur Verarbeitung herangezogen. Liegt der Wert zwischen dem oberen und dem unteren Grenzwert, wird der Messwert des Bildpunktaufnehmers ZmCn(b) des Bildaufnehmers 23b herangezogen. Es ist auch möglich, dieses Verfahren kaskadiert einzusetzen, wenn Bildpunktaufnehmer mit mehr als drei unterschiedlichen Empfindlichkeiten angeordnet sind.In an embodiment, not shown, with three image recorders 23a . 23b . 23c , where 23a has the greatest sensitivity and 23c has the lowest sensitivity, this algorithm could be implemented as follows: The brightness measurement values of the pixel sensors ZmCm (b) of the image sensor with the medium sensitivity are compared with an upper and a lower limit value. If the measured value is below the lower limit, the measured value of the pixel sensor ZmCn (a) of the more sensitive image sensor becomes 23a used for processing. If the measured value is above the upper limit value, the measured value of the less sensitive image point sensor ZmCn (c) of the image sensor becomes 23c used for processing. If the value lies between the upper and the lower limit value, the measured value of the pixel sensor ZmCn (b) of the image sensor 23b used. It is also possible to use this method in a cascaded manner if pixel sensors with more than three different sensitivities are arranged.

Eine weitere beispielhafte Ausführungsform zeigt die 6. Das Sichtfeld 21 wird auf einen einzigen Bildaufnehmer 23 abgebildet. Ein Element 24 weist eine schachbrettartige Anordnung von Bereichen unterschiedlicher Transmission auf, wobei jedes der Felder einer bestimmten Transmission einem Bildpunktaufnehmer des Bildaufnehmers 23 zugeordnet ist. Wie in 7 dargestellt, weisen jeweils zwei benachbarte Bildpunktaufnehmer ZmCn und Z(m+1)Cn bzw. ZmCn und ZmC(n+1) eine unterschiedliche Empfindlichkeit auf. Ein Teilbereich 219 ist jeweils so definiert, dass dessen wenigstens zwei Bildpunktaufnehmer unterschiedlicher Empfindlichkeit umfasst.Another exemplary embodiment is shown in FIG 6 , The field of vision 21 is on a single imager 23 displayed. An element 24 has a chessboard-like arrangement of areas of different transmission, each of the fields of a particular transmission being a pixel pickup of the image pickup 23 assigned. As in 7 shown, each have two adjacent image point sensors ZmCn and Z (m + 1) Cn or ZmCn and ZmC (n + 1) have a different sensitivity. A subarea 219 is defined in such a way that comprises at least two pixel sensors of different sensitivity.

In einer weiteren beispielhaften Ausführungsform werden innerhalb jedes Teilbereiches die Helligkeitsmesswerte aller Bildpunktaufnehmer ausgewertet, welche eine Empfindlichkeit aufweisen die groß genug ist, um gute Auflösung der dunklen Bereiche des Bildes zu gewährleisten und die klein genug ist, um eine Übersteuerung der hellen Bereiche des Bildes zu vermeiden. Die Auswahl dieser Bildpunktaufnehmer kann analog zu dem oben angegebenen Algorithmus erfolgen.In a further exemplary embodiment, the brightness measured values of all the image point recorders are evaluated within each partial area, which have a sensitivity which is large enough to ensure good resolution of the dark areas of the image and which is small enough to avoid overloading the bright areas of the image , The selection of these image point sensors can be carried out analogously to the algorithm specified above.

Das dargestellte Verfahren und die dargestellte Vorrichtung ermöglichen es, ohne gegenüber einem konventionellen System den Aufwand wesentlich zu erhöhen, bei einem gewissen aber geringen Verlust an möglicher räumlicher Auflösung die darstellbare Dynamik drastisch zu erhöhen. Dabei kann durch eine Erhöhung der Anzahl von Bildpunktaufnehmern der räumliche Auflösungsverlust wenigstens teilweise wettgemacht werden. Eine Variante umfasst auch eine leichte Defokusierung der Abbildung, so, dass ein Punkt des Sichtfeldes leicht verschmiert über mehrere Bildpunktaufnehmer abgebildet wird, wie dies auch in der WO 01/070538 beschrieben ist.The method and the device shown make it possible to drastically increase the dynamic range that can be represented, without significantly increasing the outlay compared to a conventional system, with a certain but slight loss of possible spatial resolution. The increase in the number of pixels can at least partially compensate for the loss of spatial resolution. A variant also includes a slight defocusing of the image, so that a point of the field of view is shown slightly smeared over several image point sensors, as in the WO 01/070538 is described.

In der 8 ist ein weiteres Ausführungsbeispiel dargestellt, wobei der Bildaufnehmer Bildpunktaufnehmer mit vier unterschiedlichen Empfindlichkeiten, gekennzeichnet als 1, 2, 3 und 4, aufweist. Die Bildpunktaufnehmer unterschiedlicher Empfindlichkeit sind je Zeile m und Spalte n in einer festen Reihenfolge angeordnet, wobei die Anordnung je Zeile und Spalte um ein Element verschoben ist. Damit wird ein räumliches Aliasing und damit eine mögliche Unterdrückung vertikaler oder waagerechter Strukturen, das sich bei einer strengen Anordnung je einer Empfindlichkeit in einer Zeile und einer Spalte ergäbe, deutlich vermindert. Um diesen Effekt weiter zu reduzieren, könnten die Bildpunktaufnehmer unterschiedlicher Empfindlichkeiten auch zufällig auf dem Bildaufnehmer verteilt angeordnet sein, wobei dann aber die jeweilige Zuordnung bekannt sein muss.In the 8th A further exemplary embodiment is shown, the image sensor having pixel sensors with four different sensitivities, identified as 1, 2, 3 and 4. The pixel sensors of different sensitivity are arranged in a fixed order per row m and column n, the arrangement being shifted by one element per row and column. This significantly reduces spatial aliasing and thus the possible suppression of vertical or horizontal structures, which would result in a strict arrangement of sensitivity in one row and one column. In order to further reduce this effect, the image point recorders of different sensitivities could also be arranged randomly on the image recorder, but the respective assignment must then be known.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1010: Kraftfahrzeugmotor vehicle
2020: Vorrichtung zur UmfelderfassungEnvironment detection device
2121: Sichtfeldfield of view
21'21 ': Abbildung des SichtfeldsIllustration of the field of view
21"21 ": Abbildung des SichtfeldsIllustration of the field of view
2222: abbildendes System; Linseimaging system; lens
2323: Bildaufnehmerimager
23a23a: Bildaufnehmerimager
23b23b: Bildaufnehmerimager
2424: optisches Filterelementoptical filter element
211211: dunkler Bereich im Sichtfelddark area in the field of vision
211'211 ': Abbildung des dunklen BereichsIllustration of the dark area
211"211 ': Abbildung des dunklen BereichsIllustration of the dark area
212212: heller Bereich im Sichtfeldbright area in the field of vision
212'212 ': Abbildung des hellen BereichsIllustration of the light area
212"212 ': Abbildung des hellen BereichsIllustration of the light area
213213: Objektobject
214214: Objektobject
215215: Objektobject
219219: Teilbereich des SichtfeldsPart of the field of view
219'219 ': Abbildung des Teilbereichs des SichtfeldsIllustration of the partial area of the field of view
219"219 ': Abbildung des Teilbereichs des SichtfeldsIllustration of the partial area of the field of view
Cncn: Spalte n eines BildaufnehmersColumn n of an image sensor
Zmcm: Zeile m eines BildaufnehmersLine m of an image sensor
ZmCnZmCn: Bildpunktaufnehmer in Zeile m und Spalte n eines BildaufnehmersImage sensor in row m and column n of an image sensor
1, 2, 3, 41, 2, 3, 4: Empfindlichkeiten der BildpunktaufnehmerSensitivities of the pixel sensors

Claims

Method for recognizing the surroundings of a motor vehicle (10) by means of an image capture system (20), in which an image of a field of view (21) of the vehicle surroundings captured by the capture system is imaged on at least one image pickup, the image pickup comprising a plurality of image point recorders and at least a first type of image point pickup with a first sensitivity and at least a second type of pixel sensor with a second sensitivity different from the first, characterized in that only part of the image data generated by the image sensor is evaluated, the field of view being divided into sub-areas and each sub-area of the field of view at least two pixel sensors of different types are imaged, and for each sub-area, depending on the ambient light and / or a recognized traffic situation, only the brightness measured values of at least one predetermined type of pixel sensors are processed be.

Procedure according to Claim 1 , characterized in that the image of the field of view (21) of the vehicle surroundings detected by the detection system is imaged on a number of image point recorders, the image being such that each partial area (219) of the field of view is imaged on at least a first image point pickup and at least a second image point pickup , wherein the first pixel pickup is of the first type of pixel pickup and the second pixel pickup is of the second type of pixel pickup, so that with the same light emanating from the surroundings, the first and second pixel pickups generate different brightness measurement values, being selective for each partial area (219) of the field of view the brightness measurement values of all those image point recorders onto which the partial area is projected and which have a certain sensitivity are evaluated, the specific sensitivity being determined as a function of the lighting emanating locally from the partial area d.

Procedure according to Claim 2 , characterized in that the brightness measured values of pixel sensors of different sensitivity are evaluated in different partial areas.

Procedure according to Claim 2 or 3 , characterized in that the imaging of partial areas of the field of view with relatively greater brightness (212) on pixel sensors with relatively lower sensitivity and the imaging of partial areas of the field of view with relatively lower brightness (211) on pixel sensors with relatively greater sensitivity are evaluated.

Method according to one of the Claims 2 to 4 , characterized in that the output signals of the evaluated pixel pickups in different partial areas, which may be obtained with different sensitivity, are combined into a single image.

Method according to one of the Claims 2 to 5 , characterized in that the first and second pixel sensors with spectrally different sensitivities are used.

Method according to one of the Claims 2 to 6 , characterized in that first and second pixel sensors with broadband different sensitivities are used.

Method according to one of the Claims 2 to 7 , characterized in that the first and second image point sensors are exposed for different lengths and / or are operated with recording integration times of different lengths.

Method according to one of the Claims 2 to 8th , characterized in that optical filters (24) are arranged in the beam path to at least the first or the second pixel pickups, in such a way that the transmission of the light to the first and the second pixel pickups is different.

Method according to one of the Claims 8 or 9 , characterized in that identical first and second pixel sensors are used.

Method according to one of the Claims 2 to 10 , characterized in that the detected field of view of the surroundings is imaged at least twice on different surfaces (23a, 23b), the first pixel sensors being arranged on a first surface and the second pixel sensors being arranged on a second surface.

Procedure according to Claim 11 , characterized in that an optical filter (24) is arranged at least in the beam path of one of the images, such that the transmission is different in the optical beam paths of at least two images.

Method according to one of the Claims 2 to 12 , characterized in that within a surface area of an image sensor (23) which serves to image a partial area (219) of the field of view, pixel sensors with different sensitivity (1, 2, 3, 4) are arranged and within the surface area only the output signals of Pixel sensors with identical sensitivity can be evaluated.

Device for environment detection in a motor vehicle, comprising an image sensor (23) and an evaluation unit, the image sensor comprising a plurality of image point sensors (ZmCn) which are arranged in rows (Zm) and columns (Cn), and wherein within an area of the image sensor at least three pixel sensors with different sensitivities (1, 2, 3, 4), based on the light emanating from an object, and the evaluation unit comprises means for the selective and exclusive evaluation of the brightness values of all those pixel sensors of an area that have an identical sensitivity have, this selection is changeable, characterized in that the pixel sensors of different sensitivity in each row and / or column of the image sensor are arranged in a fixed repeating order, and the arrangement in each subsequent row and / or column by a B The point sensor is offset.

Device according to Claim 14 , characterized in that the different sensitivities are obtained by the arrangement of filters with different transmission characteristics in the beam path to the image point sensors.

Device according to one of the Claims 14 or 15 , characterized in that within a surface area which serves to image a partial area of the field of view, at least one image point sensor is designed without a filter.