DE102011006068A1

DE102011006068A1 - Assembly for a driver assistance system in a vehicle, has ultrasonic sensor and image sensor, where ultrasonic sensor and image sensor are provided in common optical path

Info

Publication number: DE102011006068A1
Application number: DE102011006068A
Authority: DE
Inventors: Jörg Heckel; Albrecht Irion
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2011-03-24
Filing date: 2011-03-24
Publication date: 2012-09-27

Abstract

The assembly (104) has an ultrasonic sensor (114) and an image sensor (112), where the ultrasonic sensor and the image sensor are provided in a common optical path. The common optical path comprises a lens for ultrasound transmission and an optical or infrared region transparency. Multiple ultrasonic sensors are arranged in an array.

Description

Stand der TechnikState of the art

Die Erfindung betrifft Fahrerassistenzsysteme in Fahrzeugen, und insbesondere Sensorbaugruppen für derartige Fahrerassistenzsysteme.The invention relates to driver assistance systems in vehicles, and more particularly to sensor assemblies for such driver assistance systems.

Fahrerassistenzsysteme sind Zusatzeinrichtungen in Fahrzeugen zur Unterstützung des Fahrers in bestimmten Fahrsituationen. Ein Fahrerassistenzsystem umfasst häufig mehrere Subsysteme wie beispielsweise ABS (Antiblockiersystem), ESP (Elektronisches Stabilitätsprogramm), einen Abstandsregeltempomaten („Adaptive Cruise Control”, ACC) und/oder Einparkassistenten. Den beiden letztgenannten Subsystemen fällt u. a. auch die Aufgabe zu, einen Umgebungsbereichs des Fahrzeugs auf das Vorliegen von Hindernissen zu überwachen. So muss etwa beim assistierten Rückwärtseinparken ein rückwärtiger Bereich um das Fahrzeug herum auf das Vorliegen von parklückenbegrenzenden Objekten, aber auch querenden Fußgängern oder dgl. überwacht werden.Driver assistance systems are additional devices in vehicles to assist the driver in certain driving situations. A driver assistance system often includes several subsystems such as ABS (Anti-lock Braking System), ESP (Electronic Stability Program), Adaptive Cruise Control (ACC) and / or Parking Assistants. The latter two subsystems fall u. a. also the task to monitor a surrounding area of the vehicle for the presence of obstacles. For example, during assisted reverse parking, a rear area around the vehicle must be monitored for the presence of parking space limiting objects, but also for crossing pedestrians or the like.

Für die Detektion, Abstands- und ggf. Richtungsbestimmung zu Objekten in der Fahrzeugumgebung können beispielsweise Ultraschallsensoren vorgesehen sein. Zusätzlich oder alternativ kann ein Einparkassistent über eine oder mehrere Kameras verfügen. Als Beispiel sei eine Rückfahrkamera genannt, die dem Fahrer eine Bildansicht einer rückwärtigen Fahrzeugumgebung bereitstellt und/oder potentielle Hindernisse in der Fahrzeugumgebung identifiziert. Neben Kameras, die eine Ansicht der Umgebung im optischen oder infraroten Bereich erstellen, können auch komplexere Anordnungen mit mehreren Kameras oder Stereokameras vorgesehen sein, die eine Tiefeninformation bereitstellen. Als Bildsensoren sind ferner auch aktiv optische Sensoren, wie Laser-Scanner und PMD-Sensoren (”Photonic Mixer Device” bzw. Fotomischdetektoren) bekannt, welche eine Entfernungsbestimmung basierend auf einer einzigen PMD-Sensorbaugruppe ermöglichen.For the detection, distance and possibly direction determination to objects in the vehicle environment, for example, ultrasonic sensors may be provided. Additionally or alternatively, a parking assistant may have one or more cameras. By way of example, a rear-view camera is provided which provides the driver with an image view of a vehicle's rearward environment and / or identifies potential obstacles in the vehicle's surroundings. In addition to cameras that make a view of the environment in the optical or infrared range, more complex arrangements can be provided with multiple cameras or stereo cameras that provide depth information. Also known as image sensors are active optical sensors, such as laser scanners and PMD sensors ("photonic mixer device" or photonic mixer detectors), which enable a distance determination based on a single PMD sensor module.

Aus der DE 102 41 464 A1 ist eine Vorrichtung zur Umfelderfassung eines Fahrzeugs bekannt, die eine Kamera und eine Mehrzahl von Ultraschallsensoren umfasst. Bei der Kamera kann es sich beispielsweise um eine Rückfahrkamera handeln, die einen ersten Erfassungsbereich überwacht, während eine Mehrzahl von beispielsweise in einer rückwärtigen Stoßstange des Fahrzeugs untergebrachten separaten Ultraschallsensoren einen zweiten Erfassungsbereich überwachen. Der zweite Bereich erstreckt sich weiter um das Heck des Fahrzeugs herum als der erste, von der Rückfahrkamera abgedeckte Bereich, der sich jedoch in größere Entfernung erstreckt. Die von der Kamera und den Ultraschallsensoren gelieferten Daten werden derart verarbeitet, dass dem Fahrer auf einer Anzeigeeinheit das Kamerabild angeboten wird, wobei außerhalb des Kamerabildes gelegene, von den Ultraschallsensoren erfasste Objekte zusätzlich dargestellt werden.From the DE 102 41 464 A1 For example, an apparatus for detecting the surroundings of a vehicle is known, which comprises a camera and a plurality of ultrasound sensors. The camera may be, for example, a rear view camera that monitors a first detection area, while a plurality of separate ultrasonic sensors accommodated, for example, in a rear bumper of the vehicle monitor a second detection area. The second area extends farther around the rear of the vehicle than the first area covered by the rearview camera, but extending at a greater distance. The data supplied by the camera and the ultrasound sensors are processed in such a way that the camera image is presented to the driver on a display unit, wherein objects located outside the camera image and detected by the ultrasound sensors are additionally displayed.

Das vorstehend genannte Beispiel zeigt, wie sich ein Ultraschallsystem mit begrenzter Reichweite und eine Kamera mit größerer Reichweite, aber engerem Blickwinkel für eine umfassendere Überwachung der Fahrzeugumgebung ergänzen können. Allerdings ist das geschilderte System komplex und damit teuer. So sind eine entsprechende Anzahl an Sensoren zu verbauen und an zentrale Komponenten des Fahrerassistenzsystems anzubinden, wie etwa an Prozessoreinheiten (z. B. ECU, „Electronic Control Unit”), Anzeigeeinheiten, etc. Mit dem fortschreitenden Einsatz von Sensoren in größerer Zahl nehmen Komplexität und Kosten entsprechend weiter zu. Diese Komplexität steht der weiteren Verwendung einander ergänzender Sensoriken bzw. Subsysteme entgegen.The above example shows how a limited range ultrasound system and a wider range, but narrower, camera can complement each other for more comprehensive monitoring of the vehicle environment. However, the described system is complex and therefore expensive. Thus, a corresponding number of sensors must be installed and connected to central components of the driver assistance system, such as processor units (eg ECU, "electronic control unit"), display units, etc. With the progressive use of sensors in greater numbers take complexity and costs accordingly. This complexity precludes the further use of complementary sensor systems or subsystems.

Offenbarung der ErfindungDisclosure of the invention

Erfindungsgemäß wird eine Baugruppe für ein Fahrerassistenzsystem in einem Fahrzeug vorgeschlagen, wobei in die Baugruppe mindestens ein Ultraschallsensor und mindestens ein Bildsensor integriert sind. Die Baugruppe kann etwa in einem Gehäuse untergebracht sein, in welches der Ultraschallsensor und der Bildsensor integriert sind. Bei dem Ultraschallsensor kann es sich um einen Ultraschallsender, -empfänger, oder einen kombinierten Sender/Empfänger (”Transducer”) handeln, der beispielsweise auf piezoelektrischer Basis arbeitet. Bei dem Bildsensor kann es sich beispielsweise um eine Mono- oder Stereokamera oder ein vergleichbares abbildendes System handeln, welches etwa im optischen Bereich und/oder Infrarotbereich arbeitet. Der Bildsensor kann auch zusammen mit einer Strahlungsquelle wie etwa einer Infrarotquelle vorliegen.According to the invention, an assembly for a driver assistance system in a vehicle is proposed, wherein at least one ultrasound sensor and at least one image sensor are integrated into the assembly. The assembly may be housed approximately in a housing in which the ultrasonic sensor and the image sensor are integrated. The ultrasound sensor may be an ultrasound transmitter, receiver, or a combined transceiver that operates on a piezoelectric basis, for example. The image sensor can be, for example, a mono or stereo camera or a comparable imaging system which operates approximately in the optical range and / or infrared range. The image sensor may also be present together with a radiation source, such as an infrared source.

Bei einigen Ausführungsformen der erfindungsgemäßen Baugruppe ist für den Ultraschallsensor und den Bildsensor mindestens abschnittsweise ein gemeinsamer Strahlengang vorgesehen. Der gemeinsame Strahlengang kann eine Linse (oder ein Objektiv) umfassen, die (das) sowohl für Ultraschall durchlässig als auch in einem optischen und/oder infraroten Bereich transparent ist.In some embodiments of the assembly according to the invention, a common beam path is provided at least in sections for the ultrasonic sensor and the image sensor. The common beam path may include a lens (or lens) which is transparent to both ultrasound and transparent in an optical and / or infrared region.

Bestimmte Ausführungsformen einer erfindungsgemäßen Baugruppe umfassen eine Mehrzahl von Ultraschallsensoren. Diese können zur Durchführung einer Entfernungs- und/oder Richtungsbestimmung in Bezug auf ein Objekt in einer Fahrzeugumgebung angeordnet sein. Die Anordnung kann etwa in Form eines Arrays erfolgen, welches auf einer bestimmten Grundfläche in regelmäßigen Abständen angeordnete Sensoren umfasst. Beispielsweise können die Sensoren in einem kreis- oder rechteckförmigen oder quadratischen Bereich entweder gitterartig oder entlang einer Begrenzung des Bereiches angeordnet sein, also kreisförmig, kreis- oder rechteckförmig. Bei einer Ausführungsform können die Ultraschallsensoren beispielsweise kreisförmig in einem Array um einen als Kamera implementierten Bildsensor herum angeordnet sein. Das Array kann zwei, drei, vier, sechs, acht oder eine größerer oder kleinere Zahl an Sensoren umfassen.Certain embodiments of an assembly according to the invention comprise a plurality of ultrasonic sensors. These may be arranged to perform a range and / or direction determination with respect to an object in a vehicle environment. The arrangement can take place approximately in the form of an array which comprises sensors arranged at regular intervals on a certain base area. For example For example, the sensors may be arranged in a circular or rectangular or square region either in the manner of a grid or along a boundary of the region, that is to say circular, circular or rectangular. For example, in one embodiment, the ultrasonic sensors may be arranged circularly in an array around an image sensor implemented as a camera. The array may include two, three, four, six, eight, or a larger or smaller number of sensors.

Bei einigen Ausführungsformen der erfindungsgemäßen Baugruppe liegt eine Mehrzahl von in einem Array angeordneten Bildsensoren vor. Die Baugruppe kann bspw. zwei Monokameras zur Richtungsbestimmung aufweisen. Bei einer anderen Ausführungsform kann etwa ein PMD-Sensor einen Sensor oder mehrere Empfangssensoren mit jeweils einer Mehrzahl an Pixeln sowie eine oder mehrere Lichtquellen aufweisen. Das Array der Ultraschallsensoren und das Array der Bildsensoren können sich gegenseitig mindestens teilweise überdecken. So können beispielsweise die Bild- und Ultraschallsensoren alternierend oder nach Art eines Schachbrettmusters angeordnet sein.In some embodiments of the assembly according to the invention, a plurality of image sensors arranged in an array is present. The assembly may, for example, have two monocameras for direction determination. For example, in another embodiment, a PMD sensor may include one or more receive sensors each having a plurality of pixels and one or more light sources. The array of ultrasonic sensors and the array of image sensors may at least partially overlap each other. Thus, for example, the image and ultrasound sensors can be arranged alternately or in the manner of a checkerboard pattern.

Die erfindungsgemäße Baugruppe kann eine Strahlungsquelle aufweisen, der zur Aussendung von Strahlen vorgesehen ist, beispielsweise von Ultraschall- und/oder von Infrarotstrahlen, wobei mindestens entweder der Ultraschallsensor oder der Bildsensor zum Empfang von reflektierten Strahlen vorgesehen ist, also von Strahlen, die von der Strahlungsquelle ausgehen und von mindestens einem Objekt in der Fahrzeugumgebung reflektiert werden.The assembly according to the invention may comprise a radiation source which is intended to emit rays, for example ultrasound and / or infrared rays, at least one of the ultrasound sensor and the image sensor being provided for receiving reflected rays, that is to say rays originating from the radiation source go out and reflected by at least one object in the vehicle environment.

Der Bildsensor kann zur Erzeugung zweidimensionaler Repräsentationen einer Fahrzeugumgebung vorgesehen sein, und ist in diesem Fall etwa als Kamera implementiert. Der Bildsensor kann zusätzlich oder alternativ zur Erzeugung dreidimensionaler Repräsentationen der Fahrzeugumgebung vorgesehen sein, und kann zu diesem Zweck beispielsweise eine Stereokamera oder einen PMD-Sensor umfassen.The image sensor may be provided for generating two-dimensional representations of a vehicle environment, and in this case is implemented as a camera, for example. The image sensor may additionally or alternatively be provided for generating three-dimensional representations of the vehicle environment, and for this purpose may include, for example, a stereo camera or a PMD sensor.

Ausführungsformen einer erfindungsgemäßen Baugruppe können eine gemeinsame Schnittstelle zur Übertragung von Daten umfassen, die den Ultraschallsensor und den Bildsensor betreffen und die zwischen der Baugruppe und mindestens einer weiteren Komponente des Fahrzeugassistenzsystems wie etwa einer ECU oder einer Ausgabeeinheit übertragen werden. Bei der Schnittstelle kann es sich beispielsweise um eine Schnittstellenkarte oder ein vergleichbares Modul zur drahtgestützten oder drahtlosen Anbindung der Baugruppe an ein Fahrzeugnetzwerk wie etwa ein Bussystem handeln.Embodiments of an assembly according to the invention may comprise a common interface for transmitting data concerning the ultrasonic sensor and the image sensor and transmitted between the assembly and at least one further component of the vehicle assistance system, such as an ECU or an output unit. The interface can be, for example, an interface card or a comparable module for the wire-based or wireless connection of the module to a vehicle network, such as a bus system.

Erfindungsgemäß wird weiterhin ein Fahrerassistenzsystem für ein Fahrzeug vorgeschlagen, welches eine Ausführungsform einer Baugruppe wie hier beschrieben umfasst. Hierbei kann die Baugruppe bspw. zur Verwendung in einem rückwärtigen Bereich des Fahrzeugs vorgesehen sein; hierbei wäre der Bildsensor der Baugruppe zur Verwendung als Rückfahrkamera vorgesehen.According to the invention, a driver assistance system for a vehicle is proposed, which comprises an embodiment of an assembly as described here. In this case, the assembly may, for example, be provided for use in a rear region of the vehicle; In this case, the image sensor of the assembly would be provided for use as a rear view camera.

Vorteile der ErfindungAdvantages of the invention

Gemäß der Erfindung wird vorgeschlagen, in eine Baugruppe eine kombinierte Sensorik zu integrieren, um hier entstehende Synergieeffekte zu nutzen. So kann das Vorsehen eines Ultraschall- und eines Bildsensors in einer gemeinsamen Baugruppe den Produktionsprozess bei Zulieferern wie Fahrzeugherstellern vereinfachen, da weniger Einbauorte am Fahrzeug benötigt werden und sich der Verkabelungsaufwand reduziert. Die Anbindung an ein Fahrzeugnetzwerk und der Anschluss an ein Bordnetz vereinfacht sich bzw. kann für die kombinierten Sensoren gemeinsam genutzt werden. Doppelte Komponenten können wegfallen. Dies gilt unter Umständen auch für Komponenten wie etwa Linsen oder Objektive mit Stecker. Es wird Platz gespart, während Komponenten für bspw. die Netzwerkanbindung oder die Stromversorgung besser ausgenutzt werden. Eine Fusion der redundanten Daten kann genutzt werden zur Ergänzung des Datenumfanges sowie zur Verbesserung der Datengüte sowie der Robustheit der Daten. Eine Auswerteeinheit kann auch die Blindheit des Sensors erkennen. Die Ultraschallschwingungen können auch dazu genutzt, um Verschmutzungen an mit Wasser benetzten Linsen zu beseitigen.According to the invention, it is proposed to integrate a combined sensor system into an assembly in order to utilize synergy effects arising here. Thus, the provision of an ultrasonic and an image sensor in a common assembly can simplify the production process for suppliers such as vehicle manufacturers, since fewer installation locations are required on the vehicle and reduces the wiring effort. The connection to a vehicle network and the connection to a vehicle electrical system is simplified or can be shared for the combined sensors. Duplicate components can be eliminated. This may also apply to components such as lenses or lenses with plugs. Space is saved, while components such as the network connection or the power supply are better utilized. A merger of the redundant data can be used to supplement the data volume as well as to improve the data quality and the robustness of the data. An evaluation unit can also detect the blindness of the sensor. The ultrasonic vibrations can also be used to remove contaminants on water-wetted lenses.

Soll eine Richtungsbestimmung basierend auf mehreren Sensoren erfolgen, können hierfür geeignete Arrays entsprechend beabstandeter Ultraschall- oder Bildsensoren durch entsprechende Anordnung der Sensoren in der Baugruppe fest vorgegeben werden. Eine Abstandsbestimmung basierend auf der festen geometrischen Anordnung der Sensoren kann bereits in einem entsprechend ab Werk vorbereiteten Prozessor oder einer vergleichbaren Verarbeitungseinheit auf der Baugruppe vorgenommen werden. Sind insbesondere sowohl für den Ultraschallbereich als auch den optischen bzw. infraroten Bereich jeweils Sensorarrays vorgesehen, können sich die Arrays zumindest teilweise überlagern. Auf diese Weise kann platzsparend eine komplexe Sensorik vorgesehen werden, was bei begrenztem Platz etwa in einer Stoßstange, einem Kotflügel, unterhalb eines Nummernschildes, etc. den Einsatz einer komplexen kombinierten Sensorik erstmals erlaubt.If a direction determination is to be based on a plurality of sensors, suitable arrays of correspondingly spaced ultrasound or image sensors can be permanently predefined for this purpose by appropriate arrangement of the sensors in the module. A distance determination based on the fixed geometrical arrangement of the sensors can already be carried out in a corresponding factory-prepared processor or a comparable processing unit on the module. If sensor arrays are provided in particular for the ultrasound region as well as the optical or infrared region, the arrays can overlap at least partially. In this way, a complex sensor can be provided to save space, which allows for limited space in a bumper, a fender, below a license plate, etc. the use of a complex combined sensors for the first time.

Kurze Beschreibung der Zeichnungen Brief description of the drawings

Weitere Aspekte und Vorteile der Erfindung werden nunmehr anhand der beigefügten Figuren eingehender beschrieben. Hierbei zeigt:Further aspects and advantages of the invention will now be described in more detail with reference to the accompanying figures. Hereby shows:

1 in schematischer Form ein Fahrzeug, in dessen Heck ein erstes Ausführungsbeispiel einer erfindungsgemäßen Baugruppe eingebaut und an ein Fahrzeugnetzwerk angebunden ist; 1 in schematic form, a vehicle in the rear of a first embodiment of an assembly according to the invention is installed and connected to a vehicle network;

2 die erfindungsgemäße Baugruppe aus 1 mit weiteren Details; 2 the assembly of the invention 1 with further details;

3 ein zweites Ausführungsbeispiel einer erfindungsgemäßen Baugruppe; 3 A second embodiment of an assembly according to the invention;

4 eine Ansicht von vom auf ein drittes Ausführungsbeispiel einer erfindungsgemäßen Baugruppe; und 4 a view from the on a third embodiment of an assembly according to the invention; and

5 eine Ansicht von vom auf ein viertes Ausführungsbeispiel einer erfindungsgemäßen Baugruppe. 5 a view from the on a fourth embodiment of an assembly according to the invention.

Ausführungsformen der ErfindungEmbodiments of the invention

1 zeigt in schematischer Form ein Fahrzeug 100 mit einem Fahrerassistenzsystem 102, welches eine erfindungsgemäße Sensor-Baugruppe 104, eine als ECU („Electronic Control Unit”) 106 implementierte zentrale Verarbeitungseinheit, sowie eine als Anzeigeeinheit 108 und Lautsprecher 110 implementierte Ausgabeeinheit umfasst. Die erfindungsgemäße Baugruppe 104 stellt eine konstruktive Einheit dar, in die ein Bildsensor 112 sowie ein Ultraschallsensor 114 integriert ist. 1 shows in schematic form a vehicle 100 with a driver assistance system 102 , which is a sensor assembly according to the invention 104 , one as ECU ("Electronic Control Unit") 106 implemented central processing unit, as well as a display unit 108 and speakers 110 implemented output unit comprises. The module according to the invention 104 represents a constructive unit into which an image sensor 112 as well as an ultrasonic sensor 114 is integrated.

Die Baugruppe 104 ist in einem rückwärtigen Bereich des Fahrzeugs 100 angebracht, beispielsweise mit Bezug zu einer Stoßstange oder einem Nummernschild des Fahrzeugs 100. Neben der Baugruppe 104 können weitere separate Ultraschallsensoren und/oder Rückfahrkameras (nicht gezeigt) im Heck des Fahrzeugs 100 vorgesehen sein. Eine oder mehrere erfindungsgemäße Baugruppen können alternativ oder zusätzlich in einem vorderen oder seitlichen Bereich eines Fahrzeugs vorgesehen werden, beispielsweise mit Bezug zu einer vorderen Stoßstange, einem vorderen Nummernschild, einem Kühlergrill, oder einem Seitenspiegel. Während bei dem in 1 dargestellten Ausführungsbeispiel das Fahrerassistenzsystem 102 nur eine erfindungsgemäße Baugruppe 104 umfasst, die eine rückwärtige Fahrzeugumgebung überwacht, können bei. Vorliegen mehrerer derartiger Baugruppen (die nicht baugleich sein müssen) mehrere dieser Baugruppen eine rückwärtige Fahrzeugumgebung, eine vordere Fahrzeugumgebung, und/oder einen Seitenbereich des Fahrzeugs überwachen, ggf. in Kombination mit zusätzlichen Einzelsensoren.The assembly 104 is in a rear area of the vehicle 100 attached, for example, with respect to a bumper or license plate of the vehicle 100 , Next to the assembly 104 For example, further separate ultrasonic sensors and / or rear view cameras (not shown) may be provided in the rear of the vehicle 100 be provided. One or more assemblies of the invention may alternatively or additionally be provided in a front or side region of a vehicle, for example with respect to a front bumper, a front license plate, a grille, or a side mirror. While at the in 1 illustrated embodiment, the driver assistance system 102 only an assembly according to the invention 104 which monitors a vehicle rearward environment may include. Having multiple such assemblies (which need not be identical), several of these assemblies monitor a vehicle rear environment, a vehicle front environment, and / or a side region of the vehicle, optionally in combination with additional individual sensors.

Bei dem Bildsensor 112 kann es sich etwa um eine einfache Monokamera handeln, bei dem Ultraschallsensor 114 um einen an sich bekannten elektroakustischen Wandler, der als Sender/Empfänger arbeitet. Ein Sichtbereich 116 des Bildsensors 112 und ein Sichtbereich 118 des Ultraschallsensors 114 überdecken sich teilweise. Das Blickfeld 116 des Bildsensors ist enger als dasjenige 118 des Ultraschallsensors 114, ermöglicht jedoch auch die Detektion weiter entfernter Objekte.At the image sensor 112 it can be about a simple monocamera, the ultrasonic sensor 114 a per se known electro-acoustic transducer, which operates as a transmitter / receiver. A viewing area 116 of the image sensor 112 and a viewing area 118 of the ultrasonic sensor 114 partially overlap. The field of vision 116 the image sensor is narrower than that 118 of the ultrasonic sensor 114 , but also allows the detection of more distant objects.

Wie in 1 angedeutet, sind die Sensoren 112 und 114 jeweils separat an die ECU 106 angebunden, wo Daten der beiden Sensoren 112, 114, ggf. nach Vorverarbeitung in einer in die Baugruppe 104 integrierten Prozessoreinheit in an sich bekannter Weise verarbeitet werden. Vom Bildsensor aufgenommene Bilddaten können bspw. als Grundlage für eine Repräsentation der rückwärtigen Fahrzeugumgebung 120 auf dem Anzeigeschirm 108 verwendet werden. Zusätzlich oder alternativ kann eine akustische Warnung vor in dem Bereich 120 optisch und/oder akustisch mittels der Sensoren 112, 114 detektierten Hindernisse auf dem Lautsprecher 110 ausgegeben werden.As in 1 implied, are the sensors 112 and 114 each separately to the ECU 106 Tethered where data of the two sensors 112 . 114 , if necessary after preprocessing in one into the assembly 104 integrated processor unit are processed in a conventional manner. For example, image data taken by the image sensor may serve as the basis for a representation of the rearward vehicle environment 120 on the display screen 108 be used. Additionally or alternatively, an audible warning may be present in the area 120 optically and / or acoustically by means of the sensors 112 . 114 detected obstacles on the speaker 110 be issued.

In 2 ist die Sensor-Baugruppe 104 aus 1 detaillierter dargestellt, wobei schematisch eine Anzahl funktionaler Komponenten der Baugruppe 104 angedeutet sind. Ein Gehäuse 202 ist zur Anbringung bzw. zum Einbau (Montage) der Baugruppe 104 an einer dazu vorgesehenen Position des Fahrzeugs 100 ausgebildet. Der Ultraschallsensor 114 umfasst eine Sender-/Empfängereinheit (Transducer) 204 zum Aussenden bzw. Empfangen von Ultraschall. Der Transducer 204 ist mit einer Wandlerkomponente 206 gekoppelt, welche akustische (Ultraschall-)Signale und elektrische Signale ineinander umwandelt. Mit dem Wandler 206 ist eine Schnittstelleneinheit 208 verbunden, welche zur Ankopplung des Ultraschallsensors 114 an ein Datenbussystem 210 des Fahrzeugs 100 vorgesehen ist. Transducer 204 und Wandler 206 können auch als einheitliches Modul vorliegen, bspw. in Form eines piezoelektrischen Akustikwandlers.In 2 is the sensor assembly 104 out 1 shown in more detail, wherein schematically a number of functional components of the assembly 104 are indicated. A housing 202 is for mounting or installation (assembly) of the module 104 at a designated position of the vehicle 100 educated. The ultrasonic sensor 114 includes a transmitter / receiver unit (transducer) 204 for sending or receiving ultrasound. The transducer 204 is with a transducer component 206 coupled, which acoustic (ultrasonic) signals and electrical signals into each other. With the converter 206 is an interface unit 208 connected, which for coupling the ultrasonic sensor 114 to a data bus system 210 of the vehicle 100 is provided. transducer 204 and transducers 206 may also be present as a unitary module, for example in the form of a piezoelectric acoustic transducer.

In entsprechender Weise umfasst der Bildsensor 112 eine Bildaufnahmekomponente 212, beispielsweise ein für Licht im optischen und/oder infraroten Bereich empfindliches Pixelarray, einen Wandler 214 zur Umwandlung der durch die Bildaufnahmeeinheit 212 empfangenen Lichtsignale in elektrische Signale, sowie eine Schnittstelleneinheit 216 zur Ankopplung des Wandlers 214 an das Bussystem 210. Die Bildaufnahmeeinheit 212 und Wandlereinheit 214 können als eine Einheit vorliegen, bspw. in Form eines Kameramoduls.In a corresponding manner, the image sensor comprises 112 an image pickup component 212 For example, a sensitive to light in the optical and / or infrared range pixel array, a converter 214 for conversion by the image acquisition unit 212 received light signals into electrical signals, as well as an interface unit 216 for coupling the converter 214 to the bus system 210 , The image capture unit 212 and transducer unit 214 may be present as a unit, for example in the form of a camera module.

Das die sonstigen Komponenten der Baugruppe 104 aufnehmende Gehäuse 202 verfügt über eine Abdeckung 218 welche den Strahlengang des Ultraschallsensors 114 bzw. des Bildsensors 112 vor Umwelteinflüssen schützt. Die Abdeckung 218 ist für die durch den Transducer 204 gesendete und empfangene Ultraschallstrahlung ebenso wie für durch den Bildsensor 112 empfangene optische und/oder Infrarotstrahlung transparent. Bei der Abdeckung 218 kann es sich beispielsweise um eine Scheibe aus einem geeigneten Kunststoff handeln. Alternativ können auch zwei getrennte Scheiben oder eine Scheibe mit unterschiedlich ausgebildeten Bereichen vorgesehen werden, um eine jeweils transparente Abdeckung des Strahlenganges des Ultraschallsensors 114 bzw. Bildsensors 112 zu erreichen. Die Abdeckung 218 hat im Strahlengang des Bildsensors 112 Linsenform um Licht auf die Bildaufnahmekomponente 212 zu bündeln. Alternativ oder, wie in 2 angedeutet, zusätzlich kann eine weitere Linse oder ein Objektiv 220 im Gehäuseinneren vorgesehen werden. That the other components of the assembly 104 receiving housing 202 has a cover 218 which the beam path of the ultrasonic sensor 114 or the image sensor 112 protects against environmental influences. The cover 218 is for through the transducer 204 transmitted and received ultrasonic radiation as well as for by the image sensor 112 received optical and / or infrared radiation transparent. At the cover 218 it may be, for example, a disc made of a suitable plastic. Alternatively, it is also possible to provide two separate disks or a disk with differently designed regions, around a respective transparent cover of the beam path of the ultrasonic sensor 114 or image sensor 112 to reach. The cover 218 has in the beam path of the image sensor 112 Lens shape around light on the image pickup component 212 to bundle. Alternatively or, as in 2 implied, in addition, can be another lens or a lens 220 be provided inside the housing.

Bei dem in 2 dargestellten Ausführungsbeispiel sind Ultraschallsensor 114 und den Bildsensor 112 zwar in ein Gehäuse 202 mit gemeinsamem Strahlendurchgang 218 integriert, sind ansonsten aber separat voneinander implementiert. Konkret könnte etwa ein Kameramodul umfassend die Einheiten 212, 214 und 216 in oder zusammen mit einem Ultraschallsensor mit den Einheiten 204, 206 und 208 vorgesehen werden. Bei anderen Ausführungsbeispielen sind Ultraschall- und Bildsensor stärker integriert. Ein solches Beispiel 300 ist in 3 skizziert.At the in 2 illustrated embodiment are ultrasonic sensor 114 and the image sensor 112 although in a housing 202 with common beam passage 218 integrated, but otherwise implemented separately. Specifically, about a camera module could include the units 212 . 214 and 216 in or together with an ultrasonic sensor with the units 204 . 206 and 208 be provided. In other embodiments, ultrasound and image sensors are more integrated. Such an example 300 is in 3 outlined.

Bei der in 3 gezeigten erfindungsgemäßen Sensorbaugruppe 300 sind wiederum in einem Gehäuse 302 ein Ultraschallsensor 304 und ein Bildsensor 306 integriert. Der Ultraschallsensor 304 und der Bildsensor 306 haben einen gemeinsamen Strahlengang 320. Dazu weist der Ultraschallsensor 304 einen ringförmigen Membranbereich oder mehrere als Segmente vorgesehene Membranbereiche 312 auf, die beispielsweise Teil eines ansonsten nur als Funktionsblock angedeuteten piezoelektrischen Wandlers 314 sind (es können auch mehrere gekoppelte Wandler vorgesehen werden). Der Bildsensor 306 umfasst eine im optischen und/oder infraroten empfindliche Bildaufnahmekomponente 316 sowie einen Wandler 318, der aus dem empfangenen Lichtsignal ein elektrisches Signal erzeugt. Die Bildaufnahmekomponente 316 ist in einen durch die Membranen 312 gebildeten Bereich integriert. Der Strahlengang 320 für den Ultraschallsensor 304 wie für den Bildsensor 306 fallen also zusammen. Der gemeinsame Strahlengang 320 verfügt über einen einzigen Durchgang 322 durch das Gehäuse 302. Bei dem Durchgang 302 kann es sich um eine Linse bzw. ein Objektiv handeln, welches wiederum sowohl für Licht als auch Ultraschall durchlässig ist.At the in 3 shown sensor assembly according to the invention 300 are in turn in a housing 302 an ultrasonic sensor 304 and an image sensor 306 integrated. The ultrasonic sensor 304 and the image sensor 306 have a common beam path 320 , For this purpose, the ultrasonic sensor 304 an annular membrane region or a plurality of membrane regions provided as segments 312 on, for example, part of an otherwise only as a functional block indicated piezoelectric transducer 314 are (it can also be provided several coupled transducers). The image sensor 306 includes an optical and / or infrared sensitive imaging component 316 as well as a converter 318 which generates an electrical signal from the received light signal. The image capture component 316 is in through the membranes 312 integrated area. The beam path 320 for the ultrasonic sensor 304 as for the image sensor 306 so fall together. The common beam path 320 has a single passage 322 through the housing 302 , At the passage 302 it may be a lens or a lens, which in turn is transparent to both light and ultrasound.

Beide Sensoren 304, 306 werden darüberhinaus durch eine gemeinsame Schnittstelle 308 an ein Bussystem 310 eines Fahrzeugs (nicht weiter gezeigt) angebunden. Die Wandlereinheiten 314 und 318 können beispielsweise jeweils digitale elektrische Signale erzeugen (und ggf. auch eine Vorverarbeitung der empfangenen Signale vornehmen) bzw. empfangen. Die Schnittstelle 308 übernimmt koppelt Daten der Baugruppe 300 in sequentieller, (quasi)paralleler und/oder ggf. priorisierter Weise in den Datenbus 310 ein bzw. empfängt auf diese Weise Daten.Both sensors 304 . 306 Beyond that through a common interface 308 to a bus system 310 a vehicle (not shown) connected. The converter units 314 and 318 For example, each can generate digital electrical signals (and, if necessary, also perform preprocessing of the received signals) or receive them. the interface 308 takes over data of the module 300 in sequential, (quasi) parallel and / or possibly prioritized manner in the data bus 310 on or receives data in this way.

Weil die Baugruppe 300 über einen gemeinsamen Strahlengang 320 sowie nur eine einzige Schnittstelle 308 verfügt, können Komponenten gespart und Abmessungen der Baugruppe 302 verringert werden. In entsprechender Weise wie für die Anbindung an das Fahrzeugnetzwerk 310 gezeigt, kann die erfindungsgemäße Baugruppe 300 auch nur einen einzigen Anschluss an ein elektrisches Bordnetz des Fahrzeugs aufweisen. Mindestens Teile der Wandlereinheiten/Berechnungseinheit 314 und 318 können auf einer einzigen Hardwareplattform untergebracht werden, beispielsweise einer gemeinsamen Platine.Because the assembly 300 via a common beam path 320 as well as only a single interface 308 can save components and dimensions of the assembly 302 be reduced. In the same way as for the connection to the vehicle network 310 shown, the assembly of the invention 300 also have only a single connection to an electrical system of the vehicle. At least parts of the converter units / calculation unit 314 and 318 can be accommodated on a single hardware platform, such as a common board.

Während wie bei dem Beispiel der 3 der Sender/Empfänger des einen Sensors unmittelbar im Strahlengang des jeweils anderen Empfängers angeordnet sein kann, verläuft bei anderen Ausführungsbeispielen einer erfindungsgemäßen Baugruppe ein Strahlengang nur teilweise gemeinsam. Es wird entweder ein Ultraschallsignal oder ein optisches/Infrarotsignal aus dem gemeinsamen Strahlengang ein- bzw. ausgekoppelt. So können bspw. Reflektoren oder andere Umlenkelemente vorgesehen werden, die den Strahlengang für den jeweils anderen Sensor nur geringfügig abschatten. Andere Möglichkeiten der Integration einer Kamera, eines Imagers oder eines sonstigen Bildsensors in einen Ultraschallsensor oder umgekehrt sind ebenfalls denkbar.While as in the example of 3 the transmitter / receiver of the one sensor can be arranged directly in the beam path of the respective other receiver, in other embodiments of an assembly according to the invention, a beam path only partially together. Either an ultrasonic signal or an optical / infrared signal from the common beam path is coupled in or out. Thus, for example, reflectors or other deflecting elements can be provided which shade the beam path only slightly for the other sensor. Other possibilities of integrating a camera, an imager or another image sensor into an ultrasonic sensor or vice versa are also conceivable.

4 zeigt eine Vorderansicht von außen eines weiteren Ausführungsbeispiels 400 einer erfindungsgemäßen Baugruppe bei dem ein Array 402 von Ultraschallsensoren 404 sowie ein Bildsensor 406 in ein Gehäuse 408 aufgenommen sind. Jeder der Sensoren 404 und 406 hat einen eigenen Strahlengang, der im Falle der Ultraschallsensoren 404 durch eine für Ultraschall durchlässige Abdeckung und im Falle des als Kamera ausgeführten Bildsensors 406 eine witterungsbeständige Linse oder ein Objektiv umfassen kann. Das Gehäuse 408 ist über Befestigungen 410 an einer Komponente 412 eines Fahrzeugs befestigt, bei der es sich beispielsweise um ein Nummernschild, eine Karosseriekomponente zur Befestigung eines Nummernschildes, eine Stoßstange, einen Kühlergrill oder dergleichen handeln kann. 4 shows a front view from the outside of another embodiment 400 an assembly according to the invention in which an array 402 of ultrasonic sensors 404 as well as an image sensor 406 in a housing 408 are included. Each of the sensors 404 and 406 has its own beam path, which in the case of ultrasonic sensors 404 by an ultrasound-permeable cover and in the case of the image sensor designed as a camera 406 a weather resistant lens or a lens may include. The housing 408 is about fortifications 410 on a component 412 attached to a vehicle, which is, for example, a license plate, a body component for fixing a license plate, a bumper, a grille or the like can act.

Die gestrichelt angedeutete Grundfläche des Arrays 402 umgibt ringförmig die Linse des Bildsensors 406. Die Anordnung der Ultraschallsensoren 404 im Array 402 ermöglicht neben einer genauen Bestimmung der Entfernung auch eine Bestimmung der Richtung zu Objekten in einer Fahrzeugumgebung. Hierzu ist der Durchmesser des Arrays 402, d. h. der geometrische Abstand von zumindest zwei einander im Array gegenüberliegender Ultraschallsensoren groß genug zu wählen, so dass Laufzeitunterschiede reflektierter Ultraschallsignale zwischen den Sensoren in einer Verarbeitungskomponente der Baugruppe 400 oder einer zentralen Verarbeitungskomponente eines Fahrerassistenzsystem ausgewertet werden können.The dashed line indicated base of the array 402 annularly surrounds the lens of the image sensor 406 , The arrangement of the ultrasonic sensors 404 in the array 402 allows not only a precise determination of the distance but also a determination of the direction to objects in a vehicle environment. This is the diameter of the array 402 that is to say that the geometric distance of at least two ultrasound sensors lying opposite one another in the array is large enough so that differences in transit times of reflected ultrasound signals between the sensors in a processing component of the assembly 400 or a central processing component of a driver assistance system can be evaluated.

Die Baugruppe 400 kann analog zu dem in 1 gezeigten Beispiel am Heck eines Fahrzeugs vorgesehen werden, um einem Parkassistenzsystem Daten für eine passive oder aktive Fahrerunterstützung zu liefern; hierbei würde die Kamera 406 als Rückfahrkamera betrieben, und die Sensoren 404 würden beim Einparken eine rückwärtige Fahrzeugumgebung auf Hindernisse überwachen. Insofern die Baugruppe 400 für eine zuverlässige Richtungsbestimmung zu solchen Hindernissen ausreichend ist, können weitere Ultraschallsensoren am Fahrzeugheck entfallen. Damit sind weitere Einbauorte für derartige Sensoren überflüssig und die Fahrzeugherstellung vereinfacht sich entsprechend.The assembly 400 can be analogous to that in 1 shown at the rear of a vehicle to provide data for passive or active driver assistance to a parking assistance system; this would be the camera 406 operated as a reversing camera, and the sensors 404 would monitor a rearward vehicle environment for obstacles when parking. Insofar the assembly 400 is sufficient for a reliable direction determination for such obstacles, additional ultrasonic sensors can be omitted at the rear of the vehicle. Thus, additional installation locations for such sensors are superfluous and vehicle manufacturing is simplified accordingly.

Die Ultraschallsensoren müssen nicht ringförmig um ein Kameraobjektiv herum angeordnet werden, obwohl die in 4 gezeigte Ausgestaltung einen Platzbedarf der Baugruppe 400 minimiert. Bei anderen Ausgestaltungen können die Ultraschallsensoren beispielsweise in einem quadratischen oder rechteckigen Array um eine Kamera herum angeordnet sein. Dies würde beispielsweise zu einem größeren gegenseitigen Abstand in den Ecken gelegener Paare von Ultraschallsensoren führen, womit eine Richtungsbestimmung erleichtert würde obwohl eine vertikale Einbauhöhe gegenüber der in 4 gezeigten Konstellation unverändert bliebe.The ultrasonic sensors need not be arranged in a ring around a camera lens, although the in 4 embodiment shown a footprint of the module 400 minimized. In other embodiments, the ultrasonic sensors may, for example, be arranged in a square or rectangular array around a camera. This would, for example, lead to a greater mutual distance in the corners of the pairs of ultrasonic sensors, thereby facilitating directional determination even though a vertical installation height would be greater than that in FIGS 4 The constellation shown would remain unchanged.

5 zeigt ein weiteres Ausführungsbeispiel 500 einer erfindungsgemäßen Baugruppe. In ein Gehäuse 502 ist wiederum ein Array 504 von Ultraschallsensoren 506 aufgenommen, wobei das Array 504 einen durch gestrichelte Linien angedeuteten quadratischen Streifen belegt, an dessen Eckpunkten die Sensoren 506 angeordnet sind. Weiterhin liegen in einem die gesamte Stirnseite des Gehäuses 502 einnehmenden Array 508 Bildsensoren 510, 512 vor. Hierbei ist ein zentraler Bildsensor 512 von einer Mehrzahl peripherer Bildsensoren 510 umgeben. Die Baugruppe 500 ist mittels eines Befestigungsarms 514 an einer Fahrzeugkomponente 516 befestigt. Für den Einbauort der Baugruppe 500 gilt sinngemäß das oben für das Ausführungsbeispiel 400 diskutierte. 5 shows a further embodiment 500 an assembly according to the invention. In a housing 502 is again an array 504 of ultrasonic sensors 506 taken, the array 504 a square strip indicated by dashed lines occupied at its vertices, the sensors 506 are arranged. Furthermore, in one the entire end face of the housing 502 engaging array 508 image sensors 510 . 512 in front. Here is a central image sensor 512 from a plurality of peripheral image sensors 510 surround. The assembly 500 is by means of a mounting arm 514 on a vehicle component 516 attached. For the installation location of the module 500 applies mutatis mutandis the above for the embodiment 400 discussed.

Die Ultraschallsensoren 506 können als Sender und Empfänger von Ultraschallstrahlung arbeiten. Die Bildsensoren 510, 512 können eine oder mehrere Strahlenquellen ebenso wie eine oder mehrere Empfänger umfassen. Beispielsweise können Infrarot-Strahlungsquellen 510 einen entsprechenden Infrarot-Sensor 512 umgeben. Insbesondere kann der Sensor 512 als PMD-Sensor ausgebildet sein, der das von den Quellen 510 ausgesendete und von Objekten in einer Fahrzeugumgebung reflektierte Infrarotlicht empfängt. Während eine einfache Kamera zur Erzeugung zweidimensionaler Repräsentationen der Fahrzeugumgebung geeignet sind, ermöglicht ein PMD-Sensor eine dreidimensionale Erfassung der Fahrzeugumgebung, die sowohl in geeigneter Weise dem Fahrer angezeigt als auch für die weitere interne Verarbeitung verwendet werden kann, bspw. können die Abstands- und Richtungsbestimmungen von Ultraschall- und Bildsensoren 506, 510, 512 fusioniert werden.The ultrasonic sensors 506 can work as transmitter and receiver of ultrasonic radiation. The image sensors 510 . 512 may include one or more radiation sources as well as one or more receivers. For example, infrared radiation sources 510 a corresponding infrared sensor 512 surround. In particular, the sensor 512 be designed as a PMD sensor, that of the sources 510 emitted and reflected by objects in a vehicle environment infrared light receives. While a simple camera is suitable for generating two-dimensional representations of the vehicle environment, a PMD sensor allows three-dimensional detection of the vehicle environment, which can both be suitably displayed to the driver and used for further internal processing, for example Directional determinations of ultrasonic and image sensors 506 . 510 . 512 be merged.

In 5 ist dargestellt, dass sich die Arrays 504 und 508 der Ultraschall- bzw. Bildsensoren teilweise überdecken. Insbesondere sind die Ultraschallsensoren 506 und die Bildsensoren 510 in dem gestrichelt dargestellten Streifen alternierend angeordnet. Abweichungen der geometrischen Anordnung sowie der Zahl der Sensoren sind möglich. So kann eine größere Anzahl an Ultraschallsensoren vorgesehen sein, das Gehäuse 502 kann mehr oder weniger abgeflacht sein oder kann kreisförmig sein, etc.In 5 is shown that the arrays 504 and 508 partially cover the ultrasonic or image sensors. In particular, the ultrasonic sensors 506 and the image sensors 510 arranged alternately in the strip shown in dashed lines. Deviations of the geometric arrangement as well as the number of sensors are possible. Thus, a larger number of ultrasonic sensors may be provided, the housing 502 may be more or less flattened or may be circular, etc.

Die Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele und die darin hervorgehobenen Aspekte beschränkt; vielmehr sind innerhalb des durch die anhängenden Ansprüche angegebenen Bereichs eine Vielzahl von Abwandlungen möglich, die im Rahmen fachmännischen Handelns liegen.The invention is not limited to the embodiments described herein and the aspects highlighted therein; Rather, within the scope given by the appended claims a variety of modifications are possible, which are within the scope of expert action.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 10241464 A1 [0004]

Claims

Assembly ( 104 . 300 . 400 . 500 ) for a driver assistance system ( 102 ) in a vehicle ( 100 . 412 ), wherein in the assembly ( 104 . 300 . 400 . 500 ) - at least one ultrasonic sensor ( 114 . 312 . 404 . 506 ) and - at least one image sensor ( 112 . 316 . 406 . 510 . 512 ) are integrated.

An assembly according to claim 1, wherein for the ultrasonic sensor ( 312 ) and the image sensor ( 316 ) at least in sections a common beam path ( 320 ) is provided.

Assembly according to claim 2, wherein the common beam path ( 320 ) a lens ( 322 ) which is transparent to both ultrasound and transparent in an optical and / or infrared region.

Assembly according to one of the preceding claims, with a plurality in an array ( 402 . 504 ) arranged ultrasonic sensors ( 404 . 506 ) arranged to perform a range and / or direction determination with respect to an object in a vehicle environment.

An assembly according to any one of claims 4, having a plurality of in an array ( 508 ) arranged image sensors ( 510 . 512 ), where the array ( 504 ) of the ultrasonic sensors ( 506 ) and the array ( 508 ) of the image sensors ( 510 . 512 ) at least partially overlap.

Assembly according to one of the preceding claims, with a radiation source ( 510 ) for emitting radiation, wherein the image sensor ( 512 ) is designed to receive reflections of the beams.

Assembly according to one of the preceding claims, wherein the at least one image sensor ( 512 ) is provided for generating two- or three-dimensional representations of a vehicle environment.

Assembly according to one of the preceding claims, having a common interface ( 308 ) for transmission of ultrasonic sensor ( 312 ) and image sensor ( 316 ) between the assembly ( 300 ) and at least one central processing unit of the vehicle assistance system.

Driver assistance system ( 102 ) for a vehicle ( 100 ) comprising an assembly ( 104 ) according to any one of the preceding claims.

Driver assistance system ( 102 ) according to claim 9, wherein the image sensor ( 112 ) of the assembly ( 104 ) is intended for use as a rear view camera.