DE102018219420A1 - Method and device for determining a distance from at least one object in the surroundings of a vehicle using a laser unit and a camera unit - Google Patents
Method and device for determining a distance from at least one object in the surroundings of a vehicle using a laser unit and a camera unit Download PDFInfo
- Publication number
- DE102018219420A1 DE102018219420A1 DE102018219420.3A DE102018219420A DE102018219420A1 DE 102018219420 A1 DE102018219420 A1 DE 102018219420A1 DE 102018219420 A DE102018219420 A DE 102018219420A DE 102018219420 A1 DE102018219420 A1 DE 102018219420A1
- Authority
- DE
- Germany
- Prior art keywords
- laser beam
- vehicle
- laser
- unit
- camera unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/50—Systems of measurement based on relative movement of target
- G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zur Bestimmung einer Entfernung von zumindest einem Objekt 115 in einem Umfeld eines Fahrzeugs 100 unter Verwendung einer Lasereinheit 120 und einer Kameraeinheit 125, wobei das Verfahren zunächst einen Schritt des Ansteuerns aufweist, bei dem die Lasereinheit 120 ansprechend auf das mittels zumindest eines Bildsignals 145 der Kameraeinheit 125 detektierte Objekt 115 in einem Messbereich 135 des Umfelds des Fahrzeugs 100 angesteuert wird, um einen Laserstrahl 140 auszusenden um das detektierte Objekt 115 mittels des Laserstrahls 140 abzutasten und/oder zu beleuchten. Ferner weist das Verfahren einen Schritt des Einlesens eines weiteren Bildsignals 145' der Kameraeinheit 125 auf, welches ein Abbild des von dem Laserstrahl 140 beleuchteten Objektes 115 in einem Messbereich 135 des Umfelds 205 des Fahrzeugs 100 repräsentiert. Schließlich weist das Verfahren einen Schritt des Bestimmens auf, bei dem eine Entfernung des Objekts 115 in Bezug zu dem Fahrzeug 100 mittels einer Fusion einer Information bezüglich einer Ausstrahlrichtung des Laserstrahls 140 mit einer Information bezüglich eines Auftreffortes des Laserstrahls 140 auf das Objekt 115 aus dem weiteren Bildsignal 145 der Kameraeinheit 125 bestimmt wird.The invention relates to a method for determining a distance from at least one object 115 in an environment of a vehicle 100 using a laser unit 120 and a camera unit 125, the method initially comprising a step of actuation, in which the laser unit 120 in response to the at least of an image signal 145 of the camera unit 125, the object 115 detected in a measurement area 135 of the surroundings of the vehicle 100 is driven in order to emit a laser beam 140 in order to scan and / or illuminate the detected object 115 by means of the laser beam 140. Furthermore, the method has a step of reading in a further image signal 145 ′ from the camera unit 125, which represents an image of the object 115 illuminated by the laser beam 140 in a measurement area 135 of the environment 205 of the vehicle 100. Finally, the method has a step of determining, in which a removal of the object 115 with respect to the vehicle 100 by means of a fusion of information regarding an emission direction of the laser beam 140 with information regarding an impact point of the laser beam 140 on the object 115 from the further Image signal 145 of the camera unit 125 is determined.
Description
Stand der TechnikState of the art
Die Erfindung geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.The invention is based on a device or a method according to the type of the independent claims. The present invention also relates to a computer program.
Zur Entfernungsbestimmung von Objekten können Fahrzeuge neben Kameras mit Lidarsensoren ausgestattet sein, wobei Lidarsensoren angesteuert werden einen von der Kamera einsehbaren Messbereich eines Fahrzeugumfelds mittels Laserstrahlen nach Objekten abzutasten. Problematisch sind hierbei jedoch die hohen technischen Anforderungen und bisweilen hohen Ausfallraten von Lidarsensoren aufgrund beweglicher Bauteile, was eine Sicherheit im Straßenverkehr negativ beeinträchtigt.To determine the distance of objects, vehicles can be equipped with lidar sensors in addition to cameras, with lidar sensors being controlled to scan a measurement area of a vehicle environment that is visible to the camera by means of laser beams for objects. However, the high technical requirements and sometimes high failure rates of lidar sensors due to moving components are problematic, which negatively affects safety in road traffic.
Offenbarung der ErfindungDisclosure of the invention
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zur Bestimmung einer Entfernung von zumindest einem Objekt in einem Umfeld eines Fahrzeugs unter Verwendung einer Lasereinheit und einer Kameraeinheit, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.Against this background, the approach presented here presents a method for determining a distance from at least one object in the surroundings of a vehicle using a laser unit and a camera unit, a device using this method, and finally a corresponding computer program according to the main claims . The measures listed in the dependent claims allow advantageous developments and improvements of the device specified in the independent claim.
Der hier vorgestellte Ansatz beruht auf der Tatsache, dass neben einer Kameraeinheit zur Umfelderfassung eines Fahrzeugs eine Lasereinheit, beispielsweise eine Infrarot-Lasereinheit, zur Entfernungsmessung verwendet wird, wobei die Lasereinheit einen von der Kameraeinheit einsehbaren Messbereich eines Fahrzeugumfelds optisch nach Objekten und/oder Punkten von Interesse abtastet.The approach presented here is based on the fact that, in addition to a camera unit for detecting the surroundings of a vehicle, a laser unit, for example an infrared laser unit, is used for distance measurement, the laser unit optically detecting a measurement area of a vehicle surroundings by the camera unit according to objects and / or points of Senses interest.
Es wird ein Verfahren zur Bestimmung einer Entfernung von zumindest einem Objekt in einem Umfeld eines Fahrzeugs unter Verwendung einer Lasereinheit und einer Kameraeinheit vorgestellt, wobei das Verfahren die folgenden Schritte aufweist:
- Ansteuern der Lasereinheit ansprechend auf das mittels zumindest eines Bildsignals der Kameraeinheit detektierte Objekt in einem Messbereich des Umfeldes des Fahrzeugs, um einen Laserstrahl auszusenden, um das detektierte Objekt mittels des Laserstrahls abzutasten und/oder zu beleuchten;
- Einlesen eines weiteren Bildsignals der Kameraeinheit, welches ein Abbild des von dem Laserstrahl beleuchteten Objektes in einem Messbereich des Umfelds des Fahrzeugs repräsentiert; und
- Bestimmen einer Entfernung des Objekts in Bezug zu dem Fahrzeug mittels einer Fusion einer Information bezüglich einer Ausstrahlrichtung des Laserstrahls mit einer Information bezüglich eines Auftreffortes des Laserstrahls auf das Objekt aus dem weiteren Bildsignal der Kameraeinheit.
- Triggering the laser unit in response to the object detected by means of at least one image signal of the camera unit in a measuring area of the surroundings of the vehicle in order to emit a laser beam in order to scan and / or illuminate the detected object by means of the laser beam;
- Reading in a further image signal from the camera unit, which represents an image of the object illuminated by the laser beam in a measuring area of the surroundings of the vehicle; and
- Determining a distance of the object in relation to the vehicle by means of a fusion of information regarding an emission direction of the laser beam with information regarding an impact point of the laser beam on the object from the further image signal of the camera unit.
Bei einem Objekt kann es sich beispielsweise um Fahrzeuge, Personen und/oder Infrastrukturmerkmale in einem Umfeld eines Fahrzeugs handeln, wobei ein Objekt beispielsweise mittels einer Kameraeinheit erfasst werden kann. Unter einem Fahrzeug kann beispielsweise ein Fahrzeug zur Personenbeförderung, beispielsweise ein hochautomatisiert fahrendes Fahrzeug, ein Nutzfahrzeug oder ein Lastkraftwagen verstanden werden. Bei einem Umfeld kann es sich beispielsweise um ein Gebiet, eine Gegend und/oder eine Landschaft handeln, das ein Fahrzeug umgibt. Hierbei können sich in dem Fahrzeugumfeld beispielsweise Personen, Objekte und/oder Infrastrukturmerkmale befinden, die beispielsweise mittels einer Kameraeinheit erfasst und abgebildet werden können, um eventuelle Unfälle zu vermeiden und ein sicheres Fahren des Fahrzeugs zu garantieren. Unter einer Lasereinheit kann beispielsweise eine Fahrzeugsensorik, wie ein Lidarsensor oder eine Infrarot-Lasereinheit, verstanden werden, die einen Laserstrahl aussenden und/oder die der Bestimmung einer Entfernung von zumindest einem Objekt in einem Umfeld eines Fahrzeugs dienen kann. So kann ein von der Lasereinheit emittierter Laserstrahl eine Oberfläche eines Objekts beispielsweise zeilen- oder rasterartig Überstreichen, um das Objekt zu vermessen und/oder um ein Bild des Objekts zu erzeugen. Bei einer Kameraeinheit kann es sich beispielsweise um eine fototechnische Apparatur handeln, die statische oder bewegte Bilder elektronisch auf ein magnetisches Videoband oder digitales Speichermedium aufzeichnet, oder über eine Schnittstelle übermitteln kann. Hierbei kann es sich bei der Kameraeinheit beispielsweise um eine digitale Fahrzeugkamera handeln, die beispielsweise an einem Fahrzeug angeordnet ist und ferner dazu ausgebildet ist, fortlaufend Bildinformationen oder Bilder eines Fahrzeugumfelds und der dort befindlichen Objekte, Personen und/oder Infrastrukturmerkmale zu erfassen und abzubilden. Darüber hinaus kann es sich bei der Kameraeinheit beispielsweise um eine Mono- oder eine Stereokamera handeln, die im sichtbaren und/oder Infrarotbereich Bilder aufnehmen kann. Die Kameraeinheit ist folglich nicht auf die Aufnahme von Bildern im optischen Spektrum beschränkt. Bei einem Bildsignal kann es sich um ein elektrisches Signal einer Kameraeinheit handeln, dass beispielsweise ein Abbild eines Umfelds eines Fahrzeugs repräsentiert. Unter dem weiteren Bildsignal kann ein Bildsignal der Kameraeinheit verstanden werden, das nach dem Bildsignal aufgenommen wurde. Unter einem Messbereich kann beispielsweise ein Bereich in einem Umfeld eines Fahrzeugs verstanden werden, der von einer Kameraeinheit zur Erfassung eines Umfelds eines Fahrzeugs einsehbar und mittels zumindest eines Bildsignals optisch abbildbar ist.An object can be, for example, vehicles, people and / or infrastructure features in the surroundings of a vehicle, an object being able to be detected, for example, by means of a camera unit. A vehicle can be understood to mean, for example, a vehicle for the transportation of people, for example a highly automated vehicle, a commercial vehicle or a truck. An environment can be, for example, an area, a region and / or a landscape that surrounds a vehicle. Here, for example, people, objects and / or infrastructure features can be located in the vehicle environment, which can be recorded and imaged, for example, by means of a camera unit, in order to avoid possible accidents and to guarantee safe driving of the vehicle. A laser unit can be understood to mean, for example, a vehicle sensor system, such as a lidar sensor or an infrared laser unit, which emits a laser beam and / or which can be used to determine a distance from at least one object in the surroundings of a vehicle. For example, a laser beam emitted by the laser unit can sweep over a surface of an object, for example in a line or grid pattern, in order to measure the object and / or to generate an image of the object. A camera unit can be, for example, a photographic apparatus that records static or moving images electronically on a magnetic video tape or digital storage medium, or can transmit them via an interface. The camera unit can be a digital vehicle camera, for example, which is arranged on a vehicle, for example, and is also designed to continuously capture and display image information or images of a vehicle environment and the objects, people and / or infrastructure features located there. In addition, the camera unit can be, for example, a mono or stereo camera that can take pictures in the visible and / or infrared range. The camera unit is therefore not limited to the recording of images in the optical spectrum. An image signal can be an electrical signal from a camera unit that represents, for example, an image of an environment of a vehicle. The further image signal can be understood as an image signal of the camera unit that after the image signal was recorded. A measurement area can be understood to mean, for example, an area in an environment of a vehicle that can be viewed by a camera unit for detecting an environment of a vehicle and can be optically imaged by means of at least one image signal.
Es ist davon auszugehen, dass Kameraeinheiten zur Umfelderfassung eines Fahrzeugs die dominierenden Sensoren für das Autonome Fahren werden könnten. So sind Kameraeinheiten inzwischen kostengünstig herstell- und vertreibbar und können zudem hochauflösende Informationen, sowohl zeitlich als auch räumlich, zu einem Umfeld eines Fahrzeugs bereitstellen. Allerdings sind Entfernungsmessungen, die mithilfe erfasster Dateninformationen einer Kameraeinheit durchgeführt werden, nicht immer eindeutig und/oder sicher, wobei zu bemerken ist, dass Entfernungsmessungen mittels einer 3D-Kameraeinheit eindeutiger sind, als die einer Mono-Kameraeinheit. Dennoch lässt sich selbst unter Verwendung von Mono-Kameraeinheiten, die kostengünstiger als 3D-Kameraeinheiten sind, aus der Bewegung eines Fahrzeugs auf die Entfernung eines mit der Kameraeinheit beobachteten Objekts schließen. So gibt es auch Bestrebungen lediglich mit einer hochauflösenden Mono-Kameraeinheit zur Entfernungsmessung auszukommen.It can be assumed that camera units for environment detection of a vehicle could become the dominant sensors for autonomous driving. In the meantime, camera units can be manufactured and distributed inexpensively and can also provide high-resolution information, both temporally and spatially, about the surroundings of a vehicle. However, distance measurements that are carried out with the aid of recorded data information from a camera unit are not always unambiguous and / or certain, it being noted that distance measurements using a 3D camera unit are more unambiguous than those of a mono camera unit. Nevertheless, even with the use of mono camera units, which are less expensive than 3D camera units, the distance of an object observed with the camera unit can be inferred from the movement of a vehicle. There are also efforts only to get by with a high-resolution mono camera unit for distance measurement.
Aus Gründen der Sicherheit werden derzeit noch weitere Fahrzeugsensoren zur Entfernungsmessung benötigt, beispielsweise Radarsensoren und/oder Lidarsensoren. Hierbei werden die Informationen aus den Signalen der Kameraeinheit mit den Signalen der weiteren Fahrzeugsensoren fusioniert, um eine Gesamtbewertung einer Verkehrssituation zu erhalten. So sind Radarsensoren jedoch oftmals störanfällig und weisen eine geringe Auflösung auf, wodurch sie zukünftig vermutlich nur eine untergeordnete Anwendung im Bereich des Autonomen Fahrens einnehmen werden. Derzeit werden somit insbesondere Lidarsensoren verwendet, die aber durch hohe technische Anforderungen aufwendig zu betreiben sind und aufgrund beweglicher Bauteile bisweilen hohe Ausfallraten aufweisen können. Bei Verwendung von Lidarsensoren zur Entfernungsmessung treten dementsprechend auch hohe Datenraten auf, die aufwendig zu verarbeiten und/oder zu fusionieren sind. Es gibt daher verschiedene Bestrebungen Lidarsensoren kostengünstiger und ohne bewegliche Bauteile zu realisieren, wobei lediglich wenige Hersteller Lidarsensoren in der notwendigen Genauigkeit und darüber hinaus auch kostengünstig herstellen können.For reasons of safety, further vehicle sensors are currently required for distance measurement, for example radar sensors and / or lidar sensors. Here, the information from the signals of the camera unit is fused with the signals from the other vehicle sensors in order to obtain an overall assessment of a traffic situation. However, radar sensors are often susceptible to interference and have a low resolution, which means that in the future they will probably only have a subordinate application in the field of autonomous driving. Currently, lidar sensors are used in particular, but they are difficult to operate due to high technical requirements and can sometimes have high failure rates due to moving components. Accordingly, when using lidar sensors for distance measurement, high data rates also occur, which are complex to process and / or merge. There are therefore various efforts to implement lidar sensors more cheaply and without moving components, with only a few manufacturers being able to produce lidar sensors with the necessary accuracy and, moreover, also inexpensively.
Die Vorteile des hier vorgestellten Ansatzes liegen insbesondere darin, dass mittels Verwendung einer Lasereinheit zur Bestimmung einer Entfernung von zumindest einem Objekt in einem Umfeld eines Fahrzeugs in Kombination mit einer Kameraeinheit, eine notwendige Genauigkeit und Sicherheit mit geringem technischen Aufwand und Kostenfaktor im Straßenverkehr erreicht werden kann. Hierfür kann beispielsweise als Lasereinheit eine einfache Infrarot-Lasereinheit ohne Messvorrichtung verwendet werden, wobei die Kameraeinheit als Messvorrichtung (zur Aufnahme auch eines durch die Lasereinheit projizierten Beleuchtungspunkts auf das Objekt) dienen kann. Die Kameraeinheit sollte bei der Verwendung einer Infrarot-Lasereinheit außerdem ausgebildet sein, InfrarotLicht (günstigerweise im nahen Infrarot-Bereich) detektieren zu können. Eine explizite Entfernungsmessung wird bei dem hier vorgestellten Ansatz günstigerweise bedarfsgerecht durchgeführt. Das heißt, dass beispielsweise nicht ein kompletter Sichtbereich einer Kameraeinheit und/oder einer Lasereinheit kontinuierlich und äquidistant abgetastet wird, sondern lediglich Objekte und/oder Punkte von besonderen Interesse, also beispielsweise solche, bei denen eine Schätzung einer Entfernung aus der Kameraeinheit einen geringen Grad an Sicherheit aufweisen. Hieraus ergeben sich vorteilhaft ein verringerter technischer Aufwand und eine niedrige Datenrate, wodurch die Informationsdaten der Kameraeinheit und der Lasereinheit einfacher fusionierbar sind. Eine solche Fusion kann beispielsweise derart erfolgen, dass aus der von der Kameraeinheit nach der Beleuchtung des Objekts mit dem Laserstrahl ein weiteres Bild (das dann die Grundlage des weiteren Bildsignals bildet) aufgenommen wird und mit einer Information über eine Abstrahlrichtung des von der Lasereinheit abgestrahlten Laserstrahls kombiniert wird, sodass durch eine Triangulation (speziell bei Kenntnis der Entfernung der Lasereinheit von der Kameraeinheit die Entfernung des Objekts von der Kameraeinheit bzw. dem Fahrzeug bestimmt werden kann. Andererseits ist mittels des hier vorgestellten Ansatzes eine höhere und schnellere Informationsauflösung für Objekte und/oder Punkte von besonderem Interesse möglich. Schließlich können zudem weitere Funktionen mittels des hier vorgestellten Ansatzes realisiert werden, wie beispielsweise alternative Ausführungen einer Entfernungsmessung, ein Ausleuchten eines Messbereichs eines Fahrzeugumfelds sowie eine Geschwindigkeitsmessung eines Objekts und/oder Punkts von Interesse.The advantages of the approach presented here lie in particular in the fact that by using a laser unit to determine a distance from at least one object in an environment of a vehicle in combination with a camera unit, the necessary accuracy and safety can be achieved with little technical effort and cost factor in road traffic . For this purpose, a simple infrared laser unit without a measuring device can be used, for example, as a laser unit, the camera unit serving as a measuring device (for also recording an illumination point projected onto the object by the laser unit). When using an infrared laser unit, the camera unit should also be designed to be able to detect infrared light (advantageously in the near infrared range). In the approach presented here, an explicit distance measurement is advantageously carried out as required. This means that, for example, not a complete field of view of a camera unit and / or a laser unit is scanned continuously and equidistantly, but only objects and / or points of particular interest, for example those in which an estimate of a distance from the camera unit is low Have security. This advantageously results in a reduced technical outlay and a low data rate, as a result of which the information data of the camera unit and the laser unit are easier to fuse. Such a fusion can take place, for example, in such a way that a further image (which then forms the basis of the further image signal) is taken from the camera unit after the object has been illuminated with the laser beam and with information about a radiation direction of the laser beam emitted by the laser unit is combined so that a triangulation (especially when the distance of the laser unit from the camera unit is known allows the distance of the object from the camera unit or the vehicle to be determined. On the other hand, the approach presented here is a higher and faster information resolution for objects and / or Points of particular interest are possible, and finally, further functions can also be implemented using the approach presented here, such as, for example, alternative designs of a distance measurement, illumination of a measurement area of a vehicle environment and speed measurement it object and / or point of interest.
So kann es sich bei einer alternativen Ausführung einer Entfernungsmessung beispielsweise um eine redundante Entfernungsmessung mittels einer Fokussierung eines von einer Lasereinheit emittierten Laserstrahls handeln. Diese Ausführung eignet sich insbesondere für Objekte, Personen und/oder Infrastrukturmerkmale, die sich in einem Nahbereich von beispielsweise fünf bis zehn Metern zum Fahrzeug befinden, wobei mittels Steuerung der Brennweite des Laserstrahls eine Entfernungsmessung realisierbar ist. Liegt das abzutastende Objekt beispielsweise in der Fokusebene, ist der Punkt hierbei minimal.For example, an alternative embodiment of a distance measurement can be a redundant distance measurement by focusing a laser beam emitted by a laser unit. This embodiment is particularly suitable for objects, people and / or infrastructure features that are in the vicinity of, for example, five to ten meters from the vehicle, a distance measurement being able to be implemented by controlling the focal length of the laser beam. Is the object to be scanned for example in the focal plane, the point is minimal.
Ferner kann eine alternative Entfernungsmessung beispielsweise mittels einer Modulation der Intensität des Laserstrahls realisiert werden. So kann unter Berücksichtigung der Lichtgeschwindigkeit mittels einer Modulation der Intensität des Laserstrahls und einer gleichzeitigen Modulation einer Sensitivität der Kameraeinheit eine Entfernung eines Objekts in Bezug zu einem Fahrzeug gemessen werden. Wenn beispielsweise der Laserstrahl und eine Bildaufnahmefrequenz der Kameraeinheit moduliert würden, sodass sie eine Frequenz von beispielsweise 100 Mhz aufweisen, ergäbe sich alle drei Meter eine Auslöschung bzw. ein Intensitätsmaximum. Wenn die Frequenzen des Laserstrahls und die Bildaufnahmefrequenz der Kameraeinheit leicht unterschiedliche gewählt würden, könnte eine ständige Schwebung im Bereich der normalen Bildabtastung zu sehen sein. Aus einer Amplitude des Bildsignals und der Phase und Frequenz beider Modulationen, ließe sich somit auf die Entfernung des Objekts in Bezug zum Fahrzeug schließen.Furthermore, an alternative distance measurement can be implemented, for example, by modulating the intensity of the laser beam. Taking into account the speed of light, a distance of an object in relation to a vehicle can be measured by modulating the intensity of the laser beam and simultaneously modulating the sensitivity of the camera unit. If, for example, the laser beam and an image recording frequency of the camera unit were modulated so that they had a frequency of 100 MHz, for example, there would be an extinction or an intensity maximum every three meters. If the frequencies of the laser beam and the image recording frequency of the camera unit were chosen to be slightly different, a constant beat in the area of normal image scanning could be seen. From an amplitude of the image signal and the phase and frequency of both modulations, the distance of the object in relation to the vehicle could be concluded.
Besonders vorteilhaft ist bei der Verwendung eines Infrarot-Lasertrahls ebenfalls, dass der Auftreffpunkt des Laserstrahls auf das Objekt für das menschliche Auge nicht sichtbar ist. Hierdurch wird auch eine Irritation des Fahrers, eines anderen Fahrzeuginsassen oder eines außerhalb des Fahrzeugs befindlichen Verkehrsteilnehmers vermieden und hierdurch die Verkehrssicherheit um das Fahrzeug herum erhöht.It is also particularly advantageous when using an infrared laser beam that the point of incidence of the laser beam on the object is not visible to the human eye. This also prevents irritation to the driver, another vehicle occupant or a road user located outside the vehicle and thereby increases traffic safety around the vehicle.
Gemäß einer Ausführungsform kann im Schritt des Ansteuerns die Lasereinheit zum Aussenden eines Laserstrahls dann angesteuert werden, wenn eine Detektion des Objekts einen geringeren Grad an Sicherheit als eine Soll-Sicherheit aufweist und/oder wenn das Objekt als auf einer Fahrtrajektorie des Fahrzeugs befindlich detektiert wird und/oder wenn sich das detektierte Objekt in einem vorbestimmten Nahbereich (von beispielsweise fünf bis zehn Metern zum Fahrzeug) befindet und/oder wenn dem Objekt eine höhere Priorität der Beleuchtung durch den Laserstrahl zugeordnet ist, als einem weiteren Objekt. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet somit den Vorteil, dass eine Entfernungsmessung insbesondere bedarfsgerecht, beispielsweise in dringlichen und/oder kritischen Situationen, durchgeführt werden kann, wodurch der hier vorgestellte Ansatz eine niedrige Datenrate aufweist und die Informationen aus dem Laserstrahl mit den Informationen aus dem zumindest einen Bildsignal der Kameraeinheit einfacher und schneller fusionierbar sind. Hierdurch ist eine Entfernung eines Objekts in Bezug zu einem Fahrzeug schnell und unkompliziert bestimmbar, sodass eine potenziell kritische Verkehrssituation früh erkannt und vermieden werden kann. Denkbar ist ebenfalls, dass eine Priorisierung einer Abtastung/Beleuchtung des Objekts mit dem Laserstrahl (beispielsweise gegenüber einer Abtastung bzw. Beleuchtung eines weiteren Objekts) erfolgt, sodass beispielsweise ein erstes Objekt, welchem eine höhere Priorität (d. h., einen diese Priorität bezeichnenden Parameter) oder Wichtigkeit bzw. Relevanz für das Fahrverhalten oder die Verkehrssicherheit des Fahrzeugs aufweist, früher, detailreicher oder präziser beleuchtet oder abgetastet wird, als ein zweites Objekt, welches im Messbereich in der Umgebung bzw. dem Umfeld des Fahrzeugs detektiert wurde (welches eine niedrigere Priorität hat). Beispielsweise kann auch eine solche Priorisierung auf der Basis eines Grades an Sicherheit einer Detektion des Objektes oder einer Nähe des Objekts zum Fahrzeug erfolgen. Denkbar ist beispielsweise, dass ein Objekt, welches mit einem geringeren Grad an Sicherheit als einem vorbestimmten Objekttyp zugeordnet werden kann, früher, länger und/oder detailreicher mit dem Laserstrahl beleuchtet wird, als ein Objekt, welches mit einem hohen Grad an Sicherheit als einem vorbestimmten Objekttyp zugeordnet wird. Alternativ oder zusätzlich kann ein Objekt, welches sehr nahe an dem Fahrzeug erkannt wird, früher, länger und/oder detailreicher mit dem Laserstrahl beleuchtet werden, als ein Objekt, welches weiter von dem Fahrzeug entfernt befindlich erkannt wurde.According to one embodiment, the laser unit for emitting a laser beam can be controlled in the actuation step if a detection of the object has a lower degree of security than a target security and / or if the object is detected as being on a travel trajectory of the vehicle and / or if the detected object is in a predetermined close range (for example five to ten meters from the vehicle) and / or if the object is assigned a higher priority of the illumination by the laser beam than another object. Such an embodiment of the approach presented here thus offers the advantage that a distance measurement can be carried out, in particular as required, for example in urgent and / or critical situations, as a result of which the approach presented here has a low data rate and the information from the laser beam contains the information which at least one image signal from the camera unit can be merged more easily and quickly. In this way, a distance of an object in relation to a vehicle can be determined quickly and easily, so that a potentially critical traffic situation can be recognized and avoided at an early stage. It is also conceivable for a scanning / illumination of the object to be prioritized with the laser beam (for example, compared to a scanning or illumination of another object), so that, for example, a first object which has a higher priority (ie a parameter denoting this priority) or Importance or relevance for the driving behavior or traffic safety of the vehicle, is illuminated, scanned earlier, in more detail or more precisely than a second object, which was detected in the measuring range in the surroundings or the surroundings of the vehicle (which has a lower priority) . For example, such a prioritization can also take place on the basis of a degree of security of a detection of the object or a proximity of the object to the vehicle. It is conceivable, for example, that an object which can be assigned with a lower degree of security than a predetermined object type is illuminated earlier, longer and / or in more detail with the laser beam than an object which with a high degree of security than a predetermined one Object type is assigned. Alternatively or additionally, an object which is recognized very close to the vehicle can be illuminated earlier, longer and / or in more detail with the laser beam than an object which was recognized further away from the vehicle.
Gemäß einer weiteren Ausführungsform kann im Schritt des Ansteuerns die Lasereinheit derart angesteuert wird, dass der Laserstrahl mehrmals über einen vorbestimmten Zeitraum und/oder vor dem Schritt des Bestimmens einer Entfernung des Objekts in Bezug zu dem Fahrzeug ausgesendet wird, wenn ein reflektierter Laserstrahl nicht mit einer vorbestimmten Intensität empfangen wird. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet somit den Vorteil, dass mittels eines mehrmaligen Aussendens des Laserstrahls beispielsweise sichergestellt werden kann, dass eine ermittelte Entfernung eines abzutastenden Objekts in einem Umfeld eines Fahrzeugs einen hohen Konfidenzwert von beispielsweise 90% aufweist, wodurch eine Sicherheit im Straßenverkehr ungemein erhöht werden kann.According to a further embodiment, the laser unit can be controlled in the driving step in such a way that the laser beam is emitted several times over a predetermined time period and / or before the step of determining a distance of the object with respect to the vehicle if a reflected laser beam is not with a predetermined intensity is received. Such an embodiment of the approach presented here thus offers the advantage that, by repeatedly emitting the laser beam, it can be ensured, for example, that a determined distance of an object to be scanned in a vehicle environment has a high confidence value of, for example, 90%, thereby ensuring road traffic safety can be increased enormously.
Ferner kann gemäß einer Ausführungsform im Schritt des Ansteuerns die Lasereinheit derart angesteuert werden wird, dass der Laserstrahl derart ausgesendet wird, dass der Laserstrahl das Objekt über einen vorbestimmten Zeitraum und/oder eine vorbestimmte Strecke verfolgt, wobei im Schritt des Bestimmens eine Geschwindigkeit des Objekts unter Verwendung einer Information aus dem Laserstrahl ermittelt wird. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet somit den Vorteil, dass mittels einer Geschwindigkeitsbestimmung eines detektierten Objekts das Objekt in Echtzeit einer Typklassifikation unterzogen werden kann. So kann unter Verwendung einer Form, Abmessung und Geschwindigkeit des Objekts eine eindeutige Identifizierung des Objekts stattfinden. Anhand von Daten, beispielsweise aus einer fahrzeuginternen Datenbank, kann dann anhand dieser Parameter auch eine Plausibilitätsprüfung der Typklassifikation erfolgen, sodass geprüft wird, ob die jeweilige Form und Abmessung mit einer jeweiligen Geschwindigkeit eines bekannten Objekts überhaupt übereinstimmt. Zusätzlich kann die Typklassifikation auch mittels einer Bestimmung einer Richtung des Objekts bzw. seiner Orientierung erfolgen.Furthermore, according to one embodiment, the laser unit can be controlled in the control step in such a way that the laser beam is emitted in such a way that the laser beam tracks the object over a predetermined time period and / or a predetermined distance, with a speed of the object being determined in the step of determining Use of information from the laser beam is determined. Such an embodiment of the approach presented here thus offers the advantage that the object can be determined in real time by means of a speed determination of a detected object can be subjected to a type classification. Thus, the object can be uniquely identified using a shape, dimension and speed of the object. On the basis of data, for example from a vehicle-internal database, a plausibility check of the type classification can then also be carried out on the basis of these parameters, so that it is checked whether the respective shape and dimensions at all match a particular speed of a known object. In addition, the type classification can also be carried out by determining a direction of the object or its orientation.
Gemäß einer Ausführungsform kann im Schritt des Ansteuerns die Lasereinheit derart angesteuert werden, dass der Laserstrahl einer ermittelten Trajektorie zur Abtastung des Objekts folgt, insbesondere wobei die Trajektorie unter Berücksichtigung einer geschätzten Entfernung des Objekts zum Fahrzeug ermittelt wird. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet somit den Vorteil, dass unter Verwendung eines effizient sowie strategisch gesteuerten Laserstrahls eine möglichst hohe Anzahl an Objekten und/oder Abtastpunkten in einem Messbereich einer Kameraeinheit schnell und geordnet abgetastet werden kann, wodurch eine potenziell kritische Verkehrssituation früh erkannt und vermieden werden kann, um eine Sicherheit im Straßenverkehr zu erhöhen. Ferner können hierbei beispielsweise Objekte, die sich in einem vorbestimmten Nahbereich von beispielsweise fünf bis zehn Metern zum Fahrzeug befinden, von dem Laserstrahl öfter abgescannt werden als Objekte, die weiter vom Fahrzeug entfernt sind. Dadurch kann das Fahrerassistenzsystem schnell auf Ereignisse reagieren, die in der Nähe des Fahrzeugs auftreten.According to one embodiment, the laser unit can be activated in the actuation step in such a way that the laser beam follows a determined trajectory for scanning the object, in particular wherein the trajectory is determined taking into account an estimated distance of the object from the vehicle. Such an embodiment of the approach presented here offers the advantage that, using an efficient and strategically controlled laser beam, the greatest possible number of objects and / or scanning points in a measuring area of a camera unit can be scanned quickly and in an orderly manner, as a result of which a potentially critical traffic situation is recognized early and can be avoided to increase road safety. Furthermore, for example, objects that are in a predetermined close range of, for example, five to ten meters from the vehicle can be scanned more often by the laser beam than objects that are further away from the vehicle. This enables the driver assistance system to react quickly to events that occur in the vicinity of the vehicle.
Gemäß einer weiteren Ausführungsform kann im Schritt des Ansteuerns die Lasereinheit derart angesteuert wird, dass mittels des ausgesandten Laserstrahls ein Messbereich des Fahrzeugumfelds (beispielsweise bei Nacht) ausgeleuchtet werden, und/oder im Schritt des Ansteuerns die Lasereinheit angesteuert wird, um einen Infrarot-Laserstrahl auszusenden, und/oder wobei im Schritt des Einlesens ein weiteres Bildsignal eines von der Kameraeinheit im Infrarotbereich aufgenommenen Abbildes des von dem Laserstrahl beleuchteten Objektes in dem Messbereich des Umfelds des Fahrzeugs ausgeführt wird. So ist neben einer Kameraeinheit eine Infrarot-Beleuchtung mittels der Lasereinheit hilfreich, um (speziell auch bei Nachtfahrten eines Fahrzeugs) ein eventuell auf einer Fahrtrajektorie des Fahrzeugs befindliches Objekt, eine Person und/oder ein Tier detektieren und eine Entfernung des Fahrzeugs in Bezug zu dem detektierten Objekt, der Person und/oder dem Tier durchführen zu können. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet somit den Vorteil, dass eine potenziell kritische Verkehrssituation auch bei Nacht und/oder schlechten Sichtverhältnissen früher erkannt und somit vermieden werden kann. Zugleich kann auch eine Irritation von Verkehrsteilnehmern oder Fahrzeuginsassen durch die Beleuchtung des Objektes mit dem optisch nicht sichtbaren (Infrarot-) Laserstrahl vermieden werden.According to a further embodiment, the laser unit can be activated in the control step in such a way that a measuring range of the vehicle's surroundings (for example at night) is illuminated by means of the emitted laser beam, and / or the laser unit is activated in the control step in order to emit an infrared laser beam , and / or wherein in the step of reading in a further image signal of an image recorded by the camera unit in the infrared range of the object illuminated by the laser beam is carried out in the measuring range of the surroundings of the vehicle. In addition to a camera unit, infrared lighting by means of the laser unit is helpful in order (especially also when driving a vehicle at night) to detect an object, a person and / or an animal possibly located on a driving trajectory of the vehicle and a distance of the vehicle in relation to it to be able to carry out the detected object, the person and / or the animal. Such an embodiment of the approach presented here offers the advantage that a potentially critical traffic situation can be recognized earlier and thus avoided even at night and / or poor visibility. At the same time, irritation of road users or vehicle occupants by illuminating the object with the optically invisible (infrared) laser beam can also be avoided.
Weiterhin kann gemäß einer Ausführungsform im Schritt des Ansteuerns die Lasereinheit derart angesteuert wird, dass der Laserstrahl unter Verwendung von einer Mehrzahl von Matrix-förmig angeordneten, zeilenförmig angeordneten und/oder zu einem Phased Array angeordneten Laserdioden der Lasereinheit ausgesendet wird, insbesondere wobei eine Aussenderichtung des Laserstrahls mittels Variation einer Phasensteuerung der Laserdioden angesteuert wird. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet den Vorteil, dass insbesondere Laserdioden eine flexible und effiziente Lösung der Ausgestaltung einer Lasereinheit ermöglichen, wodurch auch die Leuchtdichte des von der Lasereinheit ausgesandten Laserstrahls als auch dessen Aussenderichtung ohne das Erfordernis von mechanisch beweglichen Komponenten variiert werden kann.Furthermore, according to one embodiment, in the actuation step, the laser unit can be actuated in such a way that the laser beam is emitted using a plurality of laser diodes of the laser unit arranged in a matrix, arranged in a row and / or arranged in a phased array, in particular with an emission direction of the laser unit Laser beam is controlled by varying a phase control of the laser diodes. Such an embodiment of the approach presented here offers the advantage that, in particular, laser diodes enable a flexible and efficient solution to the configuration of a laser unit, as a result of which the luminance of the laser beam emitted by the laser unit and its direction of emission can also be varied without the need for mechanically movable components.
Gemäß einer Ausführungsform kann im Schritt des Ansteuerns die Lasereinheit derart angesteuert wird, dass der Laserstrahl durch ein aktiv ansteuerbares Gitter hindurch ausgesendet wird, insbesondere wobei mittels des Gitters ein Winkel und/oder eine Frequenz und/oder eine Intensität und/oder ein Fokus des Laserstrahls variiert wird. So kann beispielsweise ein Abtastwinkel des Laserstrahls in vertikaler Richtung abhängig von der Geschwindigkeit eines Objekts beschränkt werden kann. Beispielsweise kann im Nahbereich der Höhenwinkel bzw. Abtastwinkel des Laserstrahls in vertikaler Richtung größer variiert werden, als im Fernbereich. In horizontaler bzw. lateraler Richtung kann der Winkelbereich des Laserstrahls im Nahbereich beispielsweise ungefähr 170° und im Fernbereich ungefähr 10° betragen. Insbesondere kann mit einem Gitter im einfachen Fall die Richtung des Laserstrahls technisch sehr einfach beeinflusst werden. Mit einem Hologramm auch noch die Fokussierung steuern. Idealerweise könnte beispieklsweise ein sehr fein aufgelöstes, schnell ansteuerbares Dia (beispielsweise als Teil eines Beamers) dieses Gitter/Hologramm erzeugen. Mit diesen kann dann der Laserstrahl in Richtung und Fokussierung variiert werden. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet den Vorteil, dass ein hohes Maß an Flexibilität trotz geringen technischen Aufwands bei der Ansteuerung sowie Ausformung des Laserstrahls zur effizienten Abtastung eines Messbereichs in einem Umfeld eines Fahrtzeugs gewährt werden kann.According to one embodiment, in the actuation step, the laser unit can be actuated in such a way that the laser beam is emitted through an actively controllable grating, in particular an angle and / or a frequency and / or an intensity and / or a focus of the laser beam by means of the grating is varied. For example, a scanning angle of the laser beam in the vertical direction can be restricted depending on the speed of an object. For example, the elevation angle or scanning angle of the laser beam can be varied in the vertical direction to a greater extent than in the far area. In the horizontal or lateral direction, the angular range of the laser beam can be, for example, approximately 170 ° in the close range and approximately 10 ° in the far range. In particular, the direction of the laser beam can be influenced in a technically very simple manner with a grating. Control the focus with a hologram. Ideally, for example, a very finely resolved, quickly controllable slide (for example as part of a projector) could generate this grating / hologram. These can then be used to vary the direction and focusing of the laser beam. Such an embodiment of the approach presented here offers the advantage that a high degree of flexibility can be granted despite the low technical complexity in the control and shaping of the laser beam for the efficient scanning of a measuring range in an environment of a vehicle.
Gemäß einer weiteren Ausführungsform kann im Schritt des Ansteuerns die Lasereinheit derart angesteuert werden, dass der Laserstrahl den Messbereich des Fahrzeugumfelds in einem vorbestimmten Muster abtastet, insbesondere wobei der Laserstrahl stetig auf wechselnde Abtastpunkte innerhalb des Messbereichs des Fahrzeugumfelds ausgerichtet wird. Alternativ oder zusätzlich kann im Schritt des Ansteuerns die Lasereinheit derart angesteuert werden, dass der Laserstrahl das Objekt außerhalb des Messbereichs des Umfelds des Fahrzeugs nicht abtastet. Somit kann der Messbereich mittels des erzeugten Laserstrahls effizient und vollständig abgescannt werden. Die Abtastpunkte können gemäß einer spezifischen Abtastreihenfolge bzw. Scanreihenfolge definiert sein. Die Abtastpunkte können jedoch auch zufällig gemäß einer vordefinierten Zufallsverteilung ausgewählt werden. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet somit den Vorteil, dass auf diese Weise Informationen über einen bestimmten Bereich in einem Umfeld des Fahrzeugs, das heißt eine bestimmte Fläche und/oder ein bestimmtes Volumen, gewonnen werden können, wobei diese Informationen beispielsweise der Erkennung einer potenziell kritischen Verkehrssituation dienen können. According to a further embodiment, the laser unit can be controlled in the control step in such a way that the laser beam scans the measurement area of the vehicle environment in a predetermined pattern, in particular wherein the laser beam is continuously aligned with changing scanning points within the measurement area of the vehicle environment. Alternatively or additionally, the laser unit can be controlled in the control step in such a way that the laser beam does not scan the object outside the measuring range of the surroundings of the vehicle. The measuring range can thus be scanned efficiently and completely by means of the laser beam generated. The sampling points can be defined according to a specific scanning order or scanning order. However, the sampling points can also be selected randomly according to a predefined random distribution. Such an embodiment of the approach presented here offers the advantage that in this way information about a specific area in an environment of the vehicle, that is to say a specific area and / or a specific volume, can be obtained, this information being used, for example, to identify a potentially serve critical traffic situations.
Ferner kann gemäß einer Ausführungsform der Schritt des Ansteuerns, der Schritt des Einlesens und/oder der Schritt des Bestimmens wiederholt ausgeführt werden, wobei die Lasereinheit in einem wiederholt ausgeführten Schritt des Ansteuerns derart angesteuert wird, dass ein Winkel und/oder eine Frequenz und/oder ein Fokus des Laserstrahls im wiederholt ausgeführten Schritt des Ansteuerns verändert wird, wenn eine Schätzung einer Entfernung des Objekts von einer unter Verwendung des Laserstrahls ermittelten Entfernung des Objekts um mehr als einen vorbestimmten Toleranzwert von beispielsweise 10% abweicht. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet somit den Vorteil, dass mittels eines wiederholt ausgesandten Laserstrahls zur Entfernungsmessung eine mittels einer Kameraeinheit erfolgte Schätzung einer Entfernung eines Objekts in Bezug zu einem Fahrzeug verifiziert und/oder plausibilisiert werden kann, sodass eine Verkehrssicherheit erhöht werden kann. Speziell kann eine solche wiederholte Ausführung des hier vorgestellten Ansatzes erfolgen, wenn bei einer Auswertung des Kamerabildes optisch ungeeignete Oberflächen, beispielweise homogene unstrukturierte Oberflächen, erkannt und schlecht ausgeleuchtet werden und beispielsweise in diesem Fall eine mehrdeutige Interpretation des Bildes resultiert, sodass beispielsweise mehrere mögliche Entfernungen des Objektes im Bild bestimmt werden, es aber nicht entschieden werden kann, welches die richtige Entfernung des Objekts zum Fahrzeug darstellt.Furthermore, according to one embodiment, the step of driving, the step of reading in and / or the step of determining can be carried out repeatedly, the laser unit being driven in a step of driving carried out repeatedly such that an angle and / or a frequency and / or a focus of the laser beam is changed in the repetitively executed actuation step if an estimate of a distance of the object deviates from a distance of the object determined using the laser beam by more than a predetermined tolerance value of, for example, 10%. Such an embodiment of the approach presented here offers the advantage that an estimate of the distance of an object in relation to a vehicle can be verified and / or checked for plausibility by means of a repeatedly emitted laser beam for distance measurement, so that traffic safety can be increased. In particular, such a repeated execution of the approach presented here can take place if, when evaluating the camera image, optically unsuitable surfaces, for example homogeneous, unstructured surfaces, are recognized and poorly illuminated and, for example, an ambiguous interpretation of the image results in this case, so that for example several possible distances of the Object in the image can be determined, but it can not be decided which represents the correct distance of the object to the vehicle.
Schließlich kann gemäß einer weiteren Ausführungsform der Schritt des Ansteuerns, der Schritt des Einlesens und/oder der Schritt des Bestimmens wiederholt ausgeführt werden, wobei bei einem wiederholt ausgeführten Schritt des Ansteuerns die Lasereinheit derart angesteuert wird, dass eine Intensität und/oder eine Frequenz des Laserstrahls im wiederholt ausgeführten Schritt des Ansteuerns verändert wird und die Kameraeinheit derart angesteuert wird, dass bei dem wiederholt ausgesandten Laserstrahl eine Bildaufnahmefrequenz und/oder Aufnahmeempfindlichkeit verändert wird, wobei im wiederholt ausgeführten Schritt des Bestimmens die Entfernung des Objekts unter Verwendung der Laserintensität und/oder der Laserfrequenz und/oder unter Verwendung der Bildaufnahmefrequenz und/oder Aufnahmeempfindlichkeit bestimmt wird. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet den Vorteil, dass hierbei eine hohe Entfernungsauflösung mittels geringem messtechnischen Aufwand realisiert werden kann, wobei insbesondere eine Entfernung und/oder Geschwindigkeit von Objekten, Personen und/oder Tieren in weiter Entfernung zu einem Fahrzeug bestimmbar ist, sodass ein sicheres und vorrausschauendes Fahren des Fahrzeugs gewährt werden kann. Denkbar ist ferner, dass die Lasereinheit derart angesteuert wird, dass der Laserstrahl „zerhackt“, beispielsweise in der Form einer pulsweisen Aussendung abgestrahlt wird, als auch die Empfindlichkeit der Kamera intervallweise verändert wird. Über die Phase und bekannter Frequenz des Pulsmusters kann auf die Laufzeit (Modulo) geschlossen werden. Bei leicht unterschiedlicher Frequenz kann aus der Schwebungsfrequenz des „normalen“ Bildsignals auf den Abstand geschlossen werden.Finally, according to a further embodiment, the step of driving, the step of reading in and / or the step of determining can be carried out repeatedly, with the laser unit being driven in such a way that the intensity and / or frequency of the laser beam is driven in the case of a step of driving which is carried out repeatedly is changed in the repetitively carried out step of driving and the camera unit is driven in such a way that an image recording frequency and / or recording sensitivity is changed in the repetitively emitted laser beam, the distance of the object using the laser intensity and / or the laser frequency being changed in the repetitively carried out step of determining and / or is determined using the image recording frequency and / or recording sensitivity. Such an embodiment of the approach presented here has the advantage that a high range resolution can be achieved with little measurement effort, in particular a distance and / or speed of objects, people and / or animals can be determined at a great distance from a vehicle, so that safe and forward-looking driving of the vehicle can be guaranteed. It is also conceivable that the laser unit is controlled in such a way that the laser beam is “chopped”, for example in the form of a pulsed emission, and the sensitivity of the camera is changed at intervals. The running time (modulo) can be inferred from the phase and known frequency of the pulse pattern. If the frequency is slightly different, the beat frequency of the "normal" image signal can be used to determine the distance.
Das hier vorgestellte Verfahren zur Bestimmung einer Entfernung von zumindest einem Objekt in einem Umfeld eines Fahrzeugs unter Verwendung einer Lasereinheit und einer Kameraeinheit kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.The method presented here for determining a distance from at least one object in the surroundings of a vehicle using a laser unit and a camera unit can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in a control unit.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens zur Bestimmung einer Entfernung von zumindest einem Objekt in einem Umfeld eines Fahrzeugs unter Verwendung einer Lasereinheit und einer Kameraeinheit in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.The approach presented here also creates a device which is designed to control or to carry out the steps of a variant of a method presented here for determining a distance from at least one object in an environment of a vehicle using a laser unit and a camera unit in corresponding devices. to implement. This embodiment variant of the invention in the form of a device can also be used to achieve the object on which the invention is based quickly and efficiently.
Hierzu kann die Vorrichtung zur Bestimmung einer Entfernung von zumindest einem Objekt in einem Umfeld eines Fahrzeugs unter Verwendung einer Lasereinheit und einer Kameraeinheit zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.For this purpose, the device can be used to determine a distance from at least one object in the surroundings of a vehicle a laser unit and a camera unit at least one computing unit for processing signals or data, at least one storage unit for storing signals or data, at least one interface to a sensor or an actuator for reading sensor signals from the sensor or for outputting data or control signals have the actuator and / or at least one communication interface for reading in or outputting data which are embedded in a communication protocol. The computing unit can be, for example, a signal processor, a microcontroller or the like, and the storage unit can be a flash memory, an EEPROM or a magnetic storage unit. The communication interface can be designed to read or output data wirelessly and / or line-bound, wherein a communication interface that can read or output line-bound data can read this data, for example electrically or optically, from a corresponding data transmission line or can output it to a corresponding data transmission line.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.In the present case, a device can be understood to mean an electrical device that processes sensor signals and outputs control and / or data signals as a function thereof. The device can have an interface that can be designed in terms of hardware and / or software. In the case of a hardware configuration, the interfaces can be part of a so-called system ASIC, for example, which contains the most varied functions of the device. However, it is also possible that the interfaces are separate, integrated circuits or at least partially consist of discrete components. In the case of software-based training, the interfaces can be software modules which are present, for example, on a microcontroller in addition to other software modules.
Es wird ein Fahrerassistenzsystem für ein Fahrzeug vorgestellt, wobei das Fahrerassistenzsystem, eine Variante einer hier vorgestellten Vorrichtung, eine Kameraeinheit und eine Lasereinheit aufweist. Hierbei ist die Lasereinheit beispielsweise räumlich entfernt von der Kameraeinheit an dem Fahrzeug angeordnet oder anordnenbar. Bei einer Fahrerassistenzfunktion kann es sich beispielsweise um eine pilotierte und/oder assistierte Fahrfunktion eines Fahrzeugs handeln, die insbesondere von elektronischen Zusatzeinrichtungen, beispielsweise von Fahrzeugsensoren, zur Unterstützung des Fahrers in bestimmten Fahrsituationen ausgeführt wird. Hierbei stehen beispielsweise Sicherheitsaspekte, aber auch eine Steigerung des Fahrkomforts im Vordergrund. So nehmen Fahrerassistenzsysteme mit Hilfe von Umfeldsensoren, wie beispielsweise Kameraeinheiten und/oder Lasereinheiten, ein Fahrzeugumfeld wahr und interpretieren es. So unterstützen Fahrerassistenzfunktionen den Fahrer in Fahrsituationen, beispielsweise in kritischen Situationen, in denen ein schnelles und sicheres Handeln notwendig ist und ermöglichen somit ein stressfreieres und komfortableres Fahren.A driver assistance system for a vehicle is presented, the driver assistance system having a variant of a device presented here, a camera unit and a laser unit. Here, the laser unit is arranged or can be arranged on the vehicle, for example, spatially distant from the camera unit. A driver assistance function can be, for example, a piloted and / or assisted driving function of a vehicle, which is carried out in particular by additional electronic devices, for example by vehicle sensors, to assist the driver in certain driving situations. Here, for example, safety aspects, but also an increase in driving comfort are in the foreground. Driver assistance systems use environment sensors, such as camera units and / or laser units, to perceive and interpret a vehicle environment. In this way, driver assistance functions support the driver in driving situations, for example in critical situations in which quick and safe action is necessary, and thus make driving less stressful and more comfortable.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.Also advantageous is a computer program product or computer program with program code, which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out, implementing and / or controlling the steps of the method according to one of the embodiments described above is used, in particular if the program product or program is executed on a computer or a device.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
-
1 eine schematische Ansicht eines Fahrzeugs mit einem Fahrerassistenzsystem gemäß einem Ausführungsbeispiel; -
2 eine schematische Ansicht eines Systemaufbaus zur Verwendung eines Verfahrens zur Bestimmung einer Entfernung von zumindest einem Objekt in einem Umfeld eines Fahrzeugs unter Verwendung einer Lasereinheit und einer Kameraeinheit gemäß einem Ausführungsbeispiel; -
3 eine schematische Ansicht einer Ausführung einer Lasereinheit gemäß einem Ausführungsbeispiel; -
4 ein Blockschaltbild einer Vorrichtung zur Bestimmung einer Entfernung von zumindest einem Objekt in einem Umfeld eines Fahrzeugs unter Verwendung einer Lasereinheit und einer Kameraeinheit gemäß einem Ausführungsbeispiel; und -
5 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zur Bestimmung einer Entfernung von zumindest einem Objekt in einem Umfeld eines Fahrzeugs unter Verwendung einer Lasereinheit und einer Kameraeinheit gemäß einem Ausführungsbeispiel.
-
1 a schematic view of a vehicle with a driver assistance system according to an embodiment; -
2nd a schematic view of a system structure for using a method for determining a distance from at least one object in an environment of a vehicle using a laser unit and a camera unit according to an embodiment; -
3rd a schematic view of an embodiment of a laser unit according to an embodiment; -
4th a block diagram of a device for determining a distance of at least one object in an environment of a vehicle using a laser unit and a camera unit according to an embodiment; and -
5 a flowchart of an embodiment of a method for determining a distance of at least one object in an environment of a vehicle using a laser unit and a camera unit according to an embodiment.
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.In the following description of favorable exemplary embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and acting in a similar manner, and a repeated description of these elements is omitted.
Gemäß einem Ausführungsbeispiel weist die Vorrichtung
So ist die Entfernung des Objekts
Der Systemaufbau weist zunächst eine Windschutzscheibe
Die Ansteuereinrichtung
Die Einleseeinrichtung
Zunächst weist das Verfahren
Gemäß einem Ausführungsbeispiel können der Schritt
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.If an exemplary embodiment comprises a “and / or” link between a first feature and a second feature, this is to be read in such a way that the embodiment according to one embodiment has both the first feature and the second feature and according to a further embodiment either only that has the first feature or only the second feature.
Claims (15)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018219420.3A DE102018219420A1 (en) | 2018-11-14 | 2018-11-14 | Method and device for determining a distance from at least one object in the surroundings of a vehicle using a laser unit and a camera unit |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018219420.3A DE102018219420A1 (en) | 2018-11-14 | 2018-11-14 | Method and device for determining a distance from at least one object in the surroundings of a vehicle using a laser unit and a camera unit |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102018219420A1 true DE102018219420A1 (en) | 2020-05-14 |
Family
ID=70469407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102018219420.3A Pending DE102018219420A1 (en) | 2018-11-14 | 2018-11-14 | Method and device for determining a distance from at least one object in the surroundings of a vehicle using a laser unit and a camera unit |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102018219420A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020213383A1 (en) | 2020-10-23 | 2022-04-28 | Robert Bosch Gesellschaft mit beschränkter Haftung | lidar device |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6792203B1 (en) * | 1999-09-01 | 2004-09-14 | Olympus Optical Co., Ltd. | Camera and distance measuring apparatus used in the same |
EP1557693B1 (en) * | 2004-01-26 | 2009-05-20 | IBEO Automobile Sensor GmbH | Method for tracking objects |
DE112009001652T5 (en) * | 2008-07-08 | 2012-01-12 | Chiaro Technologies, Inc. | Multichannel recording |
US20120224164A1 (en) * | 2011-03-01 | 2012-09-06 | Kabushiki Kaisha Topcon | Optical distance measuring apparatus |
WO2018091970A1 (en) * | 2016-11-16 | 2018-05-24 | Innoviz Technologies Ltd. | Lidar systems and methods |
-
2018
- 2018-11-14 DE DE102018219420.3A patent/DE102018219420A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6792203B1 (en) * | 1999-09-01 | 2004-09-14 | Olympus Optical Co., Ltd. | Camera and distance measuring apparatus used in the same |
EP1557693B1 (en) * | 2004-01-26 | 2009-05-20 | IBEO Automobile Sensor GmbH | Method for tracking objects |
DE112009001652T5 (en) * | 2008-07-08 | 2012-01-12 | Chiaro Technologies, Inc. | Multichannel recording |
US20120224164A1 (en) * | 2011-03-01 | 2012-09-06 | Kabushiki Kaisha Topcon | Optical distance measuring apparatus |
WO2018091970A1 (en) * | 2016-11-16 | 2018-05-24 | Innoviz Technologies Ltd. | Lidar systems and methods |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020213383A1 (en) | 2020-10-23 | 2022-04-28 | Robert Bosch Gesellschaft mit beschränkter Haftung | lidar device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3049823B1 (en) | Method for controlling a micro-mirror scanner, and micro-mirror scanner | |
DE102020002994B4 (en) | Method for measuring a distance between an object and an optical sensor, control device for carrying out such a method, distance measuring device with such a control device and motor vehicle with such a distance measuring device | |
DE102004010197B4 (en) | Method for checking the function of a position-finding or environment detection device of a vehicle or for controlling a digital map | |
DE102016219455B4 (en) | Method and active infrastructure for checking a detection of the surroundings of a motor vehicle | |
DE112017007467T5 (en) | Method for providing interference reduction and a dynamic range of interest in a LIDAR system | |
DE112008004187B4 (en) | OBJECT MEASURING DEVICE AND METHOD FOR USE IN THE DEVICE | |
DE112018003346B4 (en) | Display system, information presentation system, method of controlling a display system, recording medium and mobile body | |
DE102010039092B4 (en) | Method and control device for determining a distance between an object and a vehicle | |
DE102017221034B3 (en) | Method and device for determining an installation angle between a road surface on which a vehicle is traveling and a detection direction of a measuring or radar sensor | |
DE102019106129A1 (en) | Test unit and method for testing a LIDAR unit for a vehicle | |
EP1628141A1 (en) | Method of triangulation with laser-diodes and a mono-camera for determining distance in stop-and-go applications for motor vehicles | |
DE102007004349A1 (en) | Night vision system, especially for a vehicle, and method of creating a night vision image | |
DE102020007613A1 (en) | Method for generating a three-dimensional depth information map of an environment | |
DE112020005952T5 (en) | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND PROGRAM | |
DE102018217277A1 (en) | LIDAR sensor, vehicle and method for a LIDAR sensor | |
DE102018219420A1 (en) | Method and device for determining a distance from at least one object in the surroundings of a vehicle using a laser unit and a camera unit | |
WO2023247302A1 (en) | Method for determining at least one correction function for a lidar system, lidar system, vehicle comprising at least one lidar system, and measuring system | |
DE102009038406B4 (en) | Method and device for measuring the environment of a motor vehicle | |
EP3625517B1 (en) | Mobile platform with an arrangement for contactless distance determination according to the light intersection method | |
DE102013007859B3 (en) | Time-of-flight system with spatially separated transmitters and distance measurement method of an object | |
DE102021202454A1 (en) | Environment modeling based on camera data | |
EP1962245B1 (en) | Method and device for detecting the movement state of objects | |
DE102019003061B4 (en) | Device for testing an optical detection system for a motor vehicle, and a method for this | |
DE102022002766B4 (en) | Method for three-dimensional reconstruction of a vehicle environment | |
EP1526387A1 (en) | A method for measuring distances between a moving vehicle and objects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R012 | Request for examination validly filed | ||
R016 | Response to examination communication |