EP4298600A1 - Verfahren und vorrichtung zur detektion und höhenbestimmung von objekten - Google Patents

Verfahren und vorrichtung zur detektion und höhenbestimmung von objekten

Info

Publication number
EP4298600A1
EP4298600A1 EP22709172.5A EP22709172A EP4298600A1 EP 4298600 A1 EP4298600 A1 EP 4298600A1 EP 22709172 A EP22709172 A EP 22709172A EP 4298600 A1 EP4298600 A1 EP 4298600A1
Authority
EP
European Patent Office
Prior art keywords
environment
detection sensor
environment detection
camera
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22709172.5A
Other languages
English (en)
French (fr)
Inventor
Dieter KRÖKEL
Jonathan Wache
Stefan Heinrich
Martin PFITZER
Thomas Fechner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Publication of EP4298600A1 publication Critical patent/EP4298600A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the invention relates to a method and a device for detecting and determining the height of objects in a vehicle environment.
  • LIDAR systems and stereo camera systems are currently being developed for this task, as they offer the possibility of mapping the environment in 3D. In this way, the size and distance of the obstacles and the free space can be recorded at the same time.
  • Stereo camera systems offer a significantly higher lateral resolution than LIDAR systems, while LIDAR systems allow very precise distance determination.
  • LIDAR systems allow very precise distance determination.
  • Previous stereo methods are mainly based on the SGM (Semi Global Matching) method.
  • SGM Semi Global Matching
  • machine learning methods based on deep neural networks, which are trained with ground truth data from LIDAR measurements.
  • High-resolution LIDAR systems are still a factor of 3 to 6 above this value and are therefore insufficiently suitable for this task.
  • High-resolution camera systems with 8 MPix image sensors and a lens with a 30° opening angle offer an angular resolution of 130 pixels/degree and display a 10 cm high object at a distance of 100 m on 8 pixels.
  • a stereo camera system consisting of 2 high-resolution cameras could theoretically detect such a small object at a distance of 100m.
  • the signal for noise in the depth map which is obtained from the stereo images, is usually too poor to unambiguously detect the object and at the same time to determine the height of the object.
  • a method for detecting and determining the height of objects using an environment detection system comprising a first and a second environment detection sensor of a vehicle, with at least one of the environment detection sensors being a camera, is therefore proposed with the following steps:
  • the camera is preferably a high-resolution telephoto camera.
  • this camera has a resolution of 8 Mpix and an opening angle of 30° as well as an angular resolution of 130 pixels/degree.
  • the second environment detection sensor is a stereo camera, for example.
  • the environment detection system would be designed as a stereo camera and the mono camera could be a component of the stereo system in this embodiment. It would also be conceivable to use a single mono camera and a separate stereo camera.
  • the environment representation of the second environment detection sensor would be a depth image. It would also be conceivable to use a radar or lidar sensor as the second environment detection sensor.
  • the area representation In the case of a radar sensor, the area representation would be an object list or a radar signature list, in which detected objects or radar signatures and their distances from the vehicle are entered. This data can then be merged with the mono image.
  • the environment representation With a lidar sensor as the second environment detection sensor, the environment representation would be a point cloud.
  • the singular number is used for the object for the sake of readability. However, it goes without saying that a number of objects can also be detected.
  • the two steps for object detection can take place simultaneously or sequentially in any order. For example, the object can be detected first in the environment representation of the second environment detection sensor and only then can the object be detected in the mono image. As already mentioned, a reverse order or a simultaneous process would also be conceivable.
  • the detection of the object in the mono image indicates the size of the object in pixels.
  • the distance to the object is preferably measured by means of the second environment detection sensor, in particular if this is a radar or lidar sensor.
  • the height of the object is based on a height of the object in pixels in the mono image, the determined distance of the object and a known angular resolution of the Environment detection sensors determined.
  • the angular resolution of the respective sensors results from the specific sensor data.
  • the object detection in the mono image is carried out using semantic segmentation based on a trained convolutional neural network CNN.
  • a trained convolutional neural network CNN This is advantageous since objects can be detected efficiently by means of the semantic segmentation and not only the detection of objects can be improved by means of a correspondingly trained CNN, but also the shape of the object can be determined. This information can be helpful in determining whether an object would be traversable, if necessary, without damaging the vehicle.
  • the object is confirmed by comparing the mono image and the second environment representation. In this embodiment, a comparison is made as to whether the positions of the detections match. If there is a match in the comparison, the object is unequivocally confirmed.
  • the object detection of one of the surroundings detection sensors defines an area of interest for the other surroundings detection sensor.
  • the object detection of the second environment detection sensor for example by means of a radar sensor, defines a region of interest (ROI) or an area of interest or also a search area for the camera. It is thus achieved that only this specific area in the mono image is examined for an object. This leads to more efficient object detection. It would also be conceivable that the object detection in the mono image would allow an increase in sensitivity in the radar search field. As a result, very weak radar detections, for example, can be recognized as objects. Here, too, this leads to more efficient and, above all, more reliable object detection.
  • an environment detection system for a vehicle comprising a first and a second environment detection sensor with a specific angular resolution and a computing unit, with at least the first environment detection sensor being designed as a camera, with a mono image being recorded with the camera and a further environment representation being recorded with the second environment detection sensor, with the processing unit being configured to record an object in the mono image and in the environment representation of the second environment detection sensor, the computing unit being further configured to determine the distance and the height of the object.
  • the first surroundings detection sensor is a telecamera and the second surroundings detection sensor is a stereo camera, a radar sensor or a lidar sensor.
  • the second environment detection sensor is designed as a stereo camera, with the telecamera being a component of the stereo camera.
  • the second environment detection sensor would thus be the stereo camera and the first would still be a mono camera.
  • the stereo camera serves as a height-determining sensor by determining the height in a depth image.
  • FIG. 2 shows a schematic representation of a surroundings detection system according to an embodiment of the invention
  • FIG. 4 shows an example of a depth image from the scene shown in FIG. 3 .
  • FIG. 1 shows a schematic flowchart of a preferred embodiment of the method for detecting and determining the height of objects using a stereo detection system, comprising a first and a second environment detection sensor of a vehicle, with at least one of the environment detection sensors being a mono camera.
  • a mono image is recorded by the camera.
  • an environment representation is recorded with the second environment detection sensor.
  • an object detection is carried out in the mono image.
  • an object is detected in the environment representation of the second environment detection sensor.
  • Steps S3 and S4 can be carried out one after the other in any order, ie S4 before S3 or S3 before S4, or at the same time.
  • step S5 the distance to the object is determined in the environment representation of the second environment detection sensor.
  • step S6 the height of the detected object is determined.
  • FIG. 2 shows a schematic representation of a surroundings detection system 1 according to an embodiment of the invention.
  • the environment detection system 1 includes a first environment detection sensor 2a, which is preferably designed as a camera, and a second environment detection sensor 2b. These two surroundings detection sensors 2a, 2b are connected to a computing unit 3 via a data connection D.
  • This processing unit 3 is designed to detect an object in the mono image, the processing unit being further designed to carry out object detection in the mono image and the environment representation of the second environment detection sensor, and the processing unit being further designed to determine the distance and height of the object.
  • the data connection D can be wired or wireless.
  • FIG. 3 shows a representation of an exemplary scene.
  • This representation shows a section of a roadway.
  • the representation here is mono image M.
  • the objects 01, 02, 03 are detected in the mono image M, for example by means of a semantic segmentation.
  • FIG. 4 shows an exemplary representation of a depth image recorded by means of a stereo camera from the scene shown in FIG.
  • the second environment detection sensor is designed as a stereo camera.
  • the objects 01, 02 and 03 are visible as elevations.
  • the distance to the objects 01, 02, 03 can also be determined in the depth image T.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Detektion und Höhenbestimmung von Objekten mittels eines Umfelderfassungssystems (1), umfassend einen ersten (2a) und einen zweiten Umfelderfassungssensor (2b) eines Fahrzeugs, wobei zumindest einer der Umfelderfassungssensoren eine Monokamera ist, mit den folgenden Schritten: - Aufnehmen (S1) eines Monobildes (M) mit der Kamera (2a), - Aufnehmen (S2) einer Umfeldrepräsentation mit dem zweiten Umfelderfassungssensor (2b), - Durchführen (S3) einer Objektdetektion in dem Monobild, - Durchführen (S4) einer Objektdetektion in der Umfeldrepräsentation des 15 zweiten Umfelderfassungssensors (2b), - Durchführen (S5) einer Entfernungsbestimmung zu dem Objekt (O1, O2, O3) in der Umfeldrepräsentation des zweiten Umfelderfassungssensors (2b), - Durchführen (S6) einer Höhenbestimmung des detektierten Objekts (O1, 20 O2, O3).

Description

Beschreibung
Verfahren und Vorrichtung zur Detektion und Höhenbestimmung von Objekten
Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur Detektion und Höhenbestimmung von Objekten in einem Fahrzeugumfeld.
Für hoch automatisiertes Fahren werden Sensorsysteme benötigt, die auch kleine Hindernisse in großen Entfernungen zuverlässig detektieren können. Zurzeit werden LIDAR-Systeme und Stereokamerasysteme für diese Aufgabe entwickelt, da sie die Möglichkeit bieten, das Umfeld in 3D abzubilden. So können gleichzeitig Größe und Entfernung der Hindernisse und der Freiraum erfasst werden. Stereokamerasysteme bieten eine deutlich höhere laterale Auflösung als LIDAR-Systeme, während LIDAR-Systeme eine sehr genaue Entfernungsbestimmung erlauben. Allerdings ist es mit den aktuellen Lösungen nicht möglich kleine Objekte auf eine weite Distanz zu detektieren.
Es ist demnach eine Aufgabe der vorliegenden Erfindung ein Verfahren sowie ein System bereitzustellen, mittels welchen kleine Objekte zuverlässig detektierbar sind und die Höhe der Objekte zuverlässig bestimmt werden kann.
Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche 1 und 6 gelöst. Vorteilhafte Ausgestaltungen und Ausführungsformen sind Gegenstand der Unteransprüche.
Erste Überlegungen waren dahingehend, dass eine genaue Schätzung der Höhe eines Objekts erforderlich ist, um eine Gefährdung durch kleine Hindernisse beurteilen zu können.
Bisherige Stereoverfahren beruhen überwiegend auf dem SGM -(Semi Global Matching) Verfahren. In letzter Zeit werden zunehmend auch machine learning-Verfahren auf Basis tiefer neuronaler Netze verwendet, die mit ground truth-Daten von LIDAR-Messungen angelernt werden.
Um kleine Objekte von 10cm Höhe in 100m Entfernung detektieren zu können, benötigt man eine Winkelauflösung von mindestens 0,03 Grad. Hochauflösende LIDAR-Systeme liegen noch um einen Faktor 3 bis 6 über diesem Wert und sind daher für diese Aufgabe unzureichend geeignet. Hochauflösende Kamerasysteme mit 8 MPix Bildsensoren und einer Linse mit 30° Öffnungswinkel bieten eine Winkelauflösung von 130 Pixel/Grad und bilden ein 10cm hohes Objekt im 100m Entfernung auf 8 Pixeln ab.
Ein Stereokamerasystem bestehend aus 2 hochauflösenden Kameras könnte theoretisch ein so kleines Objekt in 100m Entfernung detektieren. Allerdings ist in der Regel das Signal zu Rauschen in der Tiefenkarte, die aus den Stereobildern gewonnen wird, zu schlecht, um das Objekt eindeutig zu detektieren und gleichzeitig auch noch die Höhe des Objektes zu bestimmen.
Erfindungsgemäß wird daher ein Verfahren zur Detektion und Höhenbestimmung von Objekten mittels eines Umfelderfassungssystems, umfassend einen ersten und einen zweiten Umfelderfassungssensor eines Fahrzeugs, wobei zumindest einer der Umfelderfassungssensoren eine Kamera ist, mit den folgenden Schritten vorgeschlagen:
- Aufnehmen eines Monobildes mit der Kamera,
- Aufnehmen einer Umfeldrepräsentation mit dem zweiten Umfelderfassungssensor,
- Durchführen einer Objektdetektion in dem Monobild,
- Durchführen einer Objektdetektion in der Umfeldrepräsentation des zweiten Umfelderfassungssensors,
- Durchführen einer Entfernungsbestimmung zu dem Objekt in der Umfeldrepräsentation des zweiten Umfelderfassungssensors,
- Durchführen einer Höhenbestimmung des detektierten Objekts. Bei der Kamera handelt es sich bevorzugt um eine hochauflösende Telekamera. Diese Kamera hat beispielsweise eine Auflösung von 8 Mpix und einen Öffnungswinkel von 30° sowie eine Winkelauflösung von 130 Pixeln/Grad. Der zweite Umfelderfassungssensor ist beispielsweise eine Stereokamera. In diesem Fall wäre das Umfelderfassungssystem als eine Stereokamera ausgebildet und die Monokamera könnte in dieser Ausgestaltung ein Bestandteil des Stereosystems sein. Denkbar wäre auch eine einzelne Monokamera und eine separate Stereokamera zu verwenden. In dieser Ausgestaltung wäre die Umfeldrepräsentation des zweiten Umfelderfassungssensors ein Tiefenbild. Denkbar wäre auch als zweiten Umfelderfassungssensor einen Radar- oder Lidarsensor zu verwenden. Bei einem Radarsensor wäre die Umfeldrepräsentation eine Objektliste oder eine Radarsignaturliste, in welcher detektierte Objekte oder Radarsignaturen und deren Entfernungen zum Fahrzeug eingetragen werden. Diese Daten können dann mit dem Monobild fusioniert werden. Bei einem Lidarsensor als zweiten Umfelderfassungssensor wäre die Umfeldrepräsentation eine Punktwolke. In den Ansprüchen wird aus Gründen der Lesbarkeit die Einzahl bei dem Objekt verwendet. Es ist allerdings selbstverständlich, dass auch mehrere Objekte detektiert werden können. Es ist weiter anzumerken, dass die beiden Schritte zur Objektdetektion zeitgleich oder nacheinander in einer beliebigen Reihenfolge stattfinden können. Es kann beispielsweise zuerst die Objektdetektion in der Umfeldrepräsentation des zweiten Umfelderfassungssensors durchgeführt werden und danach erst die Objektdetektion im Monobild. Denkbar wäre wie gesagt auch eine umgekehrte Reihenfolge oder ein zeitgleicher Ablauf.
Die Detektion des Objekts in dem Monobild gibt die Größe des Objekts in Pixeln an. Mittels des zweiten Umfelderfassungssensors, insbesondere wenn dieser ein Radar- oder Lidarsensor ist, wird bevorzugt die Entfernung zu dem Objekt gemessen.
In einer besonders bevorzugten Ausgestaltung wird die Höhe des Objekts basierend auf einer Höhe des Objekts in Pixeln in dem Monobild, der bestimmten Entfernung des Objekts sowie einer bekannten Winkelauflösung der Umfelderfassungssensoren bestimmt. Die Winkelauflösung der jeweiligen Sensoren ergeben sich aus den spezifischen Sensordaten.
In einer weiteren bevorzugten Ausgestaltung wird die Objektdetektion in dem Monobild mittels einer semantischen Segmentierung basierend auf einem trainierten Convolutional Neural Network CNN durchgeführt. Dies ist vorteilhaft, da mittels der semantischen Segmentierung effizient Objekte detektiert werden können und mittels eines entsprechend trainierten CNN nicht nur die Detektion von Objekten verbessert werden kann, sondern auch die Form des Objekts bestimmt werden kann. Diese Information kann hilfreich sein, um festzulegen, ob ein Objekt nötigenfalls überfahrbar wäre, ohne das Fahrzeug zu beschädigen.
In einer bevorzugten Ausgestaltung wird nach dem Durchführen der Objektdetektionen das Objekt mittels Abgleich des Monobilds und der zweiten Umfeldrepräsentation bestätigt. Es wird in dieser Ausgestaltung verglichen, ob die Positionen der Detektionen übereinstimmen. Falls eine Übereinstimmung bei dem Abgleich vorliegt, ist das Objekt zweifelsfrei bestätigt.
Weiter legt in einer besonders bevorzugten Ausführungsform die Objektdetektion eines der Umfelderfassungssensoren einen Interessensbereich für den anderen Umfelderfassungssensor fest. Das bedeutet, dass beispielsweise die Objektdetektion des zweiten Umfelderfassungssensors, beispielsweise mittels Radarsensosor, eine Region of interest (ROI) bzw. eine Interessensbereich oder auch Suchbereich für die Kamera festlegt. Somit wird erreicht, dass nur dieser bestimmte Bereich in dem Monobild auf ein Objekt hin untersucht wird. Dies führt zu einer effizienteren Objektdetektion. Denkbar wäre auch, dass die Objektdetektion im Monobild eine Empfindlichkeitserhöhung im Radarsuchfeld erlaubt. Dadurch kann erreicht werden, dass beispielsweise sehr schwache Radardetektionen als Objekte erkannt werden können. Dies führt auch hier zu einer effizienteren und vor allem sichereren Objektdetektion.
Weiter ist erfindungsgemäß ein Umfelderfassungssystem für ein Fahrzeug vorgesehen umfassend einen ersten und einen zweiten Umfelderfassungssensor mit einer bestimmten Winkelauflösung und eine Recheneinheit, wobei zumindest der erste Umfelderfassungssensor als Kamera ausgestaltet ist, wobei ein Monobild mit der Kamera und eine weitere Umfeldrepräsentation mit dem zweiten Umfelderfassungssenor aufgenommen wird, wobei die Recheneinheit ausgestaltet ist, ein Objekt in dem Monobild sowie in der Umfeldrepräsentation des zweiten Umfelderfassungssensors zu detektieren, wobei die Recheneinheit weiter ausgestaltet ist, eine Entfernungsbestimmung sowie eine Höhenbestimmung des Objekts durchzuführen.
In einer bevorzugten Ausgestaltung ist der erste Umfelderfassungssensor eine Telekamera ist und der zweite Umfelderfassungssensor eine Stereokamera, ein Radarsensor oder ein Lidarsensor.
Weiter ist bevorzugt, wenn der zweite Umfelderfassungssensor als Stereokamera ausgestaltet ist, die Telekamera ein Bestandteil der Stereokamera. Der zweite Umfelderfassungssensor wäre somit die Stereokamera und der erste nach wie vor eine Monokamera. Die Stereokamera dient hierbei als höhenbestimmender Sensor durch Höhenbestimmung in einem Tiefenbild.
Weitere vorteilhafte Ausgestaltungen und Ausführungsformen sind Gegenstand der Zeichnungen. Darin zeigen:
Fig. 1 : ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens;
Fig. 2: eine schematische Darstellung eines Umfelderfassungssystems gemäß einer Ausführungsform der Erfindung;
Fig. 3: eine Darstellung einer beispielhaften Szene;
Fig. 4: eine beispielhafte Darstellung eines Tiefenbilds aus der in Fig. 3 dargestellten Szene. Die Figur 1 zeigt ein schematisches Ablaufdiagramm einer bevorzugten Ausführungsform des Verfahrens zur Detektion und Höhenbestimmung von Objekten mittels eines Stereoerfassungssystems, umfassend einen ersten und einen zweiten Umfelderfassungssensor eines Fahrzeugs, wobei zumindest einer der Umfelderfassungssensoren eine Monokamera ist. In Schritt S1 wird ein Monobild mittels der Kamera aufgenommen. In Schritt S2 wird eine Umfeldrepräsentation mit dem zweiten Umfelderfassungssensor aufgenommen. In einem darauffolgenden Schritt S3 wird eine Objektdetektion in dem Monobild durchgeführt. In einem Schritt S4 wird eine Objektdetektion in der Umfeldrepräsentation des zweiten Umfelderfassungssensors durchgeführt. Die Schritte S3 und S4 können nacheinander in beliebiger Reihenfolge also S4 vor S3 oder S3 vor S4 oder zeitgleich durchgeführt werden. In Schritt S5 wird eine Entfernungsbestimmung zu dem Objekt in der Umfeldrepräsentation des zweiten Umfelderfassungssensors durchgeführt. Abschließend wird in Schritt S6 eine Höhenbestimmung des detektierten Objekts durchgeführt.
Figur 2 zeigt eine schematische Darstellung eines Umfelderfassungssystems 1 gemäß einer Ausführungsform der Erfindung. Das Umfelderfassungssystem 1 umfasst dabei einen ersten Umfelderfassungssensor 2a, welcher bevorzugt als Kamera ausgestaltet ist, und einen zweiten Umfelderfassungssensor 2b. Diese zwei Umfelderfassungssensoren 2a, 2b sind dabei über eine Datenverbindung D mit einer Recheneinheit 3 verbunden. Diese Recheneinheit 3 ist dazu ausgestaltet, ein Objekt dem Monobild zu detektieren, wobei die Recheneinheit weiter ausgestaltet ist, eine Objektdetektion in dem Monobild und der Umfeldrepräsentation des zweiten Umfelderfassungssensors durchzuführen und wobei die Recheneinheit weiter ausgestaltet ist, eine Entfernungsbestimmung sowie eine Höhenbestimmung des Objekts durchzuführen. Die Datenverbindung D kann dabei kabelgebunden oder kabellos ausgestaltet sein.
Figur 3 zeigt eine Darstellung einer beispielhaften Szene. In dieser Darstellung ist ein Ausschnitt einer Fahrbahn gezeigt. Auf dieser Fahrbahn befinden sich drei Objekte 01 , 02, 03. Die Darstellung ist hierbei Monobild M. Die Objekte 01 , 02, 03 werden in dem Monobild M beispielsweise mittels einer semantischen Segmentierung detektiert.
Figur 4 zeigt eine beispielhafte Darstellung eines Mittels einer Stereokamera aufgenommenen Tiefenbilds aus der in Fig. 3 dargestellten Szene. Hierfür ist der zweite Umfelderfassungssensor als Stereokamera ausgestaltet. In dem Tiefenbild T sind die Objekte 01, 02 und 03 als Erhabenheiten sichtbar. Auch kann in dem Tiefenbild T die Entfernung zu den Objekten 01, 02, 03 ermittelt werden.
Bezugszeichenliste
1 Umfelderfassungssystem
2a erster Umfelderfassungssensor 2b zweiter Umfelderfassungssensor
3 Recheneinheit
D Datenverbindung
M Monobild
01-03 Objekte S1-S6 Verfahrensschritte
T Tiefenbild

Claims

Patentansprüche
1. Verfahren zur Detektion und Höhenbestimmung von Objekten mittels eines Umfelderfassungssystems (1), umfassend einen ersten (2a) und einen zweiten Umfelderfassungssensor (2b) eines Fahrzeugs, wobei zumindest einer der Umfelderfassungssensoren eine Monokamera ist, mit den folgenden Schritten:
- Aufnehmen (S1) eines Monobildes (M) mit der Kamera (2a),
- Aufnehmen (S2) einer Umfeldrepräsentation mit dem zweiten Umfelderfassungssensor (2b),
- Durchführen (S3) einer Objektdetektion in dem Monobild,
- Durchführen (S4) einer Objektdetektion in der Umfeldrepräsentation des zweiten Umfelderfassungssensors (2b),
- Durchführen (S5) einer Entfernungsbestimmung zu dem Objekt (01, 02, 03) in der Umfeldrepräsentation des zweiten Umfelderfassungssensors (2b),
- Durchführen (S6) einer Höhenbestimmung des detektierten Objekts (01 , 02, 03).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Höhe des Objekts (01, 02, 03) basierend auf einer Höhe des Objekts (01, 02, 03) in Pixeln in dem Monobild (M), der bestimmten Entfernung des Objekts (01 , 02, 03) sowie einer bekannten Winkelauflösung der Umfelderfassungssensoren (2a, 2b) bestimmt wird.
3. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Objektdetektion in dem Monobild (M) mittels einer semantischen Segmentierung basierend auf einem trainierten Convolutional Neural Network durchgeführt wird.
4. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass nach dem Durchführen der Objektdetektionen (S3, S4) das Objekt (01, 02, 03) mittels Abgleich des Monobilds (M) und der zweiten Umfeldrepräsentation bestätigt wird.
5. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Objektdetektion eines der Umfelderfassungssensoren (2a, 2b) einen Interessensbereich für den anderen Umfelderfassungssensor (2, 2b) festlegt.
6. Umfelderfassungssystem (1) für ein Fahrzeug umfassend einen ersten (2a) und einen zweiten Umfelderfassungssensor (2b) mit einer bestimmten Winkelauflösung und eine Recheneinheit (3), wobei zumindest der erste Umfelderfassungssensor (2a) als Kamera ausgestaltet ist, wobei ein Monobild (M) mit der Kamera und eine weitere Umfeldrepräsentation mit dem zweiten Umfelderfassungssenor (2b) aufgenommen wird, wobei die Recheneinheit (3) ausgestaltet ist, ein Objekt (01, 02, 03) in dem Monobild (M) sowie in der Umfeldrepräsentation des zweiten Umfelderfassungssensors (2b) zu detektieren, wobei die Recheneinheit (3) weiter ausgestaltet ist, eine Entfernungsbestimmung sowie eine Höhenbestimmung des Objekts (01, 02, 03) durchzuführen.
7. Umfelderfassungssystem (1) nach Anspruch 6, dadurch gekennzeichnet, dass der erste Umfelderfassungssensor (2a) eine Telekamera ist und der zweite Umfelderfassungssensor (2b) eine Stereokamera, ein Radarsensor oder ein Lidarsensor ist.
8. Umfelderfassungssystem (1) nach Anspruch 7, dadurch gekennzeichnet, dass wenn der zweite Umfelderfassungssensor (2b) als Stereokamera ausgestaltet ist, die Telekamera ein Bestandteil der Stereokamera ist.
EP22709172.5A 2021-02-24 2022-01-27 Verfahren und vorrichtung zur detektion und höhenbestimmung von objekten Pending EP4298600A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021201713.4A DE102021201713A1 (de) 2021-02-24 2021-02-24 Verfahren und Vorrichtung zur Detektion und Höhenbestimmung von Objekten
PCT/DE2022/200009 WO2022179669A1 (de) 2021-02-24 2022-01-27 Verfahren und vorrichtung zur detektion und höhenbestimmung von objekten

Publications (1)

Publication Number Publication Date
EP4298600A1 true EP4298600A1 (de) 2024-01-03

Family

ID=80684868

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22709172.5A Pending EP4298600A1 (de) 2021-02-24 2022-01-27 Verfahren und vorrichtung zur detektion und höhenbestimmung von objekten

Country Status (7)

Country Link
US (1) US20240233391A9 (de)
EP (1) EP4298600A1 (de)
JP (1) JP2024505422A (de)
KR (1) KR20230118974A (de)
CN (1) CN116888630A (de)
DE (1) DE102021201713A1 (de)
WO (1) WO2022179669A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160275359A1 (en) * 2013-12-26 2016-09-22 Mitsubishi Electric Corporation Information processing apparatus, information processing method, and computer readable medium storing a program

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7356408B2 (en) 2003-10-17 2008-04-08 Fuji Jukogyo Kabushiki Kaisha Information display apparatus and information display method
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
JP2010271143A (ja) * 2009-05-20 2010-12-02 Ricoh Co Ltd 撮像装置、距離測定装置、及び車外監視装置、並びに撮像方法
DE102011054852B4 (de) * 2011-07-30 2024-05-16 Götting KG Verfahren zur Erfassung und Bewertung einer Ebene
CN107563256A (zh) 2016-06-30 2018-01-09 北京旷视科技有限公司 辅助驾驶信息产生方法及装置、辅助驾驶系统
US10318826B2 (en) * 2016-10-07 2019-06-11 Ford Global Technologies, Llc Rear obstacle detection and distance estimation
CN110869797B (zh) * 2018-06-25 2023-09-05 北京嘀嘀无限科技发展有限公司 一种高清地图采集系统
DE102019203247A1 (de) * 2019-03-11 2020-09-17 Zf Friedrichshafen Ag Vision-basiertes Lenkungsassistenzsystem für Landfahrzeuge
WO2021016596A1 (en) 2019-07-25 2021-01-28 Nvidia Corporation Deep neural network for segmentation of road scenes and animate object instances for autonomous driving applications
DE102020007057A1 (de) * 2020-11-19 2021-01-14 Daimler Ag Fahrzeug und Verfahren zur Bestimmung einer Durchfahrtshöhe
WO2022160232A1 (zh) * 2021-01-29 2022-08-04 华为技术有限公司 一种检测方法、装置和车辆

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160275359A1 (en) * 2013-12-26 2016-09-22 Mitsubishi Electric Corporation Information processing apparatus, information processing method, and computer readable medium storing a program

Also Published As

Publication number Publication date
US20240135720A1 (en) 2024-04-25
JP2024505422A (ja) 2024-02-06
DE102021201713A1 (de) 2022-08-25
US20240233391A9 (en) 2024-07-11
CN116888630A (zh) 2023-10-13
WO2022179669A1 (de) 2022-09-01
KR20230118974A (ko) 2023-08-14

Similar Documents

Publication Publication Date Title
DE69624980T2 (de) Objektüberwachungsverfahren und -gerät mit zwei oder mehreren Kameras
DE69624614T2 (de) Verfahren zur Stereoübereinstimmungs- und Ungleichheitsmessung
DE69625423T2 (de) Vorrichtung zur Erkennung eines Objektes, in welchem die Position eines ebenen Objektes mit Hilfe einer Houghtransformation geschätzt wird
DE19926559A1 (de) Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
EP3053097A1 (de) Verfahren und vorrichtung zur erkennung von verkehrszeichen
EP3671546A1 (de) Verfahren und system zum bestimmen von landmarken in einer umgebung eines fahrzeugs
DE102012112104A1 (de) Verfahren und vorrichtung zur befahrbarkeitsanalyse
DE102011011929A1 (de) Verfahren zum Detektieren von Zielobjekten in einem Überwachungsbereich
DE102011087797A1 (de) Verfahren und Vorrichtung zur Lokalisation einer vordefinierten Parkposition
DE102015203016A1 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE102012221563A1 (de) Funktionsdiagnose und validierung eines fahrzeugbasierten bildgebungssystems
EP2856390A1 (de) Verfahren und vorrichtung zur verarbeitung stereoskopischer daten
DE102015211874A1 (de) Objekterkennungsvorrichtung
DE102022102934A1 (de) Ereignisbasierte fahrzeugposenschätzung unter verwendung monochromatischer bildgebung
DE102018005969A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen
EP4068223B1 (de) Verfahren und system zur bestimmung der bodenebene mit einem künstlichen neuronalen netz
EP2033165A1 (de) Verfahren für die erfassung eines verkehrsraums
DE10151983A1 (de) Verfahren zur Dokumentation einer Unfallsituation
EP2799903B1 (de) Verfahren zur Erfassung von Geschwindigkeitsverstößen mit restriktiver Datenspeicherung
DE102022003362A1 (de) Verfahren und Vorrichtung zur Bestimmung des Abstands eines Fahrzeugs zu einem Objekt
DE102018204451A1 (de) Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
DE102019132012A1 (de) Verfahren und System zur Detektion von kleinen unklassifizierten Hindernissen auf einer Straßenoberfläche
DE102021133089A1 (de) Vorrichtung zur Ermittlung einer Topographie einer Fahrzeugumgebung, Fahrzeug und Verfahren
EP3614299A1 (de) Verfahren und anordnung zum erkennen von objekten an anlagen
DE102005044979A1 (de) Verfahren zur Erkennung von Fahrspurmarkierungen

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230925

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: AUMOVIO AUTONOMOUS MOBILITY GERMANY GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS