DE102018010042A1 - Method for recognizing at least one object located in an environment of a motor vehicle - Google Patents

Method for recognizing at least one object located in an environment of a motor vehicle Download PDF

Info

Publication number
DE102018010042A1
DE102018010042A1 DE102018010042.2A DE102018010042A DE102018010042A1 DE 102018010042 A1 DE102018010042 A1 DE 102018010042A1 DE 102018010042 A DE102018010042 A DE 102018010042A DE 102018010042 A1 DE102018010042 A1 DE 102018010042A1
Authority
DE
Germany
Prior art keywords
motor vehicle
detected
environment
image
sensor device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102018010042.2A
Other languages
German (de)
Inventor
Tristan Langenberg
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102018010042.2A priority Critical patent/DE102018010042A1/en
Publication of DE102018010042A1 publication Critical patent/DE102018010042A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen wenigstens eines sich in einer Umgebung (10) eines Kraftfahrzeugs (12) befindenden Objekts (20) mittels einer Sensoreinrichtung (22) des Kraftfahrzeugs (12), bei welchem mittels der Sensoreinrichtung (22) wenigstens ein Bild des Objekts (20) erfasst ausgewertet wird, wodurch das Objekt (20) erkannt wird, wobei als das Objekt (20) ein Objekt (20) erkannt wird, welches von einer sich vor dem Kraftfahrzeug (12) befindenden und gegenüber dem Kraftfahrzeug eine größere Höhe aufweisenden Einrichtung herabfällt.The invention relates to a method for detecting at least one object (20) located in an environment (10) of a motor vehicle (12) by means of a sensor device (22) of the motor vehicle (12), in which at least one image of the vehicle is obtained by means of the sensor device (22) Object (20) detected is evaluated, whereby the object (20) is detected, wherein as the object (20) an object (20) is detected, which is located in front of the motor vehicle (12) and a greater height relative to the motor vehicle falling device falls down.

Description

Die Erfindung betrifft ein Verfahren zum Erkennen wenigstens eines sich in einer Umgebung eines Kraftfahrzeugs befindenden Objekts gemäß dem Oberbegriff des Patentanspruchs 1.The invention relates to a method for detecting at least one object located in an environment of a motor vehicle according to the preamble of patent claim 1.

Um ein zumindest teilautonomes Fahren eines Kraftfahrzeugs, insbesondere eines Personenkraftwagens, besonders vorteilhaft durchführen zu können, ist es vorteilhaft, wenn eine Umgebung des Kraftfahrzeugs in besonders großem Umfang durch eine Sensorik des Kraftfahrzeugs erfasst werden kann.In order to be able to carry out an at least partially autonomous driving of a motor vehicle, in particular a passenger car, particularly advantageously, it is advantageous if an environment of the motor vehicle can be detected to a particularly large extent by a sensor system of the motor vehicle.

So zeigt die DE 10 2012 107 186 A1 ein Verfahren zum Erkennen einer Gefährdungssituation eines Fahrzeugs anhand von zumindest einem Sensor. Bei dem Verfahren wird aus dem Signal des Sensors auf einen seitlichen Anprall geschlossen und mindestens ein Parameter für die Kontrollierbarkeit des Fahrzeugs als Folge des seitlichen Anpralls bestimmt, wobei ein seitlicher Anprall als der seitliche Kontakt unter einem spitzen Winkel mit einem stationären oder bewegten Objekt, also beispielsweise eine Berührung eines Hindernisses durch eine Fahrzeugseite bei gleichzeitig im Wesentlichen fortgesetzter Fortbewegung in Fahrtrichtung und als Kontrollierbarkeit die Fähigkeit des Fahrzeugs zur Fortsetzung der Fahrt und Vermeidung von Folgeunfällen verstanden wird.That's how it shows DE 10 2012 107 186 A1 a method for detecting a risk situation of a vehicle based on at least one sensor. The method derives from the signal of the sensor a lateral impact and determines at least one parameter for the controllability of the vehicle as a result of the side impact, wherein a lateral impact as the lateral contact at an acute angle with a stationary or moving object, ie For example, a touch of an obstacle by a vehicle side at the same time substantially continued movement in the direction of travel and controllability is the ability of the vehicle to continue driving and avoiding consequential accidents understood.

Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zum Erkennen von Objekten in der Umgebung eines Kraftfahrzeugs bereitzustellen, wobei auch spezielle Objekte, wie beispielsweise von Brücken herabfallenden Gegenstände, besonders vorteilhaft durch das Verfahren erkannt werden sollen.Object of the present invention is to provide a method for detecting objects in the environment of a motor vehicle, with special objects, such as objects falling from bridges, particularly advantageous to be recognized by the method.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zum Erkennen wenigstens eines sich in einer Umgebung eines Kraftfahrzeugs befindenden Objekts mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.This object is achieved by a method for detecting at least one object located in an environment of a motor vehicle having the features of patent claim 1. Advantageous embodiments of the invention are specified in the dependent claims.

Bei dem erfindungsgemäßen Verfahren zum Erkennen wenigstens eines sich in einer Umgebung eines Kraftfahrzeugs, insbesondere eines Personenkraftwagens, befindenden Objekts wird, mittels einer insbesondere einen Kamerasensor aufweisenden Sensoreinrichtung des Kraftfahrzeugs, bei welchem mittels der Sensoreinrichtung wenigstens ein Bild des Objekts erfasst und ausgewertet wird, dadurch das Objekt erkannt. Mit anderen Worten umfasst das Kraftfahrzeug eine Sensoreinrichtung, welche insbesondere beispielsweise einen CCD-Sensor beziehungsweise CCD-Chip als den Kamerasensors aufweist. Ferner ist insbesondere eine elektronische Recheneinrichtung zur Auswertung der Sensordaten vorgesehen. Dabei kann die elektronische Recheneinrichtung eine Komponente der Sensoreinrichtung oder aber beispielsweise eine Komponente des Kraftfahrzeugs selbst sein. Zusätzlich oder alternativ könnte die Recheneinrichtung auch Teil einer Rechnerwolke sein. Dabei werden vorteilhafterweise als Sensordaten Bilder erfasst, welche vorteilhafterweise nicht nur ein einzelnes Bild zu einem Zeitpunkt umfassen. Die Sensordaten sind vorteilhafterweise mehrere Bilder, insbesondere aus einer kontinuierlichen Bildfolge und somit ein Bildsequenz beziehungsweise ein Videobild. Durch eine Videobild ist beispielsweise ein optischer Fluss eines Objekts besonders leicht erkennbar und somit seine Bewegung erfassbar.In the method according to the invention for detecting at least one object located in an environment of a motor vehicle, in particular a passenger car, the sensor device of the motor vehicle, in which at least one image of the object is detected and evaluated by means of the sensor device, is thereby characterized Object detected. In other words, the motor vehicle comprises a sensor device, which in particular has, for example, a CCD sensor or CCD chip as the camera sensor. Furthermore, an electronic computing device for evaluating the sensor data is provided in particular. In this case, the electronic computing device may be a component of the sensor device or, for example, a component of the motor vehicle itself. Additionally or alternatively, the computing device could also be part of a computer cloud. In this case, images are advantageously detected as sensor data, which advantageously do not comprise only a single image at a time. The sensor data are advantageously a plurality of images, in particular from a continuous image sequence and thus an image sequence or a video image. By means of a video image, for example, an optical flow of an object is particularly easily recognizable and thus its movement can be detected.

Um nun die Objekterkennung besonders vorteilhaft, insbesondere auf einzelne Objekte spezialisiert, betreiben zu können, wird als das Objekt ein Objekt erkannt, welches von einer sich vor dem Kraftfahrzeug befindenden und gegenüber dem Kraftfahrzeug eine große Höhe aufweisenden Einrichtung, wie beispielsweise einer Autobahnbrücke, herabfällt. Das zu erkennende Objekt ist beispielsweise ein insbesondere senkrecht beziehungsweise vertikal fallender Gegenstand aus großer Höhe. Dabei kann der Gegenstand beziehungsweise das Objekt beispielsweise auch eine herunterfallende Person sein beziehungsweise insbesondere ein Gegenstand, der von einer Person heruntergeworfen wird. Erfindungsgemäß erfolgt eine Erkennung von aus großer Höhe fallenden Gegenständen mittels eines Objekterkennungsverfahren, welches insbesondere auf der genannten elektronischen Recheneinrichtung ausführbar ist, wobei beispielsweise ein Aufprallort des Objekts in, insbesondere in 3D-Weltkoordinaten, prognostiziert werden kann.In order to be able to operate the object recognition particularly advantageously, in particular for individual objects, an object is detected as the object, which falls from a device located in front of the motor vehicle and facing the motor vehicle at a high altitude, such as a motorway bridge. The object to be recognized is, for example, a particularly vertically or vertically falling object from a great height. In this case, the object or the object may for example also be a person falling down or, in particular, an object which is being thrown down by a person. According to the invention, objects falling from a great height are detected by means of an object recognition method, which can be executed, in particular, on said electronic computing device, wherein, for example, an impact location of the object can be predicted, in particular in 3D world coordinates.

Dazu wird in weiterer vorteilhafter Ausgestaltung der Erfindung für das Objekt anhand des Bilds beziehungsweise der Bilder eine Flugkurve des Objekts berechnet. Durch die berechnete Flugkurve kann auf besonders vorteilhafte Weise der Aufprallort prognostiziert werden. Wird dabei festgestellt, dass eine Überschneidung des prognostizierten Aufprallorts mit einer künftig beabsichtigten Fahrzeugposition des Kraftfahrzeugs stattfindet, kann eine Fahranweisung generiert werden.For this purpose, a flight curve of the object is calculated in a further advantageous embodiment of the invention for the object based on the image or images. By the calculated flight curve can be predicted in a particularly advantageous manner, the impact location. If it is determined that an overlap of the predicted impact location with a future intended vehicle position of the motor vehicle takes place, a driving instruction can be generated.

So wird in weiterer vorteilhafter Ausgestaltung der Erfindung in Abhängigkeit von der Flugkurve wenigstens eine Fahranweisung im Innenraum des Kraftfahrzeugs ausgegeben. In anderen Worten erfolgt ein Eingriff in die Fahrdynamik durch das Ausgeben der Fahranweisung, wobei beispielsweise ein Ausweichen und/oder Bremsen, insbesondere im Hinblick auf die jeweilige Verkehrssituation in der Umgebung des Kraftfahrzeugs, vorteilhafterweise mit einbezogen werden kann, um eine Kollision mit dem Gegenstand beziehungsweise dem Objekt zu vermeiden.Thus, in a further advantageous embodiment of the invention, depending on the flight curve, at least one driving instruction is output in the interior of the motor vehicle. In other words, the driving dynamics are intervened by outputting the driving instruction, wherein, for example, avoidance and / or braking, in particular with regard to the respective traffic situation in the surroundings of the motor vehicle, can advantageously be included in order to avoid a collision to avoid with the object or the object.

In weiterer vorteilhafter Ausgestaltung der Erfindung wird somit in Abhängigkeit von der Flugkurve wenigstens eine Komponente des Kraftfahrzeugs mittels einer elektronischen Recheneinrichtung des Kraftfahrzeugs automatisch betrieben. Mit anderen Worten wird durch die berechnete Flugkurve eine etwaige Kollision und/oder ein etwaiger Aufprallort relativ zu dem Fahrzeug prognostiziert und in den 3D-Weltkoordinaten dargestellt, wobei die entsprechenden Fahranweisungen generiert werden können, wobei insbesondere aufgrund derer die elektronische Recheneinrichtung das Kraftfahrzeug automatisch betreibt, insbesondere steuert, wodurch zumindest ein teilautonomes Fahren des Kraftfahrzeugs, insbesondere in Abhängigkeit der Situation des herabfallenden Gegenstands, realisiert wird. So kann auf besonders vorteilhafte Weise eine Kollision mit dem herabfallenden Gegenstand vermieden werden, wobei eine Reaktion eines Fahrers des Kraftfahrzeugs nicht nötig ist.In a further advantageous embodiment of the invention, therefore, depending on the flight curve, at least one component of the motor vehicle is automatically operated by means of an electronic computing device of the motor vehicle. In other words, the calculated flight curve predicts a possible collision and / or a possible impact location relative to the vehicle and displays it in the 3D world coordinates, wherein the corresponding driving instructions can be generated, in particular on the basis of which the electronic computing device automatically operates the motor vehicle, in particular controls, whereby at least a partially autonomous driving of the motor vehicle, in particular depending on the situation of the falling object, is realized. Thus, a collision with the falling object can be avoided in a particularly advantageous manner, wherein a reaction of a driver of the motor vehicle is not necessary.

In weiterer vorteilhafter Ausgestaltung der Erfindung weist die Sensoreinrichtung eine Monokamera und/oder eine Stereokamera auf, mittels welcher das Bild erfasst wird. So kann die Monokamera und/oder Stereokamera besonders vorteilhaft zur Objekterkennung und/oder zur Entfernungs- und Geschwindigkeitsschätzung und somit zur Berechnung der Flugkurve, welcher beispielsweise physikalisch der schiefe Wurf zugrunde liegt, verwendet werden. Dabei können die Stereokamera besonders gut zur Entfernungs- und Geschwindigkeitsabschätzung und die Monokamera besonders gut zur Objekterkennung geeignet sein.In a further advantageous embodiment of the invention, the sensor device has a mono camera and / or a stereo camera, by means of which the image is detected. Thus, the monocamera and / or stereo camera can be used particularly advantageously for object recognition and / or for distance and speed estimation and thus for calculating the flight curve, which, for example, is based on the skew litter physically. The stereo camera can be particularly well suited for distance and speed estimation and the monocamera especially good for object recognition.

Vorteilhafterweise wird bei einem erfindungsgemäßen Verfahren die Sensoreinrichtung speziell auf vertikal durch das Bild beziehungsweise das Videobild laufende allgemeine Objekte trainiert. Dabei kann die Objekterkennung vorzugsweise durch tiefgehendes Lernen (englisch Deep-Learning), insbesondere mit wenigstens einem neuronalen Netz zur Sequenzanalyse und/oder durch die Analyse des optischen Flusses auf asymmetrische Bewegungen vorteilhaft durchgeführt werden. Dabei kann die Prognose des Aufprallorts des fallenden Objekts beziehungsweise Gegenstands insbesondere mithilfe einer Objektgeschwindigkeit, einer Objektposition und einer Ego-Fahrzeugposition des Kraftfahrzeugs in 3D-Weltkoordinaten geschehen. So kann vorteilhafterweise eine besonders große Sicherheit vor von oben herabfallenden Gegenständen beziehungsweise Objekten wie beispielsweise Sportbällen oder Steinen realisiert werden.Advantageously, in a method according to the invention, the sensor device is trained specifically for vertical objects running vertically through the image or the video image. In this case, the object recognition can preferably be advantageously carried out by deep learning, in particular with at least one neural network for sequence analysis and / or by the analysis of the optical flow on asymmetric movements. In this case, the prediction of the impact location of the falling object or object can be done in particular using an object speed, an object position and an ego vehicle position of the motor vehicle in 3D world coordinates. Thus, advantageously, a particularly high level of security against objects falling from above or objects such as sports balls or stones can be realized.

Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in der einzigen Figur (Fig.) alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.Further advantages, features and details of the invention will become apparent from the following description of a preferred embodiment and from the drawing. The features and feature combinations mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or alone in the single figure (Fig.) Can be used not only in the respectively indicated combination but also in other combinations or alone without departing from the scope of the invention.

Die Fig. zeigt ausschnittweise in einer Draufsicht eine Umgebung eines Kraftfahrzeugs, in welcher mittels eines Verfahrens zum Erkennen von Objekten wenigstens ein Objekt erkannt werden soll.The FIGURE shows a detail of a plan view of an environment of a motor vehicle in which by means of a method for detecting objects at least one object is to be detected.

Dabei zeigt die einzige Fig. in einer Draufsicht ausschnittsweise eine Umgebung 10 eines Kraftfahrzeugs 12 mit einer ersten Fahrbahn 14 und einer für einen dem Kraftfahrzeug 12 entgegenkommenden Verkehr ausgebildeten zweiten Fahrbahn 16, wobei die beiden Fahrbahnen 14 und 16 gemeinsam eine Autobahn ausbilden, über welche eine Autobahnbrücke 18 führt.In this case, the only Fig. Shows a detail in a plan view of an environment 10 of a motor vehicle 12 with a first lane 14 and one for a motor vehicle 12 oncoming traffic trained second lane 16 , where the two lanes 14 and 16 together form a highway over which a motorway bridge 18 leads.

Damit das Kraftfahrzeug 12 vorteilhaft beispielsweise zumindest teilautonom durch die Umgebung 10 gefahren werden kann, kann durch ein Verfahren zum Erkennen wenigstens eines sich in der Umgebung 10 des Kraftfahrzeugs 12 befindenden Objekts 20 mittels einer Sensoreinrichtung 22 des Kraftfahrzeugs 12 ein Objekt, insbesondere das Objekt 20, erkannt werden. Dazu weist das Kraftfahrzeug 12 die Sensoreinrichtung 22 auf, wobei für das Verfahren mittels der Sensoreinrichtung 22 wenigstens ein Bild des Objekts 20 erfasst und ausgewertet wird, wodurch das Objekt 20 erkannt wird.So that the motor vehicle 12 advantageous for example at least partially autonomous by the environment 10 can be driven by a method of detecting at least one in the environment 10 of the motor vehicle 12 located object 20 by means of a sensor device 22 of the motor vehicle 12 an object, in particular the object 20 , be recognized. For this purpose, the motor vehicle 12 the sensor device 22 , wherein for the method by means of the sensor device 22 at least one image of the object 20 is captured and evaluated, which causes the object 20 is recognized.

Um das Kraftfahrzeug 12 besonders vorteilhaft betreiben und somit zumindest teilautonom fahren zu können, können durch das Verfahren unterschiedlichste und insbesondere spezielle von einer Einrichtung, wie der Autobahnbrücke 18, welche eine große Höhe aufweist, herabfallenden Objekte, wie das Objekt 20 erkannt werden. Kurz gesagt, wird mittels des Verfahrens als das Objekt 20 ein Objekt 20 erkannt, welches von einer sich vor dem Kraftfahrzeug 12 befindenden und gegenüber dem Kraftfahrzeug 12 eine große Höhe aufweisenden Einrichtung, wie beispielsweise die Autobahnbrücke 18, herabfällt. Dabei kann das Objekt 20 beispielsweise durch eine auf der Autobahnbrücke 18 beziehungsweise der hohen Einrichtung stehenden Person 24 von der Autobahnbrücke 18 geworfen werden.To the motor vehicle 12 operate particularly advantageous and thus able to drive at least partially autonomous, by the method of the most varied and particular of a device such as the motorway bridge 18 , which has a high altitude, falling objects, such as the object 20 be recognized. In short, by means of the method as the object 20 an object 20 recognized, which of a before the motor vehicle 12 located and opposite the motor vehicle 12 a high altitude facility, such as the highway bridge 18 , falls down. In doing so, the object can 20 for example, by one on the motorway bridge 18 or the high-level person standing 24 from the highway bridge 18 to be thrown.

Das Kraftfahrzeug 12 weist vorteilhafterweise ein elektronische Recheneinrichtung 26 auf, durch welche auf dem Bild, welches insbesondere ein Videobild ist, eine Flugkurve, welche beispielsweise in ihrer horizontalen Komponente die gezeigte Flugrichtung 28 aufweist. Dabei weist die Sensoreinrichtung 22 vorteilhafterweise eine Monokamera und/oder eine Stereokamera auf, mittels welcher das insbesondere Videobild beziehungsweise Bild erfasst wird. Dabei kann sowohl die Monokamera als auch die Stereokamera auf insbesondere vertikal durch das Videobild laufende allgemeine Objekte wie das Objekt 20 trainiert werden. Die Objekterkennung, also das Erkennen von Objekten für das Verfahren, kann zum Beispiel durch Deep-Learning mit neuronalen Netzen zur Sequenzanalyse und/oder durch die Analyse des optischen Flusses auf asymmetrische Bewegungen erzielt werden. Dadurch kann vorteilhafterweise eine Prognose des Aufprallorts des fallenden Objekts 20 mithilfe der Objektgeschwindigkeit, deren horizontale Komponente die Flugrichtung 28 beschreibt, Objektposition und Fahrzeugposition des Kraftfahrzeugs 12, welche auch als Ego-Fahrzeugposition bezeichnet wird, in 3D-Weltkoordinaten erfolgen. Es kann auch zusätzlich besonders auf vertikal herabfallende Objekte 20 geachtet werden, wenn durch die Objekterkennung bereits eine Einrichtung wie die Autobahnbrücke 18 erkannt worden ist, beispielsweise durch Erhöhung einer Analysegenauigkeit.The car 12 advantageously has an electronic computing device 26 on, by which in the image, which is in particular a video image, a flight curve which, for example, in their horizontal component, the one shown flight direction 28 having. In this case, the sensor device 22 Advantageously, a monocamera and / or a stereo camera, by means of which the particular video image or image is detected. In this case, both the monocamera and the stereo camera on in particular vertically through the video image running general objects such as the object 20 be trained. Object recognition, ie the detection of objects for the method, can be achieved, for example, by deep-learning with neural networks for sequence analysis and / or by analyzing the optical flow for asymmetric movements. This advantageously allows a prognosis of the impact location of the falling object 20 using the object speed, whose horizontal component is the direction of flight 28 describes object position and vehicle position of the motor vehicle 12 , which is also referred to as ego vehicle position, done in 3D world coordinates. It can also be used in addition to vertically falling objects 20 be respected, if by the object recognition already a device like the motorway bridge 18 has been recognized, for example by increasing an analysis accuracy.

In vorteilhafter Weise wird in Abhängigkeit von der Flugkurve wenigstens eine Fahranweisung im Innenraum 30 des Kraftfahrzeugs 12 ausgegeben. Das heißt, falls der prognostizierte Aufprallort des Objekts 20 sich mit einer zukünftigen Fahrzeugposition überschneidet, wird insbesondere die Fahranweisung, beispielsweise über ein Display oder auch akustisch oder direkt an ein Fahrerassistenzsystem, ausgegeben.In an advantageous manner, depending on the flight curve at least one driving instruction in the interior 30 of the motor vehicle 12 output. That is, if the predicted impact location of the object 20 overlaps with a future vehicle position, in particular the driving instruction, for example via a display or acoustically or directly to a driver assistance system, issued.

Vorteilhafterweise erfolgt die Ausgabe insbesondere an ein Fahrerassistenzsystem des Kraftfahrzeugs 10, wobei in Abhängigkeit von der Flugkurve wenigstens eine Komponente des Kraftfahrzeugs 12 insbesondere mittels der elektronischen Recheneinrichtung 26 des Kraftfahrzeugs 12 automatisch betrieben werden kann. So können beispielsweise ein Bremssystem und/oder ein Lenksystem durch das Fahrerassistenzsystem beziehungsweise durch die elektronische Recheneinrichtung 26 gesteuert beziehungsweise gelenkt werden, sodass beispielsweise in Abhängigkeit der Verkehrslage der Umgebung, welche ebenfalls durch die Sensoreinrichtung 22 und/oder weitere Sensoren des Kraftfahrzeugs 12 erfasst wird, entschieden wird, ob beispielsweise ein Ausweichmanöver oder ein Bremsmanöver durchgeführt werden soll. So kann für das Kraftfahrzeug 12 beispielsweise auf besonders vorteilhafte Weise eine Kollision mit von oben herunterfallenden Gegenständen, wie beispielsweise Sportbälle, Steine etc., welche hier exemplarisch als das Objekt 20 dargestellt sind, vermieden werden.Advantageously, the output is carried out in particular to a driver assistance system of the motor vehicle 10 , wherein depending on the flight curve at least one component of the motor vehicle 12 in particular by means of the electronic computing device 26 of the motor vehicle 12 can be operated automatically. Thus, for example, a brake system and / or a steering system by the driver assistance system or by the electronic computing device 26 be controlled or directed so that, for example, depending on the traffic situation of the environment, which also by the sensor device 22 and / or other sensors of the motor vehicle 12 is detected, it is decided whether, for example, an evasive maneuver or a braking maneuver is to be performed. So can for the motor vehicle 12 for example, in a particularly advantageous manner, a collision with falling objects from above, such as sports balls, stones, etc., which here exemplarily as the object 20 are shown avoided.

Durch das in der Fig. vorgestellte Verfahren erfolgt also eine Erkennung eines aus großer Höhe wie beispielsweise von der Autobahnbrücke 18 fallenden Objekts 20 mittels eines Objekterkennungsverfahrens, welches beispielsweise durch ein neuronales Netz und/oder einen optischen Fluss durchgeführt wird, wobei ein beziehungsweise der Aufprallort in 3D-Weltkoordinaten prognostiziert wird und im Falle einer Überschneidung des prognostizierten Aufprallorts mit einer künftigen beabsichtigten Fahrzeugposition des Kraftfahrzeugs 12 vorteilhafterweise ein Eingriff in die Fahrdynamik beispielsweise durch Ausweichen oder Bremsen mittels des entsprechenden Fahrerassistenzsystems realisiert wird, um auf besonders vorteilhafte Weise eine Kollision mit dem Objekt 20 vermeiden zu können.By the method presented in the figure, therefore, a recognition of a high altitude, such as from the motorway bridge 18 falling object 20 by means of an object recognition method, which is carried out for example by a neural network and / or an optical flow, wherein an impact location is predicted in 3D world coordinates and in the event of an overlap of the predicted impact location with a future intended vehicle position of the motor vehicle 12 Advantageously, an intervention in the driving dynamics, for example, by dodging or braking by means of the corresponding driver assistance system is realized in order to collide with the object in a particularly advantageous manner 20 to be able to avoid.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1010
UmgebungSurroundings
1212
Kraftfahrzeugmotor vehicle
1414
erste Fahrbahnfirst lane
1616
zweite Fahrbahnsecond lane
1818
AutobahnbrückeHighway bridge
2020
Objektobject
2222
Sensoreinrichtungsensor device
2424
Personperson
2626
elektronische Recheneinrichtungelectronic computing device
2828
Flugrichtungflight direction
3030
Innenrauminner space

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102012107186 A1 [0003]DE 102012107186 A1 [0003]

Claims (5)

Verfahren zum Erkennen wenigstens eines sich in einer Umgebung (10) eines Kraftfahrzeugs (12) befindenden Objekts (20) mittels einer Sensoreinrichtung (22) des Kraftfahrzeugs (12), bei welchem mittels der Sensoreinrichtung (22) wenigstens ein Bild des Objekts (20) erfasst ausgewertet wird, wodurch das Objekt (20) erkannt wird, dadurch gekennzeichnet, dass als das Objekt (20) ein Objekt (20) erkannt wird, welches von einer sich vor dem Kraftfahrzeug (12) befindenden und gegenüber dem Kraftfahrzeug (12) eine größere Höhe aufweisenden Einrichtung herabfällt.Method for detecting at least one object (20) located in an environment (10) of a motor vehicle (12) by means of a sensor device (22) of the motor vehicle (12), in which at least one image of the object (20) is detected by the sensor device (22). is detected, whereby the object (20) is detected, characterized in that as the object (20) an object (20) is detected, which is located in front of the motor vehicle (12) and a motor vehicle (12) greater height device falls down. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für das Objekt (20) anhand des Bilds eine Flugkurve des Objekts (20) berechnet wird.Method according to Claim 1 , characterized in that for the object (20) based on the image, a flight curve of the object (20) is calculated. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass in Abhängigkeit von der Flugkurve wenigstens eine Fahranweisung im Innenraum des Kraftfahrzeugs (12) ausgegeben wird.Method according to Claim 2 , characterized in that depending on the flight curve at least one driving instruction in the interior of the motor vehicle (12) is output. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass in Abhängigkeit von der Flugkurve wenigstens eine Komponente des Kraftfahrzeugs (12) mittels einer elektronischen Recheneinrichtung (26) des Kraftfahrzeugs automatisch betrieben wird.Method according to Claim 2 or 3 , characterized in that depending on the flight curve at least one component of the motor vehicle (12) by means of an electronic computing device (26) of the motor vehicle is automatically operated. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensoreinrichtung (22) eine Monokamera und/oder eine Stereokamera aufweist, mittels welcher das Bild erfasst wird.Method according to one of the preceding claims, characterized in that the sensor device (22) comprises a monocamera and / or a stereo camera, by means of which the image is detected.
DE102018010042.2A 2018-12-19 2018-12-19 Method for recognizing at least one object located in an environment of a motor vehicle Withdrawn DE102018010042A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018010042.2A DE102018010042A1 (en) 2018-12-19 2018-12-19 Method for recognizing at least one object located in an environment of a motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018010042.2A DE102018010042A1 (en) 2018-12-19 2018-12-19 Method for recognizing at least one object located in an environment of a motor vehicle

Publications (1)

Publication Number Publication Date
DE102018010042A1 true DE102018010042A1 (en) 2019-07-04

Family

ID=66816984

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018010042.2A Withdrawn DE102018010042A1 (en) 2018-12-19 2018-12-19 Method for recognizing at least one object located in an environment of a motor vehicle

Country Status (1)

Country Link
DE (1) DE102018010042A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023055366A1 (en) * 2021-09-30 2023-04-06 Zimeno, Inc. Dba Monarch Tractor Obstruction avoidance

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012107186A1 (en) 2012-08-06 2014-02-06 Continental Automotive Gmbh Method for detecting hazardous situation of vehicle based on sensor, involves determining parameter for controllability of vehicle as result of lateral impact, where two acceleration sensors are arranged in plane parallel to track

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012107186A1 (en) 2012-08-06 2014-02-06 Continental Automotive Gmbh Method for detecting hazardous situation of vehicle based on sensor, involves determining parameter for controllability of vehicle as result of lateral impact, where two acceleration sensors are arranged in plane parallel to track

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023055366A1 (en) * 2021-09-30 2023-04-06 Zimeno, Inc. Dba Monarch Tractor Obstruction avoidance

Similar Documents

Publication Publication Date Title
DE102015224192B4 (en) Detection of an open area
EP2951804B1 (en) Creating a model for the surroundings of a vehicle
DE102018218220A1 (en) Control device for a vehicle
DE102008001409A1 (en) Method for determining free areas in the environment of a motor vehicle, which is particularly relevant for vehicle guidance
DE102015121353A1 (en) Method for detecting a possible collision between a motor vehicle and an object taking into account a spatial uncertainty, control device, driver assistance system and motor vehicle
DE102015116542A1 (en) Method for determining a parking area for parking a motor vehicle, driver assistance system and motor vehicle
DE102019008093A1 (en) Method for merging sensor data from a large number of detection devices using a sparse occupancy grid, as well as a driver assistance system
DE102016117712A1 (en) Method for at least semi-autonomous maneuvering of a motor vehicle taking into account a detection range of a sensor, driver assistance system and motor vehicle
DE102021116703A1 (en) Method and system for predicting a trajectory of a target vehicle in the surroundings of a vehicle
DE102017205495A1 (en) Device and method for focusing sensors in the driving dynamic limit range for a motor vehicle
DE102004007553A1 (en) Detecting device and safety system for a motor vehicle
DE102012208302B4 (en) Method for providing information about the surroundings of a vehicle
DE102018124161A1 (en) Method for at least partially automated driving of a motor vehicle on a roadway
DE102010003375B4 (en) Environment evaluation system in a vehicle with sensor means for detecting objects in the vicinity of the vehicle
EP3521132B1 (en) Method for detecting a vehicle path for rail-bound vehicles
DE102011113325A1 (en) Method for object recognition by image data, involves recognizing objects in vicinity of vehicle and differentiating objects in object types, where distance in Y-direction is determined for all objects recognized in vicinity
WO2019120709A1 (en) Method and control unit for controlling a function of a vehicle driven at least partially in an automated manner
DE102018010042A1 (en) Method for recognizing at least one object located in an environment of a motor vehicle
DE102018213378B4 (en) Driver assistance system for a vehicle, vehicle with the same and driver assistance method for a vehicle
EP2254104B1 (en) Method for automatic recognition of a change in a situation
WO2019211293A1 (en) Method for operating a driver assistance system of an ego vehicle having at least one surroundings sensor for detecting the surroundings of the ego vehicle, computer readable medium, system and vehicle
DE102016222215A1 (en) Motor vehicle with a driver assistance system, which has a camera
DE102004047122A1 (en) Sensor and guidance system for road vehicle has four different types of sensor in front of vehicle, building up picture of environment in front of vehicle, including IR and video sensors
DE102020005763A1 (en) Method for controlling a vehicle
DE102019004075A1 (en) Method for determining a relevance of an object in an environment of a motor vehicle by means of a driver assistance system and driver assistance system

Legal Events

Date Code Title Description
R230 Request for early publication
R081 Change of applicant/patentee

Owner name: DAIMLER AG, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee