DE102019219144A1 - Method and system for image evaluation for object recognition in the vicinity of vehicles - Google Patents

Method and system for image evaluation for object recognition in the vicinity of vehicles Download PDF

Info

Publication number
DE102019219144A1
DE102019219144A1 DE102019219144.4A DE102019219144A DE102019219144A1 DE 102019219144 A1 DE102019219144 A1 DE 102019219144A1 DE 102019219144 A DE102019219144 A DE 102019219144A DE 102019219144 A1 DE102019219144 A1 DE 102019219144A1
Authority
DE
Germany
Prior art keywords
vehicle
par
server
parameters
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019219144.4A
Other languages
German (de)
Inventor
Roland Ziegler
Günter Seidel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive Technologies GmbH
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Priority to DE102019219144.4A priority Critical patent/DE102019219144A1/en
Publication of DE102019219144A1 publication Critical patent/DE102019219144A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

Die Erfindung betrifft ein Verfahren zum Auswerten eines Bildes (34) einer Umgebung (12) eines Fahrzeuges (10) unter Verwendung eines basierend auf vorgegebenen Parametern (PAR) arbeitenden Objekterkennungsalgorithmus (32), um anhand des Bildes (34) Objekte (20) in der Umgebung (12) des Fahrzeuges (10) zu erkennen. Um hierbei die Zuverlässigkeit und Qualität der Erkennung von Objekten (20) zu verbessern, ist erfindungsgemäß vorgesehen, dass die Parameter (PAR) in Abhängigkeit von einer geografischen Position (POS) des Fahrzeuges (10) vorgegeben werden. Die Erfindung schlägt ferner ein System (100) zum Auswerten jeweiliger Bilder (34) von jeweiligen Umgebungen (12) einer Vielzahl von Fahrzeugen (10-1, 10-2, ...) vor, um jeweilige Objekte (20) in der jeweiligen Umgebung (12) der Fahrzeuge (10-1, 10-2, ...) zu erkennen.The invention relates to a method for evaluating an image (34) of an environment (12) of a vehicle (10) using an object recognition algorithm (32) based on predetermined parameters (PAR) in order to identify objects (20) using the image (34) the surroundings (12) of the vehicle (10) to be recognized. In order to improve the reliability and quality of the detection of objects (20), the invention provides that the parameters (PAR) are specified as a function of a geographical position (POS) of the vehicle (10). The invention also proposes a system (100) for evaluating respective images (34) of respective surroundings (12) of a multiplicity of vehicles (10-1, 10-2, ...) in order to identify respective objects (20) in the respective The surroundings (12) of the vehicles (10-1, 10-2, ...) can be recognized.

Description

Die vorliegende Erfindung betrifft den Bereich der Objekterkennung in der Umgebung von Fahrzeugen, und insbesondere ein Verfahren zum Auswerten eines Bildes einer Umgebung eines Fahrzeuges, wobei ein basierend auf vorgegebenen Parametern arbeitender Objekterkennungsalgorithmus verwendet wird, um anhand des Bildes Objekte in der Umgebung des Fahrzeuges zu erkennen. Ferner betrifft die Erfindung ein System zum Auswerten jeweiliger Bilder von jeweiligen Umgebungen einer Vielzahl von Fahrzeugen, um anhand der jeweiligen Bilder jeweilige Objekte in der jeweiligen Umgebung der Fahrzeuge zu erkennen.The present invention relates to the field of object recognition in the vicinity of vehicles, and in particular to a method for evaluating an image of an environment of a vehicle, an object recognition algorithm operating on the basis of predetermined parameters being used to identify objects in the vicinity of the vehicle on the basis of the image . The invention also relates to a system for evaluating respective images of respective surroundings of a multiplicity of vehicles in order to recognize respective objects in the respective surroundings of the vehicles on the basis of the respective images.

An Bord von Fahrzeugen durchgeführte Verfahren zur Bildauswertung sind in vielfältigen Ausführungen aus dem Stand der Technik bekannt und gewinnen insbesondere im Bereich der Automobiltechnik für Straßenkraftfahrzeuge zunehmend an Bedeutung, etwa bei der Realisierung und Verbesserung von Komfortfunktionen (z. B. Einparkhilfe, Abstandstempomat, Spurhalteassistent, automatische Verkehrszeichenerkennung etc.) oder Sicherheitsfunktionen (z. B. Hinderniserkennung etc.).Processes for image evaluation carried out on board vehicles are known in various designs from the prior art and are becoming increasingly important, especially in the field of automotive technology for road vehicles, for example in the implementation and improvement of comfort functions (e.g. parking aid, cruise control, lane departure warning, automatic traffic sign recognition, etc.) or safety functions (e.g. obstacle recognition, etc.).

Besonders hohe Anforderungen an die Zuverlässigkeit und Qualität einer mit derartigen Bildauswertungsverfahren bewerkstelligten Objekterkennung ergeben sich z. B. für autonom fahrende Fahrzeuge, bei denen Steuerungsvorgänge wie Lenken, Beschleunigen und Verzögern teilweise oder vollständig automatisiert durchgeführt werden.Particularly high demands on the reliability and quality of an object recognition accomplished with such an image evaluation method result, for. B. for autonomous vehicles in which control processes such as steering, accelerating and decelerating are partially or fully automated.

Das Bild der Umgebung des Fahrzeuges kann z. B. mittels wenigstens einer am Fahrzeug angeordneten Videokamera aufgenommen werden, die z. B. im sichtbaren Spektralbereich sensitiv ist und digitale Repräsentationen (Bilddaten) an eine digitale elektronische Auswerteeinrichtung an Bord des Fahrzeuges liefert, in welcher der Objekterkennungsalgorithmus abläuft, um Objekte (z. B. Fahrbahnmarkierungen, Verkehrszeichen, andere Fahrzeuge, Fußgänger etc.) zu erkennen.The image of the surroundings of the vehicle can, for. B. be recorded by means of at least one video camera arranged on the vehicle, the z. B. is sensitive in the visible spectral range and provides digital representations (image data) to a digital electronic evaluation device on board the vehicle, in which the object recognition algorithm runs in order to recognize objects (e.g. lane markings, traffic signs, other vehicles, pedestrians, etc.) .

Aus dem Stand der Technik sind hierfür geeignete, basierend auf vorgegebenen Parametern (Algorithmusparametern) arbeitende Objekterkennungsalgorithmen in vielfältigen Ausgestaltungen bekannt.From the prior art, there are known object recognition algorithms in various configurations that are suitable for this purpose and that work on the basis of predetermined parameters (algorithm parameters).

Insbesondere vor dem Hintergrund des in vielen Anwendungsfällen bestehenden Erfordernisses einer sehr rasch durchzuführenden Bildauswertung (in „Echtzeit“) bei gleichzeitig begrenzt zur Verfügung stehender Rechenkapazität in einer Auswerteeinrichtung ist es grundsätzlich eine große Herausforderung, die Objekterkennung mit hoher Zuverlässigkeit und Qualität zu bewerkstelligen, d. h. beispielsweise tatsächlich vorhandene Objekte einer bestimmten Art (z. B. vorausfahrende Fahrzeuge) zuverlässig als solche zu erkennen und gleichzeitig fehlerhafte Erkennungen bestimmter Objekte, die tatsächlich gar nicht vorhanden sind (oder tatsächlich andersartige Objekte darstellen), möglichst zu vermeiden.In particular, against the background of the requirement in many applications for image evaluation to be carried out very quickly (in "real time") with limited computing capacity in an evaluation device, it is fundamentally a major challenge to achieve object recognition with high reliability and quality, i. H. For example, reliably recognizing actually existing objects of a certain type (e.g. vehicles driving ahead) as such and at the same time avoiding incorrect recognition of certain objects that actually do not exist at all (or actually represent objects of a different type).

Eine gewisse Verbesserung in dieser Hinsicht wurde bereits durch den Einsatz von so genannter künstlicher Intelligenz (KI) erzielt, d. h. dem Einsatz von selbstlernenden und/oder dediziert trainierten Objekterkennungsalgorithmen, die mit Hilfe von Referenzobjekten (von bevorzugt großer Anzahl) trainiert wurden mit dem Ziel, eine möglichst hohe Rate an korrekten Objekterkennungen zu erreichen.A certain improvement in this regard has already been achieved through the use of so-called artificial intelligence (AI), i. H. the use of self-learning and / or dedicated trained object recognition algorithms that were trained with the aid of reference objects (preferably of a large number) with the aim of achieving the highest possible rate of correct object recognition.

Entsprechende Trainingsdaten können z. B. durch Testfahrten mit einem Fahrzeug ermittelt und im Nachgang dem Objekterkennungsalgorithmus als Trainingsdaten zur Verfügung gestellt werden.Corresponding training data can, for. B. determined by test drives with a vehicle and subsequently made available to the object recognition algorithm as training data.

Zur praktischen Implementierung von KI kann z. B. ein künstliches neuronales Netzwerk mit einer Vielzahl von Neuronen und Verbindungen zwischen diesen Neuronen verwendet werden, wobei in diesem Fall die Parameter des Objekterkennungsalgorithmus durch Charakteristika (z. B. Gewichtungen) letzterer Verbindungen zwischen Neuronen gegeben sind.For the practical implementation of AI, e.g. For example, an artificial neural network with a large number of neurons and connections between these neurons can be used, in which case the parameters of the object recognition algorithm are given by characteristics (e.g. weightings) of the latter connections between neurons.

Dennoch besteht auch beim Einsatz von KI noch Verbesserungsbedarf hinsichtlich der Zuverlässigkeit und Qualität der Objekterkennung.Nevertheless, there is still room for improvement in terms of the reliability and quality of object recognition when using AI.

Es ist eine Aufgabe der vorliegenden Erfindung, einen neuartigen Weg aufzuzeigen, mit dem die Zuverlässigkeit und Qualität einer Erkennung von Objekten in der Umgebung von Fahrzeugen mittels einer Bildauswertung der eingangs genannten Art weiter verbessert werden kann.It is an object of the present invention to show a novel way with which the reliability and quality of a detection of objects in the vicinity of vehicles can be further improved by means of an image evaluation of the type mentioned at the beginning.

Gemäß eines ersten Aspekts der Erfindung wird diese Aufgabe bei einem Verfahren der eingangs genannten Art dadurch gelöst, dass die Parameter des Objekterkennungsalgorithmus in Abhängigkeit von einer geografischen Position des Fahrzeuges vorgegeben werden.According to a first aspect of the invention, this object is achieved in a method of the type mentioned at the outset in that the parameters of the object recognition algorithm are specified as a function of a geographical position of the vehicle.

Damit können beim Auswerten des Bildes vorteilhaft hinsichtlich der Objekterkennung relevante, jedoch nicht aus dem Bild als solchem ableitbare Informationen genutzt werden, um in der Praxis die Objekterkennung deutlich zu verbessern. Der Erfindung liegt hierbei die Erkenntnis zugrunde, dass insbesondere z. B. Auftretenswahrscheinlichkeiten von Objekten in der Praxis ortsabhängig sind und somit die Information über die geografische Position des Fahrzeuges nutzbringend zur Verbesserung der Objekterkennung eingesetzt werden kann.In this way, when evaluating the image, information that is relevant to object recognition but cannot be derived from the image as such can be used in order to significantly improve object recognition in practice. The invention is based on the knowledge that in particular z. B. Occurrence probabilities of objects in practice are location-dependent and thus the information about the geographical position of the vehicle can be used to improve object recognition.

Beispielsweise ist die Wahrscheinlichkeit des Auftretens eines Traktors in einer ländlichen Gegend größer als in einem Zentrum einer Großstadt, die Wahrscheinlichkeit des Auftretens von kleinen Personen (Kindern) in der Nähe eines Spielplatzes größer als weiter entfernt davon, usw. Durch eine gezielte Vorgabe der Algorithmusparameter in Abhängigkeit von der geografischen Position können derartige Korrelationen im Rahmen der Objekterkennung vorteilhaft genutzt werden, um Zuverlässigkeit und Qualität der Objekterkennung zu verbessern.For example, the probability of a tractor appearing in a rural area is greater than in the center of a large city, the probability of small people (children) appearing in the vicinity of a playground is greater than it is further away, etc. Through a specific specification of the algorithm parameters in Depending on the geographical position, such correlations can be used advantageously in the context of object recognition in order to improve the reliability and quality of the object recognition.

Das Bild der Umgebung des Fahrzeuges kann z. B. mittels einer im Fahrzeug vorgesehenen Bildaufnahmeeinrichtung aufgenommen werden, wobei die Bildaufnahmeeinrichtung hierfür z. B. eine oder mehrere am Fahrzeug angeordnete Videokameras aufweisen kann. Jede solche Videokamera kann z. B. im sichtbaren Spektralbereich sensitiv sein. Alternativ oder zusätzlich kann zur Aufnahme des Bildes auch z. B. wenigstens eine IR-sensitive Kamera vorgesehen sein. Die Bildaufnahmeeinrichtung kann das Bild (bzw. Videobildsequenzen) z. B. als digitale Repräsentationen (Bilddaten) an eine digitale elektronische Auswerteeinrichtung liefern, in welcher der Objekterkennungsalgorithmus abläuft. Alternativ oder zusätzlich zu einer Videokamera kann die Bildaufnahmeeinrichtung auch andere Sensoren wie insbesondere z. B. ein Lidarsystem und/oder ein Radarsystem aufweisen, die ebenfalls an Bord des Fahrzeuges angeordnet sein können. Im Rahmen der Erfindung kann darüber hinaus vorgesehen sein, dass zur Gewinnung von das Bild repräsentierenden Bilddaten auch außerhalb des Fahrzeuges angeordnete bzw. befindliche Sensoren genutzt werden (z. B. in anderen Fahrzeugen angeordnete Sensoreinrichtungen), deren Daten z. B. via Telekommunikation (z. B. „V2x“) zur Auswerteeinrichtung übertragen werden.The image of the surroundings of the vehicle can, for. B. be recorded by means of an image recording device provided in the vehicle, the image recording device for this purpose, for. B. may have one or more video cameras arranged on the vehicle. Each such video camera can e.g. B. be sensitive in the visible spectral range. Alternatively or additionally, z. B. at least one IR-sensitive camera can be provided. The image recording device can take the image (or video image sequences) z. B. as digital representations (image data) to a digital electronic evaluation device in which the object recognition algorithm runs. As an alternative or in addition to a video camera, the image recording device can also use other sensors such as, in particular, e.g. B. have a lidar system and / or a radar system, which can also be arranged on board the vehicle. Within the scope of the invention it can also be provided that to obtain image data representing the image, sensors arranged or located outside of the vehicle are also used (e.g. sensor devices arranged in other vehicles) whose data are e.g. B. via telecommunication (z. B. "V2x") to the evaluation device.

In einer Ausführungsform ist der Objekterkennungsalgorithmus dazu ausgebildet, vorbestimmten Arten von Objekten jeweilige Auftretenswahrscheinlichkeiten zuzuordnen und für das Erkennen von Objekten zu berücksichtigen, wobei diese Auftretenswahrscheinlichkeiten durch die vorgegebenen Parameter bestimmt (d. h. zumindest mitbestimmt oder davon beeinflußt) werden. Falls z. B. während der Vorgabe eines „normalen“ Satzes bestimmter Parameter dem Auftreten einer Objektart „Ball (z. B. Fußball)“ und einer Objektart „Plastiktüte“ gleiche Auftretenswahrscheinlichkeiten zugeordnet sind und der Algorithmus dann nach „objektiven“, d. h. nur auf der Bildinformation des Bildes beruhenden Kriterien eine Entscheidung (z. B. zugunsten „Ball“) trifft, so könnte durch Vorgabe eines anderen Satzes von Parametern aufgrund von damit geänderten zugeordneten Auftretenswahrscheinlichkeiten die Entscheidung in der ansonsten gleichen Situation auch zugunsten der anderen Objektart (Platiktüte) oder auch z. B. zugunsten einer ganz anderen Objektart (z. B. „Tier“) getroffen werden.In one embodiment, the object recognition algorithm is designed to assign respective probabilities of occurrence to predetermined types of objects and to take them into account for the recognition of objects, these probabilities of occurrence being determined by the specified parameters (i.e. at least partly determined or influenced by them). If z. For example, when a “normal” set of certain parameters is specified, the occurrence of an object type “ball (e.g. football)” and an object type “plastic bag” are assigned the same probability of occurrence and the algorithm then searches for “objective”, i. H. only makes a decision based on criteria based on the image information of the image (e.g. in favor of "ball"), then by specifying a different set of parameters based on the changed associated probabilities of occurrence, the decision in the otherwise same situation could also be in favor of the other object type ( Plastic bag) or z. B. in favor of a completely different property type (e.g. "animal").

Die vorbestimmten Arten von Objekten können z. B. gemäß einer Klassifizierung von grundsätzlich möglichen Objekten in der Umgebung eines Fahrzeuges definiert sein.The predetermined types of objects can e.g. B. be defined according to a classification of basically possible objects in the vicinity of a vehicle.

Die vorbestimmten Arten von Objekten können z. B. wenigstens eine Objektart umfassen, die ausgewählt ist aus der Gruppe bestehend aus Fahrbahnbegrenzung, Fahrbahnmarkierung, Verkehrszeichen, Lichtzeichenanlage, Fahrzeug, Person.The predetermined types of objects can e.g. B. comprise at least one type of object selected from the group consisting of lane delimitation, lane marking, traffic sign, traffic light system, vehicle, person.

Die Arten von Objekten können dem jeweiligen konkreten Anwendungsfall angepasst definiert sein, und beispielsweise könnte alternativ oder zusätzlich zu einer eher grob definierten Objektart wie z. B. „Fahrzeug“ auch eine feinere Klassifizierung z. B. basierend auf der Art von Fahrzeug vorgenommen werden, resultierend beispielsweise in aussagekräftigeren Objektarten wie PKW, LKW, Motorrad, Motorroller, Fahrrad, Fahrrad mit Anhänger, Tretroller etc. In analoger Weise könnten auch andere, eher grob definierte Objektarten (wie z. B. jede der vorstehend bereits genannten Objektarten) jeweils feiner klassifiziert sein. Bei der Objektart „Person“ könnte z. B. zwischen „große Person“ (Erwachsener) und „kleine Person“ (Kind) und bei der Objektart „Verkehrszeichen“ könnte z. B. zwischen Verkehrszeichen betreffend ruhenden Verkehr und Verkehrszeichen betreffend fahrenden Verkehr unterschieden werden, usw.The types of objects can be defined adapted to the respective specific application, and for example, as an alternative or in addition to a more roughly defined object type such as. B. "Vehicle" also has a finer classification z. B. based on the type of vehicle, resulting, for example, in more meaningful object types such as cars, trucks, motorcycles, scooters, bicycles, bicycles with trailers, scooters, etc. . Each of the above-mentioned object types) each have to be classified more finely. In the case of the property type "Person", z. B. between "large person" (adult) and "small person" (child) and with the object type "traffic sign" could z. B. distinguish between traffic signs relating to stationary traffic and traffic signs relating to moving traffic, etc.

Vorteilhaft können mit der Erfindung von der geografischen Position abhängige Auftretenswahrscheinlichkeiten bei der Objekterkennung vom Objekterkennungsalgorithmus insbesondere z. B. in Zweifelsfällen bei der Entscheidungsfindung mitberücksichtigt werden.Advantageously, with the invention of the geographical position-dependent occurrence probabilities in the object recognition from the object recognition algorithm, in particular z. B. be taken into account in the decision-making process in cases of doubt.

Beispielsweise könnte somit z. B. für eine geografische Position in einer sehr ländlichen Gegend eine Auftretenswahrscheinlichkeit für landwirtschaftliche Fahrzeuge (z. B. Traktoren etc.) größer und z. B. eine Auftretenswahrscheinlichkeit für Tretroller kleiner angenommen werden als die jeweiligen Auftretenswahrscheinlichkeiten an geografischen Positionen, die innerhalb einer Stadt liegen.For example, could thus z. B. for a geographical position in a very rural area, a probability of occurrence for agricultural vehicles (z. B. tractors etc.) is greater and z. B. a probability of occurrence for scooters can be assumed to be smaller than the respective probability of occurrence at geographical positions that are within a city.

Die dem Objekterkennungsalgorithmus vorzugebenden Parameter können vorteilhaft die Entscheidungsfindung des Objekterkennungsalgorithmus in Richtung einer zuverlässigeren und präziseren Objekterkennung beeinflussen.The parameters to be specified for the object recognition algorithm can advantageously influence the decision-making process of the object recognition algorithm in the direction of more reliable and more precise object recognition.

In einer Ausführungsform weist das Verfahren ferner folgende Schritte auf:

  • - Übermitteln von Anpassungsdaten von einem Server an eine den Objekterkennungsalgorithmus durchführende Auswerteeinrichtung, wobei die Anpassungsdaten von dem Server basierend auf der geografischen Position des Fahrzeuges und basierend auf in dem Server für ein bestimmtes geografisches Gebiet gespeicherten positionsabhängigen Umgebungsdaten ermittelt wurden, und
  • - Anpassen der Parameter für den Objekterkennungsalgorithmus basierend auf den von dem Server an die Auswerteeinrichtung übermittelten Anpassungsdaten.
In one embodiment, the method also has the following steps:
  • - Transmission of adjustment data from a server to an evaluation device performing the object recognition algorithm, the adjustment data being determined by the server based on the geographical position of the vehicle and based on position-dependent environmental data stored in the server for a specific geographical area, and
  • Adaptation of the parameters for the object recognition algorithm based on the adaptation data transmitted from the server to the evaluation device.

Der Begriff „Server“ ist im Sinne der Erfindung breit zu verstehen als eine Einrichtung, in welcher positionsabhängige Umgebungsdaten gespeichert sind und welche für vorgegebene geografische Positionen (des Fahrzeuges) entsprechende Anpassungsdaten ermitteln kann. Bei dem Server kann es sich insbesondere um einen zentralen Server (z. B. stationäres Rechenzentrum, einschließlich Cloud-basierter Server) handeln, der die genannten Anpassungsdaten für eine Vielzahl von Fahrzeugen bereitstellt. Alternativ kann der Server jedoch auch ganz oder teilweise im Fahrzeug angeordnet sein, beispielsweise implementiert als ein funktionaler Bestandteil einer im Fahrzeug angeordneten Auswerteeinrichtung. Insbesondere für Anwendungen der Erfindung mit begrenzter (kleinerer) geografischer Ausdehnung können die Umgebungsdaten auch an Bord des Fahrzeuges vorgehalten werden und z. B. von Zeit zu Zeit über eine Telekommunikationsverbindung (Mobilfunk, mobiler Internatanschluss etc.) aktualisiert werden.The term “server” is to be understood broadly in the context of the invention as a device in which position-dependent environmental data are stored and which can determine corresponding adaptation data for predetermined geographical positions (of the vehicle). The server can, in particular, be a central server (e.g. stationary data center, including cloud-based servers) which provides the aforementioned adaptation data for a large number of vehicles. Alternatively, however, the server can also be arranged entirely or partially in the vehicle, for example implemented as a functional component of an evaluation device arranged in the vehicle. In particular for applications of the invention with a limited (smaller) geographical extent, the environmental data can also be kept on board the vehicle and z. B. be updated from time to time via a telecommunications connection (cellular network, mobile Internet connection, etc.).

Das geografische Gebiet, für das im Server die positionsabhängigen Umgebungsdaten gespeichert sind, besitzt bevorzugt eine Größe von mindestens 100 km2, weiter bevorzugt mindestens 10.000 km2, oder sogar noch mehr, und kann z. B. das Territorium eines bestimmten Staates (Deutschland, USA, China etc.) oder das Territorium eines Staatenverbunds (z. B. Europäische Union etc.) umfassen oder durch ein solches begrenzt sein.The geographical area for which the position-dependent environmental data is stored in the server preferably has a size of at least 100 km 2 , more preferably at least 10,000 km 2 , or even more, and can e.g. B. the territory of a certain state (Germany, USA, China etc.) or the territory of an association of states (e.g. European Union etc.) or be limited by such.

In einer Ausführungsvariante stellen die Umgebungsdaten als solche bereits die Anpassungsdaten dar oder beinhalten die Anpassungsdaten, so dass die Ermittlung der an die Auswerteeinrichtung zu übermittelnden Anpassungsdaten dann z. B. durch ein Auswählen einer speziellen Teilmenge der Umgebungsdaten, nämlich entsprechend der geografischen Position des betreffenden Fahrzeuges, aus den im Server insgesamt gespeicherten Umgebungsdaten realisiert werden kann.In one embodiment variant, the environmental data as such already represent the adjustment data or contain the adjustment data, so that the determination of the adjustment data to be transmitted to the evaluation device then z. B. by selecting a special subset of the environment data, namely corresponding to the geographical position of the vehicle in question, can be realized from the environment data stored in total in the server.

Alternativ oder zusätzlich kann in dem Server jedoch auch z. B. ein Ermittlungsalgorithmus verwendet werden, mittels welchem basierend auf der geografischen Position des Fahrzeuges aus der Gesamtheit der positionsabhängigen Umgebungsdaten für das Fahrzeug relevante Umgebungsdaten ausgewählt und zur Bildung der für das Fahrzeug relevanten Anpassungsdaten noch weiterverarbeitet werden. Der Server kann hierbei z. B. als eine vollständig externe Einrichtung (außerhalb des Fahrzeuges) implementiert sein, oder aber vollständig oder zumindest teilweise durch eine im Fahrzeug angeordnete Einrichtung mit entsprechender Speicher- und Rechenkapazität (z. B. als funktionaler Bestandteil einer Auswerteeinrichtung an Bord des Fahrzeuges) implementiert sein.Alternatively or additionally, however, z. For example, a determination algorithm can be used by means of which, based on the geographical position of the vehicle, environmental data relevant to the vehicle is selected from the entirety of the position-dependent environmental data and further processed to form the adaptation data relevant to the vehicle. The server can here, for. B. can be implemented as a completely external device (outside the vehicle), or completely or at least partially by a device arranged in the vehicle with appropriate storage and computing capacity (e.g. as a functional component of an evaluation device on board the vehicle) .

Beispielsweise könnten die Umgebungsdaten hierbei z. B. eher allgemeinere Merkmale einer betreffenden Umgebung (z. B. „ländliche Gegend“, „Stadtgebiet“, „Innenstadtgebiet“, „Spielplatznähe“ etc.) spezifizieren, welche dann durch den Ermittlungsalgorithmus zur Bildung der betreffenden konkreten Anpassungsdaten herangezogen werden. Die Anpassungsdaten können dann z. B. konkrete Spezifikationen der Parametervorgabe für den Objekterkennungsalgorithmus beinhalten und/oder insbesondere z. B. diese Parameter als solche (oder zumindest einen anzupassenden Teil der Parameter) beinhalten.For example, the environmental data could here, for. B. specify more general characteristics of a relevant environment (e.g. "rural area", "urban area", "inner city area", "playground area" etc.), which are then used by the determination algorithm to generate the relevant specific adjustment data. The adjustment data can then e.g. B. contain specific specifications of the parameter specification for the object recognition algorithm and / or in particular z. B. contain these parameters as such (or at least a part of the parameters to be adjusted).

In einer Weiterbildung weist das Verfahren ferner folgende Schritte auf:

  • - Erfassen der geografischen Position des Fahrzeuges, und
  • - Übermitteln der erfassten geografischen Position des Fahrzeuges an den Server.
In a further development, the method also has the following steps:
  • - Detecting the geographical position of the vehicle, and
  • - Transmission of the recorded geographic position of the vehicle to the server.

Das Erfassen der geografischen Position des Fahrzeuges kann insbesondere z. B. mittels einer in dem Fahrzeug angeordneten Ortungseinrichtung erfolgen. Insbesondere kann zum Erfassen der geografischen Position des Fahrzeuges eine satellitengestützte Ortung des Fahrzeuges vorgesehen sein, etwa unter Verwendung einer in dem Fahrzeug angeordneten GPS-Empfangseinrichtung.The detection of the geographical position of the vehicle can in particular, for. B. by means of a location device arranged in the vehicle. In particular, satellite-supported localization of the vehicle can be provided for detecting the geographical position of the vehicle, for example using a GPS receiving device arranged in the vehicle.

Das Übermitteln der erfassten geografischen Position des Fahrzeuges kann z. B. unter Verwendung eines Mobilfunknetzes und z. B. unter Nutzung einer (oftmals ohnehin vorhandenen) Internetanbindung des Fahrzeuges erfolgen.The transmission of the detected geographical position of the vehicle can, for. B. using a cellular network and z. B. using an (often already existing) Internet connection of the vehicle.

In einer Ausführungsform ist zumindest eine Komponente der Auswerteeinrichtung, oder z. B. die gesamte Auswerteeinrichtung, in dem Fahrzeug angeordnet, wobei in diesem Fall das Übermitteln der Anpassungsdaten von dem Server an das Fahrzeug bzw. an diese Komponente der Auswerteeinrichtung durch ein so genanntes Geocasting der Anpassungsdaten an innerhalb des geografischen Gebiets befindliche Fahrzeuge realisiert sein kann.In one embodiment, at least one component of the evaluation device, or z. B. the entire evaluation device, arranged in the vehicle, in which case the transmission of the adaptation data from the server to the vehicle or to this component of the evaluation device can be implemented by a so-called geocasting of the adaptation data to vehicles located within the geographical area.

Beim Geocasting werden bestimmte Daten, hier z. B. die für ein bestimmtes Fahrzeug vorgesehenen Anpassungsdaten, an Empfänger innerhalb eines räumlich abgegrenzten geografischen Gebiets übermittelt.When geocasting certain data, here z. B. the adjustment data provided for a specific vehicle, transmitted to recipients within a spatially delimited geographical area.

Bei dieser Ausführungsvariante der Erfindung kann das räumlich abgegrenzte Gebiet z. B. eine Größe von bevorzugt mindestens 0,01 km2, insbesondere mindestens 0,05 km2 und/oder maximal z. B. 5 km2, insbesondere maximal 1 km2 besitzen.In this embodiment of the invention, the spatially delimited area z. B. a size of preferably at least 0.01 km 2 , in particular at least 0.05 km 2 and / or a maximum of z. B. 5 km 2 , in particular a maximum of 1 km 2 .

Zu bedenken ist (z. B. beim Einsatz von Geocasting), dass die Anpassungsdaten umso relevanter bzw. nutzbringender gebildet und an Fahrzeuge übermittelt werden können, je kleiner räumlich abgegrenzte Gebiete gewählt werden, denen (z. B. im Rahmen eines Geocasting) jeweils bestimmte (identische) Anpassungsdaten zugeordnet sind. Daraus ergibt sich in der Praxis z. B. eine zweckmäßige Maximalausdehnung dieser einzelnen Gebiete, um einen hohen Nutzen der Anpassungsdaten zu gewährleisten. Andererseits kann aber auch eine bestimmte Minimalausdehnung dieser Gebiete zweckmäßig sein, z. B. einerseits deshalb, weil sich Auftretenswahrscheinlichkeiten von Objekten auf sehr kleinen Wegstrecken (z. B. über eine Fahrstrecke von etwa 100 m) in der Praxis ohnehin eher unmerklich ändern, und andererseits weil mit abnehmender Größe des Gebiets der Aufwand für die Kommunikation der Anpassungsdaten an die z. B. im Fahrzeug angeordnete Auswerteeinrichtung entsprechend zunimmt, insbesondere wenn das Fahrzeug sich relativ schnell bewegt.It should be borne in mind (e.g. when using geocasting) that the adaptation data can be created and transmitted to vehicles all the more relevant and useful, the smaller spatially delimited areas are selected (e.g. in the context of geocasting) certain (identical) adjustment dates are assigned. This results in z. B. an expedient maximum extent of these individual areas in order to ensure a high benefit of the adjustment data. On the other hand, however, a certain minimum extent of these areas can also be appropriate, e.g. B. on the one hand because the probabilities of occurrence of objects on very short distances (e.g. over a distance of about 100 m) change rather imperceptibly in practice, and on the other hand because the effort for communicating the adaptation data with decreasing size of the area to the z. B. arranged in the vehicle evaluation device increases accordingly, especially when the vehicle is moving relatively quickly.

In einer Ausführungsform repräsentieren die in dem Server gespeicherten positionsabhängigen Umgebungsdaten Merkmale in einem Bereich um die betreffende geografische Position und/oder den vorbestimmten Arten von Objekten in diesem Bereich zuzuordnende Auftretenswahrscheinlichkeiten.In one embodiment, the position-dependent environmental data stored in the server represent features in an area around the geographic position in question and / or probabilities of occurrence that can be assigned to the predetermined types of objects in this area.

Wie oben bereits beispielhaft erläutert, können von den Umgebungsdaten repräsentierte Merkmale z. B. spezifizieren, ob es sich um eine ländliche Gegend oder um eine städtische Gegend handelt, wobei z. B. eine derartige Klassifikation einer die geografische Position beinhaltenden Umgebung auch verfeinert vorgesehen sein kann. Bei der ländlichen Gegend könnte z. B. nach „Autobahn- bzw. Schnellstraßenbereich in ländlicher Gegend“ und „durch Landstraßen und/oder kleinere Dörfer geprägte ländliche Gegend“ unterschieden werden. Insbesondere können die positionsabhängigen Umgebungsdaten z. B. quantitative Angaben zum jeweiligen Ausmaß des Vorliegens von vorbestimmten Merkmalen enthalten.As already explained above by way of example, features represented by the environmental data can e.g. Specify whether it is a rural area or an urban area, e.g. B. such a classification of an environment containing the geographical position can also be provided in a more refined manner. In the rural area, for. For example, a distinction can be made between “motorway or expressway area in rural areas” and “rural areas characterized by rural roads and / or smaller villages”. In particular, the position-dependent environmental data z. B. contain quantitative information on the respective extent of the presence of predetermined features.

In einer Ausführungsform umfassen die Merkmale das Vorhandensein vorbestimmter Arten von Bauwerken, insbesondere Gebäuden, in dem Bereich um die betreffende geografische Position. Insbesondere können diese Arten z. B. jeweils durch einen bestimmten Nutzungszweck des Bauwerkes bzw. Gebäudes definiert sein.In one embodiment, the features include the presence of predetermined types of structures, in particular buildings, in the area around the geographic position in question. In particular, these types can, for. B. each be defined by a specific use of the structure or building.

Bauwerke, insbesondere Gebäude, werden stets zu einem bestimmten Nutzungszweck errichtet, und das Vorhandensein bestimmter Arten von Bauwerken im Bereich um die betreffende geografische Position kann insbesondere abhängig vom Nutzungszweck großen Einfluss auf die Auftretenswahrscheinlichkeiten vorbestimmter Arten von Objekten besitzen. So ist z. B. in der Umgebung von Spielplätzen, Kindergärten und Grundschulen die Auftretenswahrscheinlichkeit von Kindern entsprechend vergrößert. Analog dazu ist z. B. in der Umgebung größerer Einkaufszentren die Auftretenswahrscheinlichkeit von Personen mit (großen) Einkaufstaschen etc. vergrößert.Structures, in particular buildings, are always erected for a specific purpose, and the presence of certain types of structures in the area around the relevant geographical position can have a major influence on the probability of occurrence of predetermined types of objects, in particular depending on the purpose of use. So is z. B. in the vicinity of playgrounds, kindergartens and elementary schools, the probability of occurrence of children increases accordingly. Similarly, z. B. in the vicinity of larger shopping centers, the probability of occurrence of people with (large) shopping bags, etc. increases.

Die vorstehenden Beispiele verdeutlichen auch eine in der Praxis oftmals gegebene Abhängigkeit der Auftretenswahrscheinlichkeiten von Objekten in Abhängigkeit von der Zeit (z. B. Jahreszeit, Wochentag und/oder Tageszeit). Für Kindergärten und Grundschulen etc. ergeben sich z. B. jahreszeitliche Schwankungen (wegen Ferienzeiten) und Wochentag-abhängige Schwankungen (wegen Wochenenden und Feiertagen) und Tageszeit-abhängige Schwankungen (wegen typischen Beginn- und Ende-Uhrzeiten).The above examples also illustrate a dependency of the probabilities of occurrence of objects, which is often given in practice, as a function of time (e.g. time of year, day of the week and / or time of day). For kindergartens and elementary schools etc. there are e.g. B. seasonal fluctuations (because of vacation times) and weekday-dependent fluctuations (because of weekends and public holidays) and time-of-day-dependent fluctuations (because of typical start and end times).

Auch derartige Abhängigkeiten können im Rahmen der Erfindung vorteilhaft berücksichtigt werden, beispielsweise indem die dem Objekterkennungsalgorithmus vorzugebenden Parameter in Abhängigkeit von der Zeit vorgegeben werden (zusätzlich zur Abhängigkeit von der geografischen Position des Fahrzeuges). Vorteilhaft lässt sich auch damit eine „zeitliche Komponente“ der Umgebung des Fahrzeuges berücksichtigen. Dem Objekterkennungsalgorithmus können die Parameter in Abhängigkeit von derjenigen Zeit vorgegeben werden, zu der das betreffende Bild aufgenommen wurde (und zu der dementsprechend bevorzugt („in Echtzeit“) auch die Bildauswertung zur Objekterkennung durchgeführt wird).Such dependencies can also advantageously be taken into account within the scope of the invention, for example by specifying the parameters to be specified for the object recognition algorithm as a function of time (in addition to the dependence on the geographical position of the vehicle). A “time component” of the surroundings of the vehicle can also advantageously be taken into account in this way. The parameters can be specified for the object recognition algorithm as a function of the time at which the relevant image was recorded (and at which the image evaluation for object recognition is accordingly preferably carried out (“in real time”)).

Bei der bereits erläuterten Ausführungsform mit Übermittlung von Anpassungsdaten von einem Server an eine den Objekterkennungsalgorithmus durchführende Auswerteeinrichtung kann dies vorteilhaft z. B. im Rahmen der seitens des Servers durchgeführten Ermittlung der Anpassungsdaten basierend auf den gespeicherten Umgebungsdaten realisiert werden.In the embodiment already explained, with the transmission of adaptation data from a server to an evaluation device performing the object recognition algorithm, this can advantageously, for. B. can be implemented in the context of the determination of the adaptation data carried out by the server based on the stored environmental data.

In einer Ausführungsvariante hierzu beinhalten die gespeicherten Umgebungsdaten bereits wenigstens eine derartige Zeitabhängigkeit eines Merkmals und/oder einer Auftretenswahrscheinlichkeit, so dass diese Zeitabhängigkeit sich auch in den Anpassungsdaten und somit den vorzugebenden Parametern widerspiegelt. Hierzu kann z. B. vorgesehen sein, dass die im Server gespeicherten Umgebungsdaten fortlaufend aktualisiert werden (so dass die Anpassungsdaten zeitabhängig sind).In one embodiment variant of this, the stored environmental data already contain at least one such time dependency of a feature and / or a probability of occurrence, see above that this time dependency is also reflected in the adjustment data and thus in the parameters to be specified. For this purpose, z. For example, it can be provided that the environment data stored in the server are continuously updated (so that the adjustment data are time-dependent).

In einer Ausführungsform umfassen die Merkmale das Vorhandensein vorbestimmter Arten von temporären Ereignissen, insbesondere Veranstaltungen, in dem Bereich um die betreffende geografische Position, insbesondere wobei diese Arten jeweils durch einen bestimmten Zweck des Ereignisses definiert sind.In one embodiment, the features include the presence of predetermined types of temporary events, in particular events, in the area around the geographic position in question, in particular these types each being defined by a specific purpose of the event.

Damit können vorteilhaft insbesondere auch unabhängig von dem Vorhandensein vorbestimmter Arten von Bauwerken bzw. Gebäuden im Bereich um die betreffende geografische Position weitere, insbesondere einmalige und/oder relativ kurzzeitige Einflüsse auf die Auftretenswahrscheinlichkeiten von Objekten bei der Objekterkennung berücksichtigt werden (z. B. temporäre Baumaßnahmen, sportliche, kulturelle oder politische Veranstaltungen, Verkehrsunfälle etc.).In this way, additional, in particular one-off and / or relatively short-term influences on the probabilities of occurrence of objects can be taken into account during object detection (e.g. temporary construction measures), particularly regardless of the presence of predetermined types of structures or buildings in the area around the relevant geographical position , sporting, cultural or political events, traffic accidents, etc.).

In einer Ausführungsform wurden die den vorbestimmten Arten von Objekten in dem Bereich um die betreffende geografische Position zuzuordnenden Auftretenswahrscheinlichkeiten empirisch ermittelt.In one embodiment, the probabilities of occurrence to be assigned to the predetermined types of objects in the area around the geographic position in question were determined empirically.

Diese empirische Ermittlung kann insbesondere durch z. B. systematisch geplante und durchgeführte Testfahrten mit einem Fahrzeug erfolgen, wobei für eine Mehrzahl von vorbestimmten Arten von Objekten jeweilige positionsabhängige und/oder zeitabhängige Auftretenswahrscheinlichkeiten ermittelt werden können.This empirical determination can in particular by z. B. systematically planned and performed test drives take place with a vehicle, it being possible to determine respective position-dependent and / or time-dependent occurrence probabilities for a plurality of predetermined types of objects.

Nochmals zurückkommend auf die bereits erläuterte Möglichkeit, in einem Server positionsabhängige Umgebungsdaten zu speichern, so kann hierfür z. B. vorgesehen sein, das betreffende (zweckmäßigerweise relativ große) geografische Gebiet mittels eines (gedachten) Rasters, insbesondere z. B. regelmäßigen Rasters, z. B. eines quadratischen Rasters oder eines hexagonalen Rasters, in eine Vielzahl von einzelnen Rastergebieten (z. B. Quadrate oder Sechsecke) aufzuteilen und jeweils konstante Umgebungsdaten innerhalb jedes Rastergebiets vorzusehen. Die Ermittlung der Anpassungsdaten für ein bestimmtes Fahrzeug kann dann z. B. so erfolgen, dass hierfür diejenigen Umgebungsdaten herangezogen werden, die für dasjenige Rastergebiet gespeichert sind, innerhalb dessen sich die geografische Position des Fahrzeuges befindet. Alternativ zu einer ausschließlichen Heranziehung dieser Umgebungsdaten kann jedoch auch z. B. vorgesehen sein, beim Ermitteln der Anpassungsdaten eine Interpolation der heranzuziehenden Umgebungsdaten und/oder der zu übermittelnden Anpassungsdaten vorzunehmen, wofür dann die Umgebungsdaten z. B. von mehreren Rastergebieten (einschließlich des Rastergebiets, indem sich das Fahrzeug befindet) herangezogen werden können. Bei einer derartigen Interpolation können (z. B. zur Realisierung einer gewichteten Interpolation) insbesondere z. B. die Abstände der geografischen Position des Fahrzeuges zu den im betreffenden Raster benachbarten Rastergebieten berücksichtigt werden (Je kleiner dieser Abstand, desto größer das „Gewicht“ der für das betreffende Rastergebiet gespeicherten bzw. ermittelten Daten).Coming back again to the possibility already explained of storing position-dependent environmental data in a server. B. be provided, the relevant (expediently relatively large) geographical area by means of an (imaginary) grid, in particular z. B. regular grid, e.g. B. a square grid or a hexagonal grid, to be divided into a plurality of individual grid areas (z. B. squares or hexagons) and to provide constant environmental data within each grid area. The determination of the adjustment data for a specific vehicle can then be done, for. B. be done in such a way that those environmental data are used that are stored for the grid area within which the geographical position of the vehicle is located. As an alternative to an exclusive use of this environmental data, however, z. B. be provided to perform an interpolation of the environment data to be used and / or the adaptation data to be transmitted when determining the adaptation data, for which the environment data z. B. of several grid areas (including the grid area in which the vehicle is located) can be used. In the case of such an interpolation (e.g. to implement a weighted interpolation), in particular e.g. For example, the distances between the geographical position of the vehicle and the neighboring grid areas in the relevant grid are taken into account (the smaller this distance, the greater the “weight” of the data stored or determined for the relevant grid area).

In einer Ausführungsform weist der Objekterkennungsalgorithmus auf:

  • - einen ersten Algorithmusteil, der dazu ausgebildet ist, anhand des Bildes eine vorläufige Erkennung der Objekte in der Umgebung des Fahrzeuges durchzuführen,
  • - einen zweiten Algorithmusteil, der dazu ausgebildet ist, basierend auf den vorgegebenen Parametern das Ergebnis der vorläufigen Erkennung der Objekte in der Umgebung des Fahrzeuges zu korrigieren.
In one embodiment, the object recognition algorithm has:
  • - A first algorithm part which is designed to carry out a preliminary detection of the objects in the vicinity of the vehicle on the basis of the image,
  • a second algorithm part which is designed to correct the result of the preliminary detection of the objects in the vicinity of the vehicle based on the specified parameters.

Die von dem ersten Algorithmusteil durchgeführte vorläufige Erkennung der Objekte kann z. B. jedes „vorläufig erkannte“ Objekt durch eine quantitative „Objektwahrscheinlichkeit“ spezifizieren, welche einen Grad an Sicherheit (Richtigkeit) der Erkennung des betreffenden Objekts angibt, wobei die von dem zweiten Algorithmusteil durchgeführte Korrektur z. B. für jedes vorläufig erkannte Objekt diese quantitative Angabe basierend auf der für die betreffende Art von Objekt zugeordnete Auftretenswahrscheinlichkeit korrigiert (z. B. durch Multiplikation mit einem entsprechenden Korrekturfaktor). Sodann kann z. B. bei Überschreiten eines vorbestimmten Schwellwerts durch das korrigierte quantitative Ausmaß die jeweilige vorläufige Objekterkennung bestätigt (oder bei Unterschreiten dieses Schwellwerts widerrufen) werden.The preliminary detection of the objects carried out by the first part of the algorithm can e.g. B. specify each “provisionally recognized” object by a quantitative “object probability”, which indicates a degree of certainty (correctness) of the recognition of the object in question. B. for each provisionally recognized object this quantitative information is corrected based on the probability of occurrence assigned to the relevant type of object (e.g. by multiplication with a corresponding correction factor). Then z. B. when a predetermined threshold value is exceeded by the corrected quantitative extent, the respective preliminary object recognition is confirmed (or revoked if this threshold value is undershot).

In einer Weiterbildung dieser Ausführungsform weist der erste Algorithmusteil ein basierend auf durch Training ermittelten KI-Parametern arbeitendes KI-Modul auf.In a further development of this embodiment, the first algorithm part has an KI module that works on the basis of KI parameters determined by training.

Das KI-Modul kann insbesondere z. B. ein künstliches neuronales Netz mit einer Vielzahl von Neuronen und Verbindungen zwischen den Neuronen umfassen, wobei letztere Verbindungen jeweils durch Gewichtungsfaktoren (oder allgemeinere Übertragungsfunktionen) spezifiziert sind, die wiederum durch die KI-Parameter spezifiziert werden.The AI module can in particular, for. B. an artificial neural network with a plurality of neurons and connections between the neurons, the latter connections are each specified by weighting factors (or more general transfer functions), which in turn are specified by the KI parameters.

Bei dieser Ausführungsform kann z. B. vorgesehen sein, dass der erste Algorithmusteil, insbesondere wenn dieser ein KI-Modul aufweist oder aus einem solchen KI-Modul gebildet ist, unabhängig von den vorgegebenen Parametern arbeitet und somit nur der zweite Algorithmusteil basierend auf den vorgegebenen Parametern arbeitet. In diesem Fall wird KI zwar vorteilhaft genutzt, kann jedoch die im Rahmen der Erfindung den bereitgestellten Parametern innewohnende Information nachteiliger Weise nicht nutzen. Diese Nutzung erfolgt erst durch den zweiten Algorithmusteil im Wege einer Korrektur der vorläufigen Objekterkennung. In this embodiment, for. B. be provided that the first part of the algorithm, in particular if this has an KI module or is formed from such an KI module, works independently of the specified parameters and thus only the second part of the algorithm works based on the specified parameters. In this case, AI is used advantageously, but disadvantageously cannot use the information inherent in the parameters provided within the scope of the invention. This use is only made by the second part of the algorithm by way of a correction of the preliminary object recognition.

Nachfolgend wird eine Ausführungsform beschrieben, welche diesen potenziellen Nachteil überwindet und KI gewissermaßen weitgehender einsetzt.In the following, an embodiment is described which overcomes this potential disadvantage and uses AI more extensively, so to speak.

In einer solchen Ausführungsform weist der Objekterkennungsalgorithmus ein basierend auf durch Training ermittelten KI-Parametern arbeitendes KI-Modul auf, wobei diese KI-Parameter als ein Bestandteil der dem Objekterkennungsalgorithmus vorzugebenden Parameter in Abhängigkeit von der geografischen Position des Fahrzeuges vorgegeben werden, indem in Abhängigkeit von der geografischen Position des Fahrzeuges diese KI-Parameter als ein der geografischen Position des Fahrzeuges zugeordneter KI-Parametersatz aus einer Vielzahl von KI-Parametersätzen ausgewählt wird, die vorab empirisch ermittelt und für ein bestimmtes geografisches Gebiet als positionsabhängige KI-Parametersätze gespeichert wurden.In such an embodiment, the object recognition algorithm has an KI module that works based on KI parameters determined by training, these KI parameters being specified as a component of the parameters to be specified for the object recognition algorithm as a function of the geographical position of the vehicle by being specified as a function of the geographical position of the vehicle, these KI parameters are selected as an KI parameter set assigned to the geographical position of the vehicle from a large number of KI parameter sets which have been empirically determined in advance and stored as position-dependent KI parameter sets for a specific geographical area.

In einer Weiterbildung dieser Ausführungsform werden die KI-Parameter zusätzlich in Abhängigkeit von der Zeit (der Aufnahme des Bildes) vorgegeben, indem in Abhängigkeit von der geografischen Position des Fahrzeuges und der Zeit die KI-Parameter als ein der geografischen Position des Fahrzeuges für diese Zeit zugeordneter KI-Parametersatz aus den KI-Parametersätzen ausgewählt wird, die vorab empirisch ermittelt und als positions- und zeitabhängige KI-Parametersätze gespeichert wurden.In a further development of this embodiment, the KI parameters are additionally specified as a function of the time (when the image was taken) by using the KI parameters as a function of the geographical position of the vehicle and the time as a function of the geographical position of the vehicle for this time assigned KI parameter set is selected from the KI parameter sets which have been empirically determined in advance and saved as position and time-dependent KI parameter sets.

Bei dieser Ausführungsform ist nicht ausgeschlossen, dass eine mit dem KI-Modul implementierte Objekterkennung wie bei der vorangehend beschriebenen Ausführungsform nachträglich noch basierend auf den vorgegebenen Parametern korrigiert wird. Dies ist jedoch nicht zwingend, da die als Bestandteil der vorzugebenden Parameter dem KI-Modul vorgegebenen KI-Parameter bereits von der geografischen Position des Fahrzeuges abhängig sind.In this embodiment, it cannot be ruled out that an object recognition implemented with the AI module, as in the embodiment described above, is subsequently corrected based on the specified parameters. However, this is not mandatory, since the KI parameters specified for the KI module as part of the parameters to be specified are already dependent on the geographical position of the vehicle.

Die benötigten positionsabhängigen KI-Parametersätze können in empirischer Weise insbesondere z. B. durch Testfahrten mit einem Fahrzeug ermittelt werden. Entscheidend ist hierbei, dass bei dem Training des KI-Moduls keine Trainingsdaten verwendet werden, die aus verschiedenen bzw. verschiedenartigen geografischen Positionen des Fahrzeuges (Testfahrzeug) gewonnen wurden, sondern vielmehr für jede geografische Position (bzw. z. B. für ein Rastergebiet der oben erwähnten Art) ein spezielles/separates Training durchgeführt wird und somit für eine bestimmte geografische Umgebung (z. B. Rastergebiet) erhaltene Trainingsdaten zur Ermittlung entsprechender (der geografischen Umgebung zugeordneter) KI-Parameter herangezogen werden.The required position-dependent KI parameter sets can be used empirically, in particular z. B. be determined by test drives with a vehicle. The decisive factor here is that the training of the AI module does not use training data that was obtained from different or different geographical positions of the vehicle (test vehicle), but rather for each geographical position (or e.g. for a grid area of the above-mentioned type) a special / separate training is carried out and thus training data obtained for a specific geographical environment (e.g. grid area) are used to determine corresponding AI parameters (assigned to the geographical environment).

Wenn diese Ausführungsform in Kombination mit der bereits beschriebenen Verwendung eines Servers eingesetzt wird, in dem für ein bestimmtes geografisches Gebiet positionsabhängige Umgebungsdaten gespeichert werden, so ist es zweckmäßig, dass diese Umgebungsdaten die entsprechenden KI-Parameter als solche beinhalten. Die Ermittlung der an ein bestimmtes Fahrzeug zu übermittelnden Anpassungsdaten besteht in diesem Fall darin, basierend auf der geografischen Position dieses Fahrzeuges die entsprechenden KI-Parameter auszuwählen und als Anpassungsdaten an die (z. B. im Fahrzeug angeordnete) Auswerteeinrichtung zu übermitteln.If this embodiment is used in combination with the already described use of a server in which position-dependent environment data are stored for a specific geographical area, it is expedient for these environment data to contain the corresponding KI parameters as such. The determination of the adaptation data to be transmitted to a specific vehicle consists in this case in selecting the corresponding AI parameters based on the geographical position of this vehicle and transmitting them as adaptation data to the evaluation device (e.g. located in the vehicle).

Gemäß eines weiteren Aspekts der Erfindung wird ein System zum Auswerten jeweiliger Bilder von jeweiligen Umgebungen einer Vielzahl von Fahrzeugen vorgeschlagen, um anhand der jeweiligen Bilder jeweilige Objekte in der jeweiligen Umgebung der Fahrzeuge zu erkennen, wobei dieses System aufweist:

  • - eine Vielzahl von Fahrzeugen, die jeweils aufweisen:
    • - eine Bildaufnahmeeinrichtung (z. B. wie oben bereits beschrieben) zum Aufnehmen eines Bildes einer Umgebung des Fahrzeuges,
    • - eine Bildauswerteeinrichtung, die dazu ausgebildet ist, das Bild unter Verwendung eines basierend auf vorgegebenen Parametern arbeitenden Objekterkennungsalgorithmus auszuwerten, um Objekte in der Umgebung des Fahrzeuges zu erkennen, und ferner dazu ausgebildet ist, die Parameter für den Objekterkennungsalgorithmus basierend auf Anpassungsdaten anzupassen,
    • - einen Server (z. B. wie oben bereits beschrieben), der dazu ausgebildet ist, für ein bestimmtes geografisches Gebiet positionsabhängige Umgebungsdaten zu speichern und für geografische Positionen innerhalb des geografischen Gebiets jeweilige Anpassungsdaten zu ermitteln,
    • - optional (im Falle eines außerhalb der Fahrzeug befindlichen Servers) ein Kommunikationssystem, das dazu ausgebildet ist, die von dem Server für die jeweiligen geografischen Positionen der Fahrzeuge jeweils ermittelten Anpassungsdaten von dem Server an die Bildauswerteeinrichtungen der jeweiligen Fahrzeuge zu übermitteln. Denkbar ist jedoch auch, dass jedes der Fahrzeuge selbst mit einem derartigen Server ausgestattet ist (z. B. wie oben bereits beschrieben, z. B. beinhaltend einen lokalen Speicher für Umgebungsinformationen zwecks Bereitstellung der Anpassungsdaten), so dass allenfalls eine lediglich lokal (d.h. an Bord der einzelnen Fahrzeuge bzw. innerhalb einer dort jeweils vorgesehenen Rechnereinrichtung bzw. Auswerteeinrichtung) stattfindende Kommunikation der Anpassungsdaten erforderlich ist.
According to a further aspect of the invention, a system for evaluating respective images of respective surroundings of a large number of vehicles is proposed in order to use the respective images to identify respective objects in the respective surroundings of the vehicles, this system having:
  • - a variety of vehicles, each featuring:
    • - an image recording device (e.g. as already described above) for recording an image of the surroundings of the vehicle,
    • an image evaluation device which is designed to evaluate the image using an object recognition algorithm that works on the basis of predetermined parameters in order to recognize objects in the vicinity of the vehicle, and is also designed to adapt the parameters for the object recognition algorithm based on adaptation data,
    • a server (e.g. as already described above) which is designed to store position-dependent environmental data for a specific geographical area and to determine respective adaptation data for geographical positions within the geographical area,
    • - optionally (in the case of a server located outside the vehicle) a communication system which is designed to receive the information determined by the server for the respective geographical positions of the vehicles To transmit adaptation data from the server to the image evaluation devices of the respective vehicles. However, it is also conceivable that each of the vehicles is equipped with such a server itself (e.g. as already described above, e.g. containing a local memory for environmental information for the purpose of providing the adaptation data), so that at most a local (ie on board the individual vehicles or within a computer device or evaluation device provided there in each case, communication of the adaptation data is required.

Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen mit Bezug auf die beigefügten Zeichnungen weiter beschrieben. Es stellen dar:

  • 1 ein Fahrzeug und einige beispielhafte Objekte in dessen Umgebung,
  • 2 ein Blockdiagramm zur Veranschaulichung eines Verfahrens zur Bildauswertung, um Objekte in der Umgebung zu erkennen,
  • 3 beispielhafte zu erkennende Arten von Objekten,
  • 4 ein Blockdiagramm eines Systems zur Durchführung des Verfahrens von 2 gemäß eines Ausführungsbeispiels,
  • 5 ein Blockdiagramm eines Systems zur Durchführung eines Verfahrens zur Bildauswertung gemäß eines weiteren Ausführungsbeispiels,
  • 6 ein Blockdiagramm eines Systems zur Durchführung eines Verfahrens zur Bildauswertung gemäß eines weiteren Ausführungsbeispiels,
  • 7 ein Blockdiagramm eines für eine Bildauswertung verwendbaren Objekterkennungsalgorithmus gemäß eines Ausführungsbeispiels, und
  • 8 ein Blockdiagramm eines Objekterkennungsalgorithmus gemäß eines weiteren Ausführungsbeispiels.
The invention is described further below on the basis of exemplary embodiments with reference to the accompanying drawings. They represent:
  • 1 a vehicle and some exemplary objects in its vicinity,
  • 2 a block diagram to illustrate a method for image evaluation in order to recognize objects in the environment,
  • 3rd exemplary types of objects to be recognized,
  • 4th FIG. 3 is a block diagram of a system for performing the method of FIG 2 according to an embodiment,
  • 5 a block diagram of a system for performing a method for image evaluation according to a further embodiment,
  • 6th a block diagram of a system for performing a method for image evaluation according to a further embodiment,
  • 7th a block diagram of an object recognition algorithm that can be used for image evaluation according to an exemplary embodiment, and
  • 8th a block diagram of an object recognition algorithm according to a further embodiment.

1 zeigt ein Fahrzeug 10 und eine Umgebung 12 des Fahrzeuges 10, hier beispielhaft eine vor dem eine Straße befahrenden Fahrzeug 10 befindliche Umgebung 12. In der Figur ist beispielhaft ein Umgebungsszenario mit diversen Objekten 20 veranschaulicht. 1 shows a vehicle 10 and an environment 12th of the vehicle 10 , here as an example one in front of a vehicle driving on a street 10 current environment 12th . The figure shows an example of a surrounding scenario with various objects 20th illustrated.

Die Bezugszahlen von mehrfach vorgesehenen, in ihrer Wirkung jedoch analogen Komponenten wie z. B. der Objekte 20, sind durchnummeriert (jeweils ergänzt durch einen Bindestrich und eine fortlaufende Zahl). Auf einzelne solcher Komponenten oder auf die Gesamtheit solcher Komponenten wird im Folgenden auch durch die nicht-ergänzte Bezugszahl Bezug genommen.The reference numbers of components provided several times, but having an analogous effect, such as e.g. B. the objects 20th , are numbered consecutively (each supplemented by a hyphen and a consecutive number). In the following, reference is also made to individual such components or to the entirety of such components by the non-supplemented reference number.

In 1 erkennt man als Objekte 20 beispielsweise ein Gebäude 20-1, eine Fahrbahnmarkierung 20-2, ein Verkehrsschild 20-3, ein entgegenkommendes Auto 20-4, eine erste größere Person (Erwachsener) 20-5 und eine zweite kleinere Person (Kind) 20-6.In 1 can be recognized as objects 20th for example a building 20-1 , a road marking 20-2 , a traffic sign 20-3 , an oncoming car 20-4 , a first taller person (adult) 20-5 and a second smaller person (child) 20-6 .

Unabhängig davon, ob es sich bei dem Fahrzeug 10 um ein herkömmlich, d. h. von einem Benutzer (Fahrer) gesteuertes Fahrzeug, oder aber z. B. um ein autonomes Fahrzeug handelt, bei dem Steuerungsvorgänge teilweise oder vollständig automatisiert erfolgen, ist es von Vorteil, wenn ein Bild der Umgebung 12 des Fahrzeuges 10 aufgenommen und unter Verwendung eines Objekterkennungsalgorithmus ausgewertet wird, um anhand des Bildes Objekte wie hier z. B. die Objekte 20-1 bis 20-6 in der Umgebung 12 zu erkennen.Regardless of whether it is the vehicle 10 to a conventional, ie by a user (driver) controlled vehicle, or z. B. is an autonomous vehicle in which control processes are partially or fully automated, it is advantageous if an image of the environment 12th of the vehicle 10 recorded and evaluated using an object recognition algorithm to use the image to objects such as here z. B. the objects 20-1 to 20-6 in the neighborhood 12th to recognize.

In dem Beispiel von 1 sei angenommen, dass das Fahrzeug 10 mit einer (in der Figur nicht dargestellten) Bildaufnahmeeinrichtung (z. B. Frontkamera), ausgestattet ist, um im Betrieb des Fahrzeuges 10 fortlaufend derartige Bilder der Umgebung 12 vor dem Fahrzeug 10 aufzunehmen.In the example of 1 assume that the vehicle 10 is equipped with an image recording device (e.g. front camera) (not shown in the figure) in order to enable the vehicle to be operated 10 continuously such images of the environment 12th in front of the vehicle 10 to record.

Ferner sei angenommen, dass das Fahrzeug 10 mit einer elektronischen programmgesteuerten Auswerteeinrichtung (z. B. Steuergerät für Bildauswertung) ausgestattet ist, welcher die von der Bildaufnahmeeinrichtung (z. B. Frontkamera) aufgenommenen Bilder in Form von digitalen Bilddaten zugeführt werden, und welche mittels eines basierend auf vorgegebenen Parametern (Algorithmusparametern) arbeitenden, in der Auswerteeinrichtung ablaufenden Objekterkennungsalgorithmus eine Auswertung der Bilder durchführt, um anhand der Bilder die Objekte 20 in der Umgebung 12 des Fahrzeuges 10 zu erkennen.It is also assumed that the vehicle 10 is equipped with an electronic program-controlled evaluation device (e.g. control device for image evaluation) to which the images recorded by the image recording device (e.g. front camera) are fed in the form of digital image data and which are based on predetermined parameters (algorithm parameters) working object recognition algorithm running in the evaluation device carries out an evaluation of the images in order to use the images to identify the objects 20th in the neighborhood 12th of the vehicle 10 to recognize.

2 zeigt ein Blockdiagramm eines im Beispiel von 1 verwendeten Auswertealgorithmus 30 beinhaltend den Objekterkennungsalgorithmus 32, mittels welchem einem Bild 34 entsprechende Bilddaten PIC basierend auf den vorgegebenen Parametern PAR verarbeitet werden, um die Objekterkennung zu bewerkstelligen. 2 FIG. 13 is a block diagram of one in the example of FIG 1 evaluation algorithm used 30th including the object recognition algorithm 32 , by means of which an image 34 corresponding image data PIC are processed based on the predetermined parameters PAR in order to accomplish the object recognition.

Als Ergebnis der Objekterkennung liefert der Objekterkennungsalgorithmus 32 entsprechende Objektdaten OBJ, welche insbesondere z. B. eine Liste der vom Objekterkennungsalgorithmus 32 erkannten Objekte 20 mit jeweiligen Spezifikationen wie z. B. Art des Objekts, relative Richtung und/oder relativer Abstand des jeweiligen Objekts 20 bezüglich des Fahrzeuges 10 beinhalten können.The object recognition algorithm delivers the result of the object recognition 32 corresponding object data OBJ, which in particular z. B. a list of the object recognition algorithm 32 detected objects 20th with respective specifications such as B. type of object, relative direction and / or relative distance of the respective object 20th regarding the vehicle 10 can contain.

Falls das Fahrzeug 10 herkömmlich gesteuert wird, können die Objektdaten OBJ z. B. für Komfort- und/oder Sicherheitsfunktionen wie z. B. einer automatisierten Ausgabe von Warnungen an den Benutzer (Fahrer) des Fahrzeuges 10 und/oder für automatisierte Eingriffe in die Steuerung des Fahrzeuges 10 (z. B. Zwangsbremsung und/oder Zwangslenkung etc.) verwendet werden.If the vehicle 10 is conventionally controlled, the object data OBJ z. B. for comfort and / or safety functions such. B. an automated output of warnings to the user (driver) of the vehicle 10 and / or for automated interventions in the control of the vehicle 10 (e.g. automatic braking and / or forced steering etc.) can be used.

Falls das Fahrzeug 10 mit der Fähigkeit zum autonomen Fahren ausgebildet ist, so ist die Bereitstellung derartiger Objektdaten OBJ im autonomen Fahrzeugbetrieb unerlässlich, um basierend auf den Objektdaten OBJ die hierfür erforderlichen Steuerungsvorgänge wie Lenken, Beschleunigen, Verzögern etc. durchführen zu können.If the vehicle 10 is designed with the capability of autonomous driving, the provision of such object data OBJ in autonomous vehicle operation is essential in order to be able to carry out the necessary control processes such as steering, accelerating, decelerating, etc. based on the object data OBJ.

Abweichend vom bis hierher beschriebenen Beispiel könnte die zur Durchführung des Objekterkennungsalgorithmus 32 verwendete Rechenkapazität bzw. Infrastruktur (Hardware) anstatt lediglich an Bord des Fahrzeuges 10 (fahrzeugeigene Auswerteeinrichtung) auch „verteilt“ implementiert sein, etwa teilweise im Fahrzeug angeordnet (fahrzeugeigene Auswerteeinrichtung) und teilweise in einem stationären Rechenzentrum (einschließlich z. B. „Cloud“-Infrastruktur), auf dessen Rechenkapazität das Fahrzeug 10 bzw. die fahrzeugeigene Auswerteeinrichtung über eine Mobilfunkverbindung bzw. einen mobilen Internetanschluss des Fahrzeuges 10 zurückgreifen kann.In a departure from the example described up to now, the could be used to carry out the object recognition algorithm 32 computing capacity or infrastructure (hardware) used instead of just on board the vehicle 10 (in-vehicle evaluation device) can also be implemented in a “distributed” manner, for example partially arranged in the vehicle (in-vehicle evaluation device) and partially in a stationary data center (including, for example, “cloud” infrastructure), on whose computing capacity the vehicle 10 or the vehicle's own evaluation device via a mobile radio connection or a mobile Internet connection of the vehicle 10 can fall back on.

Eine Besonderheit des in 2 dargestellten Bildauswerteverfahrens besteht darin, dass die (dem Objekterkennungsalgorithmus 32 vorgegebenen) Parameter PAR in Abhängigkeit von einer (momentanen) geografischen Position POS (z. B. Geokoordinaten) des Fahrzeuges 10 vorgegeben werden.A special feature of the in 2 The image evaluation method shown is that the (the object recognition algorithm 32 specified) parameter PAR as a function of a (current) geographical position POS (z. B. geographical coordinates) of the vehicle 10 can be specified.

In 2 ist diese Besonderheit durch ein Vorgabemittel 40 symbolisiert, welches basierend auf der geografischen Position POS des Fahrzeuges 10 die Parameter PAR für den Objekterkennungsalgorithmus 32 erzeugt. Damit können beim Auswerten des Bildes 34 mittels des Objekterkennungsalgorithmus 32 vorteilhaft zusätzliche, nämlich aus der geografischen Position POS ableitbare Informationen genutzt werden, um die Qualität der Objekterkennung zu verbessern.In 2 is this peculiarity through a default means 40 symbolizes which based on the geographical position POS of the vehicle 10 the parameters PAR for the object recognition algorithm 32 generated. This allows when evaluating the image 34 by means of the object recognition algorithm 32 Advantageously, additional information, namely information which can be derived from the geographical position POS, is used in order to improve the quality of the object recognition.

Das Vorgabemittel 40 kann insbesondere z. B. einen Server der oben bereits beschriebenen Art umfassen (z. B. ausgebildet innerhalb und/oder außerhalb des Fahrzeuges 10), um basierend auf der geografischen Position POS des Fahrzeuges 10 zunächst relevante Anpassungsdaten zu ermitteln, auf denen basierend dann die vorzugebenden Parameter PAR für den Objekterkennungsalgorithmus 32 erzeugt werden, sei es z. B. ebenfalls durch den Server, oder aber durch eine eigens hierfür vorgesehene Einrichtung (z. B. im Fahrzeug 10, z. B. als Bestandteil einer dort angeordneten Rechnereinrichtung bzw. der Auswerteeinrichtung). Im Rahmen der Erfindung ist es auch möglich, dass die Anpassungsdaten bereits die Parameter PAR beinhalten, oder sogar eine Identität zwischen Anpassungsdaten und vorzugebenden Parametern PAR besteht.The default means 40 can in particular z. B. comprise a server of the type already described above (z. B. formed inside and / or outside of the vehicle 10 ) to based on the vehicle's geographic position POS 10 first of all to determine relevant adaptation data, on which the parameters PAR to be specified for the object recognition algorithm are then based 32 be generated, be it z. B. also by the server, or by a device specially provided for this purpose (e.g. in the vehicle 10 , e.g. B. as part of a computer device arranged there or the evaluation device). In the context of the invention, it is also possible that the adaptation data already contain the parameters PAR, or there is even an identity between adaptation data and parameters PAR to be specified.

Der Objekterkennungsalgorithmus 32 ist im Beispiel von 2 dazu ausgebildet, vorbestimmten Arten von Objekten 20 jeweilige Auftretenswahrscheinlichkeiten zuzuordnen und für das Erkennen von Objekten 20 zu berücksichtigen, wobei diese Auftretenswahrscheinlichkeiten durch die vorgegebenen Parameter PAR bestimmt werden.The object recognition algorithm 32 is in the example of 2 designed to create predetermined types of objects 20th assign respective probabilities of occurrence and for the detection of objects 20th to be taken into account, these probabilities of occurrence being determined by the specified parameters PAR.

3 zeigt stellvertretend für derartige Arten von Objekten 20 die in 1 bereits gezeigten Objekte 20-1 bis 20-6, wobei in 3 jedoch, lediglich beispielhaft zu verstehen, noch folgende weitere Objekte 20 bzw. dementsprechende Objektarten veranschaulicht sind: Fahrrad 20-7, Tretroller 20-8, Tretroller mitsamt Person 20-9, große Person (Erwachsener) mitsamt kleiner Person (Kind) 20-10, Person mitsamt Gepäck (z. B. Koffer oder Taschen oder Einkaufstaschen etc.) 20-11, und Ball (z. B. Fußball) 20-12. 3rd shows representative of such types of objects 20th in the 1 objects already shown 20-1 to 20-6 , where in 3rd however, to be understood only as examples, the following additional objects 20th or the corresponding object types are illustrated: Bicycle 20-7 , Scooter 20-8 , Scooter including person 20-9 , tall person (adult) including small person (child) 20-10 , Person with luggage (e.g. suitcase or bags or shopping bags etc.) 20-11 , and ball (e.g. soccer) 20-12 .

Jedes der Objekte 20-1 bis 20-12 kann beispielsweise eine dementsprechende konkrete „Art von Objekt“ definieren, die bei der Durchführung des Objekterkennungsalgorithmus 32 verwendet werden kann. Alternativ oder zusätzlich können Arten von Objekten auch z. B. als Verallgemeinerungen und/oder Konkretisierungen derartiger Objekte 20 wie z. B. der dargestellten Objekte 20-1 bis 20-12 definiert und bei der Durchführung des Objekterkennungsalgorithmus 32 berücksichtigt werden.Each of the objects 20-1 to 20-12 can, for example, define a corresponding concrete “type of object” that is used when the object recognition algorithm is carried out 32 can be used. Alternatively or additionally, types of objects can also e.g. B. as generalizations and / or concretizations of such objects 20th such as B. the objects shown 20-1 to 20-12 defined and when performing the object recognition algorithm 32 must be taken into account.

Beispielsweise könnten in Verallgemeinerung des Objekts 20-1 (Gebäude) Objektarten wie „stationäres Bauwerk“ oder „stationäres Bauwerk außerhalb Fahrbahnbereich“ definiert werden. In Verallgemeinerung des Objekts 20-2 (Fahrbahnmarkierung) könnte z. B. eine Objektart „stationäres Verkehrsführungszeichen“ definiert werden, unter welche dann auch z. B. das Verkehrsschild 20-3 fiele. In Verallgemeinerung des Objekts 20-4 (entgegenkommendes Auto) könnten z. B. Objektarten wie z. B. „entgegenkommendes zweispuriges Fahrzeug“, „zweispuriges Fahrzeug“, „Fahrzeug“ oder „mobiles Objekt“ definiert werden, usw.For example, in generalizing the object 20-1 (Buildings) Object types such as “stationary building” or “stationary building outside the roadway area” can be defined. In generalizing the object 20-2 (Lane marking) could e.g. B. an object type "stationary traffic guidance sign" can be defined, under which then z. B. the traffic sign 20-3 fell. In generalizing the object 20-4 (oncoming car) could e.g. B. Object types such. B. "oncoming two-lane vehicle", "two-lane vehicle", "vehicle" or "mobile object" can be defined, etc.

Beispielsweise könnten in Konkretisierung des Objekts 20-1 (Gebäude) Objektarten wie „Schule“, „Kindergarten“ oder „Einkaufszentrum“ definiert werden. In Konkretisierung des Objekts 20-2 (Fahrbahnmarkierung) könnten z. B. Objektarten „Fahrbahnbegrenzungsmarkierung“, „Pfeilmarkierung“ und „Sperrflächenmarkierung“ definiert werden. In Konkretisierung des Objekts 20-3 (Verkehrsschild) könnten z. B. Objektarten wie z. B. „Verkehrsschild betreffend fahrenden Verkehr“, „Verkehrsschild betreffend ruhenden Verkehr“ oder „Verkehrsschild auf Vertikalpfosten“ definiert werden, usw.For example, in the specification of the object 20-1 (Building) Object types such as “school”, “kindergarten” or “shopping center” are defined become. In the specification of the object 20-2 (Lane marking) could e.g. B. Object types “lane markings”, “arrow markings” and “restricted area markings” can be defined. In the specification of the object 20-3 (Traffic sign) could e.g. B. Object types such. B. "Traffic sign relating to moving traffic", "Traffic sign relating to stationary traffic" or "Traffic sign on vertical post" can be defined, etc.

Alternativ oder zusätzlich können z. B. auch durch Kombinationen von Einzelobjekten (bzw. Einzelobjektarten) definierte Objektarten verwendet werden, wie etwa für die in 3 dargestellten Objekte 20-9 (Tretroller mitsamt Person), 20-10 (große Person mitsamt kleiner Person, alternativ z. B. „Personengruppe“) oder 20-11 (Person mitsamt Gepäck), usw.Alternatively or additionally, z. For example, object types defined by combinations of individual objects (or individual object types) can also be used, such as for the in 3rd objects shown 20-9 (Scooter including person), 20-10 (tall person including small person, alternatively e.g. "group of people") or 20-11 (Person with luggage), etc.

Bei der nachfolgenden Beschreibung von weiteren Ausführungsbeispielen werden für gleichwirkende Komponenten die gleichen Bezugszeichen verwendet. Dabei wird im Wesentlichen nur auf die Unterschiede zu dem bzw. den bereits beschriebenen Ausführungsbeispielen eingegangen und im Übrigen hiermit ausdrücklich auf die Beschreibung vorangegangener Ausführungsbeispiele verwiesen.In the following description of further exemplary embodiments, the same reference symbols are used for components with the same effect. Essentially, only the differences from the exemplary embodiment (s) already described will be discussed, and reference is hereby expressly made to the description of previous exemplary embodiments.

4 zeigt ein Ausführungsbeispiel eines Systems 100 zum Durchführen eines Bildauswerteverfahrens mit Objekterkennungsalgorithmus der hier beschriebenen Art. 4th Figure 3 shows an embodiment of a system 100 for performing an image evaluation method with an object recognition algorithm of the type described here.

Das System 100 umfasst beispielsweise ein oder mehrere Fahrzeuge, hier z. B. zumindest das in 1 gezeigte Fahrzeug 10 bzw. eine an Bord des Fahrzeuges 10 ausgebildete Bildauswerteeinrichtung 50 mit einer daran angeschlossenen Bildaufnahmeeinrichtung zum Aufnehmen des Bildes der Umgebung 12 des Fahrzeuges10, hier z. B. eine Kamera 60 (z. B. Videokamera).The system 100 includes, for example, one or more vehicles, here z. B. at least that in 1 shown vehicle 10 or one on board the vehicle 10 trained image evaluation device 50 with an image recording device connected to it for recording the image of the surroundings 12th of the vehicle10, here z. B. a camera 60 (e.g. video camera).

Die Bildauswerteeinrichtung 50 ist dazu ausgebildet, das Bild unter Verwendung des basierend auf den vorgegebenen Parametern PAR arbeitenden Objekterkennungsalgorithmus 32 auszuwerten, um Objekte 20 in der Umgebung 12 des Fahrzeuges 10 zu erkennen, und ferner dazu ausgebildet, die Parameter PAR für den Objekterkennungsalgorithmus 32 basierend auf Anpassungsdaten ADJ anzupassen.The image evaluation device 50 is designed to generate the image using the object recognition algorithm operating on the basis of the specified parameters PAR 32 evaluate to objects 20th in the neighborhood 12th of the vehicle 10 to recognize, and also designed to set the parameters PAR for the object recognition algorithm 32 adjust based on adjustment data ADJ.

Die in diesem Beispiel vollständig an Bord des Fahrzeuges 10 ausgebildete Bildauswerteeinrichtung 50 (die alternativ wie bereits erwähnt auch verteilt implementiert sein könnte) umfasst hierzu einen dem Objekterkennungsalgorithmus 32 zugeordneten Parameteranpassungsalgorithmus (bzw. eine entsprechende Hardwarekomponente innerhalb der Bildauswerteeinrichtung 50) 36, mittels welchem basierend auf den zugeführten Anpassungsdaten ADJ die dem Objekterkennungsalgorithmus 32 vorgegebenen Parameter PAR erzeugt (oder bedarfsweise angepasst/modifiziert) werden.In this example, they are completely on board the vehicle 10 trained image evaluation device 50 (which alternatively, as already mentioned, could also be implemented in a distributed manner) includes an object recognition algorithm for this purpose 32 assigned parameter adjustment algorithm (or a corresponding hardware component within the image evaluation device 50 ) 36 , by means of which, based on the supplied adjustment data ADJ, the object recognition algorithm 32 specified parameters PAR can be generated (or adapted / modified as required).

Das System 100 umfasst ferner einen Server 42, der die von der Bildauswerteeinrichtung 50 des Fahrzeuges 10 zu empfangenden Anpassungsdaten ADJ bereitstellt.The system 100 further comprises a server 42 , the one from the image evaluation device 50 of the vehicle 10 provides adjustment data ADJ to be received.

Der Server 42 ist im dargestellten Beispiel als eine stationäre Komponente des Systems 100 beispielsweise als ein zentrales Rechenzentrum (oder ein Cloud-basiertes Rechenzentrum) implementiert und dazu ausgebildet, für ein bestimmtes geografisches Gebiet (z. B. Bayern, Deutschland, Europa etc.) positionsabhängige Umgebungsdaten ENV in einer Datenbank DB zu speichern und für alle geografischen Positionen POS innerhalb des geografischen Gebiets jeweilige Anpassungsdaten ADJ zu ermitteln.The server 42 is in the example shown as a stationary component of the system 100 For example, implemented as a central data center (or a cloud-based data center) and designed to store position-dependent environmental data ENV in a database DB for a specific geographical area (e.g. Bavaria, Germany, Europe, etc.) and for all geographical positions POS to determine respective adjustment data ADJ within the geographical area.

Das System 100 umfasst ferner ein Kommunikationssystem wie z. B. ein Mobilfunknetz oder dergleichen, das dazu ausgebildet ist, die von dem Server 42 für eine jeweilige momentane geografische Position POS des Fahrzeuges ermittelten Anpassungsdaten ADJ von dem Server 42 an die Bildauswerteeinrichtung 50 des Fahrzeuges 10 zu übermitteln.The system 100 further comprises a communication system such. B. a cellular network or the like, which is designed to be used by the server 42 adjustment data ADJ determined by the server for a respective instantaneous geographical position POS of the vehicle 42 to the image evaluation device 50 of the vehicle 10 to submit.

Es versteht sich, dass das System 100 in der Praxis auch dazu verwendet werden kann, um jeweilige Bilder von jeweiligen Umgebungen einer Vielzahl von Fahrzeugen (einschließlich Fahrzeug 10) auszuwerten und um anhand der jeweiligen Bilder jeweilige Objekte in der jeweiligen Umgebung dieser Fahrzeuge zu erkennen. In einer solchen Ausgestaltung wird der Server 42 dazu genutzt, um für die (Vielzahl von) geografischen Positionen sämtlicher Fahrzeuge jeweilige individuelle Anpassungsdaten zu ermitteln, die sodann über das Kommunikationssystem individuell, d.h. an die jeweiligen Bildauswerteeinrichtungen der jeweiligen Fahrzeuge übermittelt werden.It goes without saying that the system 100 in practice it can also be used to display respective images of respective surroundings of a variety of vehicles (including vehicle 10 ) and to use the respective images to identify respective objects in the respective surroundings of these vehicles. In such an embodiment, the server 42 used to determine respective individual adjustment data for the (multitude of) geographical positions of all vehicles, which are then transmitted individually via the communication system, ie to the respective image evaluation devices of the respective vehicles.

Der Server 42 ermittelt für die geografischen Positionen POS innerhalb des geografischen Gebiets die jeweiligen Anpassungsdaten ADJ basierend auf der jeweiligen geografischen Position POS und basierend auf den in dem Server 42 gespeicherten positionsabhängigen Umgebungsdaten ENV.The server 42 determines the respective adjustment data ADJ for the geographical positions POS within the geographical area based on the respective geographical position POS and based on the data in the server 42 stored position-dependent environmental data ENV.

Das mittels des System 100 durchgeführte Verfahren (vgl. z. B. 2) zum Auswerten eines Bildes 34 einer Umgebung 12 eines Fahrzeuges 10 umfasst somit folgende Schritte:

  • - Durchführen eines basierend auf vorgegebenen Parametern PAR arbeitenden Objekterkennungsalgorithmus 32, um anhand des Bildes 34 Objekte 20 in der Umgebung 12 des Fahrzeuges 10 zu erkennen,
  • - Übermitteln von Anpassungsdaten ADJ von einem Server 42 an eine den Objekterkennungsalgorithmus 32 durchführende (z. B. in dem Fahrzeug 10 angeordnete) Auswerteeinrichtung 50, wobei diese Anpassungsdaten ADJ von dem Server 42 basierend auf der geografischen Position POS des Fahrzeuges 10 (bzw. eines betreffenden Fahrzeuges) und basierend auf in dem Server 42 für ein bestimmtes geografisches Gebiet gespeicherten positionsabhängigen Umgebungsdaten ENV ermittelt werden,
  • - Anpassen der Parameter PAR für den Objekterkennungsalgorithmus 32 basierend auf den von dem Server 42 an die Bildauswerteeinrichtung 50 übermittelten Anpassungsdaten ADJ.
That by means of the system 100 procedures carried out (see e.g. 2 ) to evaluate an image 34 an environment 12th of a vehicle 10 thus comprises the following steps:
  • - Carrying out an object recognition algorithm that works on the basis of predetermined parameters PAR 32 to use the picture 34 Objects 20th in the neighborhood 12th of the vehicle 10 to recognize
  • - Transmission of adjustment data ADJ from a server 42 to the object recognition algorithm 32 performing (e.g. in the vehicle 10 arranged) evaluation device 50 , this adjustment data ADJ from the server 42 based on the vehicle's geographical position POS 10 (or a relevant vehicle) and based on in the server 42 position-dependent environmental data ENV stored for a specific geographical area are determined,
  • - Adjustment of the parameters PAR for the object recognition algorithm 32 based on the from the server 42 to the image evaluation device 50 transmitted adjustment data ADJ.

Die in dem Server 42 gespeicherten positionsabhängigen Umgebungsdaten ENV repräsentieren im dargestellten Beispiel Merkmale in einem Bereich um die betreffende geografische Position POS und/oder den vorbestimmten Arten von Objekten 20 in diesem Bereich zuzuordnende Auftretenswahrscheinlichkeiten.The ones in the server 42 In the example shown, stored position-dependent environmental data ENV represent features in an area around the relevant geographic position POS and / or the predetermined types of objects 20th Probabilities of occurrence to be assigned in this area.

Die Merkmale können sich hierbei insbesondere z. B. auf das Vorhandensein (oder Nichtvorhandensein) vorbestimmter Arten von Bauwerken, insbesondere Gebäuden, in dem Bereich um die betreffende Position POS beziehen, wobei diese Bauwerksarten jeweils z. B. durch einen bestimmten Nutzungszweck des Bauwerkes definiert sein können (z. B. Nutzung als Schule, Kindergarten, Einkaufszentrum, Museum, Fahrradparkhaus etc.). Alternativ oder zusätzlich können die Merkmale sich z. B. auf das (momentane) Vorhandensein bzw. Nichtvorhandensein vorbestimmter Arten von temporären Ereignissen beziehen, wie z. B. Veranstaltungen oder Baumaßnahmen in dem Bereich um die betreffende Position POS, wobei diese Arten jeweils z. B. durch einen bestimmten Zweck des Ereignisses definiert sein können (z. B. Errichtung eines Bauwerks, Sanierung einer Straße, sportliche Veranstaltung, Demonstrationszug, Notfalleinsatz an einem Unfallort etc.).The features can be in particular z. B. relate to the presence (or non-existence) of predetermined types of structures, in particular buildings, in the area around the relevant position POS, these types of structures each z. B. can be defined by a specific purpose of the building (e.g. use as a school, kindergarten, shopping center, museum, bicycle parking garage, etc.). Alternatively or additionally, the features can be, for. B. refer to the (current) presence or absence of predetermined types of temporary events, such as e.g. B. events or construction work in the area around the relevant position POS, these types each z. B. can be defined by a specific purpose of the event (e.g. construction of a building, renovation of a street, sporting event, demonstration parade, emergency response at an accident site, etc.).

Um bei dem Bildauswerteverfahren Veränderungen derartiger Merkmale und insbesondere auch temporäre Ereignisse berücksichtigen zu können, werden die im Server 42 gespeicherten Umgebungsdaten ENV durch entsprechende Eingangsdaten INP (4) fortlaufend, z. B. in vorbestimmten zeitlichen Abständen von bevorzugt jeweils weniger als 1 Stunde aktualisiert. Mit einer derartigen Aktualisierung werden folglich auch vorteilhaft zeitabhängige (stets korrekte) Anpassungsdaten ADJ erzeugt. Die Eingangsdaten INP können z. B. von Behörden (z. B. Bauamt, Vermessungsamt etc.) oder sonstigen Organisationen (z. B. Ordnungsamt, Polizei, Feuerwehr etc.) bereitgestellt werden.In order to be able to take into account changes in such features and in particular also temporary events in the image evaluation method, the in the server 42 stored environmental data ENV through corresponding input data INP ( 4th ) continuously, e.g. B. updated at predetermined time intervals of preferably less than 1 hour each. With such an update, time-dependent (always correct) adaptation data ADJ are consequently also advantageously generated. The input data INP can e.g. B. by authorities (e.g. building office, surveying office, etc.) or other organizations (e.g. regulatory office, police, fire brigade, etc.).

5 zeigt ein weiteres Ausführungsbeispiel eines Systems 100 zur Durchführung eines Verfahrens zur Bildauswertung mit einem Objekterkennungsalgorithmus 32, umfassend:

  • - eine Vielzahl von Fahrzeugen wie z. B. das dargestellte Fahrzeug 10, die jeweils aufweisen: eine Bildaufnahmeeinrichtung 60 zum Aufnehmen eines Bildes 34 einer Umgebung 12 des Fahrzeuges; eine Bildauswerteeinrichtung 50, die dazu ausgebildet ist, das durch Bilddaten PIC repräsentierte Bild unter Verwendung eines basierend auf vorgegebenen Parametern PAR arbeitenden Objekterkennungsalgorithmus 32 auszuwerten, um Objekte 20 in der Umgebung 12 des Fahrzeuges zu erkennen, und ferner dazu ausgebildet ist, die Parameter PAR für den Objekterkennungsalgorithmus basierend auf zugeführten Anpassungsdaten ADJ anzupassen; und eine Ortungseinrichtung GPS zum Erfassen der geografischen Position POS des Fahrzeuges, wie insbesondere eine Empfangseinrichtung zum Empfangen und Auswerten von Satellitensignalen zur Ortung des Fahrzeuges,
  • - einen Server 42, der dazu ausgebildet ist, für ein bestimmtes geografisches Gebiet positionsabhängige Umgebungsdaten ENV zu speichern und für geografische Positionen innerhalb des geografischen Gebiets jeweilige Anpassungsdaten ADJ zu ermitteln,
  • - ein Kommunikationssystem (z. B. Mobilfunknetz), das dazu verwendet wird, um die von dem Server 42 für die jeweiligen geografischen Positionen POS der Fahrzeuge jeweils ermittelten Anpassungsdaten ADJ an die betreffenden Bildauswerteeinrichtungen 50 der jeweiligen Fahrzeuge zu übermitteln, und um die von den Ortungseinrichtungen GPS jeweils erfassten geografischen Positionen POS der Fahrzeuge an den Server 42 zu übermitteln.
5 Figure 3 shows another embodiment of a system 100 for carrying out a method for image evaluation with an object recognition algorithm 32 , full:
  • - a variety of vehicles such as B. the vehicle shown 10 each comprising: an image pickup device 60 to take a picture 34 an environment 12th of the vehicle; an image evaluation device 50 , which is designed to generate the image represented by image data PIC using an object recognition algorithm that operates on the basis of predetermined parameters PAR 32 evaluate to objects 20th in the neighborhood 12th of the vehicle, and is further designed to adapt the parameters PAR for the object recognition algorithm based on supplied adaptation data ADJ; and a location device GPS for detecting the geographical position POS of the vehicle, such as in particular a receiving device for receiving and evaluating satellite signals for locating the vehicle,
  • - a server 42 which is designed to store position-dependent environment data ENV for a specific geographical area and to determine respective adaptation data ADJ for geographical positions within the geographical area,
  • - A communication system (e.g. cellular network) that is used to receive the from the server 42 adaptation data ADJ determined in each case for the respective geographical positions POS of the vehicles to the relevant image evaluation devices 50 of the respective vehicles, and to transmit the geographic positions POS of the vehicles respectively recorded by the positioning devices GPS to the server 42 to submit.

6 zeigt ein weiteres Ausführungsbeispiel eines Systems 100 zur Durchführung eines Verfahrens zur Bildauswertung mit einem Objekterkennungsalgorithmus 32, umfassend:

  • - eine Vielzahl von Fahrzeugen 10-1, 10-2, 10-3 ... (z. B. mehr als 1000 Fahrzeuge), die jeweils aufweisen: eine Bildaufnahmeeinrichtung zum Aufnehmen eines Bildes einer jeweiligen Umgebung des betreffenden Fahrzeuges; eine Bildauswerteeinrichtung, die dazu ausgebildet ist, das jeweilige Bild unter Verwendung eines basierend auf vorgegebenen Parametern arbeitenden Objekterkennungsalgorithmus auszuwerten, um Objekte in der jeweiligen Umgebung zu erkennen, und ferner dazu ausgebildet ist, die Parameter für den Objekterkennungsalgorithmus basierend auf jeweils zugeführten Anpassungsdaten ADJ1, ADJ2, ADJ3 ... anzupassen; und (optional) z. B. eine Ortungseinrichtung zum Erfassen der geografischen Position des betreffenden Fahrzeuges,
  • - einen Server 42, der dazu ausgebildet ist, für ein bestimmtes geografisches Gebiet positionsabhängige Umgebungsdaten ENV zu speichern und für geografische Positionen innerhalb des geografischen Gebiets jeweilige Anpassungsdaten zu ermitteln,
  • - ein unter Nutzung eines Mobilfunknetzes arbeitendes Kommunikationssystem 70, das als ein Geocasting-System eingesetzt wird, um die von dem Server 42 für die jeweiligen geografischen Positionen POS1, POS2, POS3 ... der Fahrzeuge 10-1, 10-2, 10-3 ... jeweils ermittelten Anpassungsdaten ADJ1, ADJ2, ADJ3... an die betreffenden Bildauswerteeinrichtungen der jeweiligen Fahrzeuge 10-1, 10-2, 10-3 ... zu übermitteln, und gegebenenfalls auch die von den jeweiligen Ortungseinrichtungen erfassten geografischen Positionen POS1, POS2, POS3 ... der Fahrzeuge 10-1, 10-2, 10-3 ... an den Server 42 zu übermitteln.
6th Figure 3 shows another embodiment of a system 100 for carrying out a method for image evaluation with an object recognition algorithm 32 , full:
  • - a wide variety of vehicles 10-1 , 10-2 , 10-3 ... (e.g. more than 1000 vehicles), each having: an image recording device for recording an image of a respective environment of the vehicle in question; an image evaluation device which is designed to evaluate the respective image using an object recognition algorithm that works on the basis of predetermined parameters in order to recognize objects in the respective environment, and is also designed to evaluate the parameters for the object recognition algorithm based on the respectively supplied adaptation data ADJ 1 , ADJ 2 , ADJ 3 ... adapt; and (optionally) e.g. B. a locating device to record the geographical position of the vehicle concerned,
  • - a server 42 which is designed to store position-dependent environmental data ENV for a specific geographical area and to determine respective adaptation data for geographical positions within the geographical area,
  • - a communication system that works using a cellular network 70 that is being used as a geocasting system to view those from the server 42 for the respective geographical positions POS 1 , POS 2 , POS 3 ... of the vehicles 10-1 , 10-2 , 10-3 ... in each case determined adaptation data ADJ 1 , ADJ 2 , ADJ 3 ... to the relevant image evaluation devices of the respective vehicles 10-1 , 10-2 , 10-3 ... to be transmitted, and possibly also the geographical positions POS 1 , POS 2 , POS 3 ... of the vehicles recorded by the respective location devices 10-1 , 10-2 , 10-3 ... to the server 42 to submit.

Für die Ausgestaltung des Servers 42 und des Kommunikationssystems 70 gibt es vielfältige Möglichkeiten. Zu deren Realisierung kann z. B. ein Kommunikationssystem wie „eHorizon“ der Fa. Continental genutzt werden. In einem solchen Kommunikationssystem können aktuelle Informationen zum Zustand von Straßenabschnitten in einem vorbestimmten geografischen Gebiet vorgehalten werden, wobei in das System integrierte Fahrzeuge selbst als Sensoren zur Bereitstellung der benötigten Daten („Big Data“) fungieren und z. B. per Mobilfunk derartige Daten zu einem Server („Backbone“) des z. B. Cloud-basierten Systems übertragen und gleichzeitig entsprechende individuell relevante Daten mit Informationen zu den vor ihnen liegenden Streckenabschnitten von dem Server zurückerhalten. Mithin kann ein solches Kommunikationssystem im Rahmen der Erfindung und z. B. des vorstehend beschriebenen Ausführungsbeispiels insbesondere dazu genutzt werden, um die jeweils ermittelten Anpassungsdaten ADJ1, ADJ2, ADJ3... an die jeweiligen Fahrzeuge 10-1, 10-2, 10-3 ... zu übermitteln.For the design of the server 42 and the communication system 70 there are many options. To achieve this, z. B. a communication system such as "eHorizon" from Continental can be used. In such a communication system, current information on the state of road sections in a predetermined geographical area can be kept, with vehicles integrated in the system themselves acting as sensors to provide the required data (“big data”) and z. B. such data to a server ("backbone") of the z. B. cloud-based systems and at the same time receive corresponding individually relevant data with information about the route sections ahead of them from the server. Thus, such a communication system within the scope of the invention and z. B. the embodiment described above can be used in particular to transfer the determined adaptation data ADJ 1 , ADJ 2 , ADJ 3 ... to the respective vehicles 10-1 , 10-2 , 10-3 ... to transmit.

Darüber hinaus ist es bei einem erfindungsgemäßen System außerdem möglich, unter Verwendung eines solchen („bidirektionalen“) Kommunikationssystems alternativ oder zusätzlich zu der oben erläuterten Bereitstellung der Eingangsdaten INP durch Behörden oder sonstige Organisationen eine Bereitstellung der Eingangsdaten INP wenigstens teilweise mit Hilfe der Fahrzeuge 10-1, 10-2, 10-3 ... zu realisieren, indem z. B. im Beispiel von 6 die Fahrzeuge 10-1, 10-2, 10-3 ... oder deren Bildauswerteeinrichtungen 50 die jeweiligen Objektdaten OBJ und/oder jeweilige daraus abgeleitete, z. B. den Informationsgehalt der Objektdaten OBJ zusammenfassende Fahrzeugumgebungsdaten über das betreffende Kommunikationssystem 70 an den Server 42 übertragen, wobei der Server 42 dazu ausgebildet ist, aus der Vielzahl von so erhaltenen Objektdaten und/oder Fahrzeugumgebungsdaten entsprechende Eingangsdaten INP zur Verbesserung und/oder Aktualisierung der in der Datenbank DB vorgehaltenen Umgebungsdaten ENV zu erzeugen.In addition, in a system according to the invention it is also possible, using such a (“bidirectional”) communication system, as an alternative or in addition to the above-mentioned provision of the input data INP by authorities or other organizations, to provide the input data INP at least partially with the help of the vehicles 10-1 , 10-2 , 10-3 ... to be realized by z. B. in the example of 6th the vehicles 10-1 , 10-2 , 10-3 ... or their image evaluation devices 50 the respective object data OBJ and / or respective derived therefrom, e.g. B. the information content of the object data OBJ summarizing vehicle environment data via the communication system in question 70 to the server 42 transmitted, with the server 42 is designed to generate corresponding input data INP for improving and / or updating the environment data ENV stored in the database DB from the plurality of object data and / or vehicle environment data obtained in this way.

Derartige an den Server übertragene Fahrzeugumgebungsdaten können insbesondere eine Information über eine oder mehrere Auftretenswahrscheinlichkeiten der vorbestimmten Arten von Objekten (an den jeweiligen Positionen der jeweiligen Fahrzeuge) beinhalten, so dass seitens des Servers basierend auf dieser Information vorteilhaft eine Aktualisierung der im Server gespeicherten positionsabhängigen Umgebungsdaten erfolgen kann.Such vehicle environment data transmitted to the server can in particular contain information about one or more probabilities of occurrence of the predetermined types of objects (at the respective positions of the respective vehicles) so that the server advantageously updates the position-dependent environment data stored in the server based on this information can.

7 zeigt ein Ausführungsbeispiel eines im Rahmen der Erfindung für eine Bildauswertung verwendbaren Objekterkennungsalgorithmus 32, aufweisend einen ersten Algorithmusteil 32a, mittels welchem anhand eines Bildes 34 (eingegebene Bilddaten) eine vorläufige Erkennung von Objekten (20) in der Umgebung (12) des betreffenden Fahrzeuges (10) erfolgt, und einen zweiten Algorithmusteil 32b, mittels welchem basierend auf vorgegebenen Parametern PAR das Ergebnis der vorläufigen Erkennung korrigiert und als Endergebnis (korrigierte) Objektdaten OBJ geliefert werden. 7th shows an embodiment of an object recognition algorithm that can be used within the scope of the invention for image evaluation 32 , having a first algorithm part 32a , by means of which based on an image 34 (entered image data) a preliminary recognition of objects ( 20th ) in the neighborhood ( 12th ) of the vehicle concerned ( 10 ) and a second part of the algorithm 32b , by means of which, based on predetermined parameters PAR, the result of the preliminary detection is corrected and (corrected) object data OBJ are supplied as the end result.

Das Ergebnis der vorläufigen Erkennung kann insbesondere vorläufige Objektdaten beinhalten, welche insbesondere z. B. eine Liste der vom Objekterkennungsalgorithmus 32 mit einer gewissen (z. B. oberhalb einer vorgegebenen Schwelle liegenden) Wahrscheinlichkeit erkannten Objekte 20 mit jeweiligen Spezifikationen wie z. B. Art des Objekts, relative Richtung und/oder relativer Abstand des jeweiligen Objekts (20) bezüglich des Fahrzeuges (10) mitsamt dieser Wahrscheinlichkeit beinhalten können.The result of the preliminary detection can in particular contain preliminary object data, which in particular z. B. a list of the object recognition algorithm 32 objects recognized with a certain probability (e.g. above a predetermined threshold) 20th with respective specifications such as B. Type of object, relative direction and / or relative distance of the respective object ( 20th ) regarding the vehicle ( 10 ) together with this probability.

Die Korrektur kann in diesem Fall z. B. darin bestehen, die einzelnen Wahrscheinlichkeiten jeweils mittels eines Korrekturwerts zu korrigieren (z. B. mit einem Korrekturfaktor zu multiplizieren), um somit für jedes vorläufig erkannte Objekt korrigierte Wahrscheinlichkeiten zu erhalten und basierend darauf das Endergebnis (Objektdaten OBJ) zu ermitteln. Durch die Korrektur können z. B. die Wahrscheinlichkeiten derjenigen Objekte erhöht werden, die einer Objektart angehören, für welche durch die vorgegebenen Parameter PAR eine relativ hohe Auftretenswahrscheinlichkeit bestimmt wird. Umgekehrt können bei der Korrektur z. B. die Wahrscheinlichkeiten derjenigen Objekte verringert werden, die einer Objektart mit relativ geringer Auftretenswahrscheinlichkeit angehören.The correction can in this case, for. B. consist in correcting the individual probabilities in each case by means of a correction value (e.g. to multiply by a correction factor) in order to obtain corrected probabilities for each provisionally recognized object and to determine the final result (object data OBJ) based on this. The correction can, for. B. the probabilities of those objects are increased that belong to an object type for which a relatively high probability of occurrence is determined by the specified parameters PAR. Conversely, when correcting z. B. the probabilities of those objects that belong to an object type with a relatively low probability of occurrence are reduced.

Im Beispiel von 7 ist der erste Algorithmusteil 32a als ein basierend auf durch Training ermittelte KI-Parameter arbeitendes KI-Modul (z. B. künstliches neuronales Netzwerk) ausgebildet oder weist zumindest ein solches KI-Modul auf.In the example of 7th is the first part of the algorithm 32a designed as an AI module (e.g. artificial neural network) that operates based on AI parameters determined by training or has at least one such AI module.

Im Rahmen der Erfindung kann ein KI-Modul derart ausgebildet sein, dass dessen KI-Parameter, welche die Art und Weise der Wandlung von Eingangsdaten, hier z. B. der Bilddaten PIC, in Ausgangsdaten, hier z. B. in die Objektdaten OBJ, bestimmen, durch ein Selbstlernen und/oder ein Training derart veränderbar sind, dass damit eine Verbesserung der Algorithmusqualität (hinsichtlich der Korrektheit der ausgegebenen Objektdaten OBJ) erzielt werden kann. Beim Selbstlernen bzw. dem Training werden Erfahrungsdaten bzw. Trainingsdaten bestehend aus (einer Vielzahl von) zueinander passenden Eingangsdaten und Ausgangsdaten verwendet (d.h. beinhaltend jeweils „korrekte“ Ausgangsdaten) und im Falle einer Abweichung der für diese Eingangsdaten vom KI-Modul tatsächlich gelieferten Ausgangsdaten von den „korrekten“ Ausgangsdaten die KI-Parameter so variiert, dass damit die Abweichung verringert (insbesondere optimiert) wird.In the context of the invention, an KI module can be designed in such a way that its KI parameters, which determine the way in which input data is converted, here e.g. B. the image data PIC, in output data, here z. B. in the object data OBJ, can be changed by self-learning and / or training in such a way that an improvement in the algorithm quality (with regard to the correctness of the output object data OBJ) can be achieved. In self-learning or training, experience data or training data consisting of (a large number of) matching input data and output data are used (that is, each containing "correct" output data) and, in the event of a discrepancy between the output data actually supplied for this input data by the KI module, and the "correct" output data varies the KI parameters in such a way that the deviation is reduced (in particular optimized).

8 zeigt ein weiteres Ausführungsbeispiel eines im Rahmen der Erfindung für eine Bildauswertung verwendbaren Objekterkennungsalgorithmus 32. 8th shows a further embodiment of an object recognition algorithm that can be used within the scope of the invention for image evaluation 32 .

Der Objekterkennungsalgorithmus 32 weist ein basierend auf durch Training ermittelte KI-Parameter KI-PAR arbeitendes KI-Modul auf, wobei diese KI-Parameter KI-PAR als ein Bestandteil der dem Objekterkennungsalgorithmus 32 vorzugebenden Parameter in Abhängigkeit von der geografischen Position POS des betreffenden Fahrzeuges vorgegeben werden, indem in Abhängigkeit von der geografischen Position POS des Fahrzeuges diese KI-Parameter KI-PAR als ein der geografischen Position POS des Fahrzeuges zugeordneter KI-Parametersatz KI-PAR aus einer Vielzahl von KI-Parametersätzen KI-PAR1, KI-PAR2, ..., KI-PARN ausgewählt wird, die vorab empirisch ermittelt und für ein bestimmtes geografisches Gebiet als positionsabhängige KI-Parametersätze KI-PAR1, KI-PAR2, ..., KI-PARN gespeichert wurden (z. B. in einem Server wie bereits beschrieben).The object recognition algorithm 32 has an KI module operating based on KI parameters KI-PAR determined by training, these KI parameters KI-PAR as a component of the object recognition algorithm 32 The parameters to be specified are specified as a function of the geographical position POS of the vehicle in question, in that depending on the geographical position POS of the vehicle, these KI parameters KI-PAR as a KI parameter set KI-PAR assigned to the geographical position POS of the vehicle from a large number is selected from KI parameter sets KI-PAR 1 , KI-PAR 2 , ..., KI-PAR N , which are empirically determined in advance and for a certain geographical area as position-dependent KI parameter sets KI-PAR 1 , KI-PAR 2 , ..., KI-PAR N (e.g. in a server as already described).

Zusammenfassend schlägt die Erfindung im Rahmen einer mittels einer Bildauswertung implementierten Objekterkennung in einer Umgebung eines Fahrzeuges eine „situative Gewichtung“ von Erkennungswahrscheinlichkeiten innerhalb des Objekterkennungsalgorithmus vor. Vorteilhaft kann damit die Wahrscheinlichkeit für eine korrekte Objekterkennung erhöht werden. Wesentlich hierfür ist die Verwendung einer zusätzlichen Eingangsinformation (Parameter PAR), welche in Abhängigkeit von der (momentanen) geografischen Position des Fahrzeuges gebildet wird und die Arbeitsweise des eingesetzten Objekterkennungsalgorithmus entsprechend beeinflusst.In summary, the invention proposes a “situational weighting” of recognition probabilities within the object recognition algorithm in the context of an object recognition implemented by means of an image evaluation in the surroundings of a vehicle. In this way, the probability of correct object recognition can advantageously be increased. Essential for this is the use of additional input information (parameter PAR), which is formed as a function of the (current) geographical position of the vehicle and accordingly influences the operation of the object recognition algorithm used.

Claims (13)

Verfahren zum Auswerten eines Bildes (34) einer Umgebung (12) eines Fahrzeuges (10) unter Verwendung eines basierend auf vorgegebenen Parametern (PAR) arbeitenden Objekterkennungsalgorithmus (32), um anhand des Bildes (34) Objekte (20) in der Umgebung (12) des Fahrzeuges (10) zu erkennen, wobei die Parameter (PAR) in Abhängigkeit von einer geografischen Position (POS) des Fahrzeuges (10) vorgegeben werden.Method for evaluating an image (34) of an environment (12) of a vehicle (10) using an object recognition algorithm (32) that operates on the basis of predetermined parameters (PAR) in order to identify objects (20) in the environment (12 ) of the vehicle (10), the parameters (PAR) being specified as a function of a geographical position (POS) of the vehicle (10). Verfahren nach Anspruch 1, wobei der Objekterkennungsalgorithmus (32) dazu ausgebildet ist, vorbestimmten Arten von Objekten (20) jeweilige Auftretenswahrscheinlichkeiten zuzuordnen und für das Erkennen von Objekten (20) zu berücksichtigen, wobei diese Auftretenswahrscheinlichkeiten durch die vorgegebenen Parameter (PAR) bestimmt werden.Procedure according to Claim 1 , the object recognition algorithm (32) being designed to assign respective occurrence probabilities to predetermined types of objects (20) and to take them into account for the detection of objects (20), these occurrence probabilities being determined by the predetermined parameters (PAR). Verfahren nach Anspruch 1 oder 2, wobei das Verfahren ferner folgende Schritte aufweist: - Übermitteln von Anpassungsdaten (ADJ) von einem Server (42) an eine den Objekterkennungsalgorithmus (32) durchführende Auswerteeinrichtung, wobei die Anpassungsdaten (ADJ) von dem Server (42) basierend auf der geografischen Position (POS) des Fahrzeuges (10) und basierend auf in dem Server (42) für ein bestimmtes geografisches Gebiet gespeicherten positionsabhängigen Umgebungsdaten (ENV) ermittelt wurden, - Anpassen der Parameter (PAR) für den Objekterkennungsalgorithmus (32) basierend auf den von dem Server (42) an die Auswerteeinrichtung übermittelten Anpassungsdaten (ADJ).Procedure according to Claim 1 or 2 , the method further comprising the following steps: - Transmission of adjustment data (ADJ) from a server (42) to an evaluation device performing the object recognition algorithm (32), the adjustment data (ADJ) from the server (42) based on the geographical position ( POS) of the vehicle (10) and based on position-dependent environmental data (ENV) stored in the server (42) for a specific geographical area, - adapting the parameters (PAR) for the object recognition algorithm (32) based on the data from the server ( 42) adaptation data (ADJ) transmitted to the evaluation device. Verfahren nach Anspruch 3, wobei das Verfahren ferner folgende Schritte aufweist: - Erfassen der geografischen Position (POS) des Fahrzeuges (10), - Übermitteln der erfassten geografischen Position (POS) des Fahrzeuges (10) an den Server (42).Procedure according to Claim 3 , the method further comprising the following steps: - detecting the geographical position (POS) of the vehicle (10), - transmitting the detected geographical position (POS) of the vehicle (10) to the server (42). Verfahren nach Anspruch 3 oder 4, wobei zumindest eine Komponente der Auswerteeinrichtung in dem Fahrzeug (10) angeordnet ist und das Übermitteln der Anpassungsdaten (ADJ) von dem Server (42) an diese Komponente der Auswerteeinrichtung durch ein Geocasting der Anpassungsdaten (ADJ) an innerhalb des geografischen Gebiets befindliche Fahrzeuge erfolgt.Procedure according to Claim 3 or 4th At least one component of the evaluation device is arranged in the vehicle (10) and the adaptation data (ADJ) are transmitted from the server (42) to this component of the evaluation device by geocasting the adaptation data (ADJ) to vehicles located within the geographical area . Verfahren nach einem der Ansprüche 3 bis 5, wobei die in dem Server (42) gespeicherten positionsabhängigen Umgebungsdaten (ENV) Merkmale in einem Bereich um die betreffende geografische Position und/oder den vorbestimmten Arten von Objekten (20) in diesem Bereich zuzuordnende Auftretenswahrscheinlichkeiten repräsentieren.Method according to one of the Claims 3 to 5 , wherein the position-dependent environmental data (ENV) stored in the server (42) features in an area around the relevant geographic Position and / or the predetermined types of objects (20) in this area represent probabilities of occurrence to be assigned. Verfahren nach Anspruch 6, wobei die Merkmale das Vorhandensein vorbestimmter Arten von Bauwerken, insbesondere Gebäuden, in dem Bereich um die betreffende geografische Position umfassen, insbesondere wobei diese Arten jeweils durch einen bestimmten Nutzungszweck des Bauwerkes bzw. Gebäudes definiert sind.Procedure according to Claim 6 , wherein the features include the presence of predetermined types of structures, in particular buildings, in the area around the geographic position in question, in particular these types being defined in each case by a specific purpose of use of the structure or building. Verfahren nach Anspruch 6 oder 7, wobei die Merkmale das Vorhandensein vorbestimmter Arten von temporären Ereignissen, insbesondere Veranstaltungen, in dem Bereich um die betreffende geografische Position umfassen, insbesondere wobei diese Arten jeweils durch einen bestimmten Zweck des Ereignisses definiert sind.Procedure according to Claim 6 or 7th , wherein the features include the presence of predetermined types of temporary events, in particular events, in the area around the geographic position in question, in particular these types each being defined by a specific purpose of the event. Verfahren nach einem der Ansprüche 6 bis 8, wobei die den vorbestimmten Arten von Objekten (20) in dem Bereich um die betreffende geografische Position zuzuordnenden Auftretenswahrscheinlichkeiten empirisch ermittelt wurden.Method according to one of the Claims 6 to 8th wherein the probabilities of occurrence to be assigned to the predetermined types of objects (20) in the area around the geographic position in question have been determined empirically. Verfahren nach einem der vorangehenden Ansprüche, wobei der Objekterkennungsalgorithmus (32) aufweist: - einen ersten Algorithmusteil (32a), der dazu ausgebildet ist, anhand des Bildes (34) eine vorläufige Erkennung der Objekte (20) in der Umgebung (12) des Fahrzeuges (10) durchzuführen, - einen zweiten Algorithmusteil (32b), der dazu ausgebildet ist, basierend auf den vorgegebenen Parametern (PAR) das Ergebnis der vorläufigen Erkennung der Objekte (20) in der Umgebung (12) des Fahrzeuges (10) zu korrigieren.Method according to one of the preceding claims, wherein the object recognition algorithm (32) comprises: - A first algorithm part (32a) which is designed to carry out a preliminary detection of the objects (20) in the surroundings (12) of the vehicle (10) on the basis of the image (34), - A second algorithm part (32b) which is designed to correct the result of the preliminary detection of the objects (20) in the vicinity (12) of the vehicle (10) based on the predetermined parameters (PAR). Verfahren nach Anspruch 10, wobei der erste Algorithmusteil (32a) ein basierend auf durch Training ermittelten KI-Parametern (KI-PAR) arbeitendes KI-Modul aufweist.Procedure according to Claim 10 , wherein the first algorithm part (32a) has an KI module operating on the basis of KI parameters (KI-PAR) determined by training. Verfahren nach einem der Ansprüche 1 bis 11, wobei der Objekterkennungsalgorithmus (32) ein basierend auf durch Training ermittelten KI-Parametern (KI-PAR) arbeitendes KI-Modul aufweist, wobei diese KI-Parameter (KI-PAR) als ein Bestandteil der dem Objekterkennungsalgorithmus (32) vorzugebenden Parameter (PAR) in Abhängigkeit von der geografischen Position (POS) des Fahrzeuges (10) vorgegeben werden, indem in Abhängigkeit von der geografischen Position (POS) des Fahrzeuges (10) diese KI-Parameter (KI-PAR) als ein der geografischen (POS) Position des Fahrzeuges (10) zugeordneter KI-Parametersatz aus einer Vielzahl von KI-Parametersätzen (KI-PAR1, KI-PAR2, KI-PAR3 ...) ausgewählt wird, die vorab empirisch ermittelt und für ein bestimmtes geografisches Gebiet als positionsabhängige KI-Parametersätze (KI-PAR1, KI-PAR2, KI-PAR3 ...) gespeichert wurden.Method according to one of the Claims 1 to 11 , wherein the object recognition algorithm (32) has an KI module operating on the basis of KI parameters (KI-PAR) determined by training, these KI parameters (KI-PAR) as part of the parameters (PAR ) can be specified as a function of the geographical position (POS) of the vehicle (10) by using these KI parameters (KI-PAR) as one of the geographical (POS) position as a function of the geographical position (POS) of the vehicle (10) of the vehicle (10) assigned KI parameter set is selected from a large number of KI parameter sets (KI-PAR 1 , KI-PAR 2 , KI-PAR 3 ...), which are empirically determined in advance and as position-dependent for a specific geographical area KI parameter sets (KI-PAR 1 , KI-PAR 2 , KI-PAR 3 ...) have been saved. System zum Auswerten jeweiliger Bilder von jeweiligen Umgebungen einer Vielzahl von Fahrzeugen (10-1, 10-2, 10-3 ...), um anhand der jeweiligen Bilder jeweilige Objekte (20) in der jeweiligen Umgebung (12) der Fahrzeuge (10-1, 10-2, 10-3 ...) zu erkennen, aufweisend: - eine Vielzahl von Fahrzeugen (10-1, 10-2, 10-3 ...), die jeweils aufweisen: - eine Bildaufnahmeeinrichtung zum Aufnehmen eines Bildes (34) einer Umgebung (12) des Fahrzeuges (10-1, 10-2, 10-3 ...), - eine Auswerteeinrichtung (50), die dazu ausgebildet ist, das Bild (34) unter Verwendung eines basierend auf vorgegebenen Parametern (PAR) arbeitenden Objekterkennungsalgorithmus (32) auszuwerten, um Objekte (20) in der Umgebung (12) des Fahrzeuges (10-1, 10-2, 10-3 ...) zu erkennen, und ferner dazu ausgebildet ist, die Parameter (PAR) für den Objekterkennungsalgorithmus (32) basierend auf Anpassungsdaten (ADJ) anzupassen, - einen Server (42), der dazu ausgebildet ist, für ein bestimmtes geografisches Gebiet positionsabhängige Umgebungsdaten (ENV) zu speichern und für geografische Positionen innerhalb des geografischen Gebiets jeweilige Anpassungsdaten (ADJ) zu ermitteln, - ein Kommunikationssystem, das dazu ausgebildet ist, die von dem Server (42) für die jeweiligen geografischen Positionen (POS1, POS2, POS3 ...) der Fahrzeuge (10-1, 10-2, 10-3 ...) jeweils ermittelten Anpassungsdaten (ADJ1, ADJ2, ADJ3 ...) von dem Server (42) an die Bildauswerteeinrichtungen (50) der jeweiligen Fahrzeuge (10-1, 10-2, 10-3 ...) zu übermitteln.System for evaluating respective images of respective surroundings of a large number of vehicles (10-1, 10-2, 10-3 ...) in order to use the respective images to identify respective objects (20) in the respective surroundings (12) of the vehicles (10 -1, 10-2, 10-3 ...), comprising: a multiplicity of vehicles (10-1, 10-2, 10-3 ...), each of which has: an image recording device for recording an image (34) of an environment (12) of the vehicle (10-1, 10-2, 10-3 ...), - an evaluation device (50) which is designed to generate the image (34) using a based to evaluate the object recognition algorithm (32) operating on predetermined parameters (PAR) in order to recognize objects (20) in the surroundings (12) of the vehicle (10-1, 10-2, 10-3 ...), and is also designed to do so to adapt the parameters (PAR) for the object recognition algorithm (32) based on adaptation data (ADJ), - a server (42) which is designed to be position-dependent for a specific geographical area e to store environmental data (ENV) and to determine respective adaptation data (ADJ) for geographical positions within the geographical area, - a communication system which is designed to receive the data from the server (42) for the respective geographical positions (POS 1 , POS 2 , POS 3 ...) of the vehicles (10-1, 10-2, 10-3 ...) each determined adaptation data (ADJ 1 , ADJ 2 , ADJ 3 ...) from the server (42) to the image evaluation devices (50) of the respective vehicles (10-1, 10-2, 10-3 ...).
DE102019219144.4A 2019-12-09 2019-12-09 Method and system for image evaluation for object recognition in the vicinity of vehicles Pending DE102019219144A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019219144.4A DE102019219144A1 (en) 2019-12-09 2019-12-09 Method and system for image evaluation for object recognition in the vicinity of vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019219144.4A DE102019219144A1 (en) 2019-12-09 2019-12-09 Method and system for image evaluation for object recognition in the vicinity of vehicles

Publications (1)

Publication Number Publication Date
DE102019219144A1 true DE102019219144A1 (en) 2021-06-10

Family

ID=75962294

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019219144.4A Pending DE102019219144A1 (en) 2019-12-09 2019-12-09 Method and system for image evaluation for object recognition in the vicinity of vehicles

Country Status (1)

Country Link
DE (1) DE102019219144A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012218390A1 (en) * 2011-10-20 2013-04-25 Ibm International Business Machines Corporation Optimizing the detection of objects in images
DE102017007777A1 (en) * 2017-08-16 2018-02-15 Daimler Ag Method for operating an assistance system for a motor vehicle, assistance system, set up for carrying out such a method, and motor vehicle with such an assistance system
DE102016124157A1 (en) * 2016-12-13 2018-06-14 Valeo Schalter Und Sensoren Gmbh Determining a braking necessity for avoiding a collision of a motor vehicle with a pedestrian
US20190086549A1 (en) * 2017-09-15 2019-03-21 Toyota Research Institute, Inc. System and method for object detection using a probabilistic observation model
US20190265703A1 (en) * 2018-02-26 2019-08-29 Nvidia Corporation Systems and methods for computer-assisted shuttles, buses, robo-taxis, ride-sharing and on-demand vehicles with situational awareness

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012218390A1 (en) * 2011-10-20 2013-04-25 Ibm International Business Machines Corporation Optimizing the detection of objects in images
DE102016124157A1 (en) * 2016-12-13 2018-06-14 Valeo Schalter Und Sensoren Gmbh Determining a braking necessity for avoiding a collision of a motor vehicle with a pedestrian
DE102017007777A1 (en) * 2017-08-16 2018-02-15 Daimler Ag Method for operating an assistance system for a motor vehicle, assistance system, set up for carrying out such a method, and motor vehicle with such an assistance system
US20190086549A1 (en) * 2017-09-15 2019-03-21 Toyota Research Institute, Inc. System and method for object detection using a probabilistic observation model
US20190265703A1 (en) * 2018-02-26 2019-08-29 Nvidia Corporation Systems and methods for computer-assisted shuttles, buses, robo-taxis, ride-sharing and on-demand vehicles with situational awareness

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BURGSTAHLER, D. - M.: Collaborative Sensing in Automotive Scenarios: Enhancement of the Vehicular Electronic Horizon through Collaboratively Sensed Knowledge, 2017, Doktorarbeit, Technische Universität Darmstadt.URL: https://tuprints.ulb.tu-darmstadt.de/6554/1/DBu_Dissertation_pub.pdf [abgerufen am 14.10.2020] *
HUGHES, C. [et al.]: DriveSpace: Towards context-aware drivable area detection. In: Electronic Imaging, 2019, Nr. 15, S. 42-1-42-9.URL: https://www.ingentaconnect.com/contentone/ist/ei/2019/00002019/00000015/art00012?crawler=true&mimetype=application/pdf[abgerufen am 15.10.2020] *

Similar Documents

Publication Publication Date Title
EP2979261B1 (en) Backend for driver assistance systems
DE102017217443B4 (en) Method and system for providing training data for machine learning for a control model of an automatic vehicle control
DE102016222782A1 (en) Autonomous control of a motor vehicle based on lane data; motor vehicle
DE102013211696A1 (en) Method for completing and / or updating a digital road map, device for a motor vehicle and motor vehicle
DE102017221407A1 (en) FAHRASSISTENZSYSTEM USING NAVIGATION INFORMATION AND ITS OPERATING PROCESS
DE19842176A1 (en) Method to identify traffic signs in surroundings of vehicle and for vehicle navigation, involves including satellite-based navigation system and unit to identify vehicle signs, which are used to update data from each other
DE102016205434A1 (en) Method and system for creating a lane-accurate occupancy map for lanes
DE102017201665A1 (en) Method for integrating a dynamic object into a digital map of a highly automated vehicle (HAF)
DE102013009856B4 (en) Determining the position of a stationary traffic object using a central server arrangement
DE102016210534A1 (en) Method for classifying an environment of a vehicle
DE102017222751A1 (en) Method and system for warning road users of a wrong-way driving of a vehicle with supplementary plausibility
DE102018211941A1 (en) Method for determining an intersection topology of a street intersection
DE102019208176A1 (en) VEHICLE DRIVING ASSISTANCE SYSTEM
DE102019208192A1 (en) TRAFFIC SIGN DETECTION SYSTEM
DE102015223656A1 (en) Driver assistance system and method for lane recommendation
DE102018113314A1 (en) Driving Assistance System
WO2006013169A1 (en) Route guidance method, memory containing map data, and a navigation system
DE102018007659A1 (en) Method for updating an environment map for a motor vehicle
WO2018210581A1 (en) Method for producing a passing probability collection, method for operating a control device of a motor vehicle, passing probability collecting device and control device
DE102013212010A1 (en) A method and apparatus for assisting a throat pass for a vehicle, a method for supporting a pit pass for a follower vehicle, and methods for managing survey information to assist bottleneck vehicle transits
EP3736789A1 (en) Method and system for providing environment information
DE102019216747A1 (en) Method of providing an overlay map section
DE102019219144A1 (en) Method and system for image evaluation for object recognition in the vicinity of vehicles
DE102018117830A1 (en) Digital environment map with sensor ranges
DE102022202165A1 (en) Method for providing lane localization for a motor vehicle in an area of an infrastructure facility

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, DE

Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE GMBH, 30165 HANNOVER, DE

R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, DE

Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, 30165 HANNOVER, DE