DE102019219144A1 - Method and system for image evaluation for object recognition in the vicinity of vehicles - Google Patents
Method and system for image evaluation for object recognition in the vicinity of vehicles Download PDFInfo
- Publication number
- DE102019219144A1 DE102019219144A1 DE102019219144.4A DE102019219144A DE102019219144A1 DE 102019219144 A1 DE102019219144 A1 DE 102019219144A1 DE 102019219144 A DE102019219144 A DE 102019219144A DE 102019219144 A1 DE102019219144 A1 DE 102019219144A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- par
- server
- parameters
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000011156 evaluation Methods 0.000 title claims description 65
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000006978 adaptation Effects 0.000 claims description 37
- 230000001419 dependent effect Effects 0.000 claims description 29
- 230000007613 environmental effect Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 description 16
- 238000013473 artificial intelligence Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000036962 time dependent Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 229910019250 POS3 Inorganic materials 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000009418 renovation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Abstract
Die Erfindung betrifft ein Verfahren zum Auswerten eines Bildes (34) einer Umgebung (12) eines Fahrzeuges (10) unter Verwendung eines basierend auf vorgegebenen Parametern (PAR) arbeitenden Objekterkennungsalgorithmus (32), um anhand des Bildes (34) Objekte (20) in der Umgebung (12) des Fahrzeuges (10) zu erkennen. Um hierbei die Zuverlässigkeit und Qualität der Erkennung von Objekten (20) zu verbessern, ist erfindungsgemäß vorgesehen, dass die Parameter (PAR) in Abhängigkeit von einer geografischen Position (POS) des Fahrzeuges (10) vorgegeben werden. Die Erfindung schlägt ferner ein System (100) zum Auswerten jeweiliger Bilder (34) von jeweiligen Umgebungen (12) einer Vielzahl von Fahrzeugen (10-1, 10-2, ...) vor, um jeweilige Objekte (20) in der jeweiligen Umgebung (12) der Fahrzeuge (10-1, 10-2, ...) zu erkennen.The invention relates to a method for evaluating an image (34) of an environment (12) of a vehicle (10) using an object recognition algorithm (32) based on predetermined parameters (PAR) in order to identify objects (20) using the image (34) the surroundings (12) of the vehicle (10) to be recognized. In order to improve the reliability and quality of the detection of objects (20), the invention provides that the parameters (PAR) are specified as a function of a geographical position (POS) of the vehicle (10). The invention also proposes a system (100) for evaluating respective images (34) of respective surroundings (12) of a multiplicity of vehicles (10-1, 10-2, ...) in order to identify respective objects (20) in the respective The surroundings (12) of the vehicles (10-1, 10-2, ...) can be recognized.
Description
Die vorliegende Erfindung betrifft den Bereich der Objekterkennung in der Umgebung von Fahrzeugen, und insbesondere ein Verfahren zum Auswerten eines Bildes einer Umgebung eines Fahrzeuges, wobei ein basierend auf vorgegebenen Parametern arbeitender Objekterkennungsalgorithmus verwendet wird, um anhand des Bildes Objekte in der Umgebung des Fahrzeuges zu erkennen. Ferner betrifft die Erfindung ein System zum Auswerten jeweiliger Bilder von jeweiligen Umgebungen einer Vielzahl von Fahrzeugen, um anhand der jeweiligen Bilder jeweilige Objekte in der jeweiligen Umgebung der Fahrzeuge zu erkennen.The present invention relates to the field of object recognition in the vicinity of vehicles, and in particular to a method for evaluating an image of an environment of a vehicle, an object recognition algorithm operating on the basis of predetermined parameters being used to identify objects in the vicinity of the vehicle on the basis of the image . The invention also relates to a system for evaluating respective images of respective surroundings of a multiplicity of vehicles in order to recognize respective objects in the respective surroundings of the vehicles on the basis of the respective images.
An Bord von Fahrzeugen durchgeführte Verfahren zur Bildauswertung sind in vielfältigen Ausführungen aus dem Stand der Technik bekannt und gewinnen insbesondere im Bereich der Automobiltechnik für Straßenkraftfahrzeuge zunehmend an Bedeutung, etwa bei der Realisierung und Verbesserung von Komfortfunktionen (z. B. Einparkhilfe, Abstandstempomat, Spurhalteassistent, automatische Verkehrszeichenerkennung etc.) oder Sicherheitsfunktionen (z. B. Hinderniserkennung etc.).Processes for image evaluation carried out on board vehicles are known in various designs from the prior art and are becoming increasingly important, especially in the field of automotive technology for road vehicles, for example in the implementation and improvement of comfort functions (e.g. parking aid, cruise control, lane departure warning, automatic traffic sign recognition, etc.) or safety functions (e.g. obstacle recognition, etc.).
Besonders hohe Anforderungen an die Zuverlässigkeit und Qualität einer mit derartigen Bildauswertungsverfahren bewerkstelligten Objekterkennung ergeben sich z. B. für autonom fahrende Fahrzeuge, bei denen Steuerungsvorgänge wie Lenken, Beschleunigen und Verzögern teilweise oder vollständig automatisiert durchgeführt werden.Particularly high demands on the reliability and quality of an object recognition accomplished with such an image evaluation method result, for. B. for autonomous vehicles in which control processes such as steering, accelerating and decelerating are partially or fully automated.
Das Bild der Umgebung des Fahrzeuges kann z. B. mittels wenigstens einer am Fahrzeug angeordneten Videokamera aufgenommen werden, die z. B. im sichtbaren Spektralbereich sensitiv ist und digitale Repräsentationen (Bilddaten) an eine digitale elektronische Auswerteeinrichtung an Bord des Fahrzeuges liefert, in welcher der Objekterkennungsalgorithmus abläuft, um Objekte (z. B. Fahrbahnmarkierungen, Verkehrszeichen, andere Fahrzeuge, Fußgänger etc.) zu erkennen.The image of the surroundings of the vehicle can, for. B. be recorded by means of at least one video camera arranged on the vehicle, the z. B. is sensitive in the visible spectral range and provides digital representations (image data) to a digital electronic evaluation device on board the vehicle, in which the object recognition algorithm runs in order to recognize objects (e.g. lane markings, traffic signs, other vehicles, pedestrians, etc.) .
Aus dem Stand der Technik sind hierfür geeignete, basierend auf vorgegebenen Parametern (Algorithmusparametern) arbeitende Objekterkennungsalgorithmen in vielfältigen Ausgestaltungen bekannt.From the prior art, there are known object recognition algorithms in various configurations that are suitable for this purpose and that work on the basis of predetermined parameters (algorithm parameters).
Insbesondere vor dem Hintergrund des in vielen Anwendungsfällen bestehenden Erfordernisses einer sehr rasch durchzuführenden Bildauswertung (in „Echtzeit“) bei gleichzeitig begrenzt zur Verfügung stehender Rechenkapazität in einer Auswerteeinrichtung ist es grundsätzlich eine große Herausforderung, die Objekterkennung mit hoher Zuverlässigkeit und Qualität zu bewerkstelligen, d. h. beispielsweise tatsächlich vorhandene Objekte einer bestimmten Art (z. B. vorausfahrende Fahrzeuge) zuverlässig als solche zu erkennen und gleichzeitig fehlerhafte Erkennungen bestimmter Objekte, die tatsächlich gar nicht vorhanden sind (oder tatsächlich andersartige Objekte darstellen), möglichst zu vermeiden.In particular, against the background of the requirement in many applications for image evaluation to be carried out very quickly (in "real time") with limited computing capacity in an evaluation device, it is fundamentally a major challenge to achieve object recognition with high reliability and quality, i. H. For example, reliably recognizing actually existing objects of a certain type (e.g. vehicles driving ahead) as such and at the same time avoiding incorrect recognition of certain objects that actually do not exist at all (or actually represent objects of a different type).
Eine gewisse Verbesserung in dieser Hinsicht wurde bereits durch den Einsatz von so genannter künstlicher Intelligenz (KI) erzielt, d. h. dem Einsatz von selbstlernenden und/oder dediziert trainierten Objekterkennungsalgorithmen, die mit Hilfe von Referenzobjekten (von bevorzugt großer Anzahl) trainiert wurden mit dem Ziel, eine möglichst hohe Rate an korrekten Objekterkennungen zu erreichen.A certain improvement in this regard has already been achieved through the use of so-called artificial intelligence (AI), i. H. the use of self-learning and / or dedicated trained object recognition algorithms that were trained with the aid of reference objects (preferably of a large number) with the aim of achieving the highest possible rate of correct object recognition.
Entsprechende Trainingsdaten können z. B. durch Testfahrten mit einem Fahrzeug ermittelt und im Nachgang dem Objekterkennungsalgorithmus als Trainingsdaten zur Verfügung gestellt werden.Corresponding training data can, for. B. determined by test drives with a vehicle and subsequently made available to the object recognition algorithm as training data.
Zur praktischen Implementierung von KI kann z. B. ein künstliches neuronales Netzwerk mit einer Vielzahl von Neuronen und Verbindungen zwischen diesen Neuronen verwendet werden, wobei in diesem Fall die Parameter des Objekterkennungsalgorithmus durch Charakteristika (z. B. Gewichtungen) letzterer Verbindungen zwischen Neuronen gegeben sind.For the practical implementation of AI, e.g. For example, an artificial neural network with a large number of neurons and connections between these neurons can be used, in which case the parameters of the object recognition algorithm are given by characteristics (e.g. weightings) of the latter connections between neurons.
Dennoch besteht auch beim Einsatz von KI noch Verbesserungsbedarf hinsichtlich der Zuverlässigkeit und Qualität der Objekterkennung.Nevertheless, there is still room for improvement in terms of the reliability and quality of object recognition when using AI.
Es ist eine Aufgabe der vorliegenden Erfindung, einen neuartigen Weg aufzuzeigen, mit dem die Zuverlässigkeit und Qualität einer Erkennung von Objekten in der Umgebung von Fahrzeugen mittels einer Bildauswertung der eingangs genannten Art weiter verbessert werden kann.It is an object of the present invention to show a novel way with which the reliability and quality of a detection of objects in the vicinity of vehicles can be further improved by means of an image evaluation of the type mentioned at the beginning.
Gemäß eines ersten Aspekts der Erfindung wird diese Aufgabe bei einem Verfahren der eingangs genannten Art dadurch gelöst, dass die Parameter des Objekterkennungsalgorithmus in Abhängigkeit von einer geografischen Position des Fahrzeuges vorgegeben werden.According to a first aspect of the invention, this object is achieved in a method of the type mentioned at the outset in that the parameters of the object recognition algorithm are specified as a function of a geographical position of the vehicle.
Damit können beim Auswerten des Bildes vorteilhaft hinsichtlich der Objekterkennung relevante, jedoch nicht aus dem Bild als solchem ableitbare Informationen genutzt werden, um in der Praxis die Objekterkennung deutlich zu verbessern. Der Erfindung liegt hierbei die Erkenntnis zugrunde, dass insbesondere z. B. Auftretenswahrscheinlichkeiten von Objekten in der Praxis ortsabhängig sind und somit die Information über die geografische Position des Fahrzeuges nutzbringend zur Verbesserung der Objekterkennung eingesetzt werden kann.In this way, when evaluating the image, information that is relevant to object recognition but cannot be derived from the image as such can be used in order to significantly improve object recognition in practice. The invention is based on the knowledge that in particular z. B. Occurrence probabilities of objects in practice are location-dependent and thus the information about the geographical position of the vehicle can be used to improve object recognition.
Beispielsweise ist die Wahrscheinlichkeit des Auftretens eines Traktors in einer ländlichen Gegend größer als in einem Zentrum einer Großstadt, die Wahrscheinlichkeit des Auftretens von kleinen Personen (Kindern) in der Nähe eines Spielplatzes größer als weiter entfernt davon, usw. Durch eine gezielte Vorgabe der Algorithmusparameter in Abhängigkeit von der geografischen Position können derartige Korrelationen im Rahmen der Objekterkennung vorteilhaft genutzt werden, um Zuverlässigkeit und Qualität der Objekterkennung zu verbessern.For example, the probability of a tractor appearing in a rural area is greater than in the center of a large city, the probability of small people (children) appearing in the vicinity of a playground is greater than it is further away, etc. Through a specific specification of the algorithm parameters in Depending on the geographical position, such correlations can be used advantageously in the context of object recognition in order to improve the reliability and quality of the object recognition.
Das Bild der Umgebung des Fahrzeuges kann z. B. mittels einer im Fahrzeug vorgesehenen Bildaufnahmeeinrichtung aufgenommen werden, wobei die Bildaufnahmeeinrichtung hierfür z. B. eine oder mehrere am Fahrzeug angeordnete Videokameras aufweisen kann. Jede solche Videokamera kann z. B. im sichtbaren Spektralbereich sensitiv sein. Alternativ oder zusätzlich kann zur Aufnahme des Bildes auch z. B. wenigstens eine IR-sensitive Kamera vorgesehen sein. Die Bildaufnahmeeinrichtung kann das Bild (bzw. Videobildsequenzen) z. B. als digitale Repräsentationen (Bilddaten) an eine digitale elektronische Auswerteeinrichtung liefern, in welcher der Objekterkennungsalgorithmus abläuft. Alternativ oder zusätzlich zu einer Videokamera kann die Bildaufnahmeeinrichtung auch andere Sensoren wie insbesondere z. B. ein Lidarsystem und/oder ein Radarsystem aufweisen, die ebenfalls an Bord des Fahrzeuges angeordnet sein können. Im Rahmen der Erfindung kann darüber hinaus vorgesehen sein, dass zur Gewinnung von das Bild repräsentierenden Bilddaten auch außerhalb des Fahrzeuges angeordnete bzw. befindliche Sensoren genutzt werden (z. B. in anderen Fahrzeugen angeordnete Sensoreinrichtungen), deren Daten z. B. via Telekommunikation (z. B. „V2x“) zur Auswerteeinrichtung übertragen werden.The image of the surroundings of the vehicle can, for. B. be recorded by means of an image recording device provided in the vehicle, the image recording device for this purpose, for. B. may have one or more video cameras arranged on the vehicle. Each such video camera can e.g. B. be sensitive in the visible spectral range. Alternatively or additionally, z. B. at least one IR-sensitive camera can be provided. The image recording device can take the image (or video image sequences) z. B. as digital representations (image data) to a digital electronic evaluation device in which the object recognition algorithm runs. As an alternative or in addition to a video camera, the image recording device can also use other sensors such as, in particular, e.g. B. have a lidar system and / or a radar system, which can also be arranged on board the vehicle. Within the scope of the invention it can also be provided that to obtain image data representing the image, sensors arranged or located outside of the vehicle are also used (e.g. sensor devices arranged in other vehicles) whose data are e.g. B. via telecommunication (z. B. "V2x") to the evaluation device.
In einer Ausführungsform ist der Objekterkennungsalgorithmus dazu ausgebildet, vorbestimmten Arten von Objekten jeweilige Auftretenswahrscheinlichkeiten zuzuordnen und für das Erkennen von Objekten zu berücksichtigen, wobei diese Auftretenswahrscheinlichkeiten durch die vorgegebenen Parameter bestimmt (d. h. zumindest mitbestimmt oder davon beeinflußt) werden. Falls z. B. während der Vorgabe eines „normalen“ Satzes bestimmter Parameter dem Auftreten einer Objektart „Ball (z. B. Fußball)“ und einer Objektart „Plastiktüte“ gleiche Auftretenswahrscheinlichkeiten zugeordnet sind und der Algorithmus dann nach „objektiven“, d. h. nur auf der Bildinformation des Bildes beruhenden Kriterien eine Entscheidung (z. B. zugunsten „Ball“) trifft, so könnte durch Vorgabe eines anderen Satzes von Parametern aufgrund von damit geänderten zugeordneten Auftretenswahrscheinlichkeiten die Entscheidung in der ansonsten gleichen Situation auch zugunsten der anderen Objektart (Platiktüte) oder auch z. B. zugunsten einer ganz anderen Objektart (z. B. „Tier“) getroffen werden.In one embodiment, the object recognition algorithm is designed to assign respective probabilities of occurrence to predetermined types of objects and to take them into account for the recognition of objects, these probabilities of occurrence being determined by the specified parameters (i.e. at least partly determined or influenced by them). If z. For example, when a “normal” set of certain parameters is specified, the occurrence of an object type “ball (e.g. football)” and an object type “plastic bag” are assigned the same probability of occurrence and the algorithm then searches for “objective”, i. H. only makes a decision based on criteria based on the image information of the image (e.g. in favor of "ball"), then by specifying a different set of parameters based on the changed associated probabilities of occurrence, the decision in the otherwise same situation could also be in favor of the other object type ( Plastic bag) or z. B. in favor of a completely different property type (e.g. "animal").
Die vorbestimmten Arten von Objekten können z. B. gemäß einer Klassifizierung von grundsätzlich möglichen Objekten in der Umgebung eines Fahrzeuges definiert sein.The predetermined types of objects can e.g. B. be defined according to a classification of basically possible objects in the vicinity of a vehicle.
Die vorbestimmten Arten von Objekten können z. B. wenigstens eine Objektart umfassen, die ausgewählt ist aus der Gruppe bestehend aus Fahrbahnbegrenzung, Fahrbahnmarkierung, Verkehrszeichen, Lichtzeichenanlage, Fahrzeug, Person.The predetermined types of objects can e.g. B. comprise at least one type of object selected from the group consisting of lane delimitation, lane marking, traffic sign, traffic light system, vehicle, person.
Die Arten von Objekten können dem jeweiligen konkreten Anwendungsfall angepasst definiert sein, und beispielsweise könnte alternativ oder zusätzlich zu einer eher grob definierten Objektart wie z. B. „Fahrzeug“ auch eine feinere Klassifizierung z. B. basierend auf der Art von Fahrzeug vorgenommen werden, resultierend beispielsweise in aussagekräftigeren Objektarten wie PKW, LKW, Motorrad, Motorroller, Fahrrad, Fahrrad mit Anhänger, Tretroller etc. In analoger Weise könnten auch andere, eher grob definierte Objektarten (wie z. B. jede der vorstehend bereits genannten Objektarten) jeweils feiner klassifiziert sein. Bei der Objektart „Person“ könnte z. B. zwischen „große Person“ (Erwachsener) und „kleine Person“ (Kind) und bei der Objektart „Verkehrszeichen“ könnte z. B. zwischen Verkehrszeichen betreffend ruhenden Verkehr und Verkehrszeichen betreffend fahrenden Verkehr unterschieden werden, usw.The types of objects can be defined adapted to the respective specific application, and for example, as an alternative or in addition to a more roughly defined object type such as. B. "Vehicle" also has a finer classification z. B. based on the type of vehicle, resulting, for example, in more meaningful object types such as cars, trucks, motorcycles, scooters, bicycles, bicycles with trailers, scooters, etc. . Each of the above-mentioned object types) each have to be classified more finely. In the case of the property type "Person", z. B. between "large person" (adult) and "small person" (child) and with the object type "traffic sign" could z. B. distinguish between traffic signs relating to stationary traffic and traffic signs relating to moving traffic, etc.
Vorteilhaft können mit der Erfindung von der geografischen Position abhängige Auftretenswahrscheinlichkeiten bei der Objekterkennung vom Objekterkennungsalgorithmus insbesondere z. B. in Zweifelsfällen bei der Entscheidungsfindung mitberücksichtigt werden.Advantageously, with the invention of the geographical position-dependent occurrence probabilities in the object recognition from the object recognition algorithm, in particular z. B. be taken into account in the decision-making process in cases of doubt.
Beispielsweise könnte somit z. B. für eine geografische Position in einer sehr ländlichen Gegend eine Auftretenswahrscheinlichkeit für landwirtschaftliche Fahrzeuge (z. B. Traktoren etc.) größer und z. B. eine Auftretenswahrscheinlichkeit für Tretroller kleiner angenommen werden als die jeweiligen Auftretenswahrscheinlichkeiten an geografischen Positionen, die innerhalb einer Stadt liegen.For example, could thus z. B. for a geographical position in a very rural area, a probability of occurrence for agricultural vehicles (z. B. tractors etc.) is greater and z. B. a probability of occurrence for scooters can be assumed to be smaller than the respective probability of occurrence at geographical positions that are within a city.
Die dem Objekterkennungsalgorithmus vorzugebenden Parameter können vorteilhaft die Entscheidungsfindung des Objekterkennungsalgorithmus in Richtung einer zuverlässigeren und präziseren Objekterkennung beeinflussen.The parameters to be specified for the object recognition algorithm can advantageously influence the decision-making process of the object recognition algorithm in the direction of more reliable and more precise object recognition.
In einer Ausführungsform weist das Verfahren ferner folgende Schritte auf:
- - Übermitteln von Anpassungsdaten von einem Server an eine den Objekterkennungsalgorithmus durchführende Auswerteeinrichtung, wobei die Anpassungsdaten von dem Server basierend auf der geografischen Position des Fahrzeuges und basierend auf in dem Server für ein bestimmtes geografisches Gebiet gespeicherten positionsabhängigen Umgebungsdaten ermittelt wurden, und
- - Anpassen der Parameter für den Objekterkennungsalgorithmus basierend auf den von dem Server an die Auswerteeinrichtung übermittelten Anpassungsdaten.
- - Transmission of adjustment data from a server to an evaluation device performing the object recognition algorithm, the adjustment data being determined by the server based on the geographical position of the vehicle and based on position-dependent environmental data stored in the server for a specific geographical area, and
- Adaptation of the parameters for the object recognition algorithm based on the adaptation data transmitted from the server to the evaluation device.
Der Begriff „Server“ ist im Sinne der Erfindung breit zu verstehen als eine Einrichtung, in welcher positionsabhängige Umgebungsdaten gespeichert sind und welche für vorgegebene geografische Positionen (des Fahrzeuges) entsprechende Anpassungsdaten ermitteln kann. Bei dem Server kann es sich insbesondere um einen zentralen Server (z. B. stationäres Rechenzentrum, einschließlich Cloud-basierter Server) handeln, der die genannten Anpassungsdaten für eine Vielzahl von Fahrzeugen bereitstellt. Alternativ kann der Server jedoch auch ganz oder teilweise im Fahrzeug angeordnet sein, beispielsweise implementiert als ein funktionaler Bestandteil einer im Fahrzeug angeordneten Auswerteeinrichtung. Insbesondere für Anwendungen der Erfindung mit begrenzter (kleinerer) geografischer Ausdehnung können die Umgebungsdaten auch an Bord des Fahrzeuges vorgehalten werden und z. B. von Zeit zu Zeit über eine Telekommunikationsverbindung (Mobilfunk, mobiler Internatanschluss etc.) aktualisiert werden.The term “server” is to be understood broadly in the context of the invention as a device in which position-dependent environmental data are stored and which can determine corresponding adaptation data for predetermined geographical positions (of the vehicle). The server can, in particular, be a central server (e.g. stationary data center, including cloud-based servers) which provides the aforementioned adaptation data for a large number of vehicles. Alternatively, however, the server can also be arranged entirely or partially in the vehicle, for example implemented as a functional component of an evaluation device arranged in the vehicle. In particular for applications of the invention with a limited (smaller) geographical extent, the environmental data can also be kept on board the vehicle and z. B. be updated from time to time via a telecommunications connection (cellular network, mobile Internet connection, etc.).
Das geografische Gebiet, für das im Server die positionsabhängigen Umgebungsdaten gespeichert sind, besitzt bevorzugt eine Größe von mindestens 100 km2, weiter bevorzugt mindestens 10.000 km2, oder sogar noch mehr, und kann z. B. das Territorium eines bestimmten Staates (Deutschland, USA, China etc.) oder das Territorium eines Staatenverbunds (z. B. Europäische Union etc.) umfassen oder durch ein solches begrenzt sein.The geographical area for which the position-dependent environmental data is stored in the server preferably has a size of at least 100 km 2 , more preferably at least 10,000 km 2 , or even more, and can e.g. B. the territory of a certain state (Germany, USA, China etc.) or the territory of an association of states (e.g. European Union etc.) or be limited by such.
In einer Ausführungsvariante stellen die Umgebungsdaten als solche bereits die Anpassungsdaten dar oder beinhalten die Anpassungsdaten, so dass die Ermittlung der an die Auswerteeinrichtung zu übermittelnden Anpassungsdaten dann z. B. durch ein Auswählen einer speziellen Teilmenge der Umgebungsdaten, nämlich entsprechend der geografischen Position des betreffenden Fahrzeuges, aus den im Server insgesamt gespeicherten Umgebungsdaten realisiert werden kann.In one embodiment variant, the environmental data as such already represent the adjustment data or contain the adjustment data, so that the determination of the adjustment data to be transmitted to the evaluation device then z. B. by selecting a special subset of the environment data, namely corresponding to the geographical position of the vehicle in question, can be realized from the environment data stored in total in the server.
Alternativ oder zusätzlich kann in dem Server jedoch auch z. B. ein Ermittlungsalgorithmus verwendet werden, mittels welchem basierend auf der geografischen Position des Fahrzeuges aus der Gesamtheit der positionsabhängigen Umgebungsdaten für das Fahrzeug relevante Umgebungsdaten ausgewählt und zur Bildung der für das Fahrzeug relevanten Anpassungsdaten noch weiterverarbeitet werden. Der Server kann hierbei z. B. als eine vollständig externe Einrichtung (außerhalb des Fahrzeuges) implementiert sein, oder aber vollständig oder zumindest teilweise durch eine im Fahrzeug angeordnete Einrichtung mit entsprechender Speicher- und Rechenkapazität (z. B. als funktionaler Bestandteil einer Auswerteeinrichtung an Bord des Fahrzeuges) implementiert sein.Alternatively or additionally, however, z. For example, a determination algorithm can be used by means of which, based on the geographical position of the vehicle, environmental data relevant to the vehicle is selected from the entirety of the position-dependent environmental data and further processed to form the adaptation data relevant to the vehicle. The server can here, for. B. can be implemented as a completely external device (outside the vehicle), or completely or at least partially by a device arranged in the vehicle with appropriate storage and computing capacity (e.g. as a functional component of an evaluation device on board the vehicle) .
Beispielsweise könnten die Umgebungsdaten hierbei z. B. eher allgemeinere Merkmale einer betreffenden Umgebung (z. B. „ländliche Gegend“, „Stadtgebiet“, „Innenstadtgebiet“, „Spielplatznähe“ etc.) spezifizieren, welche dann durch den Ermittlungsalgorithmus zur Bildung der betreffenden konkreten Anpassungsdaten herangezogen werden. Die Anpassungsdaten können dann z. B. konkrete Spezifikationen der Parametervorgabe für den Objekterkennungsalgorithmus beinhalten und/oder insbesondere z. B. diese Parameter als solche (oder zumindest einen anzupassenden Teil der Parameter) beinhalten.For example, the environmental data could here, for. B. specify more general characteristics of a relevant environment (e.g. "rural area", "urban area", "inner city area", "playground area" etc.), which are then used by the determination algorithm to generate the relevant specific adjustment data. The adjustment data can then e.g. B. contain specific specifications of the parameter specification for the object recognition algorithm and / or in particular z. B. contain these parameters as such (or at least a part of the parameters to be adjusted).
In einer Weiterbildung weist das Verfahren ferner folgende Schritte auf:
- - Erfassen der geografischen Position des Fahrzeuges, und
- - Übermitteln der erfassten geografischen Position des Fahrzeuges an den Server.
- - Detecting the geographical position of the vehicle, and
- - Transmission of the recorded geographic position of the vehicle to the server.
Das Erfassen der geografischen Position des Fahrzeuges kann insbesondere z. B. mittels einer in dem Fahrzeug angeordneten Ortungseinrichtung erfolgen. Insbesondere kann zum Erfassen der geografischen Position des Fahrzeuges eine satellitengestützte Ortung des Fahrzeuges vorgesehen sein, etwa unter Verwendung einer in dem Fahrzeug angeordneten GPS-Empfangseinrichtung.The detection of the geographical position of the vehicle can in particular, for. B. by means of a location device arranged in the vehicle. In particular, satellite-supported localization of the vehicle can be provided for detecting the geographical position of the vehicle, for example using a GPS receiving device arranged in the vehicle.
Das Übermitteln der erfassten geografischen Position des Fahrzeuges kann z. B. unter Verwendung eines Mobilfunknetzes und z. B. unter Nutzung einer (oftmals ohnehin vorhandenen) Internetanbindung des Fahrzeuges erfolgen.The transmission of the detected geographical position of the vehicle can, for. B. using a cellular network and z. B. using an (often already existing) Internet connection of the vehicle.
In einer Ausführungsform ist zumindest eine Komponente der Auswerteeinrichtung, oder z. B. die gesamte Auswerteeinrichtung, in dem Fahrzeug angeordnet, wobei in diesem Fall das Übermitteln der Anpassungsdaten von dem Server an das Fahrzeug bzw. an diese Komponente der Auswerteeinrichtung durch ein so genanntes Geocasting der Anpassungsdaten an innerhalb des geografischen Gebiets befindliche Fahrzeuge realisiert sein kann.In one embodiment, at least one component of the evaluation device, or z. B. the entire evaluation device, arranged in the vehicle, in which case the transmission of the adaptation data from the server to the vehicle or to this component of the evaluation device can be implemented by a so-called geocasting of the adaptation data to vehicles located within the geographical area.
Beim Geocasting werden bestimmte Daten, hier z. B. die für ein bestimmtes Fahrzeug vorgesehenen Anpassungsdaten, an Empfänger innerhalb eines räumlich abgegrenzten geografischen Gebiets übermittelt.When geocasting certain data, here z. B. the adjustment data provided for a specific vehicle, transmitted to recipients within a spatially delimited geographical area.
Bei dieser Ausführungsvariante der Erfindung kann das räumlich abgegrenzte Gebiet z. B. eine Größe von bevorzugt mindestens 0,01 km2, insbesondere mindestens 0,05 km2 und/oder maximal z. B. 5 km2, insbesondere maximal 1 km2 besitzen.In this embodiment of the invention, the spatially delimited area z. B. a size of preferably at least 0.01 km 2 , in particular at least 0.05 km 2 and / or a maximum of z. B. 5 km 2 , in particular a maximum of 1 km 2 .
Zu bedenken ist (z. B. beim Einsatz von Geocasting), dass die Anpassungsdaten umso relevanter bzw. nutzbringender gebildet und an Fahrzeuge übermittelt werden können, je kleiner räumlich abgegrenzte Gebiete gewählt werden, denen (z. B. im Rahmen eines Geocasting) jeweils bestimmte (identische) Anpassungsdaten zugeordnet sind. Daraus ergibt sich in der Praxis z. B. eine zweckmäßige Maximalausdehnung dieser einzelnen Gebiete, um einen hohen Nutzen der Anpassungsdaten zu gewährleisten. Andererseits kann aber auch eine bestimmte Minimalausdehnung dieser Gebiete zweckmäßig sein, z. B. einerseits deshalb, weil sich Auftretenswahrscheinlichkeiten von Objekten auf sehr kleinen Wegstrecken (z. B. über eine Fahrstrecke von etwa 100 m) in der Praxis ohnehin eher unmerklich ändern, und andererseits weil mit abnehmender Größe des Gebiets der Aufwand für die Kommunikation der Anpassungsdaten an die z. B. im Fahrzeug angeordnete Auswerteeinrichtung entsprechend zunimmt, insbesondere wenn das Fahrzeug sich relativ schnell bewegt.It should be borne in mind (e.g. when using geocasting) that the adaptation data can be created and transmitted to vehicles all the more relevant and useful, the smaller spatially delimited areas are selected (e.g. in the context of geocasting) certain (identical) adjustment dates are assigned. This results in z. B. an expedient maximum extent of these individual areas in order to ensure a high benefit of the adjustment data. On the other hand, however, a certain minimum extent of these areas can also be appropriate, e.g. B. on the one hand because the probabilities of occurrence of objects on very short distances (e.g. over a distance of about 100 m) change rather imperceptibly in practice, and on the other hand because the effort for communicating the adaptation data with decreasing size of the area to the z. B. arranged in the vehicle evaluation device increases accordingly, especially when the vehicle is moving relatively quickly.
In einer Ausführungsform repräsentieren die in dem Server gespeicherten positionsabhängigen Umgebungsdaten Merkmale in einem Bereich um die betreffende geografische Position und/oder den vorbestimmten Arten von Objekten in diesem Bereich zuzuordnende Auftretenswahrscheinlichkeiten.In one embodiment, the position-dependent environmental data stored in the server represent features in an area around the geographic position in question and / or probabilities of occurrence that can be assigned to the predetermined types of objects in this area.
Wie oben bereits beispielhaft erläutert, können von den Umgebungsdaten repräsentierte Merkmale z. B. spezifizieren, ob es sich um eine ländliche Gegend oder um eine städtische Gegend handelt, wobei z. B. eine derartige Klassifikation einer die geografische Position beinhaltenden Umgebung auch verfeinert vorgesehen sein kann. Bei der ländlichen Gegend könnte z. B. nach „Autobahn- bzw. Schnellstraßenbereich in ländlicher Gegend“ und „durch Landstraßen und/oder kleinere Dörfer geprägte ländliche Gegend“ unterschieden werden. Insbesondere können die positionsabhängigen Umgebungsdaten z. B. quantitative Angaben zum jeweiligen Ausmaß des Vorliegens von vorbestimmten Merkmalen enthalten.As already explained above by way of example, features represented by the environmental data can e.g. Specify whether it is a rural area or an urban area, e.g. B. such a classification of an environment containing the geographical position can also be provided in a more refined manner. In the rural area, for. For example, a distinction can be made between “motorway or expressway area in rural areas” and “rural areas characterized by rural roads and / or smaller villages”. In particular, the position-dependent environmental data z. B. contain quantitative information on the respective extent of the presence of predetermined features.
In einer Ausführungsform umfassen die Merkmale das Vorhandensein vorbestimmter Arten von Bauwerken, insbesondere Gebäuden, in dem Bereich um die betreffende geografische Position. Insbesondere können diese Arten z. B. jeweils durch einen bestimmten Nutzungszweck des Bauwerkes bzw. Gebäudes definiert sein.In one embodiment, the features include the presence of predetermined types of structures, in particular buildings, in the area around the geographic position in question. In particular, these types can, for. B. each be defined by a specific use of the structure or building.
Bauwerke, insbesondere Gebäude, werden stets zu einem bestimmten Nutzungszweck errichtet, und das Vorhandensein bestimmter Arten von Bauwerken im Bereich um die betreffende geografische Position kann insbesondere abhängig vom Nutzungszweck großen Einfluss auf die Auftretenswahrscheinlichkeiten vorbestimmter Arten von Objekten besitzen. So ist z. B. in der Umgebung von Spielplätzen, Kindergärten und Grundschulen die Auftretenswahrscheinlichkeit von Kindern entsprechend vergrößert. Analog dazu ist z. B. in der Umgebung größerer Einkaufszentren die Auftretenswahrscheinlichkeit von Personen mit (großen) Einkaufstaschen etc. vergrößert.Structures, in particular buildings, are always erected for a specific purpose, and the presence of certain types of structures in the area around the relevant geographical position can have a major influence on the probability of occurrence of predetermined types of objects, in particular depending on the purpose of use. So is z. B. in the vicinity of playgrounds, kindergartens and elementary schools, the probability of occurrence of children increases accordingly. Similarly, z. B. in the vicinity of larger shopping centers, the probability of occurrence of people with (large) shopping bags, etc. increases.
Die vorstehenden Beispiele verdeutlichen auch eine in der Praxis oftmals gegebene Abhängigkeit der Auftretenswahrscheinlichkeiten von Objekten in Abhängigkeit von der Zeit (z. B. Jahreszeit, Wochentag und/oder Tageszeit). Für Kindergärten und Grundschulen etc. ergeben sich z. B. jahreszeitliche Schwankungen (wegen Ferienzeiten) und Wochentag-abhängige Schwankungen (wegen Wochenenden und Feiertagen) und Tageszeit-abhängige Schwankungen (wegen typischen Beginn- und Ende-Uhrzeiten).The above examples also illustrate a dependency of the probabilities of occurrence of objects, which is often given in practice, as a function of time (e.g. time of year, day of the week and / or time of day). For kindergartens and elementary schools etc. there are e.g. B. seasonal fluctuations (because of vacation times) and weekday-dependent fluctuations (because of weekends and public holidays) and time-of-day-dependent fluctuations (because of typical start and end times).
Auch derartige Abhängigkeiten können im Rahmen der Erfindung vorteilhaft berücksichtigt werden, beispielsweise indem die dem Objekterkennungsalgorithmus vorzugebenden Parameter in Abhängigkeit von der Zeit vorgegeben werden (zusätzlich zur Abhängigkeit von der geografischen Position des Fahrzeuges). Vorteilhaft lässt sich auch damit eine „zeitliche Komponente“ der Umgebung des Fahrzeuges berücksichtigen. Dem Objekterkennungsalgorithmus können die Parameter in Abhängigkeit von derjenigen Zeit vorgegeben werden, zu der das betreffende Bild aufgenommen wurde (und zu der dementsprechend bevorzugt („in Echtzeit“) auch die Bildauswertung zur Objekterkennung durchgeführt wird).Such dependencies can also advantageously be taken into account within the scope of the invention, for example by specifying the parameters to be specified for the object recognition algorithm as a function of time (in addition to the dependence on the geographical position of the vehicle). A “time component” of the surroundings of the vehicle can also advantageously be taken into account in this way. The parameters can be specified for the object recognition algorithm as a function of the time at which the relevant image was recorded (and at which the image evaluation for object recognition is accordingly preferably carried out (“in real time”)).
Bei der bereits erläuterten Ausführungsform mit Übermittlung von Anpassungsdaten von einem Server an eine den Objekterkennungsalgorithmus durchführende Auswerteeinrichtung kann dies vorteilhaft z. B. im Rahmen der seitens des Servers durchgeführten Ermittlung der Anpassungsdaten basierend auf den gespeicherten Umgebungsdaten realisiert werden.In the embodiment already explained, with the transmission of adaptation data from a server to an evaluation device performing the object recognition algorithm, this can advantageously, for. B. can be implemented in the context of the determination of the adaptation data carried out by the server based on the stored environmental data.
In einer Ausführungsvariante hierzu beinhalten die gespeicherten Umgebungsdaten bereits wenigstens eine derartige Zeitabhängigkeit eines Merkmals und/oder einer Auftretenswahrscheinlichkeit, so dass diese Zeitabhängigkeit sich auch in den Anpassungsdaten und somit den vorzugebenden Parametern widerspiegelt. Hierzu kann z. B. vorgesehen sein, dass die im Server gespeicherten Umgebungsdaten fortlaufend aktualisiert werden (so dass die Anpassungsdaten zeitabhängig sind).In one embodiment variant of this, the stored environmental data already contain at least one such time dependency of a feature and / or a probability of occurrence, see above that this time dependency is also reflected in the adjustment data and thus in the parameters to be specified. For this purpose, z. For example, it can be provided that the environment data stored in the server are continuously updated (so that the adjustment data are time-dependent).
In einer Ausführungsform umfassen die Merkmale das Vorhandensein vorbestimmter Arten von temporären Ereignissen, insbesondere Veranstaltungen, in dem Bereich um die betreffende geografische Position, insbesondere wobei diese Arten jeweils durch einen bestimmten Zweck des Ereignisses definiert sind.In one embodiment, the features include the presence of predetermined types of temporary events, in particular events, in the area around the geographic position in question, in particular these types each being defined by a specific purpose of the event.
Damit können vorteilhaft insbesondere auch unabhängig von dem Vorhandensein vorbestimmter Arten von Bauwerken bzw. Gebäuden im Bereich um die betreffende geografische Position weitere, insbesondere einmalige und/oder relativ kurzzeitige Einflüsse auf die Auftretenswahrscheinlichkeiten von Objekten bei der Objekterkennung berücksichtigt werden (z. B. temporäre Baumaßnahmen, sportliche, kulturelle oder politische Veranstaltungen, Verkehrsunfälle etc.).In this way, additional, in particular one-off and / or relatively short-term influences on the probabilities of occurrence of objects can be taken into account during object detection (e.g. temporary construction measures), particularly regardless of the presence of predetermined types of structures or buildings in the area around the relevant geographical position , sporting, cultural or political events, traffic accidents, etc.).
In einer Ausführungsform wurden die den vorbestimmten Arten von Objekten in dem Bereich um die betreffende geografische Position zuzuordnenden Auftretenswahrscheinlichkeiten empirisch ermittelt.In one embodiment, the probabilities of occurrence to be assigned to the predetermined types of objects in the area around the geographic position in question were determined empirically.
Diese empirische Ermittlung kann insbesondere durch z. B. systematisch geplante und durchgeführte Testfahrten mit einem Fahrzeug erfolgen, wobei für eine Mehrzahl von vorbestimmten Arten von Objekten jeweilige positionsabhängige und/oder zeitabhängige Auftretenswahrscheinlichkeiten ermittelt werden können.This empirical determination can in particular by z. B. systematically planned and performed test drives take place with a vehicle, it being possible to determine respective position-dependent and / or time-dependent occurrence probabilities for a plurality of predetermined types of objects.
Nochmals zurückkommend auf die bereits erläuterte Möglichkeit, in einem Server positionsabhängige Umgebungsdaten zu speichern, so kann hierfür z. B. vorgesehen sein, das betreffende (zweckmäßigerweise relativ große) geografische Gebiet mittels eines (gedachten) Rasters, insbesondere z. B. regelmäßigen Rasters, z. B. eines quadratischen Rasters oder eines hexagonalen Rasters, in eine Vielzahl von einzelnen Rastergebieten (z. B. Quadrate oder Sechsecke) aufzuteilen und jeweils konstante Umgebungsdaten innerhalb jedes Rastergebiets vorzusehen. Die Ermittlung der Anpassungsdaten für ein bestimmtes Fahrzeug kann dann z. B. so erfolgen, dass hierfür diejenigen Umgebungsdaten herangezogen werden, die für dasjenige Rastergebiet gespeichert sind, innerhalb dessen sich die geografische Position des Fahrzeuges befindet. Alternativ zu einer ausschließlichen Heranziehung dieser Umgebungsdaten kann jedoch auch z. B. vorgesehen sein, beim Ermitteln der Anpassungsdaten eine Interpolation der heranzuziehenden Umgebungsdaten und/oder der zu übermittelnden Anpassungsdaten vorzunehmen, wofür dann die Umgebungsdaten z. B. von mehreren Rastergebieten (einschließlich des Rastergebiets, indem sich das Fahrzeug befindet) herangezogen werden können. Bei einer derartigen Interpolation können (z. B. zur Realisierung einer gewichteten Interpolation) insbesondere z. B. die Abstände der geografischen Position des Fahrzeuges zu den im betreffenden Raster benachbarten Rastergebieten berücksichtigt werden (Je kleiner dieser Abstand, desto größer das „Gewicht“ der für das betreffende Rastergebiet gespeicherten bzw. ermittelten Daten).Coming back again to the possibility already explained of storing position-dependent environmental data in a server. B. be provided, the relevant (expediently relatively large) geographical area by means of an (imaginary) grid, in particular z. B. regular grid, e.g. B. a square grid or a hexagonal grid, to be divided into a plurality of individual grid areas (z. B. squares or hexagons) and to provide constant environmental data within each grid area. The determination of the adjustment data for a specific vehicle can then be done, for. B. be done in such a way that those environmental data are used that are stored for the grid area within which the geographical position of the vehicle is located. As an alternative to an exclusive use of this environmental data, however, z. B. be provided to perform an interpolation of the environment data to be used and / or the adaptation data to be transmitted when determining the adaptation data, for which the environment data z. B. of several grid areas (including the grid area in which the vehicle is located) can be used. In the case of such an interpolation (e.g. to implement a weighted interpolation), in particular e.g. For example, the distances between the geographical position of the vehicle and the neighboring grid areas in the relevant grid are taken into account (the smaller this distance, the greater the “weight” of the data stored or determined for the relevant grid area).
In einer Ausführungsform weist der Objekterkennungsalgorithmus auf:
- - einen ersten Algorithmusteil, der dazu ausgebildet ist, anhand des Bildes eine vorläufige Erkennung der Objekte in der Umgebung des Fahrzeuges durchzuführen,
- - einen zweiten Algorithmusteil, der dazu ausgebildet ist, basierend auf den vorgegebenen Parametern das Ergebnis der vorläufigen Erkennung der Objekte in der Umgebung des Fahrzeuges zu korrigieren.
- - A first algorithm part which is designed to carry out a preliminary detection of the objects in the vicinity of the vehicle on the basis of the image,
- a second algorithm part which is designed to correct the result of the preliminary detection of the objects in the vicinity of the vehicle based on the specified parameters.
Die von dem ersten Algorithmusteil durchgeführte vorläufige Erkennung der Objekte kann z. B. jedes „vorläufig erkannte“ Objekt durch eine quantitative „Objektwahrscheinlichkeit“ spezifizieren, welche einen Grad an Sicherheit (Richtigkeit) der Erkennung des betreffenden Objekts angibt, wobei die von dem zweiten Algorithmusteil durchgeführte Korrektur z. B. für jedes vorläufig erkannte Objekt diese quantitative Angabe basierend auf der für die betreffende Art von Objekt zugeordnete Auftretenswahrscheinlichkeit korrigiert (z. B. durch Multiplikation mit einem entsprechenden Korrekturfaktor). Sodann kann z. B. bei Überschreiten eines vorbestimmten Schwellwerts durch das korrigierte quantitative Ausmaß die jeweilige vorläufige Objekterkennung bestätigt (oder bei Unterschreiten dieses Schwellwerts widerrufen) werden.The preliminary detection of the objects carried out by the first part of the algorithm can e.g. B. specify each “provisionally recognized” object by a quantitative “object probability”, which indicates a degree of certainty (correctness) of the recognition of the object in question. B. for each provisionally recognized object this quantitative information is corrected based on the probability of occurrence assigned to the relevant type of object (e.g. by multiplication with a corresponding correction factor). Then z. B. when a predetermined threshold value is exceeded by the corrected quantitative extent, the respective preliminary object recognition is confirmed (or revoked if this threshold value is undershot).
In einer Weiterbildung dieser Ausführungsform weist der erste Algorithmusteil ein basierend auf durch Training ermittelten KI-Parametern arbeitendes KI-Modul auf.In a further development of this embodiment, the first algorithm part has an KI module that works on the basis of KI parameters determined by training.
Das KI-Modul kann insbesondere z. B. ein künstliches neuronales Netz mit einer Vielzahl von Neuronen und Verbindungen zwischen den Neuronen umfassen, wobei letztere Verbindungen jeweils durch Gewichtungsfaktoren (oder allgemeinere Übertragungsfunktionen) spezifiziert sind, die wiederum durch die KI-Parameter spezifiziert werden.The AI module can in particular, for. B. an artificial neural network with a plurality of neurons and connections between the neurons, the latter connections are each specified by weighting factors (or more general transfer functions), which in turn are specified by the KI parameters.
Bei dieser Ausführungsform kann z. B. vorgesehen sein, dass der erste Algorithmusteil, insbesondere wenn dieser ein KI-Modul aufweist oder aus einem solchen KI-Modul gebildet ist, unabhängig von den vorgegebenen Parametern arbeitet und somit nur der zweite Algorithmusteil basierend auf den vorgegebenen Parametern arbeitet. In diesem Fall wird KI zwar vorteilhaft genutzt, kann jedoch die im Rahmen der Erfindung den bereitgestellten Parametern innewohnende Information nachteiliger Weise nicht nutzen. Diese Nutzung erfolgt erst durch den zweiten Algorithmusteil im Wege einer Korrektur der vorläufigen Objekterkennung. In this embodiment, for. B. be provided that the first part of the algorithm, in particular if this has an KI module or is formed from such an KI module, works independently of the specified parameters and thus only the second part of the algorithm works based on the specified parameters. In this case, AI is used advantageously, but disadvantageously cannot use the information inherent in the parameters provided within the scope of the invention. This use is only made by the second part of the algorithm by way of a correction of the preliminary object recognition.
Nachfolgend wird eine Ausführungsform beschrieben, welche diesen potenziellen Nachteil überwindet und KI gewissermaßen weitgehender einsetzt.In the following, an embodiment is described which overcomes this potential disadvantage and uses AI more extensively, so to speak.
In einer solchen Ausführungsform weist der Objekterkennungsalgorithmus ein basierend auf durch Training ermittelten KI-Parametern arbeitendes KI-Modul auf, wobei diese KI-Parameter als ein Bestandteil der dem Objekterkennungsalgorithmus vorzugebenden Parameter in Abhängigkeit von der geografischen Position des Fahrzeuges vorgegeben werden, indem in Abhängigkeit von der geografischen Position des Fahrzeuges diese KI-Parameter als ein der geografischen Position des Fahrzeuges zugeordneter KI-Parametersatz aus einer Vielzahl von KI-Parametersätzen ausgewählt wird, die vorab empirisch ermittelt und für ein bestimmtes geografisches Gebiet als positionsabhängige KI-Parametersätze gespeichert wurden.In such an embodiment, the object recognition algorithm has an KI module that works based on KI parameters determined by training, these KI parameters being specified as a component of the parameters to be specified for the object recognition algorithm as a function of the geographical position of the vehicle by being specified as a function of the geographical position of the vehicle, these KI parameters are selected as an KI parameter set assigned to the geographical position of the vehicle from a large number of KI parameter sets which have been empirically determined in advance and stored as position-dependent KI parameter sets for a specific geographical area.
In einer Weiterbildung dieser Ausführungsform werden die KI-Parameter zusätzlich in Abhängigkeit von der Zeit (der Aufnahme des Bildes) vorgegeben, indem in Abhängigkeit von der geografischen Position des Fahrzeuges und der Zeit die KI-Parameter als ein der geografischen Position des Fahrzeuges für diese Zeit zugeordneter KI-Parametersatz aus den KI-Parametersätzen ausgewählt wird, die vorab empirisch ermittelt und als positions- und zeitabhängige KI-Parametersätze gespeichert wurden.In a further development of this embodiment, the KI parameters are additionally specified as a function of the time (when the image was taken) by using the KI parameters as a function of the geographical position of the vehicle and the time as a function of the geographical position of the vehicle for this time assigned KI parameter set is selected from the KI parameter sets which have been empirically determined in advance and saved as position and time-dependent KI parameter sets.
Bei dieser Ausführungsform ist nicht ausgeschlossen, dass eine mit dem KI-Modul implementierte Objekterkennung wie bei der vorangehend beschriebenen Ausführungsform nachträglich noch basierend auf den vorgegebenen Parametern korrigiert wird. Dies ist jedoch nicht zwingend, da die als Bestandteil der vorzugebenden Parameter dem KI-Modul vorgegebenen KI-Parameter bereits von der geografischen Position des Fahrzeuges abhängig sind.In this embodiment, it cannot be ruled out that an object recognition implemented with the AI module, as in the embodiment described above, is subsequently corrected based on the specified parameters. However, this is not mandatory, since the KI parameters specified for the KI module as part of the parameters to be specified are already dependent on the geographical position of the vehicle.
Die benötigten positionsabhängigen KI-Parametersätze können in empirischer Weise insbesondere z. B. durch Testfahrten mit einem Fahrzeug ermittelt werden. Entscheidend ist hierbei, dass bei dem Training des KI-Moduls keine Trainingsdaten verwendet werden, die aus verschiedenen bzw. verschiedenartigen geografischen Positionen des Fahrzeuges (Testfahrzeug) gewonnen wurden, sondern vielmehr für jede geografische Position (bzw. z. B. für ein Rastergebiet der oben erwähnten Art) ein spezielles/separates Training durchgeführt wird und somit für eine bestimmte geografische Umgebung (z. B. Rastergebiet) erhaltene Trainingsdaten zur Ermittlung entsprechender (der geografischen Umgebung zugeordneter) KI-Parameter herangezogen werden.The required position-dependent KI parameter sets can be used empirically, in particular z. B. be determined by test drives with a vehicle. The decisive factor here is that the training of the AI module does not use training data that was obtained from different or different geographical positions of the vehicle (test vehicle), but rather for each geographical position (or e.g. for a grid area of the above-mentioned type) a special / separate training is carried out and thus training data obtained for a specific geographical environment (e.g. grid area) are used to determine corresponding AI parameters (assigned to the geographical environment).
Wenn diese Ausführungsform in Kombination mit der bereits beschriebenen Verwendung eines Servers eingesetzt wird, in dem für ein bestimmtes geografisches Gebiet positionsabhängige Umgebungsdaten gespeichert werden, so ist es zweckmäßig, dass diese Umgebungsdaten die entsprechenden KI-Parameter als solche beinhalten. Die Ermittlung der an ein bestimmtes Fahrzeug zu übermittelnden Anpassungsdaten besteht in diesem Fall darin, basierend auf der geografischen Position dieses Fahrzeuges die entsprechenden KI-Parameter auszuwählen und als Anpassungsdaten an die (z. B. im Fahrzeug angeordnete) Auswerteeinrichtung zu übermitteln.If this embodiment is used in combination with the already described use of a server in which position-dependent environment data are stored for a specific geographical area, it is expedient for these environment data to contain the corresponding KI parameters as such. The determination of the adaptation data to be transmitted to a specific vehicle consists in this case in selecting the corresponding AI parameters based on the geographical position of this vehicle and transmitting them as adaptation data to the evaluation device (e.g. located in the vehicle).
Gemäß eines weiteren Aspekts der Erfindung wird ein System zum Auswerten jeweiliger Bilder von jeweiligen Umgebungen einer Vielzahl von Fahrzeugen vorgeschlagen, um anhand der jeweiligen Bilder jeweilige Objekte in der jeweiligen Umgebung der Fahrzeuge zu erkennen, wobei dieses System aufweist:
- - eine Vielzahl von Fahrzeugen, die jeweils aufweisen:
- - eine Bildaufnahmeeinrichtung (z. B. wie oben bereits beschrieben) zum Aufnehmen eines Bildes einer Umgebung des Fahrzeuges,
- - eine Bildauswerteeinrichtung, die dazu ausgebildet ist, das Bild unter Verwendung eines basierend auf vorgegebenen Parametern arbeitenden Objekterkennungsalgorithmus auszuwerten, um Objekte in der Umgebung des Fahrzeuges zu erkennen, und ferner dazu ausgebildet ist, die Parameter für den Objekterkennungsalgorithmus basierend auf Anpassungsdaten anzupassen,
- - einen Server (z. B. wie oben bereits beschrieben), der dazu ausgebildet ist, für ein bestimmtes geografisches Gebiet positionsabhängige Umgebungsdaten zu speichern und für geografische Positionen innerhalb des geografischen Gebiets jeweilige Anpassungsdaten zu ermitteln,
- - optional (im Falle eines außerhalb der Fahrzeug befindlichen Servers) ein Kommunikationssystem, das dazu ausgebildet ist, die von dem Server für die jeweiligen geografischen Positionen der Fahrzeuge jeweils ermittelten Anpassungsdaten von dem Server an die Bildauswerteeinrichtungen der jeweiligen Fahrzeuge zu übermitteln. Denkbar ist jedoch auch, dass jedes der Fahrzeuge selbst mit einem derartigen Server ausgestattet ist (z. B. wie oben bereits beschrieben, z. B. beinhaltend einen lokalen Speicher für Umgebungsinformationen zwecks Bereitstellung der Anpassungsdaten), so dass allenfalls eine lediglich lokal (d.h. an Bord der einzelnen Fahrzeuge bzw. innerhalb einer dort jeweils vorgesehenen Rechnereinrichtung bzw. Auswerteeinrichtung) stattfindende Kommunikation der Anpassungsdaten erforderlich ist.
- - a variety of vehicles, each featuring:
- - an image recording device (e.g. as already described above) for recording an image of the surroundings of the vehicle,
- an image evaluation device which is designed to evaluate the image using an object recognition algorithm that works on the basis of predetermined parameters in order to recognize objects in the vicinity of the vehicle, and is also designed to adapt the parameters for the object recognition algorithm based on adaptation data,
- a server (e.g. as already described above) which is designed to store position-dependent environmental data for a specific geographical area and to determine respective adaptation data for geographical positions within the geographical area,
- - optionally (in the case of a server located outside the vehicle) a communication system which is designed to receive the information determined by the server for the respective geographical positions of the vehicles To transmit adaptation data from the server to the image evaluation devices of the respective vehicles. However, it is also conceivable that each of the vehicles is equipped with such a server itself (e.g. as already described above, e.g. containing a local memory for environmental information for the purpose of providing the adaptation data), so that at most a local (ie on board the individual vehicles or within a computer device or evaluation device provided there in each case, communication of the adaptation data is required.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen mit Bezug auf die beigefügten Zeichnungen weiter beschrieben. Es stellen dar:
-
1 ein Fahrzeug und einige beispielhafte Objekte in dessen Umgebung, -
2 ein Blockdiagramm zur Veranschaulichung eines Verfahrens zur Bildauswertung, um Objekte in der Umgebung zu erkennen, -
3 beispielhafte zu erkennende Arten von Objekten, -
4 ein Blockdiagramm eines Systems zur Durchführung desVerfahrens von 2 gemäß eines Ausführungsbeispiels, -
5 ein Blockdiagramm eines Systems zur Durchführung eines Verfahrens zur Bildauswertung gemäß eines weiteren Ausführungsbeispiels, -
6 ein Blockdiagramm eines Systems zur Durchführung eines Verfahrens zur Bildauswertung gemäß eines weiteren Ausführungsbeispiels, -
7 ein Blockdiagramm eines für eine Bildauswertung verwendbaren Objekterkennungsalgorithmus gemäß eines Ausführungsbeispiels, und -
8 ein Blockdiagramm eines Objekterkennungsalgorithmus gemäß eines weiteren Ausführungsbeispiels.
-
1 a vehicle and some exemplary objects in its vicinity, -
2 a block diagram to illustrate a method for image evaluation in order to recognize objects in the environment, -
3rd exemplary types of objects to be recognized, -
4th FIG. 3 is a block diagram of a system for performing the method of FIG2 according to an embodiment, -
5 a block diagram of a system for performing a method for image evaluation according to a further embodiment, -
6th a block diagram of a system for performing a method for image evaluation according to a further embodiment, -
7th a block diagram of an object recognition algorithm that can be used for image evaluation according to an exemplary embodiment, and -
8th a block diagram of an object recognition algorithm according to a further embodiment.
Die Bezugszahlen von mehrfach vorgesehenen, in ihrer Wirkung jedoch analogen Komponenten wie z. B. der Objekte
In
Unabhängig davon, ob es sich bei dem Fahrzeug
In dem Beispiel von
Ferner sei angenommen, dass das Fahrzeug
Als Ergebnis der Objekterkennung liefert der Objekterkennungsalgorithmus
Falls das Fahrzeug
Falls das Fahrzeug
Abweichend vom bis hierher beschriebenen Beispiel könnte die zur Durchführung des Objekterkennungsalgorithmus
Eine Besonderheit des in
In
Das Vorgabemittel
Der Objekterkennungsalgorithmus
Jedes der Objekte
Beispielsweise könnten in Verallgemeinerung des Objekts
Beispielsweise könnten in Konkretisierung des Objekts
Alternativ oder zusätzlich können z. B. auch durch Kombinationen von Einzelobjekten (bzw. Einzelobjektarten) definierte Objektarten verwendet werden, wie etwa für die in
Bei der nachfolgenden Beschreibung von weiteren Ausführungsbeispielen werden für gleichwirkende Komponenten die gleichen Bezugszeichen verwendet. Dabei wird im Wesentlichen nur auf die Unterschiede zu dem bzw. den bereits beschriebenen Ausführungsbeispielen eingegangen und im Übrigen hiermit ausdrücklich auf die Beschreibung vorangegangener Ausführungsbeispiele verwiesen.In the following description of further exemplary embodiments, the same reference symbols are used for components with the same effect. Essentially, only the differences from the exemplary embodiment (s) already described will be discussed, and reference is hereby expressly made to the description of previous exemplary embodiments.
Das System
Die Bildauswerteeinrichtung
Die in diesem Beispiel vollständig an Bord des Fahrzeuges
Das System
Der Server
Das System
Es versteht sich, dass das System
Der Server
Das mittels des System
- - Durchführen eines basierend auf vorgegebenen Parametern
PAR arbeitenden Objekterkennungsalgorithmus 32 , um anhand desBildes 34 Objekte20 inder Umgebung 12 des Fahrzeuges10 zu erkennen, - - Übermitteln von Anpassungsdaten ADJ von einem
Server 42 aneine den Objekterkennungsalgorithmus 32 durchführende (z. B. indem Fahrzeug 10 angeordnete)Auswerteeinrichtung 50 , wobei diese Anpassungsdaten ADJvon dem Server 42 basierend auf der geografischen Position POS des Fahrzeuges10 (bzw. eines betreffenden Fahrzeuges) und basierend auf indem Server 42 für ein bestimmtes geografisches Gebiet gespeicherten positionsabhängigen Umgebungsdaten ENV ermittelt werden, - - Anpassen der Parameter PAR für
den Objekterkennungsalgorithmus 32 basierend auf denvon dem Server 42 andie Bildauswerteeinrichtung 50 übermittelten Anpassungsdaten ADJ.
- - Carrying out an object recognition algorithm that works on the basis of
predetermined parameters PAR 32 to use thepicture 34 Objects20th in the neighborhood12th of thevehicle 10 to recognize - - Transmission of adjustment data ADJ from a
server 42 to theobject recognition algorithm 32 performing (e.g. in thevehicle 10 arranged)evaluation device 50 , this adjustment data ADJ from theserver 42 based on the vehicle's geographical position POS10 (or a relevant vehicle) and based on in theserver 42 position-dependent environmental data ENV stored for a specific geographical area are determined, - - Adjustment of the parameters PAR for the
object recognition algorithm 32 based on the from theserver 42 to theimage evaluation device 50 transmitted adjustment data ADJ.
Die in dem Server
Die Merkmale können sich hierbei insbesondere z. B. auf das Vorhandensein (oder Nichtvorhandensein) vorbestimmter Arten von Bauwerken, insbesondere Gebäuden, in dem Bereich um die betreffende Position POS beziehen, wobei diese Bauwerksarten jeweils z. B. durch einen bestimmten Nutzungszweck des Bauwerkes definiert sein können (z. B. Nutzung als Schule, Kindergarten, Einkaufszentrum, Museum, Fahrradparkhaus etc.). Alternativ oder zusätzlich können die Merkmale sich z. B. auf das (momentane) Vorhandensein bzw. Nichtvorhandensein vorbestimmter Arten von temporären Ereignissen beziehen, wie z. B. Veranstaltungen oder Baumaßnahmen in dem Bereich um die betreffende Position POS, wobei diese Arten jeweils z. B. durch einen bestimmten Zweck des Ereignisses definiert sein können (z. B. Errichtung eines Bauwerks, Sanierung einer Straße, sportliche Veranstaltung, Demonstrationszug, Notfalleinsatz an einem Unfallort etc.).The features can be in particular z. B. relate to the presence (or non-existence) of predetermined types of structures, in particular buildings, in the area around the relevant position POS, these types of structures each z. B. can be defined by a specific purpose of the building (e.g. use as a school, kindergarten, shopping center, museum, bicycle parking garage, etc.). Alternatively or additionally, the features can be, for. B. refer to the (current) presence or absence of predetermined types of temporary events, such as e.g. B. events or construction work in the area around the relevant position POS, these types each z. B. can be defined by a specific purpose of the event (e.g. construction of a building, renovation of a street, sporting event, demonstration parade, emergency response at an accident site, etc.).
Um bei dem Bildauswerteverfahren Veränderungen derartiger Merkmale und insbesondere auch temporäre Ereignisse berücksichtigen zu können, werden die im Server
- - eine Vielzahl von Fahrzeugen wie z. B.
das dargestellte Fahrzeug 10 , die jeweils aufweisen:eine Bildaufnahmeeinrichtung 60 zum Aufnehmen eines Bildes34 einer Umgebung 12 des Fahrzeuges;eine Bildauswerteeinrichtung 50 , die dazu ausgebildet ist, das durch Bilddaten PIC repräsentierte Bild unter Verwendung eines basierend auf vorgegebenen ParameternPAR arbeitenden Objekterkennungsalgorithmus 32 auszuwerten, um Objekte20 inder Umgebung 12 des Fahrzeuges zu erkennen, und ferner dazu ausgebildet ist, die Parameter PAR für den Objekterkennungsalgorithmus basierend auf zugeführten Anpassungsdaten ADJ anzupassen; und eine Ortungseinrichtung GPS zum Erfassen der geografischen Position POS des Fahrzeuges, wie insbesondere eine Empfangseinrichtung zum Empfangen und Auswerten von Satellitensignalen zur Ortung des Fahrzeuges, - -
einen Server 42 , der dazu ausgebildet ist, für ein bestimmtes geografisches Gebiet positionsabhängige Umgebungsdaten ENV zu speichern und für geografische Positionen innerhalb des geografischen Gebiets jeweilige Anpassungsdaten ADJ zu ermitteln, - - ein Kommunikationssystem (z. B. Mobilfunknetz), das dazu verwendet wird, um die
von dem Server 42 für die jeweiligen geografischen Positionen POS der Fahrzeuge jeweils ermittelten Anpassungsdaten ADJ andie betreffenden Bildauswerteeinrichtungen 50 der jeweiligen Fahrzeuge zu übermitteln, und um die von den Ortungseinrichtungen GPS jeweils erfassten geografischen Positionen POS der Fahrzeuge anden Server 42 zu übermitteln.
- - a variety of vehicles such as B. the vehicle shown
10 each comprising: animage pickup device 60 to take apicture 34 an environment12th of the vehicle; animage evaluation device 50 , which is designed to generate the image represented by image data PIC using an object recognition algorithm that operates on the basis ofpredetermined parameters PAR 32 evaluate to objects20th in the neighborhood12th of the vehicle, and is further designed to adapt the parameters PAR for the object recognition algorithm based on supplied adaptation data ADJ; and a location device GPS for detecting the geographical position POS of the vehicle, such as in particular a receiving device for receiving and evaluating satellite signals for locating the vehicle, - - a
server 42 which is designed to store position-dependent environment data ENV for a specific geographical area and to determine respective adaptation data ADJ for geographical positions within the geographical area, - - A communication system (e.g. cellular network) that is used to receive the from the
server 42 adaptation data ADJ determined in each case for the respective geographical positions POS of the vehicles to the relevantimage evaluation devices 50 of the respective vehicles, and to transmit the geographic positions POS of the vehicles respectively recorded by the positioning devices GPS to theserver 42 to submit.
- - eine Vielzahl von Fahrzeugen
10-1 ,10-2 ,10-3 ... (z. B. mehr als 1000 Fahrzeuge), die jeweils aufweisen: eine Bildaufnahmeeinrichtung zum Aufnehmen eines Bildes einer jeweiligen Umgebung des betreffenden Fahrzeuges; eine Bildauswerteeinrichtung, die dazu ausgebildet ist, das jeweilige Bild unter Verwendung eines basierend auf vorgegebenen Parametern arbeitenden Objekterkennungsalgorithmus auszuwerten, um Objekte in der jeweiligen Umgebung zu erkennen, und ferner dazu ausgebildet ist, die Parameter für den Objekterkennungsalgorithmus basierend auf jeweils zugeführten Anpassungsdaten ADJ1, ADJ2, ADJ3 ... anzupassen; und (optional) z. B. eine Ortungseinrichtung zum Erfassen der geografischen Position des betreffenden Fahrzeuges, - -
einen Server 42 , der dazu ausgebildet ist, für ein bestimmtes geografisches Gebiet positionsabhängige Umgebungsdaten ENV zu speichern und für geografische Positionen innerhalb des geografischen Gebiets jeweilige Anpassungsdaten zu ermitteln, - - ein unter Nutzung eines Mobilfunknetzes arbeitendes Kommunikationssystem
70 , das als ein Geocasting-System eingesetzt wird, um dievon dem Server 42 für die jeweiligen geografischen Positionen POS1, POS2, POS3 ... der Fahrzeuge10-1 ,10-2 ,10-3 ... jeweils ermittelten Anpassungsdaten ADJ1, ADJ2, ADJ3... an die betreffenden Bildauswerteeinrichtungen der jeweiligen Fahrzeuge10-1 ,10-2 ,10-3 ... zu übermitteln, und gegebenenfalls auch die von den jeweiligen Ortungseinrichtungen erfassten geografischen Positionen POS1, POS2, POS3 ... der Fahrzeuge10-1 ,10-2 ,10-3 ... anden Server 42 zu übermitteln.
- - a wide variety of vehicles
10-1 ,10-2 ,10-3 ... (e.g. more than 1000 vehicles), each having: an image recording device for recording an image of a respective environment of the vehicle in question; an image evaluation device which is designed to evaluate the respective image using an object recognition algorithm that works on the basis of predetermined parameters in order to recognize objects in the respective environment, and is also designed to evaluate the parameters for the object recognition algorithm based on the respectively supplied adaptation data ADJ 1 , ADJ 2 , ADJ 3 ... adapt; and (optionally) e.g. B. a locating device to record the geographical position of the vehicle concerned, - - a
server 42 which is designed to store position-dependent environmental data ENV for a specific geographical area and to determine respective adaptation data for geographical positions within the geographical area, - - a communication system that works using a
cellular network 70 that is being used as a geocasting system to view those from theserver 42 for the respective geographical positions POS 1 , POS 2 , POS 3 ... of the vehicles10-1 ,10-2 ,10-3 ... in each case determined adaptation data ADJ 1 , ADJ 2 , ADJ 3 ... to the relevant image evaluation devices of the respective vehicles10-1 ,10-2 ,10-3 ... to be transmitted, and possibly also the geographical positions POS 1 , POS 2 , POS 3 ... of the vehicles recorded by the respective location devices10-1 ,10-2 ,10-3 ... to theserver 42 to submit.
Für die Ausgestaltung des Servers
Darüber hinaus ist es bei einem erfindungsgemäßen System außerdem möglich, unter Verwendung eines solchen („bidirektionalen“) Kommunikationssystems alternativ oder zusätzlich zu der oben erläuterten Bereitstellung der Eingangsdaten INP durch Behörden oder sonstige Organisationen eine Bereitstellung der Eingangsdaten INP wenigstens teilweise mit Hilfe der Fahrzeuge
Derartige an den Server übertragene Fahrzeugumgebungsdaten können insbesondere eine Information über eine oder mehrere Auftretenswahrscheinlichkeiten der vorbestimmten Arten von Objekten (an den jeweiligen Positionen der jeweiligen Fahrzeuge) beinhalten, so dass seitens des Servers basierend auf dieser Information vorteilhaft eine Aktualisierung der im Server gespeicherten positionsabhängigen Umgebungsdaten erfolgen kann.Such vehicle environment data transmitted to the server can in particular contain information about one or more probabilities of occurrence of the predetermined types of objects (at the respective positions of the respective vehicles) so that the server advantageously updates the position-dependent environment data stored in the server based on this information can.
Das Ergebnis der vorläufigen Erkennung kann insbesondere vorläufige Objektdaten beinhalten, welche insbesondere z. B. eine Liste der vom Objekterkennungsalgorithmus
Die Korrektur kann in diesem Fall z. B. darin bestehen, die einzelnen Wahrscheinlichkeiten jeweils mittels eines Korrekturwerts zu korrigieren (z. B. mit einem Korrekturfaktor zu multiplizieren), um somit für jedes vorläufig erkannte Objekt korrigierte Wahrscheinlichkeiten zu erhalten und basierend darauf das Endergebnis (Objektdaten OBJ) zu ermitteln. Durch die Korrektur können z. B. die Wahrscheinlichkeiten derjenigen Objekte erhöht werden, die einer Objektart angehören, für welche durch die vorgegebenen Parameter PAR eine relativ hohe Auftretenswahrscheinlichkeit bestimmt wird. Umgekehrt können bei der Korrektur z. B. die Wahrscheinlichkeiten derjenigen Objekte verringert werden, die einer Objektart mit relativ geringer Auftretenswahrscheinlichkeit angehören.The correction can in this case, for. B. consist in correcting the individual probabilities in each case by means of a correction value (e.g. to multiply by a correction factor) in order to obtain corrected probabilities for each provisionally recognized object and to determine the final result (object data OBJ) based on this. The correction can, for. B. the probabilities of those objects are increased that belong to an object type for which a relatively high probability of occurrence is determined by the specified parameters PAR. Conversely, when correcting z. B. the probabilities of those objects that belong to an object type with a relatively low probability of occurrence are reduced.
Im Beispiel von
Im Rahmen der Erfindung kann ein KI-Modul derart ausgebildet sein, dass dessen KI-Parameter, welche die Art und Weise der Wandlung von Eingangsdaten, hier z. B. der Bilddaten PIC, in Ausgangsdaten, hier z. B. in die Objektdaten OBJ, bestimmen, durch ein Selbstlernen und/oder ein Training derart veränderbar sind, dass damit eine Verbesserung der Algorithmusqualität (hinsichtlich der Korrektheit der ausgegebenen Objektdaten OBJ) erzielt werden kann. Beim Selbstlernen bzw. dem Training werden Erfahrungsdaten bzw. Trainingsdaten bestehend aus (einer Vielzahl von) zueinander passenden Eingangsdaten und Ausgangsdaten verwendet (d.h. beinhaltend jeweils „korrekte“ Ausgangsdaten) und im Falle einer Abweichung der für diese Eingangsdaten vom KI-Modul tatsächlich gelieferten Ausgangsdaten von den „korrekten“ Ausgangsdaten die KI-Parameter so variiert, dass damit die Abweichung verringert (insbesondere optimiert) wird.In the context of the invention, an KI module can be designed in such a way that its KI parameters, which determine the way in which input data is converted, here e.g. B. the image data PIC, in output data, here z. B. in the object data OBJ, can be changed by self-learning and / or training in such a way that an improvement in the algorithm quality (with regard to the correctness of the output object data OBJ) can be achieved. In self-learning or training, experience data or training data consisting of (a large number of) matching input data and output data are used (that is, each containing "correct" output data) and, in the event of a discrepancy between the output data actually supplied for this input data by the KI module, and the "correct" output data varies the KI parameters in such a way that the deviation is reduced (in particular optimized).
Der Objekterkennungsalgorithmus
Zusammenfassend schlägt die Erfindung im Rahmen einer mittels einer Bildauswertung implementierten Objekterkennung in einer Umgebung eines Fahrzeuges eine „situative Gewichtung“ von Erkennungswahrscheinlichkeiten innerhalb des Objekterkennungsalgorithmus vor. Vorteilhaft kann damit die Wahrscheinlichkeit für eine korrekte Objekterkennung erhöht werden. Wesentlich hierfür ist die Verwendung einer zusätzlichen Eingangsinformation (Parameter PAR), welche in Abhängigkeit von der (momentanen) geografischen Position des Fahrzeuges gebildet wird und die Arbeitsweise des eingesetzten Objekterkennungsalgorithmus entsprechend beeinflusst.In summary, the invention proposes a “situational weighting” of recognition probabilities within the object recognition algorithm in the context of an object recognition implemented by means of an image evaluation in the surroundings of a vehicle. In this way, the probability of correct object recognition can advantageously be increased. Essential for this is the use of additional input information (parameter PAR), which is formed as a function of the (current) geographical position of the vehicle and accordingly influences the operation of the object recognition algorithm used.
Claims (13)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019219144.4A DE102019219144A1 (en) | 2019-12-09 | 2019-12-09 | Method and system for image evaluation for object recognition in the vicinity of vehicles |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019219144.4A DE102019219144A1 (en) | 2019-12-09 | 2019-12-09 | Method and system for image evaluation for object recognition in the vicinity of vehicles |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102019219144A1 true DE102019219144A1 (en) | 2021-06-10 |
Family
ID=75962294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102019219144.4A Pending DE102019219144A1 (en) | 2019-12-09 | 2019-12-09 | Method and system for image evaluation for object recognition in the vicinity of vehicles |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102019219144A1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102012218390A1 (en) * | 2011-10-20 | 2013-04-25 | Ibm International Business Machines Corporation | Optimizing the detection of objects in images |
DE102017007777A1 (en) * | 2017-08-16 | 2018-02-15 | Daimler Ag | Method for operating an assistance system for a motor vehicle, assistance system, set up for carrying out such a method, and motor vehicle with such an assistance system |
DE102016124157A1 (en) * | 2016-12-13 | 2018-06-14 | Valeo Schalter Und Sensoren Gmbh | Determining a braking necessity for avoiding a collision of a motor vehicle with a pedestrian |
US20190086549A1 (en) * | 2017-09-15 | 2019-03-21 | Toyota Research Institute, Inc. | System and method for object detection using a probabilistic observation model |
US20190265703A1 (en) * | 2018-02-26 | 2019-08-29 | Nvidia Corporation | Systems and methods for computer-assisted shuttles, buses, robo-taxis, ride-sharing and on-demand vehicles with situational awareness |
-
2019
- 2019-12-09 DE DE102019219144.4A patent/DE102019219144A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102012218390A1 (en) * | 2011-10-20 | 2013-04-25 | Ibm International Business Machines Corporation | Optimizing the detection of objects in images |
DE102016124157A1 (en) * | 2016-12-13 | 2018-06-14 | Valeo Schalter Und Sensoren Gmbh | Determining a braking necessity for avoiding a collision of a motor vehicle with a pedestrian |
DE102017007777A1 (en) * | 2017-08-16 | 2018-02-15 | Daimler Ag | Method for operating an assistance system for a motor vehicle, assistance system, set up for carrying out such a method, and motor vehicle with such an assistance system |
US20190086549A1 (en) * | 2017-09-15 | 2019-03-21 | Toyota Research Institute, Inc. | System and method for object detection using a probabilistic observation model |
US20190265703A1 (en) * | 2018-02-26 | 2019-08-29 | Nvidia Corporation | Systems and methods for computer-assisted shuttles, buses, robo-taxis, ride-sharing and on-demand vehicles with situational awareness |
Non-Patent Citations (2)
Title |
---|
BURGSTAHLER, D. - M.: Collaborative Sensing in Automotive Scenarios: Enhancement of the Vehicular Electronic Horizon through Collaboratively Sensed Knowledge, 2017, Doktorarbeit, Technische Universität Darmstadt.URL: https://tuprints.ulb.tu-darmstadt.de/6554/1/DBu_Dissertation_pub.pdf [abgerufen am 14.10.2020] * |
HUGHES, C. [et al.]: DriveSpace: Towards context-aware drivable area detection. In: Electronic Imaging, 2019, Nr. 15, S. 42-1-42-9.URL: https://www.ingentaconnect.com/contentone/ist/ei/2019/00002019/00000015/art00012?crawler=true&mimetype=application/pdf[abgerufen am 15.10.2020] * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2979261B1 (en) | Backend for driver assistance systems | |
DE102017217443B4 (en) | Method and system for providing training data for machine learning for a control model of an automatic vehicle control | |
DE102016222782A1 (en) | Autonomous control of a motor vehicle based on lane data; motor vehicle | |
DE102013211696A1 (en) | Method for completing and / or updating a digital road map, device for a motor vehicle and motor vehicle | |
DE102017221407A1 (en) | FAHRASSISTENZSYSTEM USING NAVIGATION INFORMATION AND ITS OPERATING PROCESS | |
DE19842176A1 (en) | Method to identify traffic signs in surroundings of vehicle and for vehicle navigation, involves including satellite-based navigation system and unit to identify vehicle signs, which are used to update data from each other | |
DE102016205434A1 (en) | Method and system for creating a lane-accurate occupancy map for lanes | |
DE102017201665A1 (en) | Method for integrating a dynamic object into a digital map of a highly automated vehicle (HAF) | |
DE102013009856B4 (en) | Determining the position of a stationary traffic object using a central server arrangement | |
DE102016210534A1 (en) | Method for classifying an environment of a vehicle | |
DE102017222751A1 (en) | Method and system for warning road users of a wrong-way driving of a vehicle with supplementary plausibility | |
DE102018211941A1 (en) | Method for determining an intersection topology of a street intersection | |
DE102019208176A1 (en) | VEHICLE DRIVING ASSISTANCE SYSTEM | |
DE102019208192A1 (en) | TRAFFIC SIGN DETECTION SYSTEM | |
DE102015223656A1 (en) | Driver assistance system and method for lane recommendation | |
DE102018113314A1 (en) | Driving Assistance System | |
WO2006013169A1 (en) | Route guidance method, memory containing map data, and a navigation system | |
DE102018007659A1 (en) | Method for updating an environment map for a motor vehicle | |
WO2018210581A1 (en) | Method for producing a passing probability collection, method for operating a control device of a motor vehicle, passing probability collecting device and control device | |
DE102013212010A1 (en) | A method and apparatus for assisting a throat pass for a vehicle, a method for supporting a pit pass for a follower vehicle, and methods for managing survey information to assist bottleneck vehicle transits | |
EP3736789A1 (en) | Method and system for providing environment information | |
DE102019216747A1 (en) | Method of providing an overlay map section | |
DE102019219144A1 (en) | Method and system for image evaluation for object recognition in the vicinity of vehicles | |
DE102018117830A1 (en) | Digital environment map with sensor ranges | |
DE102022202165A1 (en) | Method for providing lane localization for a motor vehicle in an area of an infrastructure facility |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06K0009620000 Ipc: G06V0030190000 |
|
R081 | Change of applicant/patentee |
Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, DE Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE GMBH, 30165 HANNOVER, DE |
|
R081 | Change of applicant/patentee |
Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, DE Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, 30165 HANNOVER, DE |