DE102017210394B3 - Method for operating motor vehicles in a parking environment and computing device - Google Patents

Method for operating motor vehicles in a parking environment and computing device Download PDF

Info

Publication number
DE102017210394B3
DE102017210394B3 DE102017210394.9A DE102017210394A DE102017210394B3 DE 102017210394 B3 DE102017210394 B3 DE 102017210394B3 DE 102017210394 A DE102017210394 A DE 102017210394A DE 102017210394 B3 DE102017210394 B3 DE 102017210394B3
Authority
DE
Germany
Prior art keywords
pedestrian
motor vehicle
environment
information
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102017210394.9A
Other languages
German (de)
Inventor
Friederike Schneemann
Daniel Profendiner
Christian Feist
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102017210394.9A priority Critical patent/DE102017210394B3/en
Application granted granted Critical
Publication of DE102017210394B3 publication Critical patent/DE102017210394B3/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Chemical & Material Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren zum Betrieb von Kraftfahrzeugen (3, 4, 12) innerhalb einer Parkumgebung (1), wobei eine eine Bewegung eines Fußgängers (13) innerhalb der Parkumgebung (1) beschreibende Fußgängerinformation durch Auswertung von den Fußgänger (13) zeigenden Sensordaten wenigstens eines Sensors (9) ermittelt wird und seitens wenigstens eines ersten in der Parkumgebung (1) betriebenen Kraftfahrzeugs (4) wenigstens eine Maßnahme zur Kollisionsvermeidung mit dem Fußgänger (13) in Abhängigkeit der Fußgängerinformation durchgeführt wird, wobei in den und/oder weiteren Sensordaten zusätzlich eine dem Fußgänger (13) zuordenbare Entriegelungsrückmeldung eines zweiten, in der Parkumgebung (1) abgestellten Kraftfahrzeugs (12) detektiert wird und das zweite Kraftfahrzeug (12) zur Ermittlung der Fußgängerinformation als Bewegungsziel des Fußgängers (13) festgelegt wird.Method for operating motor vehicles (3, 4, 12) within a parking environment (1), wherein a pedestrian information describing a movement of a pedestrian (13) within the parking environment (1) is evaluated by evaluating sensor data of at least one sensor ( 9), and at least one measure for collision avoidance with the pedestrian (13) is carried out by at least one first motor vehicle (4) operated in the parking environment (1) as a function of the pedestrian information, wherein in the and / or further sensor data additionally a pedestrian (13) assignable Entriegelungsrückmeldung a second, parked in the park environment (1) motor vehicle (12) is detected and the second motor vehicle (12) for determining the pedestrian information is set as a movement target of the pedestrian (13).

Description

Die Erfindung betrifft ein Verfahren zum Betrieb von Kraftfahrzeugen innerhalb einer Parkumgebung, wobei eine eine Bewegung eines Fußgängers innerhalb der Parkumgebung beschreibende Fußgängerinformation durch Auswertung von den Fußgänger zeigenden Sensordaten wenigstens eines Sensors ermittelt wird und seitens wenigstens eines ersten in der Parkumgebung betriebenen Kraftfahrzeugs wenigstens eine Maßnahme zur Kollisionsvermeidung mit dem Fußgänger in Abhängigkeit der Fußgängerinformation durchgeführt wird. Daneben betrifft die Erfindung eine Recheneinrichtung für eine solche Parkumgebung.The invention relates to a method for operating motor vehicles within a parking environment, wherein a pedestrian's movement within the park environment descriptive pedestrian information is determined by evaluating the pedestrian pointing sensor data of at least one sensor and at least a first operated in the park environment motor vehicle at least one measure for Collision avoidance is performed with the pedestrian in dependence of the pedestrian information. In addition, the invention relates to a computing device for such a parking environment.

Im Straßenverkehr sowie im Verkehr mit Kraftfahrzeugen in bestimmten Umgebungen, beispielsweise Parkumgebungen, stellen Fußgänger aufgrund des erhöhten Risikos bei einer Kollision mit einem Kraftfahrzeug besonders gefährdete Verkehrsteilnehmer dar. Daher wurden im Stand der Technik eine Vielzahl von Anstrengungen unternommen, um den Schutz von Fußgängern zu verbessern, von ihrer Detektion bis hin zu einer Kollisionsvermeidung und/oder Kollisionsfolgenminderung. Eine automatisierte Erkennung von Fußgängern kann mit im Stand der Technik bekannten Verfahren über stationäre und/oder von den Kraftfahrzeugen mitgeführte Sensoren unterschiedlicher Art erfolgen, woher beispielsweise eine Vielzahl von Verfahren für Kameras für bildgebende Sensoren bekannt sind. Auch hinsichtlich von Radarsensoren wurden bereits verschiedene Klassifizierungsverfahren vorgeschlagen.In road traffic, as well as in motor vehicle traffic in certain environments, such as park environments, pedestrians are particularly vulnerable road users due to the increased risk of collision with a motor vehicle. Therefore, a great deal of effort has been made in the art to improve the protection of pedestrians , from their detection to collision avoidance and / or collision mitigation. An automated detection of pedestrians can be carried out by methods known in the art via stationary and / or carried by the vehicles sensors of different types, from which, for example, a variety of methods for cameras for imaging sensors are known. Also with regard to radar sensors, various classification methods have already been proposed.

DE 10 2014 006 956 A1 betrifft ein Fußgänger-zu-Fahrzeug-Kommunikationssystem, durch das ein Fahrer des Fahrzeugs über eine Kollisionsmöglichkeit benachrichtigt werden soll, dass das Fahrzeug und der Fußgänger miteinander kollidieren werden, wobei die Kollisionsmöglichkeit auf der Basis von Kollisionsinformationen des Fußgängers bestimmt wird, die durch die Kommunikation akquiriert sind. Die Fußgängerkommunikationsvorrichtung weist hierzu eine Fußgängerpositions-Erfassungseinheit mit einer GPS-Empfangsschaltung und einer GPS-Antenne auf, wobei auch eine Geschwindigkeitsberechnungseinheit vorgesehen sein kann, um eine Bewegungsgeschwindigkeit des Fußgängers zu ermitteln. In dieser Ausgestaltung stellt der Fußgänger also selbst eine Fußgängerinformation bereit, um seinen Schutz zu verbessern. DE 10 2014 006 956 A1 concerns a pedestrian-to-vehicle communication system whereby a driver of the vehicle is to be notified of a collision possibility that the vehicle and the pedestrian will collide with each other, the collision possibility being determined on the basis of collision information of the pedestrian caused by the communication are acquired. For this purpose, the pedestrian communication device has a pedestrian position detection unit with a GPS reception circuit and a GPS antenna, wherein a speed calculation unit can also be provided in order to determine a movement speed of the pedestrian. In this embodiment, the pedestrian thus provides even a pedestrian information to improve his protection.

Tatsächlich hat sich gezeigt, dass die Bewegung des Fußgängers an sich nicht unwesentlich ist, wenn es darum geht, diesen optimal zu schützen. Denn von der zukünftigen Bewegung des Fußgängers hängt es in vielen Fällen ab, ob überhaupt eine Kollisionsgefahr entstehen kann und die zukünftige Bewegung eines Fußgängers ist eine wichtige Information, um Maßnahmen zum Schutz des Fußgängers treffen zu können, beispielsweise Ausweichmanöver.In fact, it has been shown that the movement of the pedestrian is in itself not insignificant when it comes to optimally protect it. Because of the future movement of the pedestrian it depends in many cases, if any risk of collision may arise and the future movement of a pedestrian is an important piece of information to take measures to protect the pedestrian can, for example evasive maneuvers.

DE 10 2014 215 057 A1 betrifft die Bestimmung einer Kollisionswahrscheinlichkeit auf Basis einer Kopforientierung eines Fußgängers. Es wird dort mithin vorgeschlagen, die Kopfpose und deren Änderung über der Zeit zu erfassen und in Kombination zur Positions- und Geschwindigkeitsschätzung zur Kritikalitätsbewertung heranzuziehen. Nach einer Erfassung eines Fußgängers mit einem Fortbewegungsmittel, beispielsweise einer Kamera, wird eine Position des Fußgängers relativ zu einer Trajektorie des Fortbewegungsmittels auf Basis von Daten des Sensors ermittelt, wobei zusätzlich eine Kopforientierung des Fußgängers relativ zu einer Position des Fortbewegungsmittels auf Basis von Daten des Sensors bestimmt wird. Die Kopforientierung enthält eine Aussage darüber, ob der Fußgänger das Fortbewegungsmittel sehen kann. Eine Kopforientierung kann, zumindest über die Zeit betrachtet, auch einen Hinweis auf das zukünftige Verhalten des Fußgängers geben. Beispielsweise kann die erfasste Kopfpose des Fußgängers mit in einer Datenbank hinterlegten Verhaltensmustern für die Situation verglichen werden, wobei typische Verhaltensweisen für einen querenden Fußgänger und einen nicht querenden Fußgänger vorliegen können. DE 10 2014 215 057 A1 concerns the determination of a collision probability based on a pedestrian's head orientation. It is therefore proposed to capture the head pose and its change over time and to use it in combination with the position and speed estimation for the criticality evaluation. After detection of a pedestrian with a means of locomotion, such as a camera, a position of the pedestrian relative to a trajectory of the means of locomotion is determined based on data from the sensor, in addition, a head orientation of the pedestrian relative to a position of the means of locomotion based on data of the sensor is determined. The head orientation contains a statement as to whether the pedestrian can see the means of transportation. A head orientation can, at least over time, also give an indication of the future behavior of the pedestrian. For example, the detected pedestrian's head pose may be compared to database behavior patterns for the situation, with typical behaviors for a crossing pedestrian and a non-crossing pedestrian.

DE 10 2007 052 093 A1 betrifft die Erkennung von spontanen Bewegungsänderungen von Fußgängern. Dort wird ein eine Bewegungsänderung des Lebewesens anzeigender Indikator durch Auswertung von Sensordaten bestimmt und ein zukünftiger Bewegungsablauf des Lebewesens wird unter Berücksichtigung des mindestens einen erkannten Indikators ermittelt. Indikatoren können dabei Bewegungen bestimmter Körperteile, Haltungsänderungen, Neigungsänderungen und/oder die Änderung von Schwerpunktlage und/oder Körperhöhe umfassen. DE 10 2007 052 093 A1 concerns the detection of spontaneous movement changes of pedestrians. There, an indicator indicating a movement change of the living being is determined by evaluating sensor data, and a future movement sequence of the living being is determined taking into account the at least one recognized indicator. Indicators may include movements of certain body parts, posture changes, inclination changes and / or the change of the center of gravity and / or body height.

Besonders kritische Situationen können sich auch in Parkumgebungen, beispielsweise also einem mehrere Abstellplätze aufweisenden Parkplatz und/oder einem Parkhaus, ergeben. Häufig sind Parkumgebungen relativ unübersichtlich und durch die Abwesenheit von typischerweise durch die Benutzer genutzten Wegen gekennzeichnet, da diese sich häufig relativ direkt zu ihrem abgestellten Kraftfahrzeug begeben wollen oder dieses suchen müssen. Dies ist gerade im Hinblick auf die zunehmende Automatisierung in Parkhäusern relevant, nachdem in letzter Zeit eine Vielzahl von Ansätzen vorgeschlagen wurde, die eine wenigstens teilweise automatische Führung des Kraftfahrzeugs, insbesondere eine vollständig automatische Führung des Kraftfahrzeugs, in Parkumgebungen anstreben, beispielsweise zum vollautomatischen Einparken und/oder vollautomatischen Ausparken des Kraftfahrzeugs. In diesem Kontext ist es bekannt, Kraftfahrzeuge über drahtlose Übertragungstechnologien mit Infrastruktureinrichtungen, beispielsweise einer zentralen Recheneinrichtung, die der Parkumgebung zugeordnet ist, kommunizieren zu lassen, um beispielsweise Informationen zu Abstellplätzen, Trajektorien und dergleichen austauschen zu können. In diesem Kontext wurden auch bereits Überwachungssysteme für Parkumgebungen vorgeschlagen, die in der Lage sind, über geeignete Sensoren Fußgänger und andere Objekte zu erkennen und zu klassifizieren.Particularly critical situations can also result in parking environments, for example a parking space having several parking spaces and / or a parking garage. Frequently, parking environments are relatively cluttered and characterized by the absence of ways typically used by the users, as they often wish to go or search relatively directly to their parked motor vehicle. This is just in view of the increasing automation in parking garages relevant, after lately a variety of approaches has been proposed that seek an at least partially automatic guidance of the motor vehicle, in particular a fully automatic guidance of the motor vehicle, in parking environments, for example, for fully automatic parking and /or fully automatic parking of the motor vehicle. In this context, it is known to let motor vehicles communicate via wireless transmission technologies with infrastructure devices, for example a central computing device, which is assigned to the parking environment, in order, for example, to exchange information about parking spaces, trajectories and the like. In this context, monitoring systems have already been proposed for parking environments, which are able to detect and classify pedestrians and other objects via suitable sensors.

Gerade im Hinblick auf assistierte und/oder vollständig automatische Fahrfunktionen in Kraftfahrzeugen besteht gemeinsam mit den sonstigen Gegebenheiten in Parkumgebungen das Problem, dass automatisierte Funktionen in Kraftfahrzeugen häufig das Verhalten von Fußgängern deutlich schlechter interpretieren können als menschliche Fahrer. Zum korrekten und sicheren Verhalten in Parkumgebungen ist die intendierte Bewegungsrichtung von Fußgängern aber eine wichtige Information, die meist nicht bekannt ist.Especially with regard to assisted and / or fully automatic driving functions in motor vehicles, together with the other conditions in parking environments, there is the problem that automated functions in motor vehicles can often interpret the behavior of pedestrians significantly worse than human drivers. For the correct and safe behavior in parking environments, the intended direction of movement of pedestrians is an important piece of information that is mostly unknown.

Der Erfindung liegt daher die Aufgabe zugrunde, die Sicherheit für Fußgänger in Parkumgebungen zu erhöhen.The invention is therefore based on the object to increase safety for pedestrians in parking environments.

Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass in den und/oder weiteren Sensordaten zusätzlich eine dem Fußgänger zuordenbare Entriegelungsrückmeldung eines zweiten, in der Parkumgebung abgestellten Kraftfahrzeugs detektiert wird und das zweite Kraftfahrzeug zur Ermittlung der Fußgängerinformation als Bewegungsziel des Fußgängers festgelegt wird.To solve this problem, the invention provides that in the and / or further sensor data in addition to the pedestrian assignable Entriegelungsrückmeldung a second parked in the parked motor vehicle is detected and the second motor vehicle for determining the pedestrian information as a movement target of Pedestrian is set.

Der Erfindung liegt somit die Erkenntnis zugrunde, dass viele in Parkumgebung abgestellte Kraftfahrzeuge über automatische, fernbedienbare Entriegelungssysteme verfügen, die über eine geeignete Fernbedienung durch die dem Kraftfahrzeug zugeordneten Personen angesprochen werden, bevor das abgestellte Kraftfahrzeug tatsächlich erreicht worden ist. Beispielsweise ist es bekannt, durch Knopfdruck auf einen Schlüssel das Kraftfahrzeug zu entriegeln. Um der dem Kraftfahrzeug zugeordneten Person mitzuteilen, dass der Entriegelungsvorgang erfolgreich war, wird seitens des Kraftfahrzeugs über entsprechende Ausgabemittel eine optische und/oder akustische Entriegelungsrückmeldung ausgegeben, beispielsweise das kurze Aufleuchten von Außenleuchten des Kraftfahrzeugs und/oder eine Geräuschausgabe über einen Lautsprecher. Tatsächlich ist es in der Praxis häufig so, dass Fußgänger die ihnen zugeordneten abgestellten Kraftfahrzeuge häufig erst über diese ferngesteuerte Entriegelungsfunktion auffinden, diese mithin nutzen, um ihr Kraftfahrzeug innerhalb einer Parkumgebung lokalisieren zu können. Entriegelt aber ein Fußgänger ein Kraftfahrzeug, ist davon auszugehen, dass es sich bei diesem Kraftfahrzeug um sein Bewegungsziel handelt, so dass eine hochrelevante Zusatzinformation gegeben ist, aus der eine Fußgängerinformation an in der Umgebung des Fußgängers betriebene erste Kraftfahrzeuge ausgegeben werden kann, welche Kollisionen mit dem Fußgänger deutlich verlässlicher vermeiden können, nachdem davon auszugehen ist, dass dieser sich zu seinem Bewegungsziel bewegen wird.The invention is thus based on the finding that many parked in park environment motor vehicles have automatic, remote-controlled unlocking systems, which are addressed via a suitable remote control by the persons assigned to the motor vehicle before the parked motor vehicle has actually been reached. For example, it is known to unlock the motor vehicle by pressing a key on a key. In order to inform the person assigned to the motor vehicle that the unlocking process has been successful, the motor vehicle issues a visual and / or acoustic unlocking feedback via corresponding output means, for example the brief illumination of exterior lights of the motor vehicle and / or a sound output via a loudspeaker. In fact, it is often the case in practice that pedestrians often find their parked motor vehicles assigned to them via this remote-controlled unlocking function, thus using them to be able to locate their motor vehicle within a parking environment. But unlocks a pedestrian a motor vehicle, it is assumed that this motor vehicle is its movement target, so that a highly relevant additional information is given, from which a pedestrian information can be output to run in the vicinity of the pedestrian first motor vehicles, which collisions with be able to avoid the pedestrian much more reliably, since it can be assumed that he will move to his destination.

Während es also grundsätzlich bekannt ist, einen Fußgänger während seiner Bewegung durch die Parkumgebung mittels geeigneten Sensoren, insbesondere Kameras, zu detektieren und zu klassifizieren, nutzt die Erfindung aus, dass geeignete Sensoren auch in der Lage sind, die Entriegelungsrückmeldungen geparkter zweiter Kraftfahrzeuge zu erfassen und als solche zu klassifizieren, so dass aus Bewegungsmustern des detektierten Fußgängers und einer erkannten Entriegelungsrückmeldung bei entsprechender Koinzidenz die Zugehörigkeit von erfassten Fußgängern zu parkenden zweiten Kraftfahrzeugen geschlossen werden kann. Aufgrund eines so ermittelten bekannten Bewegungsziels kann die Bewegung des Fußgängers deutlich besser abgeschätzt werden und darauf aufsetzende Fahrzeugfunktionen, insbesondere solche, die der assistierten und/oder vollständig automatischen Führung des Kraftfahrzeugs durch die Parkumgebung dienen, können sicherer und sozialverträglicher ausgelegt und angeboten werden.Thus, while it is generally known to detect and classify a pedestrian during his movement through the park environment by means of suitable sensors, in particular cameras, the invention makes use of the fact that suitable sensors are also able to detect the unlocking feedback of parked second motor vehicles and classified as such, so that from movement patterns of the detected pedestrian and a recognized Entriegelungsrückmeldung with appropriate coincidence, the affiliation of detected pedestrians to be parked second motor vehicles can be closed. Based on a known movement target determined in this way, the movement of the pedestrian can be estimated much better and vehicle functions based thereon, in particular those which serve the assisted and / or fully automatic guidance of the motor vehicle through the parking environment, can be designed and offered in a safer and more socially acceptable manner.

In einer Weiterbildung der Erfindung kann vorgesehen sein, dass zur Detektion der Entriegelungsrückmeldung eine optische und/oder akustische Signalausgabe des zweiten Kraftfahrzeugs mit Entriegelungs-Vergleichsmustern einer Musterdatenbank verglichen wird, wobei bei hinreichender Übereinstimmung der Signalausgabe mit wenigstens einem Entriegelungs-Vergleichsmusters eine Entriegelungsmeldung detektiert wird. Es kann mithin eine Musterdatenbank explizit oder implizit vorliegen, die typische Entriegelungsrückmeldungen enthält, mit denen eine von einem Kraftfahrzeug ausgegebene, erfasste optische und/oder akustische Signalausgabe verglichen werden kann, um die optische und/oder akustische Signalausgabe als eine Entriegelungsrückmeldung klassifizieren zu können. Bevorzugt können hier Techniken der künstlichen Intelligenz und/oder des Maschinenlernens eingesetzt werden, die bei der Mustererkennung besondere Vorteile mit sich bringen.In a further development of the invention it can be provided that, for the detection of the unlocking feedback, an optical and / or acoustic signal output of the second motor vehicle is compared with unlocking comparison patterns of a pattern database, wherein, if the signal output is sufficiently matched with at least one unlocking comparison pattern, an unlocking message is detected. Thus, a pattern database can be present, explicitly or implicitly, that contains typical unlocking feedbacks with which a detected optical and / or acoustic signal output issued by a motor vehicle can be compared in order to be able to classify the optical and / or acoustic signal output as an unlocking confirmation. Preferably, techniques of artificial intelligence and / or machine learning can be used here, which bring with the pattern recognition special advantages.

Wenn nicht nur auf eine räumliche und zeitliche Koinzidenz abgestellt werden soll bzw. diese verbessert überprüft werden soll, sieht eine bevorzugte Weiterbildung der vorliegenden Erfindung für Fußgänger entsprechend vor, dass zur Zuordnung des Fußgängers zu dem zweiten Kraftfahrzeug ein in den Sensordaten feststellbares Handlungsmuster des Fußgängers mit Handlungs-Vergleichsmustern einer oder der Musterdatenbank verglichen wird, wobei bei hinreichender Übereinstimmung des Handlungsmusters mit wenigstens einem Handlungs-Vergleichsmuster eine Entriegelungshandlung des Fußgängers detektiert wird, wobei bei zeitlicher Koinzidenz der Entriegelungshandlung mit einer Entriegelungsrückmeldung der Fußgänger dem rückmeldenden zweiten Kraftfahrzeug zugeordnet wird. Dem liegt die Erkenntnis zugrunde, dass zum Auslösen einer Entriegelung wenigstens eine Entriegelungshandlung des Fußgängers erforderlich ist, beispielsweise eine Interaktion mit dem als Fernbedienung wirkenden Fahrzeugschlüssel. Auch Handlungen im Umfeld der eigentlichen Entriegelungshandlung, mithin der Betätigung des entsprechenden Bedienelements, können detektiert und zur zuverlässigen Erkennung einer Entriegelungshandlung eingesetzt werden, beispielsweise das Kramen in einer Handtasche und/oder einer Hosentasche nach dem Fahrzeugschlüssel und dergleichen. Derartige umgebende Handlungen stellen weitere Verhaltensindikatoren dar, mithin Handlungsmuster, durch die auf eine Entriegelungshandlung geschlossen werden kann. Ähnlich wie bei der Entriegelungsrückmeldung kann auch hier eine Klassifizierung durch impliziten oder expliziten Vergleich mit Handlungs-Vergleichsmustern stattfinden, die bevorzugt in derselben Musterdatenbank wie Entriegelungs-Vergleichsmuster abgelegt sein können. Auch hier lassen sich mit besonderem Vorteil Vorgehensweisen des maschinellen Lernens und/oder Algorithmen der künstlichen Intelligenz einsetzen, um Verhandlungsmuster eines Fußgängers als Entriegelungshandlung zu klassifizieren. Liegen eine Entriegelungshandlung und eine Entriegelungsrückmeldung zeitlich und, was gegebenenfalls zusätzlich überprüft werden kann, räumlich vor, ist davon auszugehen, dass das die Entriegelungsrückmeldung gebende, abgestellte, zweite Kraftfahrzeug und der Fußgänger einander zuzuordnen sind in dem Sinne, dass das geparkte Kraftfahrzeug das Bewegungsziel des detektierten Fußgängers ist.If not only on a spatial and temporal coincidence should be turned off or this should be reviewed improved, a preferred embodiment of the present invention provides for Pedestrians accordingly, that for the assignment of the pedestrian to the second motor vehicle detectable in the sensor data plot pattern of pedestrian with action comparison patterns one or the sample database is compared, with a sufficient match of the action pattern with at least one action comparison pattern unlocking the pedestrian is detected , In case of temporal coincidence of the unlocking action with a Entriegelungsrückmeldung the pedestrian is assigned to the rückmeldenden second motor vehicle. This is based on the finding that to trigger an unlocking at least one unlocking action of the pedestrian is required, for example, an interaction with the acting as a remote control vehicle key. Even actions in the environment of the actual unlocking action, thus the operation of the corresponding control element, can be detected and used for reliable detection of a release action, such as the Kramen in a purse and / or a trouser pocket after the vehicle key and the like. Such surrounding actions constitute further behavioral indicators, hence action patterns by which an unlocking action can be concluded. Similar to the unlocking feedback, here too a classification can take place by implicit or explicit comparison with action comparison patterns, which can preferably be stored in the same pattern database as unlocking comparison patterns. Here, too, machine learning and / or artificial intelligence algorithms can be used with particular advantage in order to classify negotiation patterns of a pedestrian as unlocking action. Are a Entriegelungshandlung and Entriegelungsrückmeldung temporally and what may additionally be checked, spatially before, it is assumed that the Entriegelungsrückmeldung giving, parked, second motor vehicle and the pedestrian are assigned to each other in the sense that the parked motor vehicle, the movement goal of detected pedestrian is.

Wie bereits erwähnt, kann in besonders vorteilhafter Ausgestaltung der Erfindung vorgesehen sein, dass zum Vergleich mit Vergleichsmustern der Musterdatenbank ein Klassifikator der künstlichen Intelligenz verwendet wird, der durch die Vergleichsmuster enthaltenden Trainingsdaten in einem maschinellen Lernprozess trainiert wurde. Gerade dann, wenn wenigstens ein Teil der Sensordaten und/oder weiteren Sensordaten Bilddaten eines optischen Sensors, insbesondere einer Kamera, sind, hat sich die Anwendung von Techniken des maschinellen Lernens bereits als äußerst erfolgversprechend erwiesen, so dass auch ihre Anwendung im Rahmen der vorliegenden Erfindung eine verlässliche Basis zur Erkennung von Entriegelungsrückmeldungen und/oder Entriegelungshandlungen bereitstellt, gegebenenfalls ergänzend zu anderen Algorithmen zur Auswertung der Sensordaten, beispielsweise Algorithmen der Bildverarbeitung.As already mentioned, it can be provided in a particularly advantageous embodiment of the invention that for comparison with comparison patterns of the pattern database, a classifier of artificial intelligence is used, which was trained by the comparison pattern containing training data in a machine learning process. Even if at least a part of the sensor data and / or further sensor data are image data of an optical sensor, in particular a camera, the use of machine learning techniques has already proven to be extremely promising, so that their application in the context of the present invention provides a reliable basis for the detection of Entriegelungsrückmeldungen and / or Entriegelungshandlungen, optionally in addition to other algorithms for the evaluation of the sensor data, such as algorithms of image processing.

Entsprechend sieht eine zweckmäßige Ausgestaltung vor, dass die die Sensordaten liefernden Sensoren wenigstens eine Kamera umfassen. Verfahren, um Fußgänger, sonstige Objekte und/oder auch Lichteffekte in Bilddaten einer Kamera zu detektieren, mithin geeignete Bildverarbeitungstechniken, sind im Stand der Technik bereits grundsätzlich bekannt, können daher prinzipiell auch im Rahmen der vorliegenden Erfindung eingesetzt werden und müssen vorliegend nicht mehr näher erläutert werden.Accordingly, an expedient embodiment provides that the sensors supplying the sensor data comprise at least one camera. Methods for detecting pedestrians, other objects and / or also light effects in image data of a camera, thus suitable image processing techniques, are already known in principle in the prior art and therefore can in principle also be used in the context of the present invention and need not be explained in detail in the present case become.

Vorzugsweise können die die Sensordaten liefernden Sensoren fest innerhalb der Parkumgebung installierte Sensoren umfassen bzw. sein. Zwar ist es grundsätzlich auch möglich, das erfindungsgemäße Verfahren unter Verwendung von Sensoren eines Kraftfahrzeugs, insbesondere des ersten Kraftfahrzeugs und/oder mehrerer erster Kraftfahrzeuge, durchzuführen, allerdings kann es unwahrscheinlicher sein, dass die Erfassungsbereiche sowohl den Fußgänger als auch das die Entriegelungsrückmeldung gebende zweite Kraftfahrzeug verlässlich abdecken. Ein Überwachungssystem einer Parkumgebung, welches Sensoren aufweist, die gezielt so angeordnet sind, dass durch ihre Erfassungsbereiche die Parkumgebung möglichst weitgehend erfasst werden kann, bilden eine weitaus verlässlichere Grundlage, wobei deren Sensordaten meist zudem ohnehin in einer zentralen, der Parkumgebung zugeordneten Recheneinrichtung ausgewertet, so dass eine, wie im Folgenden noch erläutert, bevorzugt dort ermittelte Fußgängerinformation allen ersten Kraftfahrzeugen, die sich in einem relevanten Bereich um den Fußgänger befinden, bereitgestellt werden kann.Preferably, the sensors providing the sensor data may be fixedly mounted within the parking environment. Although it is basically also possible to carry out the method according to the invention using sensors of a motor vehicle, in particular of the first motor vehicle and / or of several first motor vehicles, however, it may be less probable that the detection areas both the pedestrian and the second motor vehicle giving the Entriegelungsrückmeldung reliably cover. A monitoring system of a parking environment, which has sensors that are specifically arranged so that the parking environment can be detected as extensively as possible by their coverage areas, form a much more reliable basis, with their sensor data usually also evaluated anyway in a central, the parking environment associated computing device, so that one, as explained below, preferably there determined pedestrian information all the first motor vehicles, which are located in a relevant area around the pedestrian can be provided.

Entsprechend sieht eine besonders vorteilhafte Ausbildung der vorliegenden Erfindung vor, dass die Ermittlung der Fußgängerinformation seitens einer zentralen, der Parkumgebung zugeordneten Recheneinrichtung erfolgt, die mit wenigstens einem Teil der in der Parkumgebung betriebenen Kraftfahrzeuge kommuniziert. Nicht nur hat eine derartige zentrale Recheneinrichtung, die auch als Infrastruktureinrichtung bezeichnet werden kann und stationär ist, Zugriff auf die Sensordaten eines in der Parkumgebung installierten Überwachungssystems, aus denen der Fußgänger und/oder die Entriegelungsrückmeldung detektiert werden können, sondern es besteht auch eine Kommunikationsverbindung mit zumindest einer Mehrzahl von in der Parkumgebung betriebenen Kraftfahrzeugen, so dass die Fußgängerinformation, die schließlich ermittelt wurde, allen relevanten ersten Kraftfahrzeugen problemlos bereitgestellt werden kann. Über die entsprechenden Kommunikationsverbindungen zu in der Parkumgebung betriebenen Kraftfahrzeugen können beispielsweise auch weitere Informationen übertragen werden, beispielsweise Informationen zu freien Abstellplätzen, zu verwendeten Trajektorien, Hindernissen, sonstigen Kraftfahrzeugen bzw. Verkehrsteilnehmern und dergleichen. Kommunikationsverbindungen können beispielsweise über bekannte Kraftfahrzeug-zu-Infrastruktur-Technologien (Car2X-Technologien) hergestellt werden.Accordingly, a particularly advantageous embodiment of the present invention provides that the determination of the pedestrian information takes place on the part of a central computing device assigned to the parking environment, which communicates with at least part of the motor vehicles operated in the parking environment. Not only has such a central computing device, which can also be referred to as an infrastructure facility and is stationary, access to the sensor data installed in the parking environment monitoring system from which the pedestrian and / or the Entriegelungsrückmeldung can be detected, but there is also a communication link with at least a plurality of motor vehicles operated in the parking environment, so that the pedestrian information that was finally determined can be easily provided to all relevant first motor vehicles. About the corresponding Communication links to motor vehicles operated in the parking environment can also be used to transmit further information, for example information about free parking spaces, trajectories to be used, obstacles, other motor vehicles or road users and the like. Communication links can be made, for example, via known automotive-to-infrastructure technologies (Car2X technologies).

In diesem Kontext sei darauf hingewiesen, dass es im Rahmen der vorliegenden Erfindung auch denkbar ist, dass eine Entriegelungsrückmeldung anhand einer entsprechenden Rückmeldungsinformation, die von dem zweiten Kraftfahrzeug an die Recheneinrichtung übermittelt wurde, detektiert wird. Diese Ausgestaltung ist jedoch insgesamt weniger bevorzugt, da das abgestellte Kraftfahrzeug im Allgemeinen stromsparend betrieben werden soll und somit eine zu diesem Zeitpunkt bestehende Kommunikationsverbindung zu der Recheneinrichtung unerwünscht sein kann.In this context, it should be noted that within the scope of the present invention it is also conceivable that an unlocking confirmation is detected on the basis of a corresponding feedback information that was transmitted from the second motor vehicle to the computing device. However, this embodiment is less preferred overall, since the parked motor vehicle should generally be operated in a power-saving manner and thus a communication connection existing at that time to the computing device may be undesirable.

Es kann vorgesehen sein, dass die Fußgängerinformation an in einem Relevanzbereich um den Fußgänger und/oder das Bewegungsziel betriebene erste Kraftfahrzeuge übermittelt wird. Die Relevanz der Fußgängerinformation kann mithin anhand von Relevanzbereichen festgelegt werden, um eine Übersendung an Kraftfahrzeuge innerhalb der Parkumgebung zu vermeiden für die diese Information nicht relevant ist.It can be provided that the pedestrian information is transmitted to first motor vehicles operated in a relevance area around the pedestrian and / or the movement destination. The relevance of the pedestrian information can therefore be determined on the basis of relevance areas in order to avoid a transmission to motor vehicles within the parking environment for which this information is not relevant.

In einer besonders vorteilhaften Ausgestaltung der vorliegenden Erfindung kann vorgesehen sein, dass, insbesondere seitens der Recheneinrichtung, als Fußgängerinformation eine prädizierte Bewegungstrajektorie von dem Fußgänger zu dem Bewegungsziel ermittelt wird. Ist das intendierte Bewegungsziel des detektierten Fußgängers erst bekannt, kann mittels der mit dem Fußgänger detektierten Fußgängerposition und der mit dem zweiten Kraftfahrzeug detektierten Kraftfahrzeugposition und gegebenenfalls Kenntnis einer digitalen Karte der Parkumgebung die wahrscheinliche Bewegungstrajektorie des Fußgängers zu dem ihm zugeordneten zweiten Kraftfahrzeug bestimmt werden. Dabei kann beispielsweise ein Algorithmus eingesetzt werden, der, insbesondere mittels maschinellen Lernens trainiert, bekannte, insbesondere bereits beobachtete Bewegungsabläufe von Fußgängern zu ihren Kraftfahrzeugen heranzieht, um auch den Weg eines aktuell detektierten Fußgängers möglichst genau vorherzusagen. Hierbei kann der verwendete Bewegungsalgorithmus die aktuelle Position des Fußgängers, die aktuelle Position des zugeordneten zweiten Kraftfahrzeugs und gegebenenfalls die digitale Karte der Parkumgebung auswerten. Mit der Bewegungstrajektorie liegt in jedem Fall eine äußerst genaue Fußgängerinformation vor, auf die Modifikationen des Betriebs des ersten Kraftfahrzeugs besonders einfach und eine Sicherheit für den Fußgänger gewährend durchgeführt werden können. Nachdem es sich um prädizierte Bewegungstrajektorie handelt, kann zu dieser auch eine Unsicherheit ermittelt werden, aus der ein freizuhaltender Toleranzbereich ermittelt wird und/oder es kann ein Toleranzbereich fest gewählt werden. Selbstverständlich kann zweckmäßigerweise auch vorgesehen sein, die Bewegungstrajektorie zyklisch neu zu berechnen. Die Bewegungstrajektorie wird bevorzugt seitens der zentralen Recheneinrichtung, die dann für die Vorhersage der zukünftigen Fußgängerposition verantwortlich ist, ermittelt, da dort gegebenenfalls Zugriff auf eine größere Rechenleistung bzw. eine größere Anzahl von Ressourcen besteht.In a particularly advantageous embodiment of the present invention can be provided that, in particular on the part of the computing device, a predicted movement trajectory from the pedestrian to the movement destination is determined as pedestrian information. If the intended movement target of the detected pedestrian is first known, the probable movement trajectory of the pedestrian can be determined for the second motor vehicle assigned to it by means of the pedestrian position detected with the pedestrian and the motor vehicle position detected with the second motor vehicle and possibly knowledge of a digital map of the park environment. In this case, for example, an algorithm can be used which trains, in particular by means of machine learning, known, in particular already observed movement sequences of pedestrians to their vehicles, to predict the way a currently detected pedestrian as accurately as possible. In this case, the movement algorithm used can evaluate the current position of the pedestrian, the current position of the associated second motor vehicle and, if appropriate, the digital map of the parking environment. With the movement trajectory is in any case before a very accurate pedestrian information on the modifications of the operation of the first motor vehicle particularly simple and can provide a security for the pedestrian. After being a predicted movement trajectory, an uncertainty can also be determined for this, from which a tolerance range to be kept free can be determined and / or a tolerance range can be firmly selected. Of course, it can also be expediently provided to recalculate the movement trajectory cyclically. The movement trajectory is preferably determined by the central computing device, which is then responsible for the prediction of the future pedestrian position, since there may be access to greater computing power or a larger number of resources.

Konkret kann vorgesehen sein, dass bei einem automatisch betriebenen ersten Kraftfahrzeug als Maßnahme eine von diesem geplante, abzufahrende Trajektorie zur Kollisionsvermeidung mit dem Fußgänger modifiziert wird und/oder bei einem manuell betriebenen ersten Kraftfahrzeug eine, insbesondere eine Handlungsanweisung zur Kollisionsvermeidung und/oder eine graphische Darstellung des Fußgängers und des Bewegungsziels, vorzugsweise auch einer in der Fußgängerinformation enthaltenden prädizierten Trajektorie des Fußgängers, enthaltende, Hinweisinformation an den Fahrer ausgegeben wird. Maßnahmen, mit denen Kollisionen mit Fußgängern vermieden werden können, mithin der konkrete Betrieb von Kollisionsschutzfunktionen bzw. Kollisionssystemen, sind im Stand der Technik bereits weitgehend bekannt, so dass die entsprechenden Konzepte auch im Rahmen der vorliegenden Erfindung eingesetzt werden können. Dabei zielt die Erfindung allerdings hauptsächlich auf teilweise automatisch betriebene Kraftfahrzeuge ab, deren wenigstens teilweise automatischer Betrieb bei Detektion eines relevanten Fußgängers anhand der Fußgängerinformation modifiziert wird.Specifically, it may be provided that in an automatically operated first motor vehicle as a measure of this planned trajectory for collision avoidance is modified with the pedestrian and / or in a manually operated first motor vehicle, in particular a handling instruction for collision avoidance and / or a graphical representation the pedestrian and the movement destination, preferably also a hint information contained in the pedestrian information containing the pedestrian, information is output to the driver. Measures with which collisions with pedestrians can be avoided, thus the actual operation of collision protection functions or collision systems, are already widely known in the prior art, so that the corresponding concepts can also be used in the context of the present invention. However, the invention aims primarily at partially automatically operated motor vehicles whose at least partially automatic operation is modified upon detection of a relevant pedestrian based on pedestrian information.

Neben dem Verfahren betrifft die Erfindung auch eine Recheneinrichtung für eine Parkumgebung, aufweisend eine Kommunikationseinrichtung zur Kommunikation mit wenigstens einem Teil von in der Parkumgebung betriebenen Kraftfahrzeugen und zum Empfang von Sensordaten wenigstens eines in der Parkumgebung befindlichen Sensors und ausgebildet zur Ermittlung einer eine Bewegung eines Fußgängers innerhalb der Parkumgebung beschreibenden Fußgängerinformation durch Auswertung von den Fußgänger zeigenden Sensordaten, welche sich dadurch auszeichnet, dass die Recheneinrichtung ferner zur Detektion einer den Fußgänger zuordenbaren Entriegelungsrückmeldung eines zweiten, in der Parkumgebung abgestellten Kraftfahrzeugs in den und/oder weiteren Sensordaten und zur Festlegung des zweiten Kraftfahrzeugs als Bewegungsziel des Fußgängers zur Ermittlung der Fußgängerinformation ausgebildet ist. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf die erfindungsgemäße Recheneinrichtung übertragen, mit welcher mithin ebenso die bereits genannten Vorteile erhalten werden können. Insbesondere kann die Recheneinrichtung neben einer Zuordnungseinheit zur Zuordnung von Fußgängern zu zweiten Kraftfahrzeugen aufgrund einer Auswertung der Sensordaten auch eine Prädiktionseinheit zur Prädiktion einer Bewegungstrajektorie des Fußgängers und/oder eine Musterdatenbank aufweisen. Eine derartige zentrale, insbesondere stationäre, der Parkumgebung zugeordnete Recheneinrichtung kann auch als Infrastruktureinrichtung bezeichnet werden.In addition to the method, the invention also relates to a computing device for a parking environment, comprising a communication device for communicating with at least a part of motor vehicles operated in the parking environment and for receiving sensor data of at least one sensor located in the parking environment and designed to detect a movement of a pedestrian within Pedestrian information describing the parking environment by evaluating the sensor data showing the pedestrian, which is characterized in that the computing device further for detecting a Pedestrians attributable Entriegelungsrückmeldung a second parked in the park environment motor vehicle in the and / or further sensor data and fixing the second motor vehicle as Movement goal of the pedestrian is designed to determine the pedestrian information. All statements relating to the method according to the invention can be analogously transferred to the computing device according to the invention, with which therefore also the already mentioned advantages can be obtained. In particular, the computing device can also have a prediction unit for prediction of a movement trajectory of the pedestrian and / or a sample database in addition to an allocation unit for assigning pedestrians to second motor vehicles on the basis of an evaluation of the sensor data. Such a central, in particular stationary, the parking environment associated computing device may also be referred to as an infrastructure facility.

Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen, sowie anhand der Zeichnungen. Dabei zeigen:

  • 1 eine Prinzipskizze einer Parkumgebung mit zugeordneter Recheneinrichtung, und
  • 2 eine Verkehrssituation in der Parkumgebung.
Further advantages and details of the present invention will become apparent from the embodiments described below, and with reference to the drawings. Showing:
  • 1 a schematic diagram of a parking environment with associated computing device, and
  • 2 a traffic situation in the park environment.

1 zeigt eine Prinzipskizze einer Parkumgebung 1. Die Parkumgebung 1 umfasst zunächst einen angedeuteten Parkraum 2 mit einer Mehrzahl von Abstellplätzen, auf denen teilweise abgestellte Kraftfahrzeuge 3 vorliegen. Weitere Kraftfahrzeuge 4 werden zurzeit im Parkraum 2 der Parkumgebung 1 betrieben, sei es, um einzuparken oder um die Parkumgebung 1 nach dem Ausparken zu verlassen. Zur Parkumgebung 1 gehört vorliegend zur Koordination des Betriebs in der Parkumgebung 1 eine zentrale, stationäre Recheneinrichtung 5 (Infrastruktureinrichtung) die, beispielsweise über Kraftfahrzeug-zu-Infrastruktur-Kommunikation mit den Kraftfahrzeugen 4 über entsprechende Kommunikationsverbindungen 6, die wenigstens teilweise drahtlos sind, kommunizieren kann. Die Kommunikationsverbindungen 6 werden insbesondere genutzt, um Vorgaben für einen wenigstens teilweise automatischen Betrieb der Kraftfahrzeuge 4 innerhalb der Parkumgebung 1 zu übertragen, beispielsweise einen anzufahrenden Abstellplatz, eine digitale Karte des Parkraums 2 und dergleichen. Die Kraftfahrzeuge 4 weisen vorliegend ein Fahrzeugsystem 7 zur wenigstens teilweise automatischen Führung des jeweiligen Kraftfahrzeugs 4 auf. 1 shows a schematic diagram of a park environment 1 , The park environment 1 initially includes an indicated parking space 2 with a plurality of parking spaces on which partially parked motor vehicles 3 available. Other motor vehicles 4 are currently in the parking area 2 the park environment 1 operated, be it to park or the park environment 1 to leave after parking. To the park environment 1 in the present case belongs to the coordination of the operation in the park environment 1 a central, stationary computing device 5 (Infrastructural facility) the, for example, via vehicle-to-infrastructure communication with the motor vehicles 4 via appropriate communication links 6 which are at least partially wireless, can communicate. The communication links 6 are used in particular to specifications for an at least partially automatic operation of motor vehicles 4 within the park environment 1 to transfer, for example, a parking space to be approached, a digital map of the parking space 2 and the same. The motor vehicles 4 have a vehicle system in the present case 7 for at least partially automatic guidance of the respective motor vehicle 4 on.

Die Parkumgebung 1 umfasst auch ein Überwachungssystem 8, welches eine Mehrzahl von im Parkraum 2 angeordneten akustischen und/oder optischen Sensoren 9 umfasst, deren Sensordaten ebenso an die Recheneinrichtung 5 geliefert werden.The park environment 1 also includes a monitoring system 8th , which has a plurality of in the parking space 2 arranged acoustic and / or optical sensors 9 includes, the sensor data also to the computing device 5 to be delivered.

Die Recheneinrichtung 5 wertet deren Sensordaten auf verschiedene Art und Weise aus, wobei sie vorliegend insbesondere eine Zuordnungseinheit 10 aufweist, mittels der die Zuordnung eines Fußgängers in der Parkumgebung 1 zu einem abgestellten Kraftfahrzeug 3 aufgrund dessen Entriegelungsrückmeldung erfolgen kann. Ferner ist auch eine Prädiktionseinheit 11 zur Prädiktion einer Trajektorie zu einem zugeordneten abgestellten zweiten Kraftfahrzeug 3 vorgesehen. Eine eine derartige Prädiktionstrajektorie sowie weitere Informationen über die Bewegung und die Position des Fußgängers erfassende Fußgängerinformation kann einem in einem Relevanzbereich um den Fußgänger befindlichen, in der Parkumgebung betriebenen ersten Kraftfahrzeugen 4 bereitgestellt werden, so dass diese ihren wenigstens teilweise automatischen Betrieb zur Kollisionsvermeidung mit dem Fußgänger anpassen können und/oder sonstige Maßnahmen, beispielsweise eine Hinweisgabe an einen Fahrer, auslösen können.The computing device 5 evaluates their sensor data in various ways, in the present case in particular an allocation unit 10 by means of the assignment of a pedestrian in the park environment 1 to a parked motor vehicle 3 due to the unlocking feedback can be done. There is also a prediction unit 11 for the prediction of a trajectory to an assigned parked second motor vehicle 3 intended. A pedestrian information that detects such a prediction trajectory as well as further information about the movement and the position of the pedestrian may be located in a relevance area around the pedestrian, operated in the parking environment first motor vehicles 4 be provided so that they can adapt their at least partially automatic operation for collision avoidance with the pedestrian and / or other measures, such as a hint to a driver, trigger.

Dies sei im Hinblick auf 2, die eine Situation in der Parkumgebung 1 zeigt, genauer erläutert. Gezeigt sind auf Abstellplätzen in der Parkumgebung 1 abgestellte Kraftfahrzeuge 3, 12 und ein Fußgänger 13, der gerade mittels einer entsprechenden Entriegelungshandlung, beispielsweise der Betätigung eines als Fernbedienung wirkenden Schlüssels, sein abgestelltes Kraftfahrzeug 12 fernentriegelt, um dieses aufzufinden und sodann aufzusuchen, um beispielsweise auszuparken und die Parkumgebung 1 zu verlassen. Kameras 14 als Sensoren 9 erfassen nicht nur den Fußgänger 13, welcher in den Sensordaten mittels der Recheneinrichtung 5 auch als solcher klassifiziert werden kann, sondern auch dessen Entriegelungshandlung sowie eine Entriegelungsrückmeldung des Kraftfahrzeugs 12, welche vorliegend optisch über blinkende Leuchten 15 erfolgt, zusätzlich oder alternativ jedoch auch akustisch erfolgen kann, um von entsprechenden akustischen Sensoren 9 erfasst zu werden.This is with regard to 2 that a situation in the park environment 1 shows, explained in more detail. Shown are on parking spaces in the park environment 1 parked motor vehicles 3 . 12 and a pedestrian 13 who just by means of a corresponding Entriegelungshandlung, such as the operation of acting as a remote key, his parked motor vehicle 12 remotely unlocked to locate this and then visit, for example, to park and the park environment 1 to leave. cameras 14 as sensors 9 not only capture the pedestrian 13 , which in the sensor data by means of the computing device 5 can also be classified as such, but also its unlocking action and a Entriegelungsrückmeldung the motor vehicle 12 , which in this case visually flashing lights 15 takes place, in addition or alternatively, however, also acoustically can be done to corresponding acoustic sensors 9 to be recorded.

Die Zuordnungseinheit 10 klassifiziert nun die von den Kameras 12 erfasste optische Signalausgabe des Kraftfahrzeugs 12 durch Vergleich mit Entriegelungs-Vergleichsmustern einer Musterdatenbank 16 (vgl. 1) als Entriegelungsrückmeldung und zudem ein in den Sensordaten feststellbares Handlungsmuster des Fußgängers durch Vergleich mit Handlungs-Vergleichsmustern der Musterdatenbank 16 als eine Entriegelungshandlung des Fußgängers 13. Die zeitliche Koinzidenz der Entriegelungshandlung und der Entriegelungsrückmeldung sorgt für eine eindeutige Zuordnung des Fußgängers 13 zu dem abgestellten, die Entriegelungsrückmeldung gebenden zweiten Kraftfahrzeug 12. Durch die Recheneinrichtung 5 kann mithin das zweite Kraftfahrzeug 12 als Bewegungsziel des Fußgängers 13 angenommen werden, so dass in der Prädiktionseinheit 11 aufgrund der aus den Sensordaten bekannten Positionen des Fußgängers 13 und des zweiten Kraftfahrzeugs 12 eine in 2 nur angedeutete Bewegungstrajektorie 17 des Fußgängers 13 vorausberechnet werden kann. Die Position des Fußgängers 13, des Kraftfahrzeugs 12 als Bewegungsziel des Fußgängers 13 sowie die wahrscheinliche Bewegungstrajektorie des Fußgängers 13 werden als Fußgängerinformation an ein in einem Relevanzbereich um den Fußgänger 13 und das Kraftfahrzeug 12 betriebenes erstes Kraftfahrzeug 4 übermittelt, so dass dessen Fahrzeugsystem die Fußgängerinformation entsprechend nutzen kann, um eine Kollision mit dem Fußgänger 13 zu vermeiden bzw. allgemein diesen bei seiner Fahrtplanung adäquat zu berücksichtigen.The allocation unit 10 now classifies those of the cameras 12 detected optical signal output of the motor vehicle 12 by comparison with unlocking comparison patterns of a sample database 16 (see. 1 ) as Entriegelungsrückmeldung and also detectable in the sensor data plot pattern of the pedestrian by comparison with action comparison patterns of the sample database 16 as an unlocking action of the pedestrian 13 , The temporal coincidence of the unlocking action and the unlocking feedback ensures a clear assignment of the pedestrian 13 to the parked, the Entriegelungsrückmeldung giving second motor vehicle 12 , By the computing device 5 can therefore the second motor vehicle 12 as a movement goal of the pedestrian 13 be accepted, so that in the prediction unit 11 due to the known from the sensor data positions of the pedestrian 13 and the second motor vehicle 12 one in 2 only hinted movement trajectory 17 of the pedestrian 13 can be calculated in advance. The position of the pedestrian 13 , the motor vehicle 12 as a movement goal of the pedestrian 13 as well as the probable movement trajectory of the pedestrian 13 be used as pedestrian information on a in a relevance area around the pedestrian 13 and the motor vehicle 12 operated first motor vehicle 4 so that its vehicle system can appropriately use the pedestrian information to collide with the pedestrian 13 to avoid or generally take into account in his trip planning adequately.

Es sei noch darauf hingewiesen, dass der Vergleich mit Vergleichsmustern auch implizit erfolgen kann, wenn ein Klassifikationsalgorithmus bzw. Klassifikator der künstlichen Intelligenz verwendet wird, der anhand von die Vergleichsmuster beschreibenden Trainingsdaten trainiert wurde und eine Signalausgabe mithin als Entriegelungsrückmeldung und/oder eine Handlungsmuster als Entriegelungshandlung klassifizieren kann.It should also be pointed out that the comparison with comparison patterns can also be implicit if an artificial intelligence classification algorithm or classifier is used which has been trained on the basis of training data describing the comparison patterns and a signal output, therefore, as the unlocking feedback and / or a behavior pattern as the unlocking action can classify.

Claims (10)

Verfahren zum Betrieb von Kraftfahrzeugen (3, 4, 12) innerhalb einer Parkumgebung (1), wobei eine eine Bewegung eines Fußgängers (13) innerhalb der Parkumgebung (1) beschreibende Fußgängerinformation durch Auswertung von den Fußgänger (13) zeigenden Sensordaten wenigstens eines Sensors (9) ermittelt wird und seitens wenigstens eines ersten in der Parkumgebung (1) betriebenen Kraftfahrzeugs (4) wenigstens eine Maßnahme zur Kollisionsvermeidung mit dem Fußgänger (13) in Abhängigkeit der Fußgängerinformation durchgeführt wird, dadurch gekennzeichnet, dass in den und/oder weiteren Sensordaten zusätzlich eine dem Fußgänger (13) zuordenbare Entriegelungsrückmeldung eines zweiten, in der Parkumgebung (1) abgestellten Kraftfahrzeugs (12) detektiert wird und das zweite Kraftfahrzeug (12) zur Ermittlung der Fußgängerinformation als Bewegungsziel des Fußgängers (13) festgelegt wird.Method for operating motor vehicles (3, 4, 12) within a parking environment (1), wherein a pedestrian information describing a movement of a pedestrian (13) within the parking environment (1) is evaluated by evaluating sensor data of at least one sensor ( 9) is determined, and at least one measure for collision avoidance with the pedestrian (13) in dependence on the pedestrian information is performed by at least one first in the parking environment (1) motor vehicle (4), characterized in that in the and / or further sensor data additionally a Pedestrian (13) assignable Entriegelungsrückmeldung a second, parked in the park environment (1) motor vehicle (12) is detected and the second motor vehicle (12) for determining the pedestrian information as a movement target of the pedestrian (13) is set. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Detektion der Entriegelungsrückmeldung eine optische und/oder akustische Signalausgabe des zweiten Kraftfahrzeugs (12) mit Entriegelungs-Vergleichsmustern einer Musterdatenbank (16) verglichen wird, wobei bei hinreichender Übereinstimmung der Signalausgabe mit wenigstens einem Entriegelungs-Vergleichsmuster eine Entriegelungsrückmeldung detektiert wird.Method according to Claim 1 , characterized in that for the detection of Entriegelungsrückmeldung an optical and / or acoustic signal output of the second motor vehicle (12) with unlocking comparison patterns of a pattern database (16) is compared, wherein with sufficient compliance of the signal output with at least one unlocking comparison pattern unlocking feedback is detected , Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zur Zuordnung des Fußgängers (13) zu dem zweiten Kraftfahrzeug (12) ein in den Sensordaten feststellbares Handlungsmuster des Fußgängers (13) mit Handlungs-Vergleichsmustern einer oder der Musterdatenbank (16) verglichen wird, wobei bei hinreichender Übereinstimmung des Handlungsmusters mit wenigstens einem Handlungs-Vergleichsmuster eine Entriegelungshandlung des Fußgängers (13) detektiert wird, wobei bei zeitlicher Koinzidenz der Entriegelungshandlung mit einer Entriegelungsrückmeldung der Fußgänger (13) dem rückmeldenden zweiten Kraftfahrzeug (12) zugeordnet wird.Method according to Claim 1 or 2 , characterized in that for the assignment of the pedestrian (13) to the second motor vehicle (12) a detectable in the sensor data plot pattern of the pedestrian (13) with action comparison patterns one or the pattern database (16) is compared, with sufficient agreement of the action pattern a release action of the pedestrian (13) is detected with at least one action-comparison pattern, wherein at coincidence coincidence of the unlocking action with a Entriegelungsrückmeldung the pedestrian (13) is assigned to the rückmeldenden second motor vehicle (12). Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass zum Vergleich mit Vergleichsmustern der Musterdatenbank (16) ein Klassifikator der künstlichen Intelligenz verwendet wird, der durch die Vergleichsmuster enthaltenden Trainingsdaten in einem maschinellen Lernprozess trainiert wurde.Method according to Claim 2 or 3 , characterized in that for comparison with comparison patterns of the pattern database (16), an artificial intelligence classifier trained in the training data containing the comparison patterns in a machine learning process is used. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die die Sensordaten liefernden Sensoren (9) fest innerhalb der Parkumgebung (1) installierte Sensoren (9) und/oder wenigstens eine Kamera (14) umfassen.Method according to one of the preceding claims, characterized in that the sensor data supplying sensors (9) fixed within the parking environment (1) installed sensors (9) and / or at least one camera (14). Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Ermittlung der Fußgängerinformation seitens einer zentralen, der Parkumgebung (1) zugeordneten Recheneinrichtung (5) erfolgt, die mit wenigstens einem Teil der in der Parkumgebung (1) betriebenen Kraftfahrzeuge (4) kommuniziert.Method according to one of the preceding claims, characterized in that the pedestrian information is determined by a central computing device (5) associated with the parking environment (1) which communicates with at least part of the motor vehicles (4) operated in the parking environment (1). Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Fußgängerinformation an in einem Relevanzbereich um den Fußgänger (13) und/oder das Bewegungsziel betriebene erste Kraftfahrzeuge (4) übermittelt wird.Method according to Claim 6 , characterized in that the pedestrian information is transmitted to first motor vehicles (4) operated in a relevance area around the pedestrian (13) and / or the movement destination. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass, insbesondere seitens der Recheneinrichtung (5), als Fußgängerinformation eine prädizierte Bewegungstrajektorie (17) von dem Fußgänger (13) zu dem Bewegungsziel ermittelt wird.Method according to one of the preceding claims, characterized in that, in particular on the part of the computing device (5), a predicted movement trajectory (17) from the pedestrian (13) to the movement destination is determined as pedestrian information. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass bei einem automatisch betriebenen ersten Kraftfahrzeug (4) als Maßnahme eine von diesem geplante, abzufahrende Trajektorie zur Kollisionsvermeidung mit dem Fußgänger (13) modifiziert wird und/oder bei einem manuell betriebenen ersten Kraftfahrzeug (4) eine, insbesondere eine Handlungsanweisung zur Kollisionsvermeidung und/oder eine graphische Darstellung des Fußgängers (13) und des Bewegungsziels, vorzugsweise auch einer in der Fußgängerinformation enthaltenen prädizierten Bewegungstrajektorie (17) des Fußgängers (13), enthaltende, Hinweisinformation an den Fahrer ausgegeben wird.Method according to one of the preceding claims, characterized in that in an automatically operated first motor vehicle (4) as a measure of this planned, trajectory traversed for collision avoidance with the pedestrian (13) is modified and / or in a manually operated first motor vehicle (4 ) one, in particular a handling instruction for collision avoidance and / or a graphical representation of the pedestrian (13) and the movement destination, preferably also a predicted movement trajectory (17) contained in the pedestrian information of the pedestrian (13), containing hint information is output to the driver. Recheneinrichtung (5) für eine Parkumgebung (1), aufweisend eine Kommunikationseinrichtung zur Kommunikation mit wenigstens einem Teil von in der Parkumgebung (1) betriebenen Kraftfahrzeugen (3, 4, 12) und zum Empfang von Sensordaten wenigstens eines in der Parkumgebung (1) befindlichen Sensors (9) und ausgebildet zur Ermittlung einer eine Bewegung eines Fußgängers (13) innerhalb der Parkumgebung (1) beschreibenden Fußgängerinformation durch Auswertung von den Fußgänger (13) zeigenden Sensordaten, dadurch gekennzeichnet, dass die Recheneinrichtung (5) ferner zur Detektion einer dem Fußgänger (13) zuordenbaren Entriegelungsrückmeldung eines zweiten, in der Parkumgebung (1) abgestellten Kraftfahrzeugs (12) in den und/oder weiteren Sensordaten und zur Festlegung des zweiten Kraftfahrzeugs (12) als Bewegungsziel des Fußgängers (13) zur Ermittlung der Fußgängerinformation ausgebildet ist.Computing device (5) for a parking environment (1), comprising a communication device for communicating with at least part of motor vehicles (3, 4, 12) operated in the parking environment (1) and for receiving sensor data of at least one in the parking environment (1) Sensors (9) and designed to determine a movement of a pedestrian (13) within the park environment (1) descriptive pedestrian information by evaluating the pedestrian (13) pointing sensor data, characterized in that the computing device (5) further for detecting a pedestrian (13) assignable unlocking confirmation of a second, parked in the park environment (1) motor vehicle (12) in the and / or further sensor data and defining the second motor vehicle (12) as a movement target of the pedestrian (13) is designed to determine the pedestrian information.
DE102017210394.9A 2017-06-21 2017-06-21 Method for operating motor vehicles in a parking environment and computing device Active DE102017210394B3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017210394.9A DE102017210394B3 (en) 2017-06-21 2017-06-21 Method for operating motor vehicles in a parking environment and computing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017210394.9A DE102017210394B3 (en) 2017-06-21 2017-06-21 Method for operating motor vehicles in a parking environment and computing device

Publications (1)

Publication Number Publication Date
DE102017210394B3 true DE102017210394B3 (en) 2018-05-09

Family

ID=62003220

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017210394.9A Active DE102017210394B3 (en) 2017-06-21 2017-06-21 Method for operating motor vehicles in a parking environment and computing device

Country Status (1)

Country Link
DE (1) DE102017210394B3 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018222683A1 (en) * 2018-12-20 2020-06-25 Robert Bosch Gmbh Method for creating an environment representation map for monitoring a vehicle and / or a vehicle trailer using a camera system
DE102019127176A1 (en) * 2019-10-09 2021-04-15 Ford Global Technologies, Llc Controlling an autonomous vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007052093A1 (en) 2007-10-31 2009-05-07 Bayerische Motoren Werke Aktiengesellschaft Evaluation unit for evaluating information related to creature i.e. pedestrian, in environment of car, has determination component determining future movement path of creature by considering recognized indicator
DE102014006956A1 (en) 2013-05-15 2014-11-20 Suzuki Motor Corporation Pedestrian-to-vehicle communication system
DE102014215057A1 (en) 2014-07-31 2016-02-04 Bayerische Motoren Werke Aktiengesellschaft Determination of a collision probability on the basis of a pedestrian's head orientation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007052093A1 (en) 2007-10-31 2009-05-07 Bayerische Motoren Werke Aktiengesellschaft Evaluation unit for evaluating information related to creature i.e. pedestrian, in environment of car, has determination component determining future movement path of creature by considering recognized indicator
DE102014006956A1 (en) 2013-05-15 2014-11-20 Suzuki Motor Corporation Pedestrian-to-vehicle communication system
DE102014215057A1 (en) 2014-07-31 2016-02-04 Bayerische Motoren Werke Aktiengesellschaft Determination of a collision probability on the basis of a pedestrian's head orientation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018222683A1 (en) * 2018-12-20 2020-06-25 Robert Bosch Gmbh Method for creating an environment representation map for monitoring a vehicle and / or a vehicle trailer using a camera system
DE102019127176A1 (en) * 2019-10-09 2021-04-15 Ford Global Technologies, Llc Controlling an autonomous vehicle

Similar Documents

Publication Publication Date Title
DE102014008578B4 (en) Method for determining position data for use in the operation of a vehicle system of a motor vehicle and position data acquisition and distribution system
EP3181422B1 (en) Method and system for automatically guiding a follow vehicle with a scout vehicle
DE102014002150B3 (en) Method for determining the absolute position of a mobile unit and mobile unit
EP3181421B1 (en) Method and system for automatically guiding a follow vehicle with a front vehicle
EP3181423B1 (en) Method and system for automatically guiding a follow vehicle with a scout vehicle
EP2915152B1 (en) Method for identifying a vehicle detected by a sensor device
WO2018145951A1 (en) Method for coordinating the traffic of a plurality of motor vehicles within a predetermined infrastructure region and server device, motor vehicle and system
DE102013005362A1 (en) Method for analyzing traffic conditions between vehicle and road user at e.g. road crossings, involves dynamically determining danger areas based on points of intersection of predicted movement trajectories
DE102017217444B4 (en) Method and system for updating a control model for automatic control of at least one mobile unit
DE102017216202A1 (en) Method of predicting an optimal lane on a multi-lane road
DE102019212842A1 (en) Control of a motor vehicle using an unmanned aerial vehicle
DE102015004605B4 (en) Method of operating a control system of a mobile unit and mobile unit
DE102012023498A1 (en) Method for guiding automatic and/or assistive vehicle i.e. motor car, involves transmitting stored information to vehicle to decide whether track portion is suitable to guide automatic and/or assisting vehicle by environment sensor system
EP3785192A1 (en) Method and vehicle system for passenger recognition by autonomous vehicles
DE102018218922A1 (en) Prediction of expected driving behavior
DE102017210394B3 (en) Method for operating motor vehicles in a parking environment and computing device
EP3592628B1 (en) Method for operating a motor vehicle, motor vehicle, and transmission device
DE102017209195B4 (en) Method for documenting a driving operation of a motor vehicle
DE102018006824A1 (en) Method for assisting a passenger and vehicle with a device for carrying out the method
EP3511920B1 (en) Parking assistance system with remote configuration of a local neuronal network
WO2021047800A1 (en) Method and assistance system for using a digital map in a vehicle
DE102019131446A1 (en) Process for the acquisition of environmental information for autonomously operated vehicles
DE102018222666A1 (en) Autonomous taxi
DE102015103362A1 (en) PURSUIT FROM A VEHICLE
DE102021105416A1 (en) Method for locating components of a handling device in a production environment, component, location system and production system

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R018 Grant decision by examination section/examining division
R020 Patent grant now final