DE102017210394B3 - Method for operating motor vehicles in a parking environment and computing device - Google Patents
Method for operating motor vehicles in a parking environment and computing device Download PDFInfo
- Publication number
- DE102017210394B3 DE102017210394B3 DE102017210394.9A DE102017210394A DE102017210394B3 DE 102017210394 B3 DE102017210394 B3 DE 102017210394B3 DE 102017210394 A DE102017210394 A DE 102017210394A DE 102017210394 B3 DE102017210394 B3 DE 102017210394B3
- Authority
- DE
- Germany
- Prior art keywords
- pedestrian
- motor vehicle
- environment
- information
- sensor data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
- B62D15/0285—Parking performed automatically
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Chemical & Material Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
Verfahren zum Betrieb von Kraftfahrzeugen (3, 4, 12) innerhalb einer Parkumgebung (1), wobei eine eine Bewegung eines Fußgängers (13) innerhalb der Parkumgebung (1) beschreibende Fußgängerinformation durch Auswertung von den Fußgänger (13) zeigenden Sensordaten wenigstens eines Sensors (9) ermittelt wird und seitens wenigstens eines ersten in der Parkumgebung (1) betriebenen Kraftfahrzeugs (4) wenigstens eine Maßnahme zur Kollisionsvermeidung mit dem Fußgänger (13) in Abhängigkeit der Fußgängerinformation durchgeführt wird, wobei in den und/oder weiteren Sensordaten zusätzlich eine dem Fußgänger (13) zuordenbare Entriegelungsrückmeldung eines zweiten, in der Parkumgebung (1) abgestellten Kraftfahrzeugs (12) detektiert wird und das zweite Kraftfahrzeug (12) zur Ermittlung der Fußgängerinformation als Bewegungsziel des Fußgängers (13) festgelegt wird.Method for operating motor vehicles (3, 4, 12) within a parking environment (1), wherein a pedestrian information describing a movement of a pedestrian (13) within the parking environment (1) is evaluated by evaluating sensor data of at least one sensor ( 9), and at least one measure for collision avoidance with the pedestrian (13) is carried out by at least one first motor vehicle (4) operated in the parking environment (1) as a function of the pedestrian information, wherein in the and / or further sensor data additionally a pedestrian (13) assignable Entriegelungsrückmeldung a second, parked in the park environment (1) motor vehicle (12) is detected and the second motor vehicle (12) for determining the pedestrian information is set as a movement target of the pedestrian (13).
Description
Die Erfindung betrifft ein Verfahren zum Betrieb von Kraftfahrzeugen innerhalb einer Parkumgebung, wobei eine eine Bewegung eines Fußgängers innerhalb der Parkumgebung beschreibende Fußgängerinformation durch Auswertung von den Fußgänger zeigenden Sensordaten wenigstens eines Sensors ermittelt wird und seitens wenigstens eines ersten in der Parkumgebung betriebenen Kraftfahrzeugs wenigstens eine Maßnahme zur Kollisionsvermeidung mit dem Fußgänger in Abhängigkeit der Fußgängerinformation durchgeführt wird. Daneben betrifft die Erfindung eine Recheneinrichtung für eine solche Parkumgebung.The invention relates to a method for operating motor vehicles within a parking environment, wherein a pedestrian's movement within the park environment descriptive pedestrian information is determined by evaluating the pedestrian pointing sensor data of at least one sensor and at least a first operated in the park environment motor vehicle at least one measure for Collision avoidance is performed with the pedestrian in dependence of the pedestrian information. In addition, the invention relates to a computing device for such a parking environment.
Im Straßenverkehr sowie im Verkehr mit Kraftfahrzeugen in bestimmten Umgebungen, beispielsweise Parkumgebungen, stellen Fußgänger aufgrund des erhöhten Risikos bei einer Kollision mit einem Kraftfahrzeug besonders gefährdete Verkehrsteilnehmer dar. Daher wurden im Stand der Technik eine Vielzahl von Anstrengungen unternommen, um den Schutz von Fußgängern zu verbessern, von ihrer Detektion bis hin zu einer Kollisionsvermeidung und/oder Kollisionsfolgenminderung. Eine automatisierte Erkennung von Fußgängern kann mit im Stand der Technik bekannten Verfahren über stationäre und/oder von den Kraftfahrzeugen mitgeführte Sensoren unterschiedlicher Art erfolgen, woher beispielsweise eine Vielzahl von Verfahren für Kameras für bildgebende Sensoren bekannt sind. Auch hinsichtlich von Radarsensoren wurden bereits verschiedene Klassifizierungsverfahren vorgeschlagen.In road traffic, as well as in motor vehicle traffic in certain environments, such as park environments, pedestrians are particularly vulnerable road users due to the increased risk of collision with a motor vehicle. Therefore, a great deal of effort has been made in the art to improve the protection of pedestrians , from their detection to collision avoidance and / or collision mitigation. An automated detection of pedestrians can be carried out by methods known in the art via stationary and / or carried by the vehicles sensors of different types, from which, for example, a variety of methods for cameras for imaging sensors are known. Also with regard to radar sensors, various classification methods have already been proposed.
Tatsächlich hat sich gezeigt, dass die Bewegung des Fußgängers an sich nicht unwesentlich ist, wenn es darum geht, diesen optimal zu schützen. Denn von der zukünftigen Bewegung des Fußgängers hängt es in vielen Fällen ab, ob überhaupt eine Kollisionsgefahr entstehen kann und die zukünftige Bewegung eines Fußgängers ist eine wichtige Information, um Maßnahmen zum Schutz des Fußgängers treffen zu können, beispielsweise Ausweichmanöver.In fact, it has been shown that the movement of the pedestrian is in itself not insignificant when it comes to optimally protect it. Because of the future movement of the pedestrian it depends in many cases, if any risk of collision may arise and the future movement of a pedestrian is an important piece of information to take measures to protect the pedestrian can, for example evasive maneuvers.
Besonders kritische Situationen können sich auch in Parkumgebungen, beispielsweise also einem mehrere Abstellplätze aufweisenden Parkplatz und/oder einem Parkhaus, ergeben. Häufig sind Parkumgebungen relativ unübersichtlich und durch die Abwesenheit von typischerweise durch die Benutzer genutzten Wegen gekennzeichnet, da diese sich häufig relativ direkt zu ihrem abgestellten Kraftfahrzeug begeben wollen oder dieses suchen müssen. Dies ist gerade im Hinblick auf die zunehmende Automatisierung in Parkhäusern relevant, nachdem in letzter Zeit eine Vielzahl von Ansätzen vorgeschlagen wurde, die eine wenigstens teilweise automatische Führung des Kraftfahrzeugs, insbesondere eine vollständig automatische Führung des Kraftfahrzeugs, in Parkumgebungen anstreben, beispielsweise zum vollautomatischen Einparken und/oder vollautomatischen Ausparken des Kraftfahrzeugs. In diesem Kontext ist es bekannt, Kraftfahrzeuge über drahtlose Übertragungstechnologien mit Infrastruktureinrichtungen, beispielsweise einer zentralen Recheneinrichtung, die der Parkumgebung zugeordnet ist, kommunizieren zu lassen, um beispielsweise Informationen zu Abstellplätzen, Trajektorien und dergleichen austauschen zu können. In diesem Kontext wurden auch bereits Überwachungssysteme für Parkumgebungen vorgeschlagen, die in der Lage sind, über geeignete Sensoren Fußgänger und andere Objekte zu erkennen und zu klassifizieren.Particularly critical situations can also result in parking environments, for example a parking space having several parking spaces and / or a parking garage. Frequently, parking environments are relatively cluttered and characterized by the absence of ways typically used by the users, as they often wish to go or search relatively directly to their parked motor vehicle. This is just in view of the increasing automation in parking garages relevant, after lately a variety of approaches has been proposed that seek an at least partially automatic guidance of the motor vehicle, in particular a fully automatic guidance of the motor vehicle, in parking environments, for example, for fully automatic parking and /or fully automatic parking of the motor vehicle. In this context, it is known to let motor vehicles communicate via wireless transmission technologies with infrastructure devices, for example a central computing device, which is assigned to the parking environment, in order, for example, to exchange information about parking spaces, trajectories and the like. In this context, monitoring systems have already been proposed for parking environments, which are able to detect and classify pedestrians and other objects via suitable sensors.
Gerade im Hinblick auf assistierte und/oder vollständig automatische Fahrfunktionen in Kraftfahrzeugen besteht gemeinsam mit den sonstigen Gegebenheiten in Parkumgebungen das Problem, dass automatisierte Funktionen in Kraftfahrzeugen häufig das Verhalten von Fußgängern deutlich schlechter interpretieren können als menschliche Fahrer. Zum korrekten und sicheren Verhalten in Parkumgebungen ist die intendierte Bewegungsrichtung von Fußgängern aber eine wichtige Information, die meist nicht bekannt ist.Especially with regard to assisted and / or fully automatic driving functions in motor vehicles, together with the other conditions in parking environments, there is the problem that automated functions in motor vehicles can often interpret the behavior of pedestrians significantly worse than human drivers. For the correct and safe behavior in parking environments, the intended direction of movement of pedestrians is an important piece of information that is mostly unknown.
Der Erfindung liegt daher die Aufgabe zugrunde, die Sicherheit für Fußgänger in Parkumgebungen zu erhöhen.The invention is therefore based on the object to increase safety for pedestrians in parking environments.
Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass in den und/oder weiteren Sensordaten zusätzlich eine dem Fußgänger zuordenbare Entriegelungsrückmeldung eines zweiten, in der Parkumgebung abgestellten Kraftfahrzeugs detektiert wird und das zweite Kraftfahrzeug zur Ermittlung der Fußgängerinformation als Bewegungsziel des Fußgängers festgelegt wird.To solve this problem, the invention provides that in the and / or further sensor data in addition to the pedestrian assignable Entriegelungsrückmeldung a second parked in the parked motor vehicle is detected and the second motor vehicle for determining the pedestrian information as a movement target of Pedestrian is set.
Der Erfindung liegt somit die Erkenntnis zugrunde, dass viele in Parkumgebung abgestellte Kraftfahrzeuge über automatische, fernbedienbare Entriegelungssysteme verfügen, die über eine geeignete Fernbedienung durch die dem Kraftfahrzeug zugeordneten Personen angesprochen werden, bevor das abgestellte Kraftfahrzeug tatsächlich erreicht worden ist. Beispielsweise ist es bekannt, durch Knopfdruck auf einen Schlüssel das Kraftfahrzeug zu entriegeln. Um der dem Kraftfahrzeug zugeordneten Person mitzuteilen, dass der Entriegelungsvorgang erfolgreich war, wird seitens des Kraftfahrzeugs über entsprechende Ausgabemittel eine optische und/oder akustische Entriegelungsrückmeldung ausgegeben, beispielsweise das kurze Aufleuchten von Außenleuchten des Kraftfahrzeugs und/oder eine Geräuschausgabe über einen Lautsprecher. Tatsächlich ist es in der Praxis häufig so, dass Fußgänger die ihnen zugeordneten abgestellten Kraftfahrzeuge häufig erst über diese ferngesteuerte Entriegelungsfunktion auffinden, diese mithin nutzen, um ihr Kraftfahrzeug innerhalb einer Parkumgebung lokalisieren zu können. Entriegelt aber ein Fußgänger ein Kraftfahrzeug, ist davon auszugehen, dass es sich bei diesem Kraftfahrzeug um sein Bewegungsziel handelt, so dass eine hochrelevante Zusatzinformation gegeben ist, aus der eine Fußgängerinformation an in der Umgebung des Fußgängers betriebene erste Kraftfahrzeuge ausgegeben werden kann, welche Kollisionen mit dem Fußgänger deutlich verlässlicher vermeiden können, nachdem davon auszugehen ist, dass dieser sich zu seinem Bewegungsziel bewegen wird.The invention is thus based on the finding that many parked in park environment motor vehicles have automatic, remote-controlled unlocking systems, which are addressed via a suitable remote control by the persons assigned to the motor vehicle before the parked motor vehicle has actually been reached. For example, it is known to unlock the motor vehicle by pressing a key on a key. In order to inform the person assigned to the motor vehicle that the unlocking process has been successful, the motor vehicle issues a visual and / or acoustic unlocking feedback via corresponding output means, for example the brief illumination of exterior lights of the motor vehicle and / or a sound output via a loudspeaker. In fact, it is often the case in practice that pedestrians often find their parked motor vehicles assigned to them via this remote-controlled unlocking function, thus using them to be able to locate their motor vehicle within a parking environment. But unlocks a pedestrian a motor vehicle, it is assumed that this motor vehicle is its movement target, so that a highly relevant additional information is given, from which a pedestrian information can be output to run in the vicinity of the pedestrian first motor vehicles, which collisions with be able to avoid the pedestrian much more reliably, since it can be assumed that he will move to his destination.
Während es also grundsätzlich bekannt ist, einen Fußgänger während seiner Bewegung durch die Parkumgebung mittels geeigneten Sensoren, insbesondere Kameras, zu detektieren und zu klassifizieren, nutzt die Erfindung aus, dass geeignete Sensoren auch in der Lage sind, die Entriegelungsrückmeldungen geparkter zweiter Kraftfahrzeuge zu erfassen und als solche zu klassifizieren, so dass aus Bewegungsmustern des detektierten Fußgängers und einer erkannten Entriegelungsrückmeldung bei entsprechender Koinzidenz die Zugehörigkeit von erfassten Fußgängern zu parkenden zweiten Kraftfahrzeugen geschlossen werden kann. Aufgrund eines so ermittelten bekannten Bewegungsziels kann die Bewegung des Fußgängers deutlich besser abgeschätzt werden und darauf aufsetzende Fahrzeugfunktionen, insbesondere solche, die der assistierten und/oder vollständig automatischen Führung des Kraftfahrzeugs durch die Parkumgebung dienen, können sicherer und sozialverträglicher ausgelegt und angeboten werden.Thus, while it is generally known to detect and classify a pedestrian during his movement through the park environment by means of suitable sensors, in particular cameras, the invention makes use of the fact that suitable sensors are also able to detect the unlocking feedback of parked second motor vehicles and classified as such, so that from movement patterns of the detected pedestrian and a recognized Entriegelungsrückmeldung with appropriate coincidence, the affiliation of detected pedestrians to be parked second motor vehicles can be closed. Based on a known movement target determined in this way, the movement of the pedestrian can be estimated much better and vehicle functions based thereon, in particular those which serve the assisted and / or fully automatic guidance of the motor vehicle through the parking environment, can be designed and offered in a safer and more socially acceptable manner.
In einer Weiterbildung der Erfindung kann vorgesehen sein, dass zur Detektion der Entriegelungsrückmeldung eine optische und/oder akustische Signalausgabe des zweiten Kraftfahrzeugs mit Entriegelungs-Vergleichsmustern einer Musterdatenbank verglichen wird, wobei bei hinreichender Übereinstimmung der Signalausgabe mit wenigstens einem Entriegelungs-Vergleichsmusters eine Entriegelungsmeldung detektiert wird. Es kann mithin eine Musterdatenbank explizit oder implizit vorliegen, die typische Entriegelungsrückmeldungen enthält, mit denen eine von einem Kraftfahrzeug ausgegebene, erfasste optische und/oder akustische Signalausgabe verglichen werden kann, um die optische und/oder akustische Signalausgabe als eine Entriegelungsrückmeldung klassifizieren zu können. Bevorzugt können hier Techniken der künstlichen Intelligenz und/oder des Maschinenlernens eingesetzt werden, die bei der Mustererkennung besondere Vorteile mit sich bringen.In a further development of the invention it can be provided that, for the detection of the unlocking feedback, an optical and / or acoustic signal output of the second motor vehicle is compared with unlocking comparison patterns of a pattern database, wherein, if the signal output is sufficiently matched with at least one unlocking comparison pattern, an unlocking message is detected. Thus, a pattern database can be present, explicitly or implicitly, that contains typical unlocking feedbacks with which a detected optical and / or acoustic signal output issued by a motor vehicle can be compared in order to be able to classify the optical and / or acoustic signal output as an unlocking confirmation. Preferably, techniques of artificial intelligence and / or machine learning can be used here, which bring with the pattern recognition special advantages.
Wenn nicht nur auf eine räumliche und zeitliche Koinzidenz abgestellt werden soll bzw. diese verbessert überprüft werden soll, sieht eine bevorzugte Weiterbildung der vorliegenden Erfindung für Fußgänger entsprechend vor, dass zur Zuordnung des Fußgängers zu dem zweiten Kraftfahrzeug ein in den Sensordaten feststellbares Handlungsmuster des Fußgängers mit Handlungs-Vergleichsmustern einer oder der Musterdatenbank verglichen wird, wobei bei hinreichender Übereinstimmung des Handlungsmusters mit wenigstens einem Handlungs-Vergleichsmuster eine Entriegelungshandlung des Fußgängers detektiert wird, wobei bei zeitlicher Koinzidenz der Entriegelungshandlung mit einer Entriegelungsrückmeldung der Fußgänger dem rückmeldenden zweiten Kraftfahrzeug zugeordnet wird. Dem liegt die Erkenntnis zugrunde, dass zum Auslösen einer Entriegelung wenigstens eine Entriegelungshandlung des Fußgängers erforderlich ist, beispielsweise eine Interaktion mit dem als Fernbedienung wirkenden Fahrzeugschlüssel. Auch Handlungen im Umfeld der eigentlichen Entriegelungshandlung, mithin der Betätigung des entsprechenden Bedienelements, können detektiert und zur zuverlässigen Erkennung einer Entriegelungshandlung eingesetzt werden, beispielsweise das Kramen in einer Handtasche und/oder einer Hosentasche nach dem Fahrzeugschlüssel und dergleichen. Derartige umgebende Handlungen stellen weitere Verhaltensindikatoren dar, mithin Handlungsmuster, durch die auf eine Entriegelungshandlung geschlossen werden kann. Ähnlich wie bei der Entriegelungsrückmeldung kann auch hier eine Klassifizierung durch impliziten oder expliziten Vergleich mit Handlungs-Vergleichsmustern stattfinden, die bevorzugt in derselben Musterdatenbank wie Entriegelungs-Vergleichsmuster abgelegt sein können. Auch hier lassen sich mit besonderem Vorteil Vorgehensweisen des maschinellen Lernens und/oder Algorithmen der künstlichen Intelligenz einsetzen, um Verhandlungsmuster eines Fußgängers als Entriegelungshandlung zu klassifizieren. Liegen eine Entriegelungshandlung und eine Entriegelungsrückmeldung zeitlich und, was gegebenenfalls zusätzlich überprüft werden kann, räumlich vor, ist davon auszugehen, dass das die Entriegelungsrückmeldung gebende, abgestellte, zweite Kraftfahrzeug und der Fußgänger einander zuzuordnen sind in dem Sinne, dass das geparkte Kraftfahrzeug das Bewegungsziel des detektierten Fußgängers ist.If not only on a spatial and temporal coincidence should be turned off or this should be reviewed improved, a preferred embodiment of the present invention provides for Pedestrians accordingly, that for the assignment of the pedestrian to the second motor vehicle detectable in the sensor data plot pattern of pedestrian with action comparison patterns one or the sample database is compared, with a sufficient match of the action pattern with at least one action comparison pattern unlocking the pedestrian is detected , In case of temporal coincidence of the unlocking action with a Entriegelungsrückmeldung the pedestrian is assigned to the rückmeldenden second motor vehicle. This is based on the finding that to trigger an unlocking at least one unlocking action of the pedestrian is required, for example, an interaction with the acting as a remote control vehicle key. Even actions in the environment of the actual unlocking action, thus the operation of the corresponding control element, can be detected and used for reliable detection of a release action, such as the Kramen in a purse and / or a trouser pocket after the vehicle key and the like. Such surrounding actions constitute further behavioral indicators, hence action patterns by which an unlocking action can be concluded. Similar to the unlocking feedback, here too a classification can take place by implicit or explicit comparison with action comparison patterns, which can preferably be stored in the same pattern database as unlocking comparison patterns. Here, too, machine learning and / or artificial intelligence algorithms can be used with particular advantage in order to classify negotiation patterns of a pedestrian as unlocking action. Are a Entriegelungshandlung and Entriegelungsrückmeldung temporally and what may additionally be checked, spatially before, it is assumed that the Entriegelungsrückmeldung giving, parked, second motor vehicle and the pedestrian are assigned to each other in the sense that the parked motor vehicle, the movement goal of detected pedestrian is.
Wie bereits erwähnt, kann in besonders vorteilhafter Ausgestaltung der Erfindung vorgesehen sein, dass zum Vergleich mit Vergleichsmustern der Musterdatenbank ein Klassifikator der künstlichen Intelligenz verwendet wird, der durch die Vergleichsmuster enthaltenden Trainingsdaten in einem maschinellen Lernprozess trainiert wurde. Gerade dann, wenn wenigstens ein Teil der Sensordaten und/oder weiteren Sensordaten Bilddaten eines optischen Sensors, insbesondere einer Kamera, sind, hat sich die Anwendung von Techniken des maschinellen Lernens bereits als äußerst erfolgversprechend erwiesen, so dass auch ihre Anwendung im Rahmen der vorliegenden Erfindung eine verlässliche Basis zur Erkennung von Entriegelungsrückmeldungen und/oder Entriegelungshandlungen bereitstellt, gegebenenfalls ergänzend zu anderen Algorithmen zur Auswertung der Sensordaten, beispielsweise Algorithmen der Bildverarbeitung.As already mentioned, it can be provided in a particularly advantageous embodiment of the invention that for comparison with comparison patterns of the pattern database, a classifier of artificial intelligence is used, which was trained by the comparison pattern containing training data in a machine learning process. Even if at least a part of the sensor data and / or further sensor data are image data of an optical sensor, in particular a camera, the use of machine learning techniques has already proven to be extremely promising, so that their application in the context of the present invention provides a reliable basis for the detection of Entriegelungsrückmeldungen and / or Entriegelungshandlungen, optionally in addition to other algorithms for the evaluation of the sensor data, such as algorithms of image processing.
Entsprechend sieht eine zweckmäßige Ausgestaltung vor, dass die die Sensordaten liefernden Sensoren wenigstens eine Kamera umfassen. Verfahren, um Fußgänger, sonstige Objekte und/oder auch Lichteffekte in Bilddaten einer Kamera zu detektieren, mithin geeignete Bildverarbeitungstechniken, sind im Stand der Technik bereits grundsätzlich bekannt, können daher prinzipiell auch im Rahmen der vorliegenden Erfindung eingesetzt werden und müssen vorliegend nicht mehr näher erläutert werden.Accordingly, an expedient embodiment provides that the sensors supplying the sensor data comprise at least one camera. Methods for detecting pedestrians, other objects and / or also light effects in image data of a camera, thus suitable image processing techniques, are already known in principle in the prior art and therefore can in principle also be used in the context of the present invention and need not be explained in detail in the present case become.
Vorzugsweise können die die Sensordaten liefernden Sensoren fest innerhalb der Parkumgebung installierte Sensoren umfassen bzw. sein. Zwar ist es grundsätzlich auch möglich, das erfindungsgemäße Verfahren unter Verwendung von Sensoren eines Kraftfahrzeugs, insbesondere des ersten Kraftfahrzeugs und/oder mehrerer erster Kraftfahrzeuge, durchzuführen, allerdings kann es unwahrscheinlicher sein, dass die Erfassungsbereiche sowohl den Fußgänger als auch das die Entriegelungsrückmeldung gebende zweite Kraftfahrzeug verlässlich abdecken. Ein Überwachungssystem einer Parkumgebung, welches Sensoren aufweist, die gezielt so angeordnet sind, dass durch ihre Erfassungsbereiche die Parkumgebung möglichst weitgehend erfasst werden kann, bilden eine weitaus verlässlichere Grundlage, wobei deren Sensordaten meist zudem ohnehin in einer zentralen, der Parkumgebung zugeordneten Recheneinrichtung ausgewertet, so dass eine, wie im Folgenden noch erläutert, bevorzugt dort ermittelte Fußgängerinformation allen ersten Kraftfahrzeugen, die sich in einem relevanten Bereich um den Fußgänger befinden, bereitgestellt werden kann.Preferably, the sensors providing the sensor data may be fixedly mounted within the parking environment. Although it is basically also possible to carry out the method according to the invention using sensors of a motor vehicle, in particular of the first motor vehicle and / or of several first motor vehicles, however, it may be less probable that the detection areas both the pedestrian and the second motor vehicle giving the Entriegelungsrückmeldung reliably cover. A monitoring system of a parking environment, which has sensors that are specifically arranged so that the parking environment can be detected as extensively as possible by their coverage areas, form a much more reliable basis, with their sensor data usually also evaluated anyway in a central, the parking environment associated computing device, so that one, as explained below, preferably there determined pedestrian information all the first motor vehicles, which are located in a relevant area around the pedestrian can be provided.
Entsprechend sieht eine besonders vorteilhafte Ausbildung der vorliegenden Erfindung vor, dass die Ermittlung der Fußgängerinformation seitens einer zentralen, der Parkumgebung zugeordneten Recheneinrichtung erfolgt, die mit wenigstens einem Teil der in der Parkumgebung betriebenen Kraftfahrzeuge kommuniziert. Nicht nur hat eine derartige zentrale Recheneinrichtung, die auch als Infrastruktureinrichtung bezeichnet werden kann und stationär ist, Zugriff auf die Sensordaten eines in der Parkumgebung installierten Überwachungssystems, aus denen der Fußgänger und/oder die Entriegelungsrückmeldung detektiert werden können, sondern es besteht auch eine Kommunikationsverbindung mit zumindest einer Mehrzahl von in der Parkumgebung betriebenen Kraftfahrzeugen, so dass die Fußgängerinformation, die schließlich ermittelt wurde, allen relevanten ersten Kraftfahrzeugen problemlos bereitgestellt werden kann. Über die entsprechenden Kommunikationsverbindungen zu in der Parkumgebung betriebenen Kraftfahrzeugen können beispielsweise auch weitere Informationen übertragen werden, beispielsweise Informationen zu freien Abstellplätzen, zu verwendeten Trajektorien, Hindernissen, sonstigen Kraftfahrzeugen bzw. Verkehrsteilnehmern und dergleichen. Kommunikationsverbindungen können beispielsweise über bekannte Kraftfahrzeug-zu-Infrastruktur-Technologien (Car2X-Technologien) hergestellt werden.Accordingly, a particularly advantageous embodiment of the present invention provides that the determination of the pedestrian information takes place on the part of a central computing device assigned to the parking environment, which communicates with at least part of the motor vehicles operated in the parking environment. Not only has such a central computing device, which can also be referred to as an infrastructure facility and is stationary, access to the sensor data installed in the parking environment monitoring system from which the pedestrian and / or the Entriegelungsrückmeldung can be detected, but there is also a communication link with at least a plurality of motor vehicles operated in the parking environment, so that the pedestrian information that was finally determined can be easily provided to all relevant first motor vehicles. About the corresponding Communication links to motor vehicles operated in the parking environment can also be used to transmit further information, for example information about free parking spaces, trajectories to be used, obstacles, other motor vehicles or road users and the like. Communication links can be made, for example, via known automotive-to-infrastructure technologies (Car2X technologies).
In diesem Kontext sei darauf hingewiesen, dass es im Rahmen der vorliegenden Erfindung auch denkbar ist, dass eine Entriegelungsrückmeldung anhand einer entsprechenden Rückmeldungsinformation, die von dem zweiten Kraftfahrzeug an die Recheneinrichtung übermittelt wurde, detektiert wird. Diese Ausgestaltung ist jedoch insgesamt weniger bevorzugt, da das abgestellte Kraftfahrzeug im Allgemeinen stromsparend betrieben werden soll und somit eine zu diesem Zeitpunkt bestehende Kommunikationsverbindung zu der Recheneinrichtung unerwünscht sein kann.In this context, it should be noted that within the scope of the present invention it is also conceivable that an unlocking confirmation is detected on the basis of a corresponding feedback information that was transmitted from the second motor vehicle to the computing device. However, this embodiment is less preferred overall, since the parked motor vehicle should generally be operated in a power-saving manner and thus a communication connection existing at that time to the computing device may be undesirable.
Es kann vorgesehen sein, dass die Fußgängerinformation an in einem Relevanzbereich um den Fußgänger und/oder das Bewegungsziel betriebene erste Kraftfahrzeuge übermittelt wird. Die Relevanz der Fußgängerinformation kann mithin anhand von Relevanzbereichen festgelegt werden, um eine Übersendung an Kraftfahrzeuge innerhalb der Parkumgebung zu vermeiden für die diese Information nicht relevant ist.It can be provided that the pedestrian information is transmitted to first motor vehicles operated in a relevance area around the pedestrian and / or the movement destination. The relevance of the pedestrian information can therefore be determined on the basis of relevance areas in order to avoid a transmission to motor vehicles within the parking environment for which this information is not relevant.
In einer besonders vorteilhaften Ausgestaltung der vorliegenden Erfindung kann vorgesehen sein, dass, insbesondere seitens der Recheneinrichtung, als Fußgängerinformation eine prädizierte Bewegungstrajektorie von dem Fußgänger zu dem Bewegungsziel ermittelt wird. Ist das intendierte Bewegungsziel des detektierten Fußgängers erst bekannt, kann mittels der mit dem Fußgänger detektierten Fußgängerposition und der mit dem zweiten Kraftfahrzeug detektierten Kraftfahrzeugposition und gegebenenfalls Kenntnis einer digitalen Karte der Parkumgebung die wahrscheinliche Bewegungstrajektorie des Fußgängers zu dem ihm zugeordneten zweiten Kraftfahrzeug bestimmt werden. Dabei kann beispielsweise ein Algorithmus eingesetzt werden, der, insbesondere mittels maschinellen Lernens trainiert, bekannte, insbesondere bereits beobachtete Bewegungsabläufe von Fußgängern zu ihren Kraftfahrzeugen heranzieht, um auch den Weg eines aktuell detektierten Fußgängers möglichst genau vorherzusagen. Hierbei kann der verwendete Bewegungsalgorithmus die aktuelle Position des Fußgängers, die aktuelle Position des zugeordneten zweiten Kraftfahrzeugs und gegebenenfalls die digitale Karte der Parkumgebung auswerten. Mit der Bewegungstrajektorie liegt in jedem Fall eine äußerst genaue Fußgängerinformation vor, auf die Modifikationen des Betriebs des ersten Kraftfahrzeugs besonders einfach und eine Sicherheit für den Fußgänger gewährend durchgeführt werden können. Nachdem es sich um prädizierte Bewegungstrajektorie handelt, kann zu dieser auch eine Unsicherheit ermittelt werden, aus der ein freizuhaltender Toleranzbereich ermittelt wird und/oder es kann ein Toleranzbereich fest gewählt werden. Selbstverständlich kann zweckmäßigerweise auch vorgesehen sein, die Bewegungstrajektorie zyklisch neu zu berechnen. Die Bewegungstrajektorie wird bevorzugt seitens der zentralen Recheneinrichtung, die dann für die Vorhersage der zukünftigen Fußgängerposition verantwortlich ist, ermittelt, da dort gegebenenfalls Zugriff auf eine größere Rechenleistung bzw. eine größere Anzahl von Ressourcen besteht.In a particularly advantageous embodiment of the present invention can be provided that, in particular on the part of the computing device, a predicted movement trajectory from the pedestrian to the movement destination is determined as pedestrian information. If the intended movement target of the detected pedestrian is first known, the probable movement trajectory of the pedestrian can be determined for the second motor vehicle assigned to it by means of the pedestrian position detected with the pedestrian and the motor vehicle position detected with the second motor vehicle and possibly knowledge of a digital map of the park environment. In this case, for example, an algorithm can be used which trains, in particular by means of machine learning, known, in particular already observed movement sequences of pedestrians to their vehicles, to predict the way a currently detected pedestrian as accurately as possible. In this case, the movement algorithm used can evaluate the current position of the pedestrian, the current position of the associated second motor vehicle and, if appropriate, the digital map of the parking environment. With the movement trajectory is in any case before a very accurate pedestrian information on the modifications of the operation of the first motor vehicle particularly simple and can provide a security for the pedestrian. After being a predicted movement trajectory, an uncertainty can also be determined for this, from which a tolerance range to be kept free can be determined and / or a tolerance range can be firmly selected. Of course, it can also be expediently provided to recalculate the movement trajectory cyclically. The movement trajectory is preferably determined by the central computing device, which is then responsible for the prediction of the future pedestrian position, since there may be access to greater computing power or a larger number of resources.
Konkret kann vorgesehen sein, dass bei einem automatisch betriebenen ersten Kraftfahrzeug als Maßnahme eine von diesem geplante, abzufahrende Trajektorie zur Kollisionsvermeidung mit dem Fußgänger modifiziert wird und/oder bei einem manuell betriebenen ersten Kraftfahrzeug eine, insbesondere eine Handlungsanweisung zur Kollisionsvermeidung und/oder eine graphische Darstellung des Fußgängers und des Bewegungsziels, vorzugsweise auch einer in der Fußgängerinformation enthaltenden prädizierten Trajektorie des Fußgängers, enthaltende, Hinweisinformation an den Fahrer ausgegeben wird. Maßnahmen, mit denen Kollisionen mit Fußgängern vermieden werden können, mithin der konkrete Betrieb von Kollisionsschutzfunktionen bzw. Kollisionssystemen, sind im Stand der Technik bereits weitgehend bekannt, so dass die entsprechenden Konzepte auch im Rahmen der vorliegenden Erfindung eingesetzt werden können. Dabei zielt die Erfindung allerdings hauptsächlich auf teilweise automatisch betriebene Kraftfahrzeuge ab, deren wenigstens teilweise automatischer Betrieb bei Detektion eines relevanten Fußgängers anhand der Fußgängerinformation modifiziert wird.Specifically, it may be provided that in an automatically operated first motor vehicle as a measure of this planned trajectory for collision avoidance is modified with the pedestrian and / or in a manually operated first motor vehicle, in particular a handling instruction for collision avoidance and / or a graphical representation the pedestrian and the movement destination, preferably also a hint information contained in the pedestrian information containing the pedestrian, information is output to the driver. Measures with which collisions with pedestrians can be avoided, thus the actual operation of collision protection functions or collision systems, are already widely known in the prior art, so that the corresponding concepts can also be used in the context of the present invention. However, the invention aims primarily at partially automatically operated motor vehicles whose at least partially automatic operation is modified upon detection of a relevant pedestrian based on pedestrian information.
Neben dem Verfahren betrifft die Erfindung auch eine Recheneinrichtung für eine Parkumgebung, aufweisend eine Kommunikationseinrichtung zur Kommunikation mit wenigstens einem Teil von in der Parkumgebung betriebenen Kraftfahrzeugen und zum Empfang von Sensordaten wenigstens eines in der Parkumgebung befindlichen Sensors und ausgebildet zur Ermittlung einer eine Bewegung eines Fußgängers innerhalb der Parkumgebung beschreibenden Fußgängerinformation durch Auswertung von den Fußgänger zeigenden Sensordaten, welche sich dadurch auszeichnet, dass die Recheneinrichtung ferner zur Detektion einer den Fußgänger zuordenbaren Entriegelungsrückmeldung eines zweiten, in der Parkumgebung abgestellten Kraftfahrzeugs in den und/oder weiteren Sensordaten und zur Festlegung des zweiten Kraftfahrzeugs als Bewegungsziel des Fußgängers zur Ermittlung der Fußgängerinformation ausgebildet ist. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf die erfindungsgemäße Recheneinrichtung übertragen, mit welcher mithin ebenso die bereits genannten Vorteile erhalten werden können. Insbesondere kann die Recheneinrichtung neben einer Zuordnungseinheit zur Zuordnung von Fußgängern zu zweiten Kraftfahrzeugen aufgrund einer Auswertung der Sensordaten auch eine Prädiktionseinheit zur Prädiktion einer Bewegungstrajektorie des Fußgängers und/oder eine Musterdatenbank aufweisen. Eine derartige zentrale, insbesondere stationäre, der Parkumgebung zugeordnete Recheneinrichtung kann auch als Infrastruktureinrichtung bezeichnet werden.In addition to the method, the invention also relates to a computing device for a parking environment, comprising a communication device for communicating with at least a part of motor vehicles operated in the parking environment and for receiving sensor data of at least one sensor located in the parking environment and designed to detect a movement of a pedestrian within Pedestrian information describing the parking environment by evaluating the sensor data showing the pedestrian, which is characterized in that the computing device further for detecting a Pedestrians attributable Entriegelungsrückmeldung a second parked in the park environment motor vehicle in the and / or further sensor data and fixing the second motor vehicle as Movement goal of the pedestrian is designed to determine the pedestrian information. All statements relating to the method according to the invention can be analogously transferred to the computing device according to the invention, with which therefore also the already mentioned advantages can be obtained. In particular, the computing device can also have a prediction unit for prediction of a movement trajectory of the pedestrian and / or a sample database in addition to an allocation unit for assigning pedestrians to second motor vehicles on the basis of an evaluation of the sensor data. Such a central, in particular stationary, the parking environment associated computing device may also be referred to as an infrastructure facility.
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen, sowie anhand der Zeichnungen. Dabei zeigen:
-
1 eine Prinzipskizze einer Parkumgebung mit zugeordneter Recheneinrichtung, und -
2 eine Verkehrssituation in der Parkumgebung.
-
1 a schematic diagram of a parking environment with associated computing device, and -
2 a traffic situation in the park environment.
Die Parkumgebung
Die Recheneinrichtung
Dies sei im Hinblick auf
Die Zuordnungseinheit
Es sei noch darauf hingewiesen, dass der Vergleich mit Vergleichsmustern auch implizit erfolgen kann, wenn ein Klassifikationsalgorithmus bzw. Klassifikator der künstlichen Intelligenz verwendet wird, der anhand von die Vergleichsmuster beschreibenden Trainingsdaten trainiert wurde und eine Signalausgabe mithin als Entriegelungsrückmeldung und/oder eine Handlungsmuster als Entriegelungshandlung klassifizieren kann.It should also be pointed out that the comparison with comparison patterns can also be implicit if an artificial intelligence classification algorithm or classifier is used which has been trained on the basis of training data describing the comparison patterns and a signal output, therefore, as the unlocking feedback and / or a behavior pattern as the unlocking action can classify.
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017210394.9A DE102017210394B3 (en) | 2017-06-21 | 2017-06-21 | Method for operating motor vehicles in a parking environment and computing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017210394.9A DE102017210394B3 (en) | 2017-06-21 | 2017-06-21 | Method for operating motor vehicles in a parking environment and computing device |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102017210394B3 true DE102017210394B3 (en) | 2018-05-09 |
Family
ID=62003220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102017210394.9A Active DE102017210394B3 (en) | 2017-06-21 | 2017-06-21 | Method for operating motor vehicles in a parking environment and computing device |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102017210394B3 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018222683A1 (en) * | 2018-12-20 | 2020-06-25 | Robert Bosch Gmbh | Method for creating an environment representation map for monitoring a vehicle and / or a vehicle trailer using a camera system |
DE102019127176A1 (en) * | 2019-10-09 | 2021-04-15 | Ford Global Technologies, Llc | Controlling an autonomous vehicle |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007052093A1 (en) | 2007-10-31 | 2009-05-07 | Bayerische Motoren Werke Aktiengesellschaft | Evaluation unit for evaluating information related to creature i.e. pedestrian, in environment of car, has determination component determining future movement path of creature by considering recognized indicator |
DE102014006956A1 (en) | 2013-05-15 | 2014-11-20 | Suzuki Motor Corporation | Pedestrian-to-vehicle communication system |
DE102014215057A1 (en) | 2014-07-31 | 2016-02-04 | Bayerische Motoren Werke Aktiengesellschaft | Determination of a collision probability on the basis of a pedestrian's head orientation |
-
2017
- 2017-06-21 DE DE102017210394.9A patent/DE102017210394B3/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007052093A1 (en) | 2007-10-31 | 2009-05-07 | Bayerische Motoren Werke Aktiengesellschaft | Evaluation unit for evaluating information related to creature i.e. pedestrian, in environment of car, has determination component determining future movement path of creature by considering recognized indicator |
DE102014006956A1 (en) | 2013-05-15 | 2014-11-20 | Suzuki Motor Corporation | Pedestrian-to-vehicle communication system |
DE102014215057A1 (en) | 2014-07-31 | 2016-02-04 | Bayerische Motoren Werke Aktiengesellschaft | Determination of a collision probability on the basis of a pedestrian's head orientation |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018222683A1 (en) * | 2018-12-20 | 2020-06-25 | Robert Bosch Gmbh | Method for creating an environment representation map for monitoring a vehicle and / or a vehicle trailer using a camera system |
DE102019127176A1 (en) * | 2019-10-09 | 2021-04-15 | Ford Global Technologies, Llc | Controlling an autonomous vehicle |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102014008578B4 (en) | Method for determining position data for use in the operation of a vehicle system of a motor vehicle and position data acquisition and distribution system | |
EP3181422B1 (en) | Method and system for automatically guiding a follow vehicle with a scout vehicle | |
DE102014002150B3 (en) | Method for determining the absolute position of a mobile unit and mobile unit | |
EP3181421B1 (en) | Method and system for automatically guiding a follow vehicle with a front vehicle | |
EP3181423B1 (en) | Method and system for automatically guiding a follow vehicle with a scout vehicle | |
EP2915152B1 (en) | Method for identifying a vehicle detected by a sensor device | |
WO2018145951A1 (en) | Method for coordinating the traffic of a plurality of motor vehicles within a predetermined infrastructure region and server device, motor vehicle and system | |
DE102013005362A1 (en) | Method for analyzing traffic conditions between vehicle and road user at e.g. road crossings, involves dynamically determining danger areas based on points of intersection of predicted movement trajectories | |
DE102017217444B4 (en) | Method and system for updating a control model for automatic control of at least one mobile unit | |
DE102017216202A1 (en) | Method of predicting an optimal lane on a multi-lane road | |
DE102019212842A1 (en) | Control of a motor vehicle using an unmanned aerial vehicle | |
DE102015004605B4 (en) | Method of operating a control system of a mobile unit and mobile unit | |
DE102012023498A1 (en) | Method for guiding automatic and/or assistive vehicle i.e. motor car, involves transmitting stored information to vehicle to decide whether track portion is suitable to guide automatic and/or assisting vehicle by environment sensor system | |
EP3785192A1 (en) | Method and vehicle system for passenger recognition by autonomous vehicles | |
DE102018218922A1 (en) | Prediction of expected driving behavior | |
DE102017210394B3 (en) | Method for operating motor vehicles in a parking environment and computing device | |
EP3592628B1 (en) | Method for operating a motor vehicle, motor vehicle, and transmission device | |
DE102017209195B4 (en) | Method for documenting a driving operation of a motor vehicle | |
DE102018006824A1 (en) | Method for assisting a passenger and vehicle with a device for carrying out the method | |
EP3511920B1 (en) | Parking assistance system with remote configuration of a local neuronal network | |
WO2021047800A1 (en) | Method and assistance system for using a digital map in a vehicle | |
DE102019131446A1 (en) | Process for the acquisition of environmental information for autonomously operated vehicles | |
DE102018222666A1 (en) | Autonomous taxi | |
DE102015103362A1 (en) | PURSUIT FROM A VEHICLE | |
DE102021105416A1 (en) | Method for locating components of a handling device in a production environment, component, location system and production system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |