DE102018007558A1

DE102018007558A1 - Method for recording situations at bus stops for autonomous buses

Info

Publication number: DE102018007558A1
Application number: DE102018007558.4A
Authority: DE
Inventors: Fridtjof Stein
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2018-09-24
Filing date: 2018-09-24
Publication date: 2019-03-07

Abstract

Die Erfindung betrifft ein Verfahren zur Situationserfassung an Haltestellen (3) für autonome Omnibusse (1), wobei Personen (2), die sich in einer Umgebung des Omnibusses (1) aufhalten, erfasst werden. Die Erfindung ist dadurch gekennzeichnet, dass eine Absichts- und/oder Aktionserkennung jeder Person (2) in der Umgebung das Omnibusses (1) erfolgt.

The invention relates to a method for situational detection at stops (3) for autonomous buses (1), wherein persons (2) who are in an environment of the bus (1) are detected. The invention is characterized in that an intent and / or action recognition of each person (2) in the surroundings of the bus (1) takes place.

Description

Die Erfindung betrifft ein Verfahren zur Situationserfassung an Haltestellen für autonome Omnibusse nach der im Oberbegriff von Anspruch 1 näher definierten Art sowie eine Vorrichtung zur Situationserfassung an Haltestellen für autonome Omnibusse nach der im Oberbegriff von Anspruch 5 näher definierten Art.The invention relates to a method for situational detection at stops for autonomous buses according to the closer defined in the preamble of claim 1 and a device for situational detection at stops for autonomous buses according to the closer defined in the preamble of claim 5 Art.

Prinzipiell sind Verfahren oder Vorrichtungen zur Situationserkennung aus dem Stand der Technik bekannt.In principle, methods or devices for situation detection from the prior art are known.

So beschreibt beispielsweise die DE 10 2009 0034 283 A1 eine Vorrichtung und ein Verfahren zur Überwachung eines Umgebungsbereichs eines Kraftfahrzeugs. Diese umfasst zumindest eine Kameraeinrichtung sowie eine Ausgabeeinrichtung für den Fahrer des Kraftfahrzeugs. Dabei ist die Kameraeinrichtung so ausgerichtet, dass diese einen Ein- und/oder Ausstiegsbereich des Kraftfahrzeugs erfasst. Über eine Signalverarbeitungseinrichtung kann ein Warnsignal ausgegeben werden wenn sich ein Objekt innerhalb eines festgelegten Bereiches eines Kameraausschnitts befindet.For example, describes the DE 10 2009 0034 283 A1 an apparatus and method for monitoring an environmental area of a motor vehicle. This comprises at least one camera device and an output device for the driver of the motor vehicle. In this case, the camera device is aligned so that it detects an entry and / or exit area of the motor vehicle. Via a signal processing device, a warning signal can be output when an object is within a specified range of a camera section.

Zukünftig werden voraussichtlich im Nahverkehr vermehrt autonom fahrende Fahrzeuge sowie ebenso autonom fahrende Omnibusse eingesetzt werden. Autonom fahrende Omnibusse halten dabei an Haltestellen an, um Fahrgästen die Möglichkeit des Ein- bzw. Aussteigens zu geben.In the future, it is expected that more and more autonomous vehicles and autonomous buses will be used in local traffic. Autonomous buses stop at stops to give passengers the option of boarding and alighting.

Von Fahrern eines Omnibusses wird stets vorbildliches sowie hilfsbereites Verhalten erwartet. Entsprechend sollte ebenso ein autonomer Omnibus diese Eigenschaften mitbringen, um entsprechend reagieren zu können. Dies ist mit den bisher bekannten Verfahren bzw. Vorrichtungen zur Situationserkennung nicht ausreichend möglich.Drivers of a bus always expect exemplary and helpful behavior. Correspondingly, an autonomous bus should also have these characteristics in order to be able to react accordingly. This is not sufficiently possible with the previously known methods or devices for situation detection.

Die Aufgabe der hier vorliegenden Erfindung besteht nun darin, eine Vorrichtung und/oder ein Verfahren zur Situationserkennung an Haltestellen für autonome Omnibusse zu schaffen, welche die oben genannten Nachteile überwinden.The object of the present invention is now to provide a device and / or a method for situation detection at stops for autonomous buses, which overcome the above-mentioned disadvantages.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen im Anspruch 1 sowie eine Vorrichtung mit den Merkmalen im Anspruch 5 und hier insbesondere im kennzeichnenden Teil des Anspruchs 1 bzw. des Anspruchs 5 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Unteransprüchen.This object is achieved by a method having the features in claim 1 and a device having the features in claim 5 and in particular in the characterizing part of claim 1 and claim 5. Advantageous embodiments and further developments emerge from the subclaims dependent thereon.

Im Kern des erfindungsgemäßen Verfahrens erfolgt wenigstens eine Absichts- und/oder Aktionserkennung zumindest einer Person in der Umgebung des Omnibusses. Bevorzugt können alle Personen, die sich in der Umgebung des Omnibusses befinden, einer Absichts- und/oder Aktionserkennung unterzogen werden. Als Umgebung ist der Bereich zu betrachten, der allgemein bei autonom fahrenden Omnibussen als Umgebung angesehen wird.At least one intention and / or action recognition of at least one person in the vicinity of the bus takes place at the core of the method according to the invention. Preferably, all persons who are in the vicinity of the bus, a intention and / or action detection be subjected. The area to be considered is the area generally considered autonomous in omnibuses.

Autonome Omnibusse sind üblicherweise mit vielfältiger Sensorik ausgestattet, welche beispielsweise Radar, Ultraschall, Lasersysteme, Kameras o. Ä. umfasst, wodurch ein sicheres autonomes Fahren durch eine Umgebungserfassung ermöglicht wird. Diese bereits vorhandenen Sensoren zur Umfeldbeobachtung können nun an jeder Haltestelle dazu benutzt werden, heraneilende Fahrgäste zu erkennen und je nach Situation eine Zusteigemöglichkeit auch länger zu ermöglichen. Dies kann beispielsweise dadurch erreicht werden, dass ausgehend von einer Umfeldbeobachtung eine heraneilende Person erkannt wird und die Türen länger geöffnet bleiben.Autonomous buses are usually equipped with a variety of sensors, which include, for example, radar, ultrasound, laser systems, cameras o. Ä. which allows safe autonomous driving through environmental detection. These existing sensors for monitoring the environment can now be used at each stop to recognize approaching passengers and, depending on the situation, allow them to stay longer. This can be achieved, for example, by detecting an approaching person starting from an environmental observation and keeping the doors open longer.

Bevorzugt kann eine heraneilende Person als potentieller Fahrgast identifiziert werden, wobei bevorzugt der Laufstil und/oder die Gestik dieser Person berücksichtigt wird. Beispielsweise erfolgt ein Erkennen über eine Detektion eines heraneilenden potentiellen Fahrgastes in einer Kombination aus Laufstil, wie beispielsweise Rennen bzw. schnelles Laufen, und eventuell einer typischen Gestik, wie beispielsweise Winken. In einer bevorzugten Ausführungsform kann ebenso die Entfernung des potentiellen Fahrgastes zum Omnibus und/oder der zugrunde gelegte Fahrplan des Omnibusses und eine damit in Kauf zu nehmende Zeitverzögerung berücksichtigt werden.Preferably, a hurrying person can be identified as a potential passenger, wherein preferably the running style and / or the gesture of this person is taken into account. For example, detection is via detection of a rushing potential passenger in a combination of walking style, such as running or fast running, and possibly a typical gesture, such as waving. In a preferred embodiment, the distance of the potential passenger to the bus and / or the underlying timetable of the bus and a time delay to be taken into account can also be taken into account.

Gemäß einer sehr vorteilhaften Weiterbildung der Idee kann es dabei vorgesehen sein, dass eine gewichtete Situationsanalyse durchgeführt wird, wobei unterschiedliche Eingangsgrößen eine unterschiedliche Gewichtung erfahren, und daraus abgeleitet über eine Verzögerung einer Abfahrt des Omnibusses entschieden wird. Die unterschiedlichen Eingangsgrößen mit unterschiedlicher Gewichtung werden in einer Planungseinheit bevorzugt so verarbeitet, dass der Omnibus entweder weiterhin mit geöffnete Türen abwartet oder die Türen geschlossen werden, um eine Abfahrt nicht weiter zu verzögern.According to a very advantageous development of the idea, it may be provided that a weighted situation analysis is performed, wherein different input variables experience a different weighting, and derived therefrom a deceleration of a departure of the bus is decided. The different input variables with different weighting are preferably processed in a planning unit so that the bus either continues to wait with the doors open or the doors are closed in order not to delay a departure any further.

Dabei kann es gemäß einer vorteilhaften Ausgestaltung vorgesehen sein, dass über eine Anzeige eine verbleibende Zeit bis zu einer Abfahrt des Omnibusses angezeigt wird. Bevorzugt kann in der Anzeige ein Countdown-Zähler umfasst sein, welcher die verbleibende Zeit bis zur geplanten Abfahrt anzeigt. Die Anzeige kann beispielsweise auf der Außenhaut des Omnibusses angebracht sein, sodass nach außen hin sichtbar demonstriert werden kann, wie lange die Türen noch geöffnet bleiben.It may be provided according to an advantageous embodiment that a display of a remaining time is displayed until a departure of the bus. Preferably, the display may include a countdown timer which indicates the remaining time until the scheduled departure. For example, the display can be mounted on the outer skin of the bus so that it can be visually demonstrated to the outside how long the doors remain open.

Den Kern der erfindungsgemäßen Vorrichtung bildet zumindest eine Kamera, die zur Erfassung der Umgebung des Omnibusses dient. Beispielsweise können die bereits vorhandenen Kameras des autonomen Omnibusses verwendet werden. Bevorzugt kann dafür eine Kamera verwendet werden, die nach vorne, sowie eine Kamera, die nach hinten bezüglich des Omnibusses ausgerichtet ist. Bevorzugt kann eine lidarbasierte Vermessung zur Unterstützung herangezogen werden. The core of the device according to the invention forms at least one camera which serves to detect the surroundings of the bus. For example, the existing cameras of the autonomous bus can be used. Preferably, a camera can be used for this purpose, which is oriented towards the front, as well as a camera which is oriented towards the rear with respect to the bus. Preferably, a lidar-based measurement can be used to assist.

Eine sehr günstige Weiterbildung der erfindungsgemäßen Vorrichtung sieht es dabei vor, dass eine Absichts- und/oder Aktionserkennung von Personen, die sich in der Umgebung des Omnibusses befinden, über ein Deep-Learning Verfahren erfolgt, wobei kaskadierende oder einzelne orthogonale Netzwerk eingesetzt werden. Bevorzugt ist die benötigte Sensorik bereits Teil der zum autonomen Fahren benötigten, und damit bereits existierenden, Sensorik.A very favorable further development of the device according to the invention provides that intent and / or action recognition of persons located in the vicinity of the bus takes place via a deep-learning method, whereby cascading or individual orthogonal networks are used. The required sensor system is preferably already part of the sensor technology required for autonomous driving, and thus already existing.

Weitere Vorteile der erfindungsgemäßen Vorrichtung sowie des erfindungsgemäßen Verfahrens ergeben sich ferner aus den restlichen abhängigen Unteransprüchen und werden anhand der Ausführungsbeispiele deutlich, welche nachfolgend unter Bezugnahme auf die Figuren näher beschrieben werden.Further advantages of the device according to the invention and of the method according to the invention will become apparent from the remaining dependent subclaims and will be apparent from the embodiments, which are described below with reference to the figures.

Dabei zeigen:

1 eine schematische Darstellung eines haltenden Omnibusses an einer Haltestelle;
2 ein mögliches Ablaufdiagramm einer Ausführungsform eines erfindungsgemäßen Verfahrens zur Situationserfassungen an Haltestellen.

Showing:

1 a schematic representation of a holding bus at a stop;
2 a possible flowchart of an embodiment of a method according to the invention for situation detection at stops.

In der Darstellung der 1 ist eine Haltestelle 3 mit einem haltenden Omnibus 1 dargestellt. Aus einer Position von vorne bezüglich des Omnibusses 1 ist eine heraneilende Person 2 als potentieller Fahrgast erkennbar. Diese wird von einer an einer Frontseite des Omnibusses 1 angebrachten Kamera 4 als potentieller Fahrgast identifiziert, wobei beispielsweise der Laufstil oder auch die Gestik der Person 2 erkannt und ausgewertet werden kann. Des Weiteren kann die Geschwindigkeit v der heraneilenden Person 2 sowie der Abstand d der Person 2 zum Omnibus 1 berücksichtigt werden. Zur Erfassung der Umgebung des Omnibusses 1 sind in dieser Ausführungsform zwei weitere Kameras 4 am Omnibus 1 angeordnet. So erfasst eine Kamera 4 den hinteren Bereich bezüglich des Omnibusses 1 und eine weitere Kamera 4 ist seitlich am Omnibus 1 angeordnet. Ebenso kann eine davon abweichende sowie ergänzende Sensorik am Omnibus 1 angeordnet sein. Die Sensorik, wie auch die gezeigten Kameras 4, sind typischerweise Teil der zum autonomen Fahren benötigten und bereits existierenden Sensorik am Omnibus 1.In the presentation of the 1 is a stop 3 with a holding bus 1 shown. From a front position with respect to the bus 1 is a hurrying person 2 recognizable as a potential passenger. This one is from one at a front of the bus 1 attached camera 4 identified as a potential passenger, for example, the running style or the gestures of the person 2 can be recognized and evaluated. Furthermore, the speed can v the approaching person 2 as well as the distance d of the person 2 to the bus 1 be taken into account. To capture the surroundings of the bus 1 are two more cameras in this embodiment 4 on the bus 1 arranged. This is how a camera captures 4 the rear area with respect to the bus 1 and another camera 4 is at the side of the bus 1 arranged. Similarly, a deviating and complementary sensors on the bus 1 be arranged. The sensors, as well as the cameras shown 4 , are typically part of the required for autonomous driving and already existing sensors on the bus 1 ,

Ein mögliches Ablaufdiagramm eine Ausführungsform eines erfindungsgemäßen Verfahrens ist in 2 dargestellt. Über eine Erfassungssensorik, wie beispielsweise eine Kamera 4, wird zunächst eine heraneilende Person 2 erkannt. Innerhalb eines Steuergeräts erfolgt die Verarbeitung dieser Information, wobei über eine Semantikanalyse die Gestik und der Laufstil der Person 2 analysiert werden. Des Weiteren werden die Geschwindigkeit v der Person 2 sowie der Abstand d zwischen der Person 2 und dem an einer Haltestelle haltenden Omnibus 1 analysiert. Innerhalb eines Entscheidungsmoduls kann dabei den unterschiedlichen genannten Eingangsgrößen eine Gewichtung auferlegt werden. Über eine derart gewichtete Situationsanalyse kann über die Weiterfahrt oder ein verlängertes Halten des Omnibusses mit geöffneten Türen entschieden werden. In dieser Situationsanalyse kann ebenso der zugrunde gelegte Fahrplan das Omnibus 1 sowie die momentane Uhrzeit einbezogen werden. One possible flowchart of an embodiment of a method according to the invention is shown in FIG 2 shown. About a detection sensor, such as a camera 4 , first becomes a hurrying person 2 recognized. Within a control unit, the processing of this information takes place, whereby via a semantic analysis the gestures and the walking style of the person 2 to be analyzed. Furthermore, the speed v the person 2 as well as the distance d between the person 2 and the omnibus stopping at a bus stop 1 analyzed. Within a decision module, a weighting can be imposed on the different input variables mentioned. Such a weighted situation analysis can be decided on the onward journey or an extended hold of the bus with the doors open. In this situation analysis, the underlying timetable can also be the omnibus 1 as well as the current time.

Selbstverständlich lassen sich die beschriebenen Ausführungsvarianten des Verfahrens bzw. der Vorrichtung in den 1 und 2 auch untereinander kombinieren, sodass verschiedene Möglichkeiten entstehen, beispielsweise der Einsatz einer von der gezeigten Darstellung abweichenden Anzahl an Kameras 4 sowie die Einbeziehung unterschiedlicher Eingangsgrößen.Of course, the described embodiments of the method and the device in the 1 and 2 also combine with each other, so that different possibilities arise, for example, the use of a different number of cameras from the representation shown 4 as well as the inclusion of different input variables.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 1020090034283 A1 [0003]

Claims

A method for situational detection at stops (3) for autonomous buses (1), wherein persons (2) who are in an environment of the bus (1), are detected, characterized in that an intention and / or action recognition of at least one person (2) takes place in the vicinity of the bus (1).

Method according to Claim 1 , characterized in that a hurrying person (2) is identified as a potential passenger, wherein preferably the running style and / or the gesture of the person (2) is taken into account.

Method according to Claim 1 or 2 , characterized in that a weighted situation analysis is performed, wherein different input variables undergo a different weighting, and derived therefrom on a delay of a departure of the bus (2) is decided.

Method according to one of Claims 1 to 3 , characterized in that on a display a remaining time to a departure of the bus (1) is displayed.

Apparatus for carrying out a method according to one of Claims 1 to 4 , characterized in that the detection of the surroundings of the bus (1) via at least one camera (4).

Device after Claim 5 , characterized in that an intention and / or action recognition of persons (2) located in the vicinity of the bus (1) takes place via a deep-learning method using cascading or individual orthogonal networks.