DE102018007558A1 - Method for recording situations at bus stops for autonomous buses - Google Patents
Method for recording situations at bus stops for autonomous buses Download PDFInfo
- Publication number
- DE102018007558A1 DE102018007558A1 DE102018007558.4A DE102018007558A DE102018007558A1 DE 102018007558 A1 DE102018007558 A1 DE 102018007558A1 DE 102018007558 A DE102018007558 A DE 102018007558A DE 102018007558 A1 DE102018007558 A1 DE 102018007558A1
- Authority
- DE
- Germany
- Prior art keywords
- bus
- person
- detection
- autonomous
- takes place
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2300/00—Indexing codes relating to the type of vehicle
- B60W2300/10—Buses
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/041—Potential occupants
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Traffic Control Systems (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zur Situationserfassung an Haltestellen (3) für autonome Omnibusse (1), wobei Personen (2), die sich in einer Umgebung des Omnibusses (1) aufhalten, erfasst werden. Die Erfindung ist dadurch gekennzeichnet, dass eine Absichts- und/oder Aktionserkennung jeder Person (2) in der Umgebung das Omnibusses (1) erfolgt. The invention relates to a method for situational detection at stops (3) for autonomous buses (1), wherein persons (2) who are in an environment of the bus (1) are detected. The invention is characterized in that an intent and / or action recognition of each person (2) in the surroundings of the bus (1) takes place.
Description
Die Erfindung betrifft ein Verfahren zur Situationserfassung an Haltestellen für autonome Omnibusse nach der im Oberbegriff von Anspruch 1 näher definierten Art sowie eine Vorrichtung zur Situationserfassung an Haltestellen für autonome Omnibusse nach der im Oberbegriff von Anspruch 5 näher definierten Art.The invention relates to a method for situational detection at stops for autonomous buses according to the closer defined in the preamble of
Prinzipiell sind Verfahren oder Vorrichtungen zur Situationserkennung aus dem Stand der Technik bekannt.In principle, methods or devices for situation detection from the prior art are known.
So beschreibt beispielsweise die
Zukünftig werden voraussichtlich im Nahverkehr vermehrt autonom fahrende Fahrzeuge sowie ebenso autonom fahrende Omnibusse eingesetzt werden. Autonom fahrende Omnibusse halten dabei an Haltestellen an, um Fahrgästen die Möglichkeit des Ein- bzw. Aussteigens zu geben.In the future, it is expected that more and more autonomous vehicles and autonomous buses will be used in local traffic. Autonomous buses stop at stops to give passengers the option of boarding and alighting.
Von Fahrern eines Omnibusses wird stets vorbildliches sowie hilfsbereites Verhalten erwartet. Entsprechend sollte ebenso ein autonomer Omnibus diese Eigenschaften mitbringen, um entsprechend reagieren zu können. Dies ist mit den bisher bekannten Verfahren bzw. Vorrichtungen zur Situationserkennung nicht ausreichend möglich.Drivers of a bus always expect exemplary and helpful behavior. Correspondingly, an autonomous bus should also have these characteristics in order to be able to react accordingly. This is not sufficiently possible with the previously known methods or devices for situation detection.
Die Aufgabe der hier vorliegenden Erfindung besteht nun darin, eine Vorrichtung und/oder ein Verfahren zur Situationserkennung an Haltestellen für autonome Omnibusse zu schaffen, welche die oben genannten Nachteile überwinden.The object of the present invention is now to provide a device and / or a method for situation detection at stops for autonomous buses, which overcome the above-mentioned disadvantages.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen im Anspruch 1 sowie eine Vorrichtung mit den Merkmalen im Anspruch 5 und hier insbesondere im kennzeichnenden Teil des Anspruchs 1 bzw. des Anspruchs 5 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Unteransprüchen.This object is achieved by a method having the features in
Im Kern des erfindungsgemäßen Verfahrens erfolgt wenigstens eine Absichts- und/oder Aktionserkennung zumindest einer Person in der Umgebung des Omnibusses. Bevorzugt können alle Personen, die sich in der Umgebung des Omnibusses befinden, einer Absichts- und/oder Aktionserkennung unterzogen werden. Als Umgebung ist der Bereich zu betrachten, der allgemein bei autonom fahrenden Omnibussen als Umgebung angesehen wird.At least one intention and / or action recognition of at least one person in the vicinity of the bus takes place at the core of the method according to the invention. Preferably, all persons who are in the vicinity of the bus, a intention and / or action detection be subjected. The area to be considered is the area generally considered autonomous in omnibuses.
Autonome Omnibusse sind üblicherweise mit vielfältiger Sensorik ausgestattet, welche beispielsweise Radar, Ultraschall, Lasersysteme, Kameras o. Ä. umfasst, wodurch ein sicheres autonomes Fahren durch eine Umgebungserfassung ermöglicht wird. Diese bereits vorhandenen Sensoren zur Umfeldbeobachtung können nun an jeder Haltestelle dazu benutzt werden, heraneilende Fahrgäste zu erkennen und je nach Situation eine Zusteigemöglichkeit auch länger zu ermöglichen. Dies kann beispielsweise dadurch erreicht werden, dass ausgehend von einer Umfeldbeobachtung eine heraneilende Person erkannt wird und die Türen länger geöffnet bleiben.Autonomous buses are usually equipped with a variety of sensors, which include, for example, radar, ultrasound, laser systems, cameras o. Ä. which allows safe autonomous driving through environmental detection. These existing sensors for monitoring the environment can now be used at each stop to recognize approaching passengers and, depending on the situation, allow them to stay longer. This can be achieved, for example, by detecting an approaching person starting from an environmental observation and keeping the doors open longer.
Bevorzugt kann eine heraneilende Person als potentieller Fahrgast identifiziert werden, wobei bevorzugt der Laufstil und/oder die Gestik dieser Person berücksichtigt wird. Beispielsweise erfolgt ein Erkennen über eine Detektion eines heraneilenden potentiellen Fahrgastes in einer Kombination aus Laufstil, wie beispielsweise Rennen bzw. schnelles Laufen, und eventuell einer typischen Gestik, wie beispielsweise Winken. In einer bevorzugten Ausführungsform kann ebenso die Entfernung des potentiellen Fahrgastes zum Omnibus und/oder der zugrunde gelegte Fahrplan des Omnibusses und eine damit in Kauf zu nehmende Zeitverzögerung berücksichtigt werden.Preferably, a hurrying person can be identified as a potential passenger, wherein preferably the running style and / or the gesture of this person is taken into account. For example, detection is via detection of a rushing potential passenger in a combination of walking style, such as running or fast running, and possibly a typical gesture, such as waving. In a preferred embodiment, the distance of the potential passenger to the bus and / or the underlying timetable of the bus and a time delay to be taken into account can also be taken into account.
Gemäß einer sehr vorteilhaften Weiterbildung der Idee kann es dabei vorgesehen sein, dass eine gewichtete Situationsanalyse durchgeführt wird, wobei unterschiedliche Eingangsgrößen eine unterschiedliche Gewichtung erfahren, und daraus abgeleitet über eine Verzögerung einer Abfahrt des Omnibusses entschieden wird. Die unterschiedlichen Eingangsgrößen mit unterschiedlicher Gewichtung werden in einer Planungseinheit bevorzugt so verarbeitet, dass der Omnibus entweder weiterhin mit geöffnete Türen abwartet oder die Türen geschlossen werden, um eine Abfahrt nicht weiter zu verzögern.According to a very advantageous development of the idea, it may be provided that a weighted situation analysis is performed, wherein different input variables experience a different weighting, and derived therefrom a deceleration of a departure of the bus is decided. The different input variables with different weighting are preferably processed in a planning unit so that the bus either continues to wait with the doors open or the doors are closed in order not to delay a departure any further.
Dabei kann es gemäß einer vorteilhaften Ausgestaltung vorgesehen sein, dass über eine Anzeige eine verbleibende Zeit bis zu einer Abfahrt des Omnibusses angezeigt wird. Bevorzugt kann in der Anzeige ein Countdown-Zähler umfasst sein, welcher die verbleibende Zeit bis zur geplanten Abfahrt anzeigt. Die Anzeige kann beispielsweise auf der Außenhaut des Omnibusses angebracht sein, sodass nach außen hin sichtbar demonstriert werden kann, wie lange die Türen noch geöffnet bleiben.It may be provided according to an advantageous embodiment that a display of a remaining time is displayed until a departure of the bus. Preferably, the display may include a countdown timer which indicates the remaining time until the scheduled departure. For example, the display can be mounted on the outer skin of the bus so that it can be visually demonstrated to the outside how long the doors remain open.
Den Kern der erfindungsgemäßen Vorrichtung bildet zumindest eine Kamera, die zur Erfassung der Umgebung des Omnibusses dient. Beispielsweise können die bereits vorhandenen Kameras des autonomen Omnibusses verwendet werden. Bevorzugt kann dafür eine Kamera verwendet werden, die nach vorne, sowie eine Kamera, die nach hinten bezüglich des Omnibusses ausgerichtet ist. Bevorzugt kann eine lidarbasierte Vermessung zur Unterstützung herangezogen werden. The core of the device according to the invention forms at least one camera which serves to detect the surroundings of the bus. For example, the existing cameras of the autonomous bus can be used. Preferably, a camera can be used for this purpose, which is oriented towards the front, as well as a camera which is oriented towards the rear with respect to the bus. Preferably, a lidar-based measurement can be used to assist.
Eine sehr günstige Weiterbildung der erfindungsgemäßen Vorrichtung sieht es dabei vor, dass eine Absichts- und/oder Aktionserkennung von Personen, die sich in der Umgebung des Omnibusses befinden, über ein Deep-Learning Verfahren erfolgt, wobei kaskadierende oder einzelne orthogonale Netzwerk eingesetzt werden. Bevorzugt ist die benötigte Sensorik bereits Teil der zum autonomen Fahren benötigten, und damit bereits existierenden, Sensorik.A very favorable further development of the device according to the invention provides that intent and / or action recognition of persons located in the vicinity of the bus takes place via a deep-learning method, whereby cascading or individual orthogonal networks are used. The required sensor system is preferably already part of the sensor technology required for autonomous driving, and thus already existing.
Weitere Vorteile der erfindungsgemäßen Vorrichtung sowie des erfindungsgemäßen Verfahrens ergeben sich ferner aus den restlichen abhängigen Unteransprüchen und werden anhand der Ausführungsbeispiele deutlich, welche nachfolgend unter Bezugnahme auf die Figuren näher beschrieben werden.Further advantages of the device according to the invention and of the method according to the invention will become apparent from the remaining dependent subclaims and will be apparent from the embodiments, which are described below with reference to the figures.
Dabei zeigen:
-
1 eine schematische Darstellung eines haltenden Omnibusses an einer Haltestelle; -
2 ein mögliches Ablaufdiagramm einer Ausführungsform eines erfindungsgemäßen Verfahrens zur Situationserfassungen an Haltestellen.
-
1 a schematic representation of a holding bus at a stop; -
2 a possible flowchart of an embodiment of a method according to the invention for situation detection at stops.
In der Darstellung der
Ein mögliches Ablaufdiagramm eine Ausführungsform eines erfindungsgemäßen Verfahrens ist in
Selbstverständlich lassen sich die beschriebenen Ausführungsvarianten des Verfahrens bzw. der Vorrichtung in den
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 1020090034283 A1 [0003]DE 1020090034283 A1 [0003]
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018007558.4A DE102018007558A1 (en) | 2018-09-24 | 2018-09-24 | Method for recording situations at bus stops for autonomous buses |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018007558.4A DE102018007558A1 (en) | 2018-09-24 | 2018-09-24 | Method for recording situations at bus stops for autonomous buses |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102018007558A1 true DE102018007558A1 (en) | 2019-03-07 |
Family
ID=65363642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102018007558.4A Withdrawn DE102018007558A1 (en) | 2018-09-24 | 2018-09-24 | Method for recording situations at bus stops for autonomous buses |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102018007558A1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019205017B3 (en) | 2019-04-08 | 2020-07-02 | Zf Friedrichshafen Ag | Determining the intention of a means of transport |
EP3782839A1 (en) * | 2019-05-10 | 2021-02-24 | Aisin Seiki Kabushiki Kaisha | In-vehicle fall prevention device and fall prevention information providing device |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009034283A1 (en) | 2009-07-21 | 2011-01-27 | Ficosa International Gmbh | Device for monitoring surrounding area of e.g. bus, has camera device coupled with signal processing device in which warning signal and/or inhibiting signal is sent, when object is located within fixed area of camera image |
-
2018
- 2018-09-24 DE DE102018007558.4A patent/DE102018007558A1/en not_active Withdrawn
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009034283A1 (en) | 2009-07-21 | 2011-01-27 | Ficosa International Gmbh | Device for monitoring surrounding area of e.g. bus, has camera device coupled with signal processing device in which warning signal and/or inhibiting signal is sent, when object is located within fixed area of camera image |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019205017B3 (en) | 2019-04-08 | 2020-07-02 | Zf Friedrichshafen Ag | Determining the intention of a means of transport |
CN111862679A (en) * | 2019-04-08 | 2020-10-30 | 采埃孚股份公司 | Intent determination for passenger transport vehicles |
US11453416B2 (en) | 2019-04-08 | 2022-09-27 | Zf Friedrichshafen Ag | Drive behavior estimation of a passenger transport system |
EP3782839A1 (en) * | 2019-05-10 | 2021-02-24 | Aisin Seiki Kabushiki Kaisha | In-vehicle fall prevention device and fall prevention information providing device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102012023867A1 (en) | Traffic light recognition | |
DE102009019024A1 (en) | Method for preventing collisions during opening of doors of vehicle, has determining detected positions and/or dimensions of objects with respect to predetermined position of vehicle under inclusion of sensor data of vehicle sensor system | |
DE102006008656A1 (en) | Motor vehicle with a device for traffic sign recognition | |
DE102015223613A1 (en) | Method and device for automatically opening and closing at least one window pane of a motor vehicle | |
EP3243196B1 (en) | Method and device for detecting the passage of a motor vehicle through a road sign gantry | |
DE102006058308A1 (en) | Method and device for detecting an obstacle in a surrounding area of a motor vehicle and motor vehicle | |
DE19647283A1 (en) | Vehicle-mounted device for reducing or minimising conflict situations in road traffic | |
DE102013215100A1 (en) | Providing an environment model in case of failure of a sensor of a vehicle | |
EP4107716B1 (en) | Method for assisting an occupant in exiting a vehicle, taking into account following objects, computing device, and driver assistance system | |
DE102014005186A1 (en) | Method for operating a driver assistance system of a motor vehicle | |
DE102018213600A1 (en) | - gesture recognition device for a vehicle - | |
DE102015106304A1 (en) | Method for operating a driver assistance system of a motor vehicle with electronic rearview mirror, driver assistance system and motor vehicle | |
DE102018007558A1 (en) | Method for recording situations at bus stops for autonomous buses | |
DE102020113611A1 (en) | Method and safety system for securing an automated vehicle function and motor vehicle | |
DE102016014366A1 (en) | Method for operating a driver assistance system | |
DE102018008436A1 (en) | Procedure for recording potential passengers for autonomous buses | |
DE102008012898A1 (en) | Method for output of information for leaving automobile as function of collision danger during leaving vehicle, involves indicating information over which automobile exits with minimum collision danger | |
DE102009057336A1 (en) | Device for monitoring spatial area outside car, has processing unit containing information about static object and about objects and persons within spatial area, so that display unit generates alert and controls actuation of vehicle door | |
DE102014000881A1 (en) | Method for operating vehicle, involves automatically braking vehicle based on release of pedestrian protection device such that person on bonnet of vehicle is carried upto standstill of vehicle according to effected person impact | |
DE202013010061U1 (en) | Device for collision avoidance | |
DE102019002304A1 (en) | A method for avoiding a fear state of a user of a motor vehicle by adjusting a driving route and driver assistance system | |
DE102019000060A1 (en) | Controlling a vehicle using a control system | |
DE102017010513A1 (en) | A method for detecting an attention of a person detected in an environment of a vehicle | |
DE102020106850A1 (en) | Method for assisting an occupant when getting out of a vehicle by adapting a display, driver assistance system and vehicle | |
DE102010053293A1 (en) | Driver assistance system for motor vehicle, particularly safety vehicle, comprises sensor for detecting sensor data of environment of motor vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R230 | Request for early publication | ||
R081 | Change of applicant/patentee |
Owner name: DAIMLER AG, DE Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |