DE102016208410A1 - Verfahren und Vorrichtung zum Betreiben eines Signalsystems, Signalsystem, Fahrzeug - Google Patents

Verfahren und Vorrichtung zum Betreiben eines Signalsystems, Signalsystem, Fahrzeug Download PDF

Info

Publication number
DE102016208410A1
DE102016208410A1 DE102016208410.0A DE102016208410A DE102016208410A1 DE 102016208410 A1 DE102016208410 A1 DE 102016208410A1 DE 102016208410 A DE102016208410 A DE 102016208410A DE 102016208410 A1 DE102016208410 A1 DE 102016208410A1
Authority
DE
Germany
Prior art keywords
user
target object
warning signal
sensor
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102016208410.0A
Other languages
English (en)
Inventor
Hoang Trinh
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102016208410.0A priority Critical patent/DE102016208410A1/de
Priority to US15/491,253 priority patent/US9884583B2/en
Priority to CN201710343690.4A priority patent/CN107393339A/zh
Publication of DE102016208410A1 publication Critical patent/DE102016208410A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/34Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
    • B60Q1/343Manually actuated switching arrangements therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/547Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for issuing requests to other traffic participants; for confirming to other traffic participants they can proceed, e.g. they can overtake
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00Arrangement or adaptation of acoustic signal devices
    • B60Q5/005Arrangement or adaptation of acoustic signal devices automatically actuated
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162Decentralised systems, e.g. inter-vehicle communication event-triggered
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/503Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text
    • B60Q1/5035Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/507Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Signalsystems (2), insbesondere für ein Fahrzeug (1), wobei mittels zumindest eines ersten Sensors (3) eine Blickrichtung (4) eines Benutzers (5) überwacht wird, wobei in Abhängigkeit der erfassten Blickrichtung (4) ein Warnsignal ausgegeben wird. Es ist vorgesehen, dass mittels zumindest eines zweiten Sensors (6) eine Umgebung (7, 14) des Benutzers (5) auf mögliche Zielobjekte (8, 9, 16, 17, 18) überwacht wird, wobei die erfasste Blickrichtung (4) des Benutzers (5) mit der Umgebung (7, 14) verglichen wird, und dass dann, wenn die Blickrichtung (4) des Benutzers (5) auf eines der möglichen Zielobjekte (8, 9, 16, 17, 18) weist, dieses Zielobjekt (8, 9, 16, 17, 18) als ausgewähltes Zielobjekt (8, 9, 16, 17, 18) bestimmt und in Abhängigkeit von einem Auslösebefehl des Benutzers (5) das Warnsignal in die Umgebung (7, 14) für das ausgewählte Zielobjekt (8, 9, 16, 17, 18) ausgegeben wird.

Description

  • Die Erfindung betrifft ein Verfahren zum Betreiben eines Signalsystems, insbesondere für ein Fahrzeug, wobei mittels zumindest eines ersten Sensors eine Blickrichtung eines Benutzers überwacht wird und wobei in Abhängigkeit der erfassten Blickrichtung ein Warnsignal ausgegeben wird.
  • Ferner betrifft die Erfindung eine Vorrichtung zum Betreiben des Signalsystems, ein Signalsystem, sowie ein Fahrzeug mit solch einem Signalsystem.
  • Stand der Technik
  • Verfahren der eingangs genannten Art sind aus dem Stand der Technik bekannt. So offenbart beispielsweise die Offenlegungsschrift DE 10 2012 023 108 A1 ein Verfahren zum Betreiben eines Signalsystems, das eine Spurwechselabsicht eines Fahrers eines Kraftfahrzeugs erkennt und diese Spurwechselabsicht anderen Kraftfahrzeugen drahtlos übermittelt beziehungsweise mitteilt. Die Spurwechselabsicht wird dabei mittels von durch eine Innenraumkamera aufgenommenen Bilddaten des Fahrers ermittelt. So werden dazu beispielsweise die Bilddaten im Hinblick auf durch den Fahrer vorgenommene Spiegelblicke und/oder Schulterblicke ausgewertet. Wird aus der dabei erfassten Kopfbewegung des Fahrers auf eine Spurwechselabsicht erkannt, so wird ein Warnsignal in Form einer Spurwechselabsicht an andere Kraftfahrzeuge in der Umgebung des Fahrers übermittelt, sodass diese frühzeitig auf den Spurwechsel des Fahrers reagieren können.
  • Offenbarung der Erfindung
  • Erfindungsgemäß ist vorgesehen, dass mittels zumindest eines zweiten Sensors eine Umgebung des Benutzers auf mögliche Zielobjekte überwacht wird, wobei die erfasste Blickrichtung des Benutzers mit der Umgebung verglichen wird, und dass dann, wenn die Blickrichtung des Benutzers auf eines der möglichen Zielobjekte weist, dieses Zielobjekt als ausgewähltes Zielobjekt bestimmt und in Abhängigkeit von einem Auslösebefehl des Benutzers das Warnsignal in die Umgebung für das ausgewählte Zielobjekt ausgegeben wird. Das erfindungsgemäße Verfahren mit den Merkmalen des Anspruchs 1 hat den Vorteil, dass der Benutzer auf einfache Art und Weise mit einem Zielobjekt kommuniziert und insbesondere auf sich aufmerksam macht. Dem Benutzer wird die Möglichkeit gegeben, eine Mitteilung an die Umgebung auszugeben durch Auswahl eines Zielobjekts aus der Umgebung mittels der erfassten Blickrichtung des Benutzers und durch einen insbesondere manuell oder berührungsfrei erteilten Auslösebefehl. Indem die Mitteilung beziehungsweise das Warnsignal nur ausgegeben wird, wenn ein Zielobjekt erfasst wurde, werden eine Fehlbedienung des Auslösebefehls und damit eine ungewollte Ausgabe des Warnsignals vermieden. Ist der Benutzer beispielsweise ein Fahrer eines Fahrzeugs und befindet sich der Fahrer in einer Verkehrssituation, in der er einem Fußgänger, der eine Straße überqueren möchte, einen Vorrang gewähren möchte, so kann der Fahrer dem Fußgänger mittels einer Geste, beispielsweise einer Handgeste, signalisieren, dass er diesem Vorrang gewährt. Das Warnsignal, das den Fußgänger auf den Fahrer und dessen Geste aufmerksam macht, wird dabei auch dann ausgelöst, wenn der Fußgänger den Fahrer selbst nicht sehen kann oder bisher nicht gesehen hat.
  • Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass als Auslösebefehl eine Kopfbewegung, Handbewegung, Augenlidbewegung und/oder Spracheingabe des Benutzers berührungsfrei erfasst werden. Der Vorteil hierbei ist, dass auf einen berührungsfreien Befehl hin die Ausgabe eines Warnsignals an die Umgebung erfolgt. Eine Ablenkung des Benutzers, welche dann erfolgt, wenn er die Ausgabe des Warnsignals mittels einer manuellen Aktivität selbst auslöst, wird somit vermieden. Als Kopfbewegung wird beispielsweise ein Kopfnicken erfasst, welches der Benutzer in Richtung des Zielobjekts ausführt. Als Handbewegung wird beispielsweise eine Winkbewegung erfasst, wobei die Hand beispielsweise von rechts nach links bewegt wird, um das Warnsignal auszulösen. Alternativ oder zusätzlich kann der Fahrer in Richtung des Zielobjektes zumindest eines seiner Augenlider beispielsweise zweimal innerhalb einer vorgebbaren Zeit schließen und dem Zielobjekt somit zublinzeln, um das Warnsignal auszulösen. Ebenso ist es möglich, dass der Benutzer zur Auslösung des Warnsignals an das Zielobjekt gerichtet ein vorgebbares Wort spricht, beispielsweise „Ja“ oder „Stopp“. Alternativ wird ein Auslösebefehl erfasst, welcher beispielsweise durch eine manuelle Betätigung eines Schalters oder Druckknopfes einer insbesondere berührungsempfindlichen Bedienoberfläche, beispielsweise der Bedienoberfläche eines Kombiinstruments des Fahrzeugs, erfolgt.
  • Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass dann ein Warnsignal ausgegeben wird, wenn als Kopfbewegung des Benutzers ein Kopfnicken und/oder ein Kopfschütteln erfasst wird. Der Vorteil an dieser Ausführungsform ist, dass anhand einfacher und intuitiver Kopfbewegungen das Warnsignal ausgegeben wird. Das Kopfnicken ist im Allgemeinen als Zeichen einer Zustimmung, das Kopfschütteln als Zeichen einer Ablehnung bekannt. Es ist daher bevorzugt vorgesehen, dass bei einem Kopfnicken ein zustimmendes Warnsignal und bei einem Kopfschütteln ein ablehnendes Warnsignal ausgegeben wird. So wird insbesondere auf einen ersten Eingabebefehl erkannt, wenn als Bewegung das Kopfnicken erfasst wird, und es wird auf einen zweiten Eingabebefehl erkannt, wenn als Bewegung das Kopfschütteln erfasst wird. So ist es möglich, dass der erste Eingabebefehl signalisiert, dass Vorrang gewährt wird, während der zweite Eingabebefehl signalisiert, dass der Benutzer/Fahrer selbst Vorrang beansprucht. Zur Auswertung der Kopfbewegung dient bevorzugt ein Algorithmus, in welchem das Kopfnicken bzw. das Kopfschütteln als Bewegungsmuster hinterlegt ist und mit der erfassten Kopfbewegung verglichen wird. Bevorzugt wird die Anzahl der Kopfnickbewegungen und/oder der Kopfschüttelbewegungen erfasst, beispielsweise um das Warnsignal daraufhin anzupassen. Vorzugsweise wird als Sensor eine Kamera, insbesondere Innenraumkamera, verwendet, deren Bilddaten entsprechend ausgewertet werden. Zum Erfassen der Kopfbewegung und/oder Blickrichtung werden insbesondere Bewegungstrajektorien des Kopfs und/oder der Augen des Fahrers erfasst und mit vorbestimmten Bewegungsmustern verglichen, um auf eine entsprechende Kopfbewegung und/oder Augenbewegung zu erkennen. Das Erfassen einer Blickrichtung eines Fahrers ist bereits bekannt, sodass an dieser Stelle nicht im Detail darauf eingegangen werden soll. Im Wesentlichen wird in Abhängigkeit von der Position der Pupillen die Blickrichtung bestimmt.
  • Besonders bevorzugt ist vorgesehen, dass das Warnsignal akustisch, optisch und/oder elektronisch ausgegeben wird. Durch das akustische Warnsignal wird das Zielobjekt, insbesondere ein weiterer Verkehrsteilnehmer, auf den Fahrer beziehungsweise den Benutzer des Signalsystems auch dann aufmerksam gemacht, wenn er selbst nicht in Richtung des Benutzers blickt. Entsprechendes gilt auch für das optische Warnsignal, welches den Empfänger beziehungsweise das Zielobjekt auf den Benutzer aufmerksam macht. Durch das elektronische Warnsignal, das insbesondere mittels einer Fahrzeug-zu-Fahrzeug Kommunikation ausgegeben wird, werden insbesondere andere Verkehrsteilnehmer auf den Benutzer aufmerksam gemacht, auch wenn sie selbst beispielsweise eine akustische oder optische Warnmeldung, die durch das Signalsystem des Benutzers ausgegeben wird, nicht wahrnehmen können, weil sie sich beispielsweise in ihrer geschlossenen Fahrgastzelle befinden. Das elektronische Warnsignal kann jedoch von dem Empfänger beziehungsweise dem ausgewählten Zielobjekt, wenn es sich um ein entsprechendes Fahrzeug handelt, ausgewertet werden, um frühzeitig Maßnahmen beziehungsweise Reaktionen auf die Mitteilung des Benutzers einleiten zu können. Durch das Warnsignal wird dem Zielobjekt signalisiert, dass es eine Handlung in Abstimmung mit dem Benutzer vorzunehmen hat. Als akustisches Warnsignal dient beispielsweise ein Hupton. Als optisches Warnsignal dient beispielsweise eine Lichthupe oder eine Projektion eines Projektionsmusters auf eine Straße. Auch ist es denkbar, das Warnsignal in Form eines Verkehrszeichens oder mittels eines elektronischen Bildschirms an die Umgebung auszugeben. Eine elektronische Ausgabe des Warnsignals an das ausgewählte Zielobjekt erfolgt insbesondere durch eine Fahrzeug-zu-Fahrzeug Kommunikation. Fährt beispielsweise der Benutzer in einem Fahrzeug auf einer Überholspur einer Autobahn, und erkennt dieser Benutzer, dass ein Fahrzeug vor ihm auf die Überholspur wechseln möchte, so wird dieses Fahrzeug als Zielobjekt ausgewählt und der Benutzer kann beispielsweise durch ein Kopfnicken und/oder eine vorbestimmte Handbewegung dem Fahrzeug vor sich mitteilen, dass dieses gefahrlos die Spur wechseln kann. Insbesondere wird dabei das Warnsignal drahtlos elektronisch beispielsweise per Funk, an den anderen Verkehrsteilnehmer als ausgewähltes Zielobjekt weitergegeben. Dem Fahrer des vorausfahrenden Fahrzeugs wird das übermittelte Warnsignal beispielsweise auf dem Display eines Kombiinstruments dargestellt. Ein manuelles Betätigen der Hupe und/oder des Scheinwerfers, welche beispielsweise der Ausgabe des Warnsignals dienen und andere Verkehrsteilnehmer irritieren könnten, wird somit vermieden.
  • Vorzugsweise wird das Warnsignal zielgerichtet in Richtung des ausgewählten beziehungsweise durch die Blickrichtung des Benutzers bestimmten Zielobjekts ausgegeben. Der Vorteil hierbei ist, dass dem Zielobjekt eindeutig verständlich gemacht wird, dass das Warnsignal an dieses Zielobjekt gerichtet ist. Befindet sich beispielsweise an einem Zebrastreifen auf beiden Straßenseiten jeweils ein Fußgänger und wird als Zielobjekt der Fußgänger auf der rechten Straßenseite ausgewählt, so wird diesem das Warnsignal zielgerichtet übermittelt. Beispielsweise wird hierbei eine Lichthupe mit nur einem Scheinwerfer betätigt, insbesondere dem Scheinwerfer, der näher an dem ausgewählten Zielobjekt/Fußgänger liegt, oder es wird eine Animation beispielsweise eines Zebrastreifens, welcher auf das Zielobjekt gerichtet entlang der Straße bewegt wird, projiziert.
  • Gemäß einer bevorzugten Weiterbildung ist vorgesehen, dass in Abhängigkeit des erfassten Auslösebefehls unterschiedliche Warnsignale ausgegeben werden. Somit wird beispielsweise bei einem Kopfnicken einem Fußgänger die Projektion eines Zebrastreifens auf die Fahrbahn projiziert, bei einer Winkbewegung mit der Hand ein Hupton ausgegeben und bei einem gesprochenen „Ja“ das Abblendlicht aktiviert. Um aus einer Kopfbewegung und/oder Handbewegung ein entsprechendes Warnsignal zu bestimmen, wird auf abgespeicherte Bewegungsprofile und typische Kopfbewegungen und/oder Handbewegungen zugegriffen. Auch ist es möglich, durch mehrfache Benutzung ein Bewegungsprofil des Fahrers des Fahrzeugs beziehungsweise des Benutzers zu erstellen und abzuspeichern, um Eigenheiten des Fahrers zu ermitteln. So unterscheiden sich unterschiedliche Fahrer beispielsweise in der Intensität der jeweils durchgeführten Kopfbewegung und/oder Handbewegung. Um ein versehentliches Ausgeben eines Warnsignals zu vermeiden, kann durch das fahrerindividuelle Berücksichtigen von Bewegungsprofilen die Erfassungsschärfe beeinflusst werden. Insbesondere wird auch die Anzahl der Kopfbewegungen und/oder Handbewegungen überwacht. So ist es auch denkbar, dass durch ein einfaches Kopfnicken und/oder eine einfache Winkbewegung eine einmalige Betätigung der Lichthupe ausgeführt wird, während durch ein mehrmaliges Kopfnicken und/oder eine mehrmalige Winkbewegung eine mehrmalige Betätigung der Lichthupe ausgeführt wird.
  • Besonders bevorzugt ist vorgesehen, dass das Warnsignal nur dann an das Zielobjekt ausgegeben wird, wenn auf eine kritische Verkehrssituation zwischen Benutzer und Zielobjekt erkannt wird. Auf eine kritische Verkehrssituation wird beispielsweise dann erkannt, wenn auf eine zumindest geschwindigkeitsreduzierte Verkehrssituation an einer örtlichen Gegebenheit, insbesondere einer Kreuzung, erkannt wird, die eine Interaktion zwischen Benutzer und Zielobjekt zur Gewährung eines Vorrangs erfordert. Damit wird insbesondere gewährleistet, dass ein Stillstand von Fahrzeugen, die an einer Kreuzung stehen, vermieden wird. Insbesondere sind dabei die Fahrzeuge in einem autonomen Fahrbetrieb betrieben. Eine weitere kritische Verkehrssituation kann beispielsweise auf einer Autobahn erkannt werden, wenn die Blickrichtung ein Zielobjekt erfasst, und beispielsweise die Geschwindigkeit sowohl des Fahrzeugs des Benutzers als auch des Fahrzeugs des ausgewählten Zielobjekts über eine vorgebbare Zeitdauer gleichbleiben und es ersichtlich ist, dass das Zielobjekt die Spur wechseln möchte, beispielsweise durch das Setzen eines Blinkers. Durch ein Kopfnicken und/oder eine Winkbewegung kann der Benutzer dem Zielobjekt übermitteln, dass dieses gefahrlos die Spur wechseln kann, und dass der Benutzer die Absicht des Zielobjekts erkannt hat. Dabei wird dem Zielobjekt vorzugsweise die Information über Funk übermittelt, oder alternativ als Lichthupe. Dabei kann beispielsweise ein einfaches Kopfnicken und/oder eine einfache Winkbewegung bedeuten, dass eine Lichthupe ausgesendet wird, ein zweifaches Kopfnicken und/oder eine zweifache Winkbewegung kann dabei dem Zielobjekt die Information über Funk übermitteln. Dabei erfolgt das zweifache Kopfnicken oder die zweifache Winkbewegung innerhalb einer bestimmten Zeitdauer, sodass ein zweifaches Kopfnicken oder eine zweifache Winkbewegung, welche außerhalb der vorgebbaren Zeitdauer liegen, mit jeweils einem Aussenden eines Lichthupensignals einhergeht.
  • Die erfindungsgemäße Vorrichtung mit den Merkmalen des Anspruchs 8 zeichnet sich dadurch aus, dass das Steuergerät speziell dazu hergerichtet ist, bei bestimmungsgemäßem Gebrauch das erfindungsgemäße Verfahren durchzuführen. Es ergeben sich dabei die bereits genannten Vorteile.
  • Das erfindungsgemäße Signalsystem mit den Merkmalen des Anspruchs 9 zeichnet sich durch die erfindungsgemäße Vorrichtung aus. Es ergeben sich auch hier die bereits genannten Vorteile. Als Signalerzeugungseinrichtung weist das Signalsystem insbesondere zumindest eine Einrichtung auf, die ein akustisches, optisches und/oder elektrisches Warnsignal ausgeben kann. So weist die Signalerzeugungseinrichtung beispielsweise ein oder mehrere Leuchtmittel, einen oder mehrere Lautsprecher und/oder ein Funkmodul zum Übertragen und gegebenenfalls Empfangen von Warnsignalen auf.
  • Bevorzugt ist vorgesehen, dass der Sensor ein Laser-, Radar-, Sonar-, Lidar-, Videobildgebungs- und/oder Ultraschallsensor ist. Hierdurch ergibt sich der Vorteil, dass sowohl die Erfassung der Kopfbewegung, der Blickrichtung, der Handbewegung und/oder der Augenlidbewegung des Benutzers als auch die Überwachung der Umgebung zuverlässig durchgeführt wird. Der Sensor kann dabei einen der aufgezählten Sensoren oder auch mehrere der aufgezählten Sensoren aufweisen. Es wird somit gewährleistet, dass eine Überwachung der Umgebung beispielsweise unabhängig von der Tageszeit und der Helligkeit wird. Zudem wird somit eine Position, eine Geschwindigkeit und bevorzugt auch eine Absicht des Zielobjektes erfasst. Dabei bedeutet Absicht, dass identifiziert wird, ob das Zielobjekt beabsichtigt, eine Straße zu überqueren oder eine Spur zu wechseln.
  • Gemäß einer bevorzugten Weiterbildung der Erfindung ist zumindest ein weiterer Sensor vorgesehen, der als Mikrofon, Akustiksensor, Schalter oder Taster ausgebildet ist. Mit dem Mikrofon oder Akustiksensor ist es möglich, Schallsignale, die von dem Benutzer ausgesendet werden, zu erfassen und aus diesen auf einen Auslösebefehl zu schließen. Der Akustiksensor weist dabei das Mikrofon zum Aufnehmen des Schallsignals und einen Signalprozessor auf, der dazu ausgebildet ist, vorgebbare Worte, beispielsweise „Ja“ oder „Nein“, zu erkennen. Bei einer Erfassung eines vorgegebenen Wortes durch das Mikrofon, welches durch den Benutzer gesprochen wird, kann der Signalprozessor das erfasste Wort mit den hinterlegten Worten vergleichen und einen Auslösebefehl erkennen und an das Steuergerät senden. Mit dem Schalter oder Taster wird der Auslöschbefehl haptisch beziehungsweise durch Berührung erfasst.
  • Das erfindungsgemäße Fahrzeug, insbesondere Kraftfahrzeug, mit den Merkmalen des Anspruchs 12 zeichnet sich durch das erfindungsgemäße Signalsystem aus. Es ergeben sich hierdurch die bereits genannten Vorteile.
  • Weitere Vorteile und bevorzugte Merkmale und Merkmalskombinationen ergeben sich insbesondere aus dem zuvor Beschriebenen sowie aus den Ansprüchen.
  • Im Folgenden soll die Erfindung anhand von Ausführungsbeispielen näher erläutert werden. Dazu zeigen
  • 1 ein Kraftfahrzeug in einer vereinfachten Draufsicht mit einem Signalsystem gemäß einem ersten Ausführungsbeispiel,
  • 2 das Kraftfahrzeug mit dem Signalsystem in einer kritischen Verkehrssituation gemäß einem zweiten Ausführungsbeispiel und
  • 3 ein Verfahren zum Betreiben des vorgestellten Signalsystems.
  • 1 zeigt ein Kraftfahrzeug 1 mit einem Signalsystem 2, wobei die gezeigten Proportionen nicht den in der Realität bevorzugten Verhältnissen entsprechen und ausschließlich zur Verbesserung der Anschaulichkeit dienen. Das Signalsystem 2 weist einen ersten Sensor 3 zur Erfassung einer Kopfbewegung, einer Blickrichtung 4 einer Handbewegung und/oder einer Augenlidbewegung eines Benutzers 5, insbesondere eines Fahrers des Kraftfahrzeugs 1, auf. Zudem weist das Signalsystem 2 einen zweiten Sensor 6 zur Überwachung einer Umgebung 7 des Benutzers 5 beziehungsweise des Kraftfahrzeugs auf mögliche Zielobjekte 8, 9 auf. Das Signalsystem 2 weist zusätzlich einen hier nicht dargestellten dritten Sensor 24 zur Erfassung einer Spracheingabe des Benutzers 5 auf. Weiterhin weist das Signalsystem 2 ein Steuergerät 10 auf, welches die Signale des ersten Sensors 3, des zweiten Sensors 6 und des dritten Sensors 24 auswertet. Das Steuergerät 10 ist mit einer Signalerzeugungseinrichtung 11, welche dazu ausgebildet ist, ein Warnsignal in die Umgebung 7 auszugeben, verbunden.
  • Der erste Sensor 3 ist bevorzugt als Kamerasensor ausgebildet. Dieser erfasst insbesondere die Blickrichtung 4 einerseits und die Kopfbewegung, Handbewegung und/oder Augenlidbewegung des Benutzers 5 andererseits. Für die Bestimmung der Blickrichtung 4 erfasst der erste Sensor 3 vorzugsweise die Bewegung und/oder Position von Pupillen des Benutzers 5. Dazu werden die Pupillen insbesondere mittels eines Infrarotstrahlers angestrahlt, und aufgrund der Kopfbewegung beziehungsweise Kopflage und/oder der Ausrichtung Pupillen zu insbesondere einer Reflektion des Infrarotstrahlers auf der Netzhaut wird die Blickrichtung des Benutzers 5 ermittelt. Bevorzugt sind weitere Infrarotstrahler beziehungsweise Sensoren 3 zur weiteren Ausleuchtung und Beobachtung des Benutzers 5 in dem Kraftfahrzeug 1 angeordnet. Vorliegend ist der erste Sensor 3 im Bereich eines Kombiinstruments beziehungsweise eines Lenkrads 12 angeordnet. Vorzugsweise sind weitere erste Sensoren an jeder Seite des Innenraums des Kraftfahrzeugs 1 angeordnet. Insbesondere kann dabei auch bei einer Rückwärtsfahrt mittels des Sensors 13 die Blickrichtung, Kopfbewegung , Handbewegung und/oder Augenlidbewegung des Benutzers 5 erfasst werden. Der zweite Sensor 6 ist beispielsweise als Laser- oder Videobildgebungssensor ausgebildet. Insbesondere ist dieser so ausgebildet, dass er eine Entfernung zu dem Zielobjekt 8, 9 und eine Geschwindigkeit des Zielobjektes 8, 9 erfassen kann. Die Zielobjekte 8, 9 sind beispielsweise Fußgänger, andere Kraftfahrzeuge und/oder andere Verkehrsteilnehmer. Der zweite Sensor 6 ist vorliegend derart ausgebildet, dass er einen vorderen Bereich des Kraftfahrzeugs 1 erfasst. Der Sensor 6 kann derart ausgebildet sein, dass er auch hier nicht dargestellte Verkehrszeichen, Parklücken und andere verkehrsrelevante Objekte erfasst. Das Steuergerät 10 vergleicht die erfasste Blickrichtung des Benutzers 5 mit der äußeren Umgebung 7, wobei dann, wenn die Blickrichtung des Benutzers 5 auf eines der möglichen Zielobjekte 8, 9 weist, dieses Zielobjekt 8 als ausgewähltes Zielobjekt 8 bestimmt wird. Gleiches gilt, wenn der Benutzer 5 eine Rückwärtsfahrt mit dem Kraftfahrzeug 1 durchführt. Dabei wird die Umgebung 14 durch den Sensor 13 erfasst, wobei dann die Blickrichtung des Fahrers mit der äußeren Umgebung 14 verglichen wird. Der dritte Sensor 24 ist als Akustiksensor ausgebildet, welcher ein Mikrofon und einen Signalprozessor aufweist, wobei der Signalprozessor dazu ausgebildet ist, insbesondere Worte des Benutzers 5 zu erfassen und mit vorgebbaren, im Signalprozessor hinterlegten Wörtern zu vergleichen. Hinterlegte Worte sind beispielsweise „Ja“ oder „Nein“. Der dritte Sensor 24 ist bevorzugt im Bereich des Kombiinstruments angeordnet.
  • Wird beispielsweise das Zielobjekt 8 als ausgewähltes Zielobjekt 8 bestimmt, wird das Steuergerät 10 so angesteuert, dass es in Abhängigkeit einer erfassten Kopfbewegung, Handbewegung, Augenlidbewegung und/oder Spracheingabe des Benutzers 5 ein Warnsignal in die Umgebung 7 ausgibt. Dabei wird das Warnsignal beispielsweise durch eine Lichthupe mittels der Signalerzeugungseinrichtung 11, insbesondere der Scheinwerfer, an das Zielobjekt 8 übermittelt. Vorzugsweise wird das Warnsignal zielgerichtet an das Zielobjekt 8 übermittelt. Beispielsweise erfolgt dies dadurch, dass nur einer der Scheinwerfer 11, vorzugsweise der rechte, beziehungsweise der, der dem Zielobjekt 8, 9 näher ist, angesteuert wird. Beispielsweise ist es auch möglich, mittels einer hier nicht dargestellten Projektionseinrichtung einen Zebrastreifen auf die Fahrbahn zu projizieren, sodass dem ausgewählten Verkehrsteilnehmer/Fußgänger übermittelt wird, dass dieser die Straße überqueren kann.
  • Alternativ ist es auch denkbar, für die Erfassung der Blickrichtung, Kopfbewegung, Handbewegung und/oder Augenlidbewegung jeweils einen Sensor 3 zu verwenden.
  • 2 zeigt eine kritische Verkehrssituation mit dem Kraftfahrzeug 1, dem Zielobjekt 8 und weiteren möglichen Zielobjekten 16, 17, 18. Eine kritische Verkehrssituation liegt insbesondere dann vor, wenn durch das Steuergerät 10 auf eine zumindest geschwindigkeitsreduzierte Verkehrssituation an einer örtlichen Begebenheit 19, insbesondere einer Kreuzung, erkannt wird, die eine Interaktion zwischen Benutzer 5 und Zielobjekt 8, 16, 17, 18, zur Gewährung eines Vorrangs erfordert. Die Gewährung des Vorrangs bestimmt insbesondere, welcher Verkehrsteilnehmer beziehungsweise welches Zielobjekt 8, 16, 17, 18 sich zuerst fortbewegen darf. Vorliegend betrachtet der Benutzer 5 des Kraftfahrzeugs 1 das Zielobjekt 8. Im Erfassungsbereich des Sensors 6 liegen die weiteren Zielobjekte 16, 17, 18. Indem als Blickrichtung 4 des Benutzers 5 die Richtung zum Zielobjekt 8 bestimmt wird, steuert das Steuergerät die Signalerzeugungseinrichtung 11 so an, dass das Warnsignal gezielt an das Zielobjekt 8 übermittelt wird. Dadurch wird insbesondere vermieden, dass die anderen Verkehrsteilnehmer den Eindruck übermittelt bekommen, dass sie mit dem ausgesendeten Warnsignal gemeint seien. Bevorzugt wird deshalb an das Zielobjekt 8, insbesondere einen Fußgänger, eine Projektion eines Zebrastreifens derart auf die Fahrbahn projiziert, dass dem Zielobjekt 8 visuell eindeutig übermittelt wird, dass es einen Vorrang gegenüber dem Kraftfahrzeug 1 gewährt bekommt. Wird ein Zielobjekt 8 als Zielobjekt 8 bestimmt, so wird beispielsweise der Vorgang des Überquerens der Straße so lange durch den zweiten Sensor 6 verfolgt, bis das Zielobjekt 8 die Straße überquert hat. Beispielsweise wird die Verfolgung des Vorgangs dem Fahrer 5 des Kraftfahrzeugs 1 akustisch übermittelt, solange bis der Vorgang abgeschlossen ist.
  • Die vorliegende Verkehrssituation an der Kreuzung 19 ist derart, dass ein Verkehrsfluss nur durch die Gewährung eines Vorrangs aufrecht erhalten wird. Insbesondere in einem zumindest teilweise autonomen Fahrbetrieb des Kraftfahrzeugs 1 und/oder eines anderen Verkehrsteilnehmers, wird das Signal des Vorrangs über Funk an zumindest eines der Zielobjekte 16, 17, 18 übermittelt. Der weitere Verkehrsteilnehmer wird bevorzugt haptisch oder akustisch auf die kritische Verkehrssituation aufmerksam gemacht. Beispielsweise durch Vibration des Lenkrads, durch eine optische Anzeige an dem Kombiinstrument des Kraftfahrzeugs 1 oder durch ein akustisches Signal.
  • Der Benutzer 5 lenkt seine Blickrichtung 20 zu dem Zielobjekt 16. Durch eine Kopfbewegung, beispielsweise einem Kopfnicken zeigt er an, dass er diesem Vorrang gewährt. Alternativ oder zusätzlich kann er dem Zielobjekt 16 durch eine Handbewegung, insbesondere eine Winkbewegung oder ein Winkzeichen mit einer Hand signalisieren, dass er diesem Vorrang gewährt. Auch ist es möglich, dass der Benutzer 5 dem Zielobjekt 16 zublinzelt, beispielsweise indem er innerhalb einer vorgebbaren Zeit zumindest eines seiner Augen zweimal hintereinander schließt und öffnet. Weiterhin ist es möglich, dass der Benutzer 5 ein vorgebbares Wort spricht, beispielsweise „Ja“, um dem Zielobjekt 16 zu signalisieren, dass er diesem Vorrang gewährt.
  • Hierbei werden bevorzugt in Abhängigkeit der erfassten Kopfbewegung, Handbewegung, Augenlidbewegung und/oder Spracheingabe des Benutzers 5 unterschiedliche Warnsignale ausgegeben. Ein einmaliges Kopfnicken und/oder eine einmalige Winkbewegung, bei dem die Hand nur einmal von einer Seite zur anderen bewegt wird, erzeugt beispielsweise eine Lichthupe an das Zielobjekt 16. Ein doppeltes Kopfnicken und/oder eine doppelte Winkbewegung erzeugt beispielsweise ein Warnsignal, das über Funk gesendet wird, insbesondere mittels Fahrzeug-zu-Fahrzeug Kommunikation. Insbesondere in einem autonomen Fahrbetrieb würde das Kraftfahrzeug 1 so lange stillstehen, bis das Zielobjekt 16 seinen Vorrang geltend gemacht hat. Insbesondere wird dafür das Zielobjekt 16, ebenso wie zuvor das Zielobjekt 8, solange beobachtet, bis der Vorgang des Vorranggewährens abgeschlossen ist. Anschließend lenkt der Benutzer 5 seine Blickrichtung 21 beispielsweise auf das Zielobjekt 18. Auch diesen bedeutet er mittels einer Kopfbewegung, Handbewegung, Augenlidbewegung und/oder Spracheingabe, insbesondere mittels eines Kopfnickens und/oder einer Winkbewegung, dass er dem Zielobjekt 18 Vorrang gewährt.
  • Um die kritische Verkehrssituation aufzulösen, ist es weiterhin nötig, dass ein hier nicht dargestellter Benutzer des Zielobjekts 16 seine Blickrichtung 22 auf das Zielobjekt 17 richtet und diesem übermittelt, dass er dem Zielobjekt 17 Vorrang gewährt. Vorzugsweise lenkt der hier nicht dargestellte Benutzer des Zielobjekts 17 seine Blickrichtung 23 zu dem Zielobjekt 18. Dabei gewährt der Benutzer des Zielobjekts 17 dem Benutzer des Zielobjekts 18 mittels einer Kopfbewegung und/oder Handbewegung Vorrang. Somit wird dem Zielobjekt 18 an der Kreuzung 19 Vorrang gewährt. Dieses Zielobjekt 18 wird daraufhin die Kreuzung 19 als erstes überqueren. Hierzu erfasst das Steuergerät 10 beziehungsweise der zweite Sensor 6 zusätzlich optische Signale, wie beispielsweise einen gesetzter Blinker, um die Verkehrssituation eindeutig feststellen zu können.
  • Insbesondere wird dabei berücksichtigt, in welche Richtung die einzelnen Verkehrsteilnehmer an der Kreuzung abbiegen möchten. Ergeben sich dabei Konflikte, die durch eine einfache Vorfahrtsregelung nicht gelöst werden können, so wird durch das Steuergerät 10 insbesondere auf eine kritische Verkehrssituation erkannt und das Signalsystem wie zuvor beschrieben verwendet.
  • 3 zeigt ein Ablaufdiagramm zur Durchführung des Verfahrens gemäß einem Ausführungsbeispiel. In einem ersten Schritt S1 befindet sich das Kraftfahrzeug 1 in einem manuellen oder automatisierten Fahrbetrieb. In einem zweiten Schritt S2 wird die Kopfbewegung, die Blickrichtung 4, die Handbewegung und/oder die Augenlidbewegung des Fahrers 5 des Kraftfahrzeugs 1 erfasst. Insbesondere wird diese durch den ersten Sensor 3 erfasst, welcher beispielsweise aufgrund der Ausrichtung der Pupillen des Fahrers die Blickrichtung 4 des Fahrers 5 erfasst. Mittels des dritten Sensors 24 wird zudem eine Spracheingabe des Benutzers 5 erfasst. In einem dritten Schritt S3 wird mittels eines zweiten Sensors 6 die Umgebung 7, 14 überwacht. Dabei wird die Umgebung 7, 14 sowohl auf Verkehrsschilder und weitere verkehrsrelevante Objekte untersucht als auch auf mögliche Zielobjekte 8, 9 überwacht. Insbesondere sind dabei Zielobjekte 8, 9 jene, welche zur Wahrnehmung eines Warnsignals fähig sind. In einem vierten Schritt S4 wertet ein Steuergerät 10 die von den Sensoren 3, 6 erfassten Signale aus. Insbesondere vergleicht es dabei die erfasste Blickrichtung 4 mit der überwachten äußeren Umgebung 7, 14. Weist die Blickrichtung 4 des Benutzers 5 dabei auf eines der möglichen Zielobjekte 8, 9, so wird dieses Zielobjekt 8 als das ausgewählte Zielobjekt 8 bestimmt. Einerseits kann die Bestimmung des Zielobjekts 8 aufgrund einer vorgebbaren Zeitdauer erfolgen, welche in die Blickrichtung auf das Zielobjekt 8 gerichtet ist. Andererseits kann aufgrund von Fahrzeugparametern, wie beispielsweise Geschwindigkeit des Kraftfahrzeugs 1 und Gegebenheit der vorausliegenden Straße auch innerhalb einer kürzeren Zeitdauer die Bestimmung des Zielobjekts 8 erfolgen. Dafür werden bevorzugt zusätzlich Mittel zur Erfassung eines satellitengestützten Navigationssystems herangezogen. In einem Schritt S5 wird bestimmt, ob es zu einer Übereinstimmung zwischen Zielobjekt 8 und Blickrichtung 4 kommt. Gibt es keine Übereinstimmung (N), beispielsweise deshalb, weil die Blickrichtung 4 in eine Richtung weist, in der sich kein Zielobjekt 8, 9 befindet, so wird auf eine eindeutige Verkehrssituation geschlossen. Das Verfahren wird dann bei dem Schritt S4 fortgesetzt. Ermittelt das Steuergerät 10 eine Übereinstimmung zwischen Blickrichtung 4 und einem möglichen Zielobjekt 8, 9 (J), so wird das Zielobjekt 8 ausgewählt. In einem sechsten Schritt S6 wird die Kopfbewegung, die Handbewegung, die Augenlidbewegung und/oder die Spracheingabe des Benutzers 5 erfasst und aus dieser eine Absicht des Benutzers 5 abgeleitet. Insbesondere wird hierbei bestimmt, ob der Benutzer 5 des Kraftfahrzeugs 1 dem Zielobjekt 8 einen Vorrang gewähren möchte oder nicht. Beispielsweise wird dabei ein einfaches und/oder ein mehrfaches Kopfnicken ausgewertet. Hierbei wird ebenso die Zeitdauer zwischen zwei Kopfnickvorgängen ermittelt. Erfolgen zwei Kopfnickvorgänge innerhalb einer vorgebbaren Zeitdauer, so wird dieses zweifache Kopfnicken ein anderes Warnsignal aussenden als ein einfaches Kopfnicken. Überschreitet die Zeitdauer zwischen zwei Kopfnickvorgängen einen vorgebbaren Grenzwert, so wird dasselbe Warnsignal ausgegeben, jedoch in zweifacher Form, als wäre nur ein einziger Kopfnickvorgang durchgeführt worden. Gleiches gilt, wenn eine einfache und/oder eine mehrfache Handbewegung oder Winkbewegung erfasst wird. Auch hierbei wird die Zeitdauer zwischen zwei Winkbewegungen ermittelt. Erfolgen zwei Winkbewegungen innerhalb einer vorgebbaren Zeitdauer, so wird ein anderes Warnsignal ausgesendet als bei einer einfachen Winkbewegung. Überschreitet die Zeitdauer zwischen zwei gleichen Handbewegungen, beispielsweise Winkbewegungen, einen vorgebbaren Grenzwert, so wird dasselbe Warnsignal zweimal ausgegeben. Auch ist es möglich, dass ein Warnsignal nur dann ausgebeben wird, wenn sowohl eine vorbestimmte Kopfbewegung als auch eine vorbestimmte Handbewegung erfasst werden. Beispielsweise wird hierbei wird die Zeitdauer zwischen einer Kopfbewegung und einer Handbewegung, insbesondere Winkbewegung ermittelt. Erfolgen die Winkbewegung und die Kopfbewegung innerhalb einer vorgebbaren Zeitdauer, so wird bevorzugt ein Warnsignal zweifach in einem kurzen Zeitabstand oder ein anderes Warnsignal als bei dem Erfassen nur einer Kopfbewegung ausgeben. Überschreitet die Zeitdauer zwischen der Handbewegung und der Kopfbewegung einen vorgebbaren Grenzwert, so wird dasselbe Warnsignal zweimal in einem längeren Zeitabstand ausgeben. Bei erfassten Augenlidbewegungen wird bevorzugt die Zeitdauer zwischen einem ersten Schließen und Öffnen zumindest eines Augenlides und einem zweiten Schließen und Öffnen zumindest eines Augenlides des Benutzers 5 ausgewertet. Auch ist es möglich, aus einem einmaligen Öffnen und Schließen zumindest eines Augenlides in Verbindung mit einem gleichzeitigen Kopfnicken auf die Absicht des Benutzers 5 zu schließen. Um aus der Spracheingabe des Benutzers 5 eine Absicht abzuleiten, wird ein durch den dritten Sensor 24 erfasstes Wort, welches bevorzugt von dem Benutzer 5 gesprochen wird, ausgewertet.
  • In einem siebten Schritt S7 werden die Kopfbewegung, die Handbewegung und/oder die Augenlidbewegung mit hinterlegten Bewegungsmustern verglichen. Insbesondere wird dadurch unterscheidbar, ob ein Benutzer 5 mit einem Kopfnicken, einer Handbewegung und/oder einer Augenlidbewegung etwas bestätigen, oder ob ein Benutzer 5 mit einem Kopfschütteln, einer Handbewegung und/oder einer Augenlidbewegung etwas verneinen möchte. Insbesondere wird dann in Abhängigkeit der durch den Vergleich erfassten Bewegung entschieden, welches Warnsignal ausgegeben werden soll, beispielsweise ein zustimmendes oder ein ablehnendes akustische oder optisches Warnsignal. Ebenso werden die vom Benutzer 5 gesprochenen Worte mittels des Akustiksensors mit hinterlegten Wörtern verglichen, so dass beispielsweise aus einem erfassten „Ja“ eine Bestätigung beziehungsweise ein Vorrang-Gewähren und aus einem erfassten „Nein“ eine Verneinung beziehungsweise eine Ablehnung des Vorrang-Gewährens abgeleitet wird.
  • In einem achten Schritt S8 wird aufgrund der erfassten Kopfbewegung, Handbewegung, Augenlidbewegung und/oder Spracheingabe das Warnsignal ausgegeben. Insbesondere wird die Ausgabe des Warnsignals zielgerichtet an das Zielobjekt 8 ausgeben, so dass insbesondere unbeteiligte Verkehrsteilnehmer durch das Warnsignal nicht irritiert werden. Dabei erfolgt die Ausgabe des Warnsignals akustisch, optisch und/oder elektronisch wie zuvor bereits beschrieben. Elektronisch erfolgt die Ausgabe des Warnsignals insbesondere dann, wenn sowohl das Kraftfahrzeug 1 als auch das Zielobjekt 8 beziehungsweise der weitere Verkehrsteilnehmer über jeweils eine Vorrichtung verfügen, mittels derer eine Fahrzeug-zu-Fahrzeug Kommunikation möglich ist. Dabei wird das Warnsignal beispielsweise an einem Kombiinstrument dargestellt. Somit erfolgt die elektronische Ausgabe des Warnsignals einerseits drahtlos und mittels Funk und andererseits elektronisch, indem es auf einen Bildschirm elektronisch wiedergegeben wird.
  • In einem neunten Schritt S9 wird die zuvor erfasste Verkehrssituation überwacht, bis diese abgeschlossen ist. Insbesondere ist diese abgeschlossen, wenn ein Vorgang, welcher durch die Kopfbewegung, Handbewegung, Augenlidbewegung und/oder Spracheingabe eingeleitet wurde, durchgeführt worden ist. So kann beispielsweise der Benutzer eines Zielobjektes, beispielsweise der Fahrer eines anderen Fahrzeugs, selbst darauf hingewiesen werden, dass er ein Freigabesignal an den Benutzer 5 des Kraftfahrzeugs 1 senden kann, um diesem zu bestätigen, dass für ihn der Vorgang abgeschlossen ist. Dabei kann der Benutzer des Zielobjekts zuvor haptisch oder akustisch darauf aufmerksam gemacht werden. Sobald der Vorgang abgeschlossen ist, wird der Fahrbetrieb wieder aufgenommen beziehungsweise fortgesetzt.
  • Optional ist es dabei möglich, eine bereits erkannte Fahrerabsicht, welche durch die Kopfbewegung signalisiert wurde, durch die zusätzlich erfasste Handbewegung zu verifizieren. Zudem ist es bei automatisierten Kraftfahrzeugen möglich, eine Anfrage an ein anderes Kraftfahrzeug zu schicken, um dem Fahrer des anderen Kraftfahrzeugs Vorrang zu geben oder Vorrang für sich selbst anzufragen.
  • Zur Bestimmung einer Verkehrssituation wird insbesondere eine Situationsanalyse erstellt. Diese ist beispielsweise abhängig von einer Geschwindigkeit des Kraftfahrzeugs 1, einer Stehdauer des Kraftfahrzeugs 1 im Betrieb, einem Vorhandensein einer Ampel oder einer Vorfahrtssituation. Die Situationsanalyse wird insbesondere mittels den von dem Sensor 6 erfassten Daten durchgeführt.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102012023108 A1 [0003]

Claims (12)

  1. Verfahren zum Betreiben eines Signalsystems (2), insbesondere für ein Fahrzeug (1), wobei mittels zumindest eines ersten Sensors (3) eine Blickrichtung (4) eines Benutzers (5) überwacht wird, wobei in Abhängigkeit der erfassten Blickrichtung (4) ein Warnsignal ausgegeben wird, dadurch gekennzeichnet, dass mittels zumindest eines zweiten Sensors (6) eine Umgebung (7, 14) des Benutzers (5) auf mögliche Zielobjekte (8, 9, 16, 17, 18) überwacht wird, wobei die erfasste Blickrichtung (4) des Benutzers (5) mit der Umgebung (7, 14) verglichen wird, und dass dann, wenn die Blickrichtung (4) des Benutzers (5) auf eines der möglichen Zielobjekte (8, 9, 16, 17, 18) weist, dieses Zielobjekt (8, 9, 16, 17, 18) als ausgewähltes Zielobjekt (8, 9, 16, 17, 18) bestimmt und in Abhängigkeit von einem Auslösebefehl des Benutzers (5) das Warnsignal in die Umgebung (7, 14) für das ausgewählte Zielobjekt (8, 9, 16, 17, 18) ausgegeben wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Auslösebefehl eine Kopfbewegung, Handbewegung, Augenlidbewegung und/oder Spracheingabe des Benutzers (5) berührungsfrei erfasst werden.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass dann das Warnsignal ausgegeben wird, wenn als Kopfbewegung des Benutzers (5) ein Kopfnicken und/oder ein Kopfschütteln erfasst werden.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Warnsignal akustisch, optisch und/oder elektronisch ausgegeben wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Warnsignal zielgerichtet in Richtung des ausgewählten Zielobjekts (8, 9, 16, 17, 18) ausgegeben wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit des erfassten Auslösebefehls unterschiedliche Warnsignale ausgegeben werden.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Warnsignal nur dann an das ausgewählte Zielobjekt (8, 9, 16, 17, 18) ausgegeben wird, wenn auf eine kritische Verkehrssituation zwischen Benutzer (5) und Zielobjekt (8, 9, 16, 17, 18) erkannt wird.
  8. Vorrichtung zum Betreiben eines Signalsystem (2), insbesondere für ein Fahrzeug (1), wobei das Signalsystem (2) zumindest einen ersten Sensor (3) zur Überwachung, einer Blickrichtung (4) eines Benutzers (5) und eine Signalerzeugungseinrichtung (11) aufweist, und ein Steuergerät (10), das dazu ausgebildet ist, in Abhängigkeit der erfassten Blickrichtung (4) die Signalerzeugungseinrichtung (11) anzusteuern, sodass diese ein Warnsignal ausgibt, dadurch gekennzeichnet, dass das Steuergerät (10) speziell dazu hergerichtet ist, bei bestimmungsgemäßem Gebrauch das Verfahren nach einem der Ansprüche 1 bis 7 durchzuführen.
  9. Signalsystem (2), insbesondere für ein Fahrzeug (1), mit zumindest einem ersten Sensor (3) zur Überwachung einer Blickrichtung (4) eines Benutzers (5) und mit einer Signalerzeugungseinrichtung (11), die in Abhängigkeit der erfassten Blickrichtung (4) ein Warnsignal ausgibt, gekennzeichnet durch die Vorrichtung nach Anspruch 8
  10. Signalsystem nach Anspruch 9, dadurch gekennzeichnet, dass der zumindest eine erste Sensor (3, 6, 13) ein Laser-, Radar-, Sonar-, Lidar-, Videobildgebungs- und/oder Ultraschallsensor ist.
  11. Signalsystem nach Anspruch 9, gekennzeichnet durch zumindest einen weiteren Sensor (24) zum Erfassen des Auslöschbefehls, der als Mikrofon, Akustiksensor, Taster oder Schalter ausgebildet ist.
  12. Fahrzeug (1), insbesondere Kraftfahrzeug, gekennzeichnet durch ein Signalsystem (2) nach zumindest einem der Ansprüche 9 bis 11.
DE102016208410.0A 2016-05-17 2016-05-17 Verfahren und Vorrichtung zum Betreiben eines Signalsystems, Signalsystem, Fahrzeug Pending DE102016208410A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102016208410.0A DE102016208410A1 (de) 2016-05-17 2016-05-17 Verfahren und Vorrichtung zum Betreiben eines Signalsystems, Signalsystem, Fahrzeug
US15/491,253 US9884583B2 (en) 2016-05-17 2017-04-19 Method and apparatus for operating a signal system, signal system, vehicle
CN201710343690.4A CN107393339A (zh) 2016-05-17 2017-05-16 用于运行信号系统的方法和装置、信号系统、车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016208410.0A DE102016208410A1 (de) 2016-05-17 2016-05-17 Verfahren und Vorrichtung zum Betreiben eines Signalsystems, Signalsystem, Fahrzeug

Publications (1)

Publication Number Publication Date
DE102016208410A1 true DE102016208410A1 (de) 2017-11-23

Family

ID=60255094

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016208410.0A Pending DE102016208410A1 (de) 2016-05-17 2016-05-17 Verfahren und Vorrichtung zum Betreiben eines Signalsystems, Signalsystem, Fahrzeug

Country Status (3)

Country Link
US (1) US9884583B2 (de)
CN (1) CN107393339A (de)
DE (1) DE102016208410A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019210011A1 (de) * 2019-07-08 2021-01-14 Volkswagen Aktiengesellschaft Verfahren zur Steuerung einer Fahrzeuginnenbeleuchtung
DE102022102250A1 (de) 2022-02-01 2023-08-03 Bayerische Motoren Werke Aktiengesellschaft Warnsignal eines Fahrzeugs
DE102023109090B3 (de) 2023-04-11 2024-01-18 Cariad Se Kraftfahrzeug und Verfahren zum Unterscheiden einer beabsichtigten von einer unbeabsichtigten Aktivierung eines Fahrtrichtungsanzeigers eines Kraftfahrzeugs

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016139758A1 (ja) * 2015-03-03 2016-09-09 株式会社 テクノミライ デジタルフューチャーナウ・セキュリティシステム、方法及びプログラム
US10224033B1 (en) * 2017-09-05 2019-03-05 Motorola Solutions, Inc. Associating a user voice query with head direction
EP3493178B1 (de) * 2017-12-01 2024-03-06 Veoneer Sweden AB Verfahren und vorrichtung zur erkennung der aufmerksamkeit eines fahrers
US20190246036A1 (en) * 2018-02-02 2019-08-08 Futurewei Technologies, Inc. Gesture- and gaze-based visual data acquisition system
US20230356728A1 (en) * 2018-03-26 2023-11-09 Nvidia Corporation Using gestures to control machines for autonomous systems and applications
DE102019206446A1 (de) * 2019-05-06 2020-11-12 Volkswagen Aktiengesellschaft Verfahren zum Durchführen eines Rangiervorgangs eines Kraftfahrzeugs mit Aufmerksamkeitsbeurteilung eines Nutzers sowie Rangierassistenzsystem für ein Kraftfahrzeug
US11055998B1 (en) * 2020-02-27 2021-07-06 Toyota Motor North America, Inc. Minimizing traffic signal delays with transports
JP2021157530A (ja) * 2020-03-27 2021-10-07 本田技研工業株式会社 自律作業機、自律作業設定方法、およびプログラム
DE102020209939A1 (de) * 2020-08-06 2022-02-10 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Erkennen von Kopfgesten
US11425493B2 (en) 2020-12-23 2022-08-23 Ford Global Technologies, Llc Targeted beamforming communication for remote vehicle operators and users
US20230041448A1 (en) * 2021-08-04 2023-02-09 Waymo Llc Pedestrian Countdown Signal Classification to Increase Pedestrian Behavior Legibility

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012023108A1 (de) 2012-11-27 2014-06-12 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7482916B2 (en) * 2004-03-15 2009-01-27 Anita Au Automatic signaling systems for vehicles
US7095318B1 (en) * 2004-09-28 2006-08-22 Solomon Bekhor Enhanced vehicle advisory system to advise drivers of other vehicles and passengers in the vehicle of actions taken by the driver
WO2008029802A1 (fr) * 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
DE602006014684D1 (de) * 2006-09-08 2010-07-15 Ford Global Tech Llc Aktives Sicherheitssystem für Kraftfahrzeug sowie Verfahren zum Betrieb eines solchen
US8751106B2 (en) * 2012-03-28 2014-06-10 GM Global Technology Operations LLC Directional horn and method of use
US9196164B1 (en) * 2012-09-27 2015-11-24 Google Inc. Pedestrian notifications
US8874313B2 (en) * 2012-10-31 2014-10-28 GM Global Technology Operations LLC Vehicle lane checking monitor
DE102013222584A1 (de) * 2013-11-07 2015-05-21 Robert Bosch Gmbh Optisches Wiedergabe- und Erkennungssystem in einem Fahrzeug
US9696798B2 (en) * 2014-04-09 2017-07-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Eye gaze direction indicator

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012023108A1 (de) 2012-11-27 2014-06-12 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019210011A1 (de) * 2019-07-08 2021-01-14 Volkswagen Aktiengesellschaft Verfahren zur Steuerung einer Fahrzeuginnenbeleuchtung
DE102022102250A1 (de) 2022-02-01 2023-08-03 Bayerische Motoren Werke Aktiengesellschaft Warnsignal eines Fahrzeugs
DE102023109090B3 (de) 2023-04-11 2024-01-18 Cariad Se Kraftfahrzeug und Verfahren zum Unterscheiden einer beabsichtigten von einer unbeabsichtigten Aktivierung eines Fahrtrichtungsanzeigers eines Kraftfahrzeugs

Also Published As

Publication number Publication date
US9884583B2 (en) 2018-02-06
CN107393339A (zh) 2017-11-24
US20170334348A1 (en) 2017-11-23

Similar Documents

Publication Publication Date Title
DE102016208410A1 (de) Verfahren und Vorrichtung zum Betreiben eines Signalsystems, Signalsystem, Fahrzeug
EP3454013B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-display-vorrichtung für ein kraftfahrzeug
DE102015201456B4 (de) Verfahren und System zur Ausgabe einer Warnmeldung in einem Fahrzeug
DE102008038816A1 (de) Verfahren und Vorrichtung zur Unterstützung des Betriebs eines Fahrzeugs
DE102014223881B4 (de) Warnsystem für ein Fahrzeug, Verfahren zum Betreiben eines Warnsystems
DE102015225409A1 (de) Steuereinheit und Verfahren zur Abgrenzung von Bewegungsbereichen
DE102013226336A1 (de) Kommunikation zwischen autonomen Fahrzeugen und Menschen
DE102009019702A1 (de) Verfahren und Vorrichtung zur Übergabeaufforderung an den Fahrzeugführer
DE102019201407A1 (de) Verfahren und Vorrichtung zum Steuern der Aufmerksamkeit eines Fahrers
DE102014201036A1 (de) Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens
DE102017111468A1 (de) Fahrzeugsystem und Verfahren zum Bestimmen, ob ein Fahrzeuginsasse ein fahrzeugexternes Objekt wahrgenommen hat
DE102018213230A1 (de) Verfahren und Steuervorrichtung zum Warnen eines Fahrers eines Kraftfahrzeugs sowie Kraftfahrzeug mit einer derartigen Steuervorrichtung
DE102017213177A1 (de) Verfahren zum Betreiben eines Bildschirms eines Kraftfahrzeugs sowie Kraftfahrzeug
DE112019003127T5 (de) Head-up-display-einrichtung
DE112018007625T5 (de) Fahrzeuggenutzte rückseitige warnvorrichtung und fahrzeuggenutztes rückseitiges warnverfahren
DE102012201046A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Fahrers
DE102014217732B4 (de) Verfahren zum Assistieren eines Fahrers eines Kraftfahrzeugs, Vorrichtung und System
DE102014019420A1 (de) Kraftfahrzeugscheinwerfersystem, Kraftfahrzeug, Verfahren zum Betrieb eines Kraftfahrzeugscheinwerfersystems sowie Computerprogrammprodukt
WO2018166779A1 (de) Verfahren und vorrichtung zur erinnerung eines fahrers an ein anfahren an einer lichtsignaleinrichtung
DE102015008263A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs
EP3583488B1 (de) Automatisierte aktivierung eines sichtunterstützungssystems
DE102014226187A1 (de) Kommunikation mittels eines Luftstoßes
DE102014214506A1 (de) Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs
WO2021001258A1 (de) Vorrichtung und verfahren zur ermittlung von bilddaten der augen, augenpositionen oder einer blickrichtung eines fahrzeugnutzers
DE102014214505A1 (de) Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs

Legal Events

Date Code Title Description
R012 Request for examination validly filed