DE102019130439A1

DE102019130439A1 - Method and device for operating an accident assistance system in a vehicle

Info

Publication number: DE102019130439A1
Application number: DE102019130439.3A
Authority: DE
Inventors: Marian Kreplin; Eric Reum
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2019-11-12
Filing date: 2019-11-12
Publication date: 2021-05-12

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Unfallassistenzsystems mit einer Datenbrille in einem Fahrzeug, mit folgenden Schritten:- Feststellen, ob ein Unfallereignis vorliegt;- Erfassen von physiologischen Merkmalen des Trägers der Datenbrille mithilfe einer Nutzerzustandssensorik in der Datenbrille;- Bei einem festgestellten Unfallereignis, Signalisieren der physiologischen Merkmale.The invention relates to a method for operating an accident assistance system with data glasses in a vehicle, with the following steps: - determining whether an accident event is present; Signaling the physiological characteristics.

Description

Technisches GebietTechnical area

Die Erfindung betrifft Datenbrillen und weiterhin Maßnahmen zur Signalisierung eines Nutzerzustands nach einem Unfallereignis.The invention relates to data glasses and also to measures for signaling a user status after an accident.

Technischer HintergrundTechnical background

Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des Trägers der Datenbrille anzeigen können. Die Anzeigeflächen können Reflexionsflächen entsprechen, die Abbildungen in das Auge des Trägers der Datenbrille richten. Die Sichtöffnungen der Datenbrille sind transparent, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann.Data glasses, also called head-mounted displays, are known which, with the aid of a display device, can display an image on one or two display surfaces in the field of view of the wearer of the data glasses. The display surfaces can correspond to reflection surfaces which direct images into the eye of the wearer of the data glasses. The viewing openings of the data glasses are transparent, so that the real environment can be perceived in the normal way through the data glasses. The display surfaces are located in the viewing openings so that information to be displayed, such as text, symbols, graphics, video displays and the like, can be displayed superimposed on the perception of the surroundings.

Datenbrillen zur Darstellung von Augmented-Reality-Information können in Fahrzeugen zur Anzeige von fahrzeug- und fahrrelevanten Informationen genutzt werden. Dadurch, dass die Datenbrille am Kopf des Nutzers getragen wird, kann die Übermittlung einer Information ohne eine Blickrichtungsänderung von dem aktuellen Verkehrsgeschehen an den Träger der Datenbrille erfolgen. Zudem ermöglichen Datenbrillen die Blickwinkel-abhängige Anzeige von Informationen bzw. die kontaktanaloge Anzeige von Informationen, bei der dargestellte Informationsobjekte an ein Objekt der Realumgebung „angeheftet“ werden kann.Data glasses for displaying augmented reality information can be used in vehicles to display vehicle and driving-related information. Because the data glasses are worn on the user's head, information can be transmitted from the current traffic situation to the wearer of the data glasses without changing the direction of view. In addition, data glasses enable the viewing angle-dependent display of information or the contact-analog display of information, in which the displayed information objects can be "attached" to an object in the real environment.

Durch das Tragen der Datenbrille am Kopf ist diese nahe dem Nutzer angeordnet, so dass die Datenbrille auch Angaben über den Nutzerzustand erfassen kann. So ist beispielsweise aus der Druckschrift DE 101 23 226 A1 eine tragbare Überwachungseinrichtung für physiologische Parameter, wie Herzfrequenz, Blutdruck, Körpertemperatur oder dergleichen, bekannt, umfassend einen körpernah applizierbaren Sensor für den oder die physiologischen Parameter, eine Telemetrie-Einheit zur drahtlosen Übertragung der den oder die physiologischen Parameter repräsentierenden Daten zu einem Basisgerät, und eine netzunabhängige Stromversorgung, wobei die Überwachungseinrichtung mit Sensor, Telemetrie-Einheit und Spannungsversorgung an einer Brille angeordnet ist.When the data glasses are worn on the head, they are arranged close to the user so that the data glasses can also record information about the user's condition. For example, from the publication DE 101 23 226 A1 a portable monitoring device for physiological parameters, such as heart rate, blood pressure, body temperature or the like, known, comprising a sensor for the physiological parameter or parameters that can be applied close to the body, a telemetry unit for wireless transmission of the data representing the physiological parameter or parameters to a base unit, and a mains-independent power supply, the monitoring device with sensor, telemetry unit and power supply being arranged on glasses.

Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zum Betreiben der Datenbrille zur Verfügung zu stellen, bei dem durch die Datenbrille erfasste physiologische Nutzerdaten genutzt werden.It is the object of the present invention to provide a method for operating the data glasses in which physiological user data recorded by the data glasses are used.

Offenbarung der ErfindungDisclosure of the invention

Diese Aufgabe wird durch das Verfahren zum Betreiben eines Unfallassistenzsystems in einem Fahrzeug gemäß Anspruch 1 sowie durch das Unfallassistenzsystem und die Datenbrille gemäß den nebengeordneten Ansprüchen gelöst.This object is achieved by the method for operating an accident assistance system in a vehicle according to claim 1 and by the accident assistance system and the data glasses according to the independent claims.

Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.Further refinements are given in the dependent claims.

Gemäß einem ersten Aspekt ist ein Verfahren zum Betreiben eines Unfallassistenzsystems in einem Fahrzeug vorgesehen, mit folgenden Schritten:

- Erfassen, ob ein Unfallereignis vorliegt;
- Erfassen von physiologischen Merkmalen des Trägers der Datenbrille mithilfe einer Nutzerzustandssensorik in der Datenbrille;
- Bei einem festgestellten Unfallereignis, Signalisieren der physiologischen Merkmale.

According to a first aspect, a method for operating an accident assistance system in a vehicle is provided, with the following steps:

- Detecting whether there is an accident event;
- Detection of physiological features of the wearer of the data glasses with the help of a user condition sensor system in the data glasses;
- If an accident event is detected, signaling of the physiological characteristics.

Eine Idee des obigen Verfahrens zum Betreiben einer Datenbrille besteht darin, dass nach einem erkannten Unfallereignis eine Nutzerzustandssensorik zur Erfassung von Zustandsdaten, die ein oder mehrere physiologische Merkmale des Trägers der Datenbrille angeben, verwendet wird, um den Nutzerzustand des Trägers der Datenbrille zu erfassen und nach dem Unfallereignis in geeigneter Weise zu signalisieren. Der erfasste Nutzerzustand wird verwendet, um einen Unfallhelfer und/oder einen Rettungssanitäter frühzeitig über den Zustand des betreffenden Fahrzeuginsassen zu informieren, so dass die Zeitdauer für das Durchführen der ersten Aufnahme von physiologischen Daten reduziert werden kann.One idea of the above method for operating data glasses is that, after a recognized accident event, a user condition sensor system is used to record status data indicating one or more physiological features of the wearer of the data glasses, in order to record the user status of the wearer of the data glasses and after to signal the accident event in a suitable manner. The recorded user status is used to inform an accident helper and / or a paramedic early on about the status of the vehicle occupant in question, so that the time required for performing the first recording of physiological data can be reduced.

So können beispielsweise die Zustandsdaten einem Unfallhelfer signalisiert werden. Insbesondere können den Zustandsdaten Handlungsanweisungen für nicht speziell ausgebildete Ersthelfer bereitgestellt werden.For example, the status data can be signaled to an accident worker. In particular, the status data can be provided with instructions for first aiders who have not been specially trained.

Weiterhin können die physiologischen Merkmale ein oder mehrere der folgenden Merkmale umfassen:

- eine Herzrate;
- einen Transpirationsgrad;
- eine Kopftemperatur;
- eine Augenbewegung und/oder einen Verlauf der Augenbewegung;
- eine Pupillengröße;
- einen Öffnungszustand der Augenlider;
- eine Kopfbewegung;
- einen Bewusstseinszustand.

Furthermore, the physiological characteristics can include one or more of the following characteristics:

- a heart rate;
- a degree of perspiration;
- a head temperature;
- an eye movement and / or a course of the eye movement;
- a pupil size;
- an opening state of the eyelids;
- a head movement;
- a state of consciousness.

Es kann vorgesehen sein, dass das Unfallereignis durch eine Inertialsensorik der Datenbrille oder durch Empfangen einer entsprechenden Unfallereignisinformation von extern erfasst wird. Die Inertialsensorik kann eine starke Krafteinwirkung (d.h. eine Krafteinwirkung über einem vorgegebenen Kraftschwellenwert, der durch normale Fahrbewegungen des Kraftfahrzeugs oder Kopfbewegungen nicht auftreten kann) als Aufprallereignis und damit als Unfallereignis interpretieren.It can be provided that the accident event is recorded by an inertial sensor system of the data glasses or by receiving corresponding accident event information from external. The inertial sensors can interpret a strong force (i.e. a force above a predetermined force threshold that cannot occur due to normal driving movements of the motor vehicle or head movements) as an impact event and thus as an accident.

Weiterhin kann das Signalisieren der physiologischen Merkmale nur erfolgen, wenn festgestellt wird, dass sich die Datenbrille noch am Kopf des Nutzers befindet.Furthermore, the signaling of the physiological features can only take place if it is established that the data glasses are still on the user's head.

Gemäß einer Ausführungsform kann das Signalisieren der physiologischen Merkmale durch eine akustische oder visuelle Ausgabeeinrichtung an der Datenbrille oder an einer externen Einrichtung erfolgen und/oder durch Kommunikation an eine fahrzeugferne Einrichtung erfolgen.According to one embodiment, the signaling of the physiological features can take place by an acoustic or visual output device on the data glasses or on an external device and / or by communication to a device remote from the vehicle.

Es kann vorgesehen sein, dass das Signalisieren der physiologischen Merkmale durch direktes Ausgeben der physiologischen Merkmale und/oder durch Ausgeben von von den physiologischen Merkmalen abhängigen Handlungsanweisungen an einen Unfallhelfer durchgeführt wird.Provision can be made for the signaling of the physiological characteristics to be carried out by directly outputting the physiological characteristics and / or by outputting instructions that are dependent on the physiological characteristics to an accident worker.

Weiterhin können ein oder mehrere der folgenden weiteren Merkmale signalisiert werden:

- ein aktuelles Mikrofonsignal eines Mikrofons der Datenbrille
- eine Geopositionssignal zur Angabe des aktuellen Unfallsorts;
- bereitgestellte Nutzerdaten, insbesondere einen Namen, eine Blutgruppe, Vorerkrankungen, eine Versicherungs-ID und/oder sonstige Kontaktinformationen.

Furthermore, one or more of the following additional features can be signaled:

- a current microphone signal from a microphone in the data glasses
- a geolocation signal indicating the current location of the accident;
- User data provided, in particular a name, a blood group, previous illnesses, an insurance ID and / or other contact information.

Insbesondere kann das Signalisieren der physiologischen Merkmale und der weiteren Merkmale durch direktes Ausgeben der Merkmale und/oder durch Ausgeben von den physiologischen und den weiteren Merkmalen abhängigen Handlungsanweisungen an einen Unfallhelfer durchgeführt werden.In particular, the signaling of the physiological characteristics and the further characteristics can be carried out by directly outputting the characteristics and / or by outputting instructions to an accident worker that are dependent on the physiological and the further characteristics.

Gemäß einer Ausführungsform kann das Signalisieren an ein in einem vorgegebenen Umkreis befindliches Kommunikationsendgerät durchgeführt werden. Dazu kann festgestellt werden, dass sich ein Kommunikationsendgerät in der Nähe, d.h. in einem Umkreis von z.B. 20m, der Datenbrille befindet, und das entsprechend zur Ausgabe der Handlungsanweisungen genutzt wird.According to one embodiment, the signaling can be carried out to a communication terminal located in a predetermined radius. For this purpose, it can be determined that a communication terminal is in the vicinity, i.e. within a radius of e.g. 20m, to the data glasses, and that it is used accordingly to output the instructions.

Gemäß einem weiteren Aspekt ist ein Unfallassistenzsystem mit einer Datenbrille und einer Assistenzeinrichtung in einem Fahrzeug, wobei das Unfallassistenzsystem ausgebildet ist, um:

- mithilfe der Datenbrille oder mithilfe der Assistenzeinrichtung festzustellen, ob ein Unfallereignis vorliegt;
- physiologische Merkmale des Trägers der Datenbrille mithilfe einer Nutzerzustandssensorik in der Datenbrille zu erfassen; und
- mithilfe der Datenbrille oder mithilfe der Assistenzeinrichtung bei einem festgestellten Unfallereignis, die physiologischen Merkmale zu signalisieren.

According to a further aspect, an accident assistance system with data glasses and an assistance device is in a vehicle, the accident assistance system being designed to:

- Using the data glasses or the assistance device to determine whether an accident has occurred;
- to record physiological features of the wearer of the data glasses with the help of a user condition sensor system in the data glasses; and
- to signal the physiological characteristics with the help of the data glasses or with the assistance of the assistance device in the event of a detected accident.

FigurenlisteFigure list

Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:

1 eine schematische Darstellung eines Unfallassistenzsystems in einem Fahrzeug; und
2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben eines Unfallassistenzsystems in einem Fahrzeug.

Embodiments are explained in more detail below with reference to the accompanying drawings. Show it:

1 a schematic representation of an accident assistance system in a vehicle; and
2 a flowchart to illustrate a method for operating an accident assistance system in a vehicle.

Beschreibung von AusführungsformenDescription of embodiments

1 zeigt eine schematische Darstellung eines Unfallassistenzsystems 1 für ein Fahrzeug. Das Unfallassistenzsystem 1 umfasst eine Assistenzeinrichtung 2, die in dem Fahrzeug angeordnet ist, und eine Datenbrille 3. Die Assistenzeinrichtung 2 kann fest in dem Fahrzeug montiert sein und Teil eines Unfallassistenzsystem 1 sein. Alternativ kann die Assistenzeinrichtung 2 auch einem Mobilgerät, wie beispielsweise einem Mobiltelefon und dergleichen, entsprechen. 1 shows a schematic representation of an accident assistance system 1 for a vehicle. The accident assistance system 1 includes an assistance facility 2 , which is arranged in the vehicle, and data glasses 3rd . The assistance facility 2 can be permanently installed in the vehicle and part of an accident assistance system 1 be. Alternatively, the assistance facility 2 also correspond to a mobile device such as a mobile phone and the like.

Die Assistenzeinrichtung 2 steht in Kommunikationsverbindung 4 mit der Datenbrille 3. Die Kommunikationsverbindung 4 ist als ein Datenübertragungskanal ausgebildet, z.B. in Form einer drahtlosen Kommunikationsverbindung oder einer drahtgebundenen Kommunikationsverbindung. Die Kommunikationsverbindung 4 ist in der Lage, jegliche Art von Daten und Informationen zwischen der Assistenzeinrichtung 2 und der Datenbrille 3 zu übermitteln, beispielsweise basierend auf einer paketgebundenen Datenübertragung. Die Kommunikationsverbindung 4 kann beispielsweise auf WiFi, Bluetooth, Bluetooth Low Energy oder einem vergleichbaren standardisierten Funkprotokoll basieren.The assistance facility 2 is in communication 4th with the data glasses 3rd . The communication link 4th is designed as a data transmission channel, for example in the form of a wireless communication link or a wired communication link. The communication link 4th is able to share any kind of data and information between the assistance facility 2 and the data glasses 3rd to be transmitted, for example based on a packet-bound data transmission. The communication link 4th can for example be based on WiFi, Bluetooth, Bluetooth Low Energy or a comparable standardized radio protocol.

Die Datenbrille 3 umfasst zwei transparente Sichtscheiben 32, die in einem Rahmen 31 in an sich bekannter Weise eingefasst sind. Der Rahmen 31 ist mit Brillenbügeln 33 versehen, so dass die Datenbrille 3 am Kopf eines Benutzers in an sich bekannter Weise getragen werden kann. Alternativ kann die Datenbrille auch als eine Virtual-Reality-Datenbrille mit nicht transparenten Anzeigeflächen ausgebildet sein.The data glasses 3rd includes two transparent lenses 32 that are in a frame 31 are bordered in a manner known per se. The frame 31 is with glasses temples 33 provided so that the smart glasses 3rd can be worn on the head of a user in a manner known per se. Alternatively, the data glasses can also be designed as virtual reality data glasses with non-transparent display surfaces.

Eine oder beide Sichtscheiben 32 (Brillengläser) sind weiterhin mit einer transparenten Anzeigefläche 35 versehen, durch die durch eine geeignete Einrichtung, wie zum Beispiel eine an dem Rahmen 31 angeordnete Anzeigeeinrichtung 36, ein Anzeigebild zur Darstellung von virtuellen Informationsobjekten ins Auge des Trägers der Datenbrille 3 projiziert werden kann. Durch die transparente Ausbildung der Anzeigefläche 35 kann das elektronisch generierte Bild die durch die Anzeigefläche 35 wahrnehmbare Realumgebung überlagern. Mithilfe der Anzeigeeinrichtung 36 kann eine Information, wie beispielsweise einen Text, ein Symbol, eine Videoinformation, eine Graphik oder dergleichen, auf einer oder beiden Anzeigeflächen 35 dargestellt werden.One or both lenses 32 (Glasses) are still with a transparent display surface 35 provided by any suitable device such as one on the frame 31 arranged display device 36 , a display image for displaying virtual information objects in the eye of the wearer of the data glasses 3rd can be projected. Due to the transparent design of the display area 35 the electronically generated image can be transmitted through the display area 35 superimpose perceptible real environment. Using the display device 36 information such as text, a symbol, video information, a graphic or the like can be displayed on one or both display surfaces 35 being represented.

Die Datenbrille 3 kann wie eine typische Sehhilfe an dem Kopf des Benutzers getragen werden, wobei die Datenbrille 3 mit dem Rahmen 31 auf der Nase des Benutzers aufliegt und die Bügel 33 an dem Kopf des Benutzers seitlich anliegen. Die Blickrichtung des Benutzers in Geradeausrichtung erfolgt dann durch die Sichtscheiben 32 im Wesentlichen durch die transparenten Anzeigeflächen 35, so dass die Blickrichtung des Benutzers im Wesentlichen der Ausrichtung der Datenbrille 3 entspricht.The data glasses 3rd can be worn on the head of the user like a typical visual aid, the smart glasses 3rd with the frame 31 rests on the nose of the user and the bracket 33 rest on the side of the head of the user. The viewing direction of the user in a straight line then occurs through the viewing panes 32 mainly through the transparent display surfaces 35 so that the direction of view of the user is essentially the orientation of the smart glasses 3rd corresponds to.

Weiterhin kann die Datenbrille 3 mit einer Steuereinheit 37 versehen sein. Die Steuereinheit 37 kann in geeigneter Weise ausgebildet sein, um Datenbrillenfunktionen und Funktionen des Anzeigesystems 1 ausführen oder zu unterstützen. Dazu kann die Assistenzeinrichtung 2 mit der Datenbrille 3 in Kommunikationsverbindung stehen, um Anzeigeinformationen betreffend anzuzeigenden Informationsobjekten an die Datenbrille 3 zu übermitteln. Dazu kann eine Kommunikationseinheit 39 vorgesehen sein, die eine Kommunikation mit der Assistenzeinrichtung 2 ermöglicht.Furthermore, the data glasses 3rd with a control unit 37 be provided. The control unit 37 can be designed in a suitable manner to include data glasses functions and functions of the display system 1 perform or support. The assistance facility can do this 2 with the data glasses 3rd are in communication connection to display information relating to information objects to be displayed to the data glasses 3rd to submit. A communication unit can do this 39 be provided that a communication with the assistance device 2 enables.

So kann die Steuereinheit 37 der Datenbrille eine Posenerkennungsfunktion in Form eines Tracking-Prozesses ausführen, um eine Pose des Kopfes bzw. der Datenbrille 3 in einem Fahrzeuginnenraum festzustellen. Die Pose einer Datenbrille 3 bezeichnet hierin die räumliche Position der Datenbrille 3 in dem Fahrzeugkoordinatensystem sowie deren dreidimensionale Orientierung im Raum.So can the control unit 37 the data glasses perform a pose detection function in the form of a tracking process to identify a pose of the head or the data glasses 3rd to be determined in a vehicle interior. The pose of data glasses 3rd refers to the spatial position of the smart glasses 3rd in the vehicle coordinate system and their three-dimensional orientation in space.

Dazu umfasst die Datenbrille 3 eine Brillenbewegungssensorik 38 (Inertialsensorik), die eine Brillenbewegungsangabe bereitstellt. Die Brillenbewegungsangaben werden kontinuierlich der Steuereinheit 37 bereitgestellt.This includes the data glasses 3rd a glasses movement sensor 38 (Inertial sensors), which provides an indication of the movement of the glasses. The glasses movement information is continuously sent to the control unit 37 provided.

Die Datenbrille 3 weist weiterhin eine Nutzerzustandssensorik zur Erfassung von Zustandsinformationen, insbesondere physiologischen Merkmalen auf. Diese Nutzerzustandssensorik kann einen oder mehrere der folgenden Sensoren aufweisen:

- einen Pulssensor 41 zur Erfassung einer Herzfrequenz. Der Pulssensor kann insbesondere an einem der Brillenbügel so angebracht sein, dass eine Sensorfläche des Pulssensors 41 in Kontakt mit der Haut des Trägers der Datenbrille 3 steht.
- einen Temperatursensor 42 zum Erfassen einer Körpertemperatur des Trägers der Datenbrille 3. Der Temperatursensor kann insbesondere an einem der Brillenbügel 33 so angebracht sein, dass eine entsprechende Sensorfläche in Kontakt mit der Haut des Trägers der Datenbrille 3 steht. Alternativ kann der Temperatursensor auch als Strahlungssensor ausgebildet sein, der auf die Haut des Trägers der Datenbrille 3 ausgerichtet ist.
- einen Tragestatussensor 43 zum Erfassen, ob die Datenbrille sich noch an dem Kopf des Nutzers befindet. Der Tragestatussensor 43 kann beispielsweise einen Näherungssensor umfassen, der erkennt, dass sich die Datenbrille 3 nahe an einem Kopf eines Nutzers befindet.
- eine auf die Augen gerichtete Kamera 44, um einen Augenzustand zu erfassen, insbesondere einen Öffnungswinkel der Augenlider, eine Pupillengröße, eine Blickrichtung und/oder eine Zwinkerhäufigkeit,
- einen Feuchtigkeitssensor 45, um einen Transpirationsgrad des Trägers der Datenbrille 3 zu erfassen;

The data glasses 3rd furthermore has a user status sensor system for recording status information, in particular physiological features. This user condition sensor system can have one or more of the following sensors:

- a heart rate sensor 41 for recording a heart rate. The pulse sensor can in particular be attached to one of the temple pieces in such a way that a sensor surface of the pulse sensor 41 in contact with the skin of the wearer of the smart glasses 3rd stands.
- a temperature sensor 42 for detecting a body temperature of the wearer of the data glasses 3rd . The temperature sensor can in particular on one of the temples 33 be attached so that a corresponding sensor surface is in contact with the skin of the wearer of the smart glasses 3rd stands. Alternatively, the temperature sensor can also be designed as a radiation sensor that is applied to the skin of the wearer of the data glasses 3rd is aligned.
- a wearing status sensor 43 to detect whether the data glasses are still on the user's head. The wearing status sensor 43 can for example include a proximity sensor that detects that the smart glasses 3rd is close to a head of a user.
- a camera aimed at the eyes 44 to detect an eye condition, in particular an opening angle of the eyelids, a pupil size, a line of sight and / or a blink frequency,
- a humidity sensor 45 to determine the degree of perspiration for the wearer of the smart glasses 3rd capture;

Ferner kann die Datenbrille 3 einen Temperatursensor zum Erfassen einer Umgebungstemperatur aufweisen.Furthermore, the data glasses 3rd have a temperature sensor for detecting an ambient temperature.

Die Assistenzeinrichtung 2 weist eine Steuereinheit 21 auf, die zum Steuern der Funktionen der Assistenzeinrichtung 2 ausgelegt ist. Weiterhin weist die Steuereinheit 2 eine Kommunikationseinrichtung 22 auf, um mit der Datenbrille 3 über die Kommunikationsverbindung 4 zu kommunizieren. Über eine Ausgabeeinrichtung 23, wie z.B. eine Bildschirmanzeige und/oder einen Lautsprecher, kann die Assistenzeinrichtung 2 visuelle und/oder auditive Informationen ausgeben.The assistance facility 2 has a control unit 21st on that to control the functions of the assistance device 2 is designed. Furthermore, the control unit 2 a communication device 22nd on to using the smart glasses 3rd over the communication link 4th to communicate. Via an output device 23 , such as a screen display and / or a loudspeaker, the assistance device 2 output visual and / or auditory information.

Im Folgenden wird ein Verfahren, das in der Steuereinheit 37 der Datenbrille 3 ausgeführt wird, ausführlicher beschrieben. Das Verfahren kann als Software und/oder Hardwarealgorithmus in der Steuereinheit 37 der Datenbrille 3 implementiert sein. Das Unfallassistenzsystem 1 kann ausschließlich die Datenbrille 3 oder neben der Datenbrille 3 auch die Assistenzeinrichtung umfassen.The following is a procedure that is used in the control unit 37 the data glasses 3rd is described in more detail. The procedure can be used as a Software and / or hardware algorithm in the control unit 37 the data glasses 3rd be implemented. The accident assistance system 1 can only use data glasses 3rd or next to the data glasses 3rd also include the assistance facility.

In Schritt S1 wird zunächst detektiert, ob ein Unfallereignis aufgetreten ist. Das Unfallereignis kann über die ortsfeste Assistenzeinrichtung 2, insbesondere durch Auswerten von Beschleunigungswerten des Fahrzeugs, detektiert werden. Dies kann beispielsweise durch Schwellwertvergleiche von Beschleunigungswerten, insbesondere in Fahrzeuglängsrichtung, erkannt werden. Das Unfallereignis kann in der fest in dem Fahrzeug verbauten Assistenzeinrichtung 2, beispielweise auch durch ein Auslösesignal des Airbags, festgestellt werden.In step S1 it is first detected whether an accident event has occurred. The accident can be reported via the stationary assistance facility 2 can be detected, in particular by evaluating acceleration values of the vehicle. This can be recognized, for example, by comparing threshold values of acceleration values, in particular in the longitudinal direction of the vehicle. The accident event can occur in the assistance device permanently installed in the vehicle 2 , for example also by a trigger signal from the airbag.

Auch kann ein Unfallereignis in der Datenbrille 3 durch Auswerten von Beschleunigungsverläufen der Brillenbewegungssensorik 38 (Inertialsensorik) festgestellt werden. Auch hier kann das Unfallereignis durch Überschreiten eines vorgegebenen Beschleunigungsschwellenwerts durch den tatsächlichen Beschleunigungswert in einer bestimmten Raumrichtung detektiert werden.An accident can also appear in the smart glasses 3rd by evaluating the acceleration curves of the glasses movement sensors 38 (Inertial sensors) can be determined. Here, too, the accident event can be detected by the actual acceleration value exceeding a predetermined acceleration threshold in a specific spatial direction.

Wurde ein Unfallereignis erkannt (Alternative: Ja), so wird das Verfahren mit Schritt S2 fortgesetzt, anderenfalls wird zum Schritt S1 zurückgesprungen.If an accident event was recognized (alternative: yes), the method is continued with step S2, otherwise a jump is made back to step S1.

In Schritt S2 wird überprüft, ob die Datenbrille 3 sich noch an dem Kopf des Trägers der Datenbrille 3 befindet. Dies kann mithilfe des Tragestatussensors 43 oder beispielsweise mithilfe einer ebenfalls im Fahrzeugangeordneten Innenraumkamera durchgeführt werden, die auf die Fahrzeuginsassen gerichtet ist, und in Verbindung mit einem an sich bekannten Bilderkennungsalgorithmus bzw. Mustererkennungsalgorithmus den Kopf des Trägers der Datenbrille 3 mit der aufgesetzten Datenbrille 3 erkennt.In step S2 it is checked whether the smart glasses 3rd still on the head of the wearer of the data glasses 3rd is located. This can be done using the wearing status sensor 43 or, for example, with the help of an interior camera also arranged in the vehicle, which is directed at the vehicle occupants, and in conjunction with an image recognition algorithm or pattern recognition algorithm known per se, the head of the wearer of the data glasses 3rd with the data glasses on 3rd recognizes.

Weiterhin kann dazu die auf die Augen gerichtete Kamera 44 ausgewertet werden, wobei festgestellt wird, dass sich die Datenbrille 3 noch am Kopf des Benutzers befindet, indem die Kamera 44 eine Pupille oder eine entsprechende Kopfform oder den Augenabstand detektiert.The camera aimed at the eyes can also be used for this purpose 44 be evaluated, it is determined that the smart glasses 3rd still located on the user's head by the camera 44 a pupil or a corresponding head shape or the interpupillary distance is detected.

Wird in Schritt S2 festgestellt, dass sich die Datenbrille 3 noch am Kopf des Trägers befindet (Alternative. Ja), wird das Verfahren mit Schritt S3 fortgesetzt.If it is determined in step S2 that the smart glasses 3rd is still on the head of the wearer (alternative. Yes), the method continues with step S3.

Wird andernfalls festgestellt (Alternative: Nein), dass sich die Datenbrille 3 nicht am Kopf des Trägers befindet, so kann vorgesehen sein, zu Schritt S2 zurückzuspringen, so dass, nachdem ein Ersthelfer eine sich aufgrund des Unfallereignisses vom Kopf gelöste/entfernte Datenbrille 3 dem ursprünglichen Träger der Datenbrille 3 wieder aufsetzt, entsprechende Informationen signalisiert werden können.Otherwise it is determined (alternative: no) that the smart glasses 3rd is not located on the head of the wearer, then it can be provided to jump back to step S2, so that after a first aider has detached / removed data glasses from the head due to the accident 3rd the original wearer of the smart glasses 3rd touches up again, corresponding information can be signaled.

In Schritt S3 werden die Nutzerzustandssensoriken ausgelesen, um Zustandsinformationen über physiologische Merkmale des Nutzers zu erhalten. In step S3, the user status sensors are read out in order to obtain status information about physiological characteristics of the user.

So können beispielsweise die Herzfrequenz, die Körpertemperatur, die Umgebungstemperatur, der Augenzustand, der Transpirationsgrad sowie die Kopfpose des Trägers der Datenbrille 3 erfasst werden und daraus auf den Nutzerzustand geschlossen werden.For example, the heart rate, body temperature, ambient temperature, eye condition, degree of perspiration and the head pose of the wearer of the smart glasses 3rd are recorded and conclusions can be drawn about the user status.

Weiterhin können mithilfe der Brillenbewegungssensorik 38 Bewegungsmuster des Kopfes erkannt werden und unnatürliche Kopfpositionen bzw. -bewegungen erkannt werden. In Kombination mit anderen Nutzerzustandsdaten, wie beispielsweise dem Öffnungswinkel der Augen und/oder der Herzfrequenz kann beispielsweise ein Bewusstseinsverlust detektiert werden.Furthermore, with the help of the glasses movement sensors 38 Movement patterns of the head are recognized and unnatural head positions or movements are recognized. In combination with other user status data such as the opening angle of the eyes and / or the heart rate, for example, a loss of consciousness can be detected.

In Schritt S4 kann je nach erkanntem Nutzerzustand eine entsprechende Signalisierung des Nutzerzustands vorgenommen werden. Die Signalisierung kann eine Ausgabe des Nutzerzustands über ein geeignetes Ausgabegerät durchgeführt werden.In step S4, a corresponding signaling of the user status can be carried out depending on the detected user status. The signaling can be carried out an output of the user status via a suitable output device.

Ein Ausgabegerät kann ein in oder mit der Datenbrille 3 verbundenes optisches und/oder akustisches Ausgabegerät sein, das entweder in der Datenbrille 3 oder in dem Fahrzeug angeordnet sein kann. Dadurch können zum einen der Nutzer und/oder andere Personen, wie z. B. Ersthelfer, über die erfassten Nutzerzustandsdaten informiert werden.An output device can be in or with the data glasses 3rd connected optical and / or acoustic output device, either in the smart glasses 3rd or can be arranged in the vehicle. As a result, on the one hand, the user and / or other people, such as. B. first aiders, are informed about the recorded user status data.

Alternativ oder zusätzlich können entweder in der Datenbrille 3 oder nach Übermittlung der Nutzerzustandsdaten an die Assistenzeinrichtung 2 die Nutzerzustandsdaten analysiert werden und entsprechende Empfehlungen als Ausgabeinformation ermittelt werden, die einem Ersthelfer ermöglichen, den Träger der Datenbrille 3 zu versorgen.Alternatively or additionally you can either use the smart glasses 3rd or after the user status data has been transmitted to the assistance facility 2 the user status data are analyzed and corresponding recommendations are determined as output information, which enable a first aider to carry the data glasses 3rd to supply.

So können dann beispielsweise abhängig von dem Nutzerzustand Empfehlungen ausgegeben werden, wie beispielsweise „Notruf wählen“, „Unfallort richtig sichern“, „Herzdruckmassage ausführen“, „den Träger der Datenbrille in die stabile Seitenlage bringen“ usw. ausgegeben werden. Dies kann über die Ausgabeeinrichtung 23 der im Fahrzeug vorgesehenen Assistenzeinrichtung 2 durch visuelle und/oder akustische Ausgabe erfolgen.For example, depending on the user status, recommendations can be issued, such as “dial an emergency call”, “secure the accident site correctly”, “perform chest compressions”, “bring the wearer of the data glasses into a stable lateral position”, etc. This can be done via the output device 23 the assistance system provided in the vehicle 2 be done by visual and / or acoustic output.

Ferner kann das Unfallassistenzsystem 1 einen automatische Notfallmitteilung an eine externe Einrichtung absetzen, und bei dieser Notfallmitteilung bereits über den Nutzerzustand informieren. Dies kann über die Datenbrille 3 direkt, sofern diese ein Kommunikationsmodul mit einer integrierten SIM-Karte enthält, oder durch Kommunikation über die Assistenzeinrichtung 2, die eine entsprechende Telefoniekommunikation ermöglicht, erfolgen. Dadurch können Ersthelfer/Notarzt bereits vor Ankunft am Unfallort erste Vorbereitungen für die anstehende Behandlung treffen.Furthermore, the accident assistance system 1 send an automatic emergency message to an external facility, and already inform about the user status with this emergency message. This can be done through the smart glasses 3rd directly, provided it contains a communication module with an integrated SIM card, or through communication via the assistance system 2 that enables appropriate telephony communication. This means that first aiders / emergency doctors can make initial preparations for the upcoming treatment before they arrive at the scene of the accident.

Ferner können auch automatische Erste-Hilfe-Maßnahmen, wie eine automatische Zuführung von Medikamenten, beispielsweise über eine in dem Bügel der Datenbrille 3 vorgesehene Injektionsvorrichtung, abhängig von den Nutzerzustandsdaten erfolgen.Furthermore, automatic first aid measures, such as an automatic supply of medication, for example via a device in the temple of the smart glasses, can also be used 3rd provided injection device, depending on the user status data.

BezugszeichenlisteList of reference symbols

11: UnfallassistenzsystemAccident assistance system
22: AssistenzeinrichtungAssistance facility
2121st: SteuereinheitControl unit
2222nd: KommunikationseinrichtungCommunication facility
2323: AusgabeeinrichtungOutput device
33: DatenbrilleData glasses
3131: Rahmenframe
3232: SichtscheibenViewing panes
3333: BrillenbügelGlasses temples
3535: AnzeigeflächeDisplay area
3636: AnzeigeeinrichtungDisplay device
3737: Steuereinheit der DatenbrilleControl unit of the data glasses
3838: BrillenbewegungssensorikGlasses movement sensors
3939: KommunikationseinheitCommunication unit
44th: KommunikationsverbindungCommunication link
4141: PulssensorPulse sensor
4242: TemperatursensorTemperature sensor
4343: TragestatussensorWearing status sensor
4444: Kameracamera
4545: FeuchtigkeitssensorHumidity sensor

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

DE 10123226 A1 [0004]

Claims

Method for operating an accident assistance system (1) with data glasses (3) in a vehicle, with the following steps: - Determining (S1) whether there is an accident event; - Detection (S3) of physiological features of the wearer of the data glasses with the help of a user condition sensor system in the data glasses (3); and - If an accident event is detected, signaling (S4) the physiological characteristics.

Procedure according to Claim 1 wherein the physiological characteristics comprise one or more of the following characteristics: a heart rate; - a degree of perspiration; - a head temperature; - an eye movement and / or a course of the eye movement; - a pupil size; - an opening state of the eyelids; - a head movement; and - a state of consciousness.

Procedure according to Claim 1 or 2 , wherein the accident event is recorded by an inertial sensor system of the data glasses (3) or by receiving corresponding accident event information from an external source.

Method according to one of the Claims 1 to 3rd The physiological features are only signaled when it is established (S2) that the smart glasses (3) are still on the user's head.

Method according to one of the Claims 1 to 4th The signaling of the physiological features takes place through an acoustic or visual output device on the data glasses (3) or on an external device and / or takes place through communication to a device remote from the vehicle.

Method according to one of the Claims 1 to 5 wherein the signaling of the physiological characteristics is carried out by directly outputting the physiological characteristics and / or by outputting instructions that are dependent on the physiological characteristics to an accident worker.

Method according to one of the Claims 1 to 6th , wherein one or more of the following further features are also signaled: a current microphone signal from a microphone of the data glasses (3); - a geolocation signal indicating the current location of the accident; - User data provided, in particular a name, a blood group, previous illnesses, an insurance ID and / or other contact information.

Procedure according to Claim 7 wherein the signaling of the physiological features and the further features is carried out by directly outputting the features and / or by outputting instructions to an accident worker that are dependent on the physiological and the further features.

Method according to one of the Claims 1 to 8th , wherein the signaling is carried out to a communication terminal located in a predetermined radius.

Accident assistance system (1) with data glasses (3) and an assistance device (2) in a vehicle, the accident assistance system (1) being designed to: - Using the data glasses (3) or the assistance device (2) to determine whether an accident has occurred; - to record physiological features of the wearer of the data glasses (3) with the help of a user condition sensor system in the data glasses (3); and - using the data glasses (3) or the assistance device (2) to signal the physiological characteristics when an accident event is detected.

Data glasses (3) for operation with an accident assistance system (1) in a vehicle, the data glasses (3) being designed to: - determine whether an accident has occurred; - to detect physiological features of the wearer of the data glasses (3) with the help of a user condition sensor system; and - to signal the physiological characteristics in the event of an accident event being detected.