DE102011084552A1 - Mobile device e.g. smart phone, for recognition of vigilance of driver of motor car, has camera integrated into device, which monitors and evaluates eyelid closing and iris activity to determine vigilance of person and outputs warning - Google Patents

Mobile device e.g. smart phone, for recognition of vigilance of driver of motor car, has camera integrated into device, which monitors and evaluates eyelid closing and iris activity to determine vigilance of person and outputs warning Download PDF

Info

Publication number
DE102011084552A1
DE102011084552A1 DE201110084552 DE102011084552A DE102011084552A1 DE 102011084552 A1 DE102011084552 A1 DE 102011084552A1 DE 201110084552 DE201110084552 DE 201110084552 DE 102011084552 A DE102011084552 A DE 102011084552A DE 102011084552 A1 DE102011084552 A1 DE 102011084552A1
Authority
DE
Germany
Prior art keywords
mobile device
vigilance
person
camera
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE201110084552
Other languages
German (de)
Inventor
Michael Seiter
Florian Raisch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE201110084552 priority Critical patent/DE102011084552A1/en
Publication of DE102011084552A1 publication Critical patent/DE102011084552A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

The device has a camera integrated into the device. The device recognizes a pair of eyes of a person i.e. driver, of a motor car to be monitored based on data output from the camera. The device monitors and evaluates eyelid closing and an iris activity of the recognized eye pair to determine vigilance of the monitored person. The device outputs a warning to the person with the vigilance. A retainer is mounted at a windscreen of the car. The device enables recognition of the state of vigilance in a background, so that the device performs other assistance functions. An independent claim is also included for a method for recognition of vigilance of a person of a motor car.

Description

Stand der TechnikState of the art

Die vorliegende Erfindung betrifft eine Vorrichtung, die bevorzugt in Kraftfahrzeugen eingesetzt werden kann und den Vigilanzzustand einer Person, insbesondere des Fahrers des Kraftfahrzeuges, überprüft. Da Müdigkeit am Steuer bzw. der so genannte Sekundenschlaf ein enormes Unfallrisiko bieten, ist es ein Bestreben den Fahrer bei zunehmender Müdigkeit zu warnen. Ein solches System ist vor allem deshalb sinnvoll, da die subjektive Einschätzung des eigenen Vigilanzzustandes oftmals deutlich besser ausfällt, als dies eigentlich der Fall ist.The present invention relates to a device which can preferably be used in motor vehicles and checks the vigilance state of a person, in particular the driver of the motor vehicle. Since tiredness at the wheel or the so-called microsleep offer a huge accident risk, it is an effort to warn the driver with increasing fatigue. Such a system is particularly useful because the subjective assessment of one's own vigilance condition is often much better than it actually is.

In der Druckschrift DE 198 03 168 C1 wird eine Vorrichtung offenbart, die den Vigilanzzustand des Fahrers eines Kraftfahrzeuges bestimmt. Dazu werden zwei Systeme verwendet, eine Bildaufnahmeeinheit bestehend aus Kamera und Infrarotlichtbeleuchtung, und eine Bildauswerteeinheit. Durch das Zusammenspiel beider Systeme können der Lidschluss und die Durchmesserschwingungen der Iris des Fahrers überwacht und ausgewertet werden. Sollte anhand dieser Informationen festgestellt werden, dass der Fahrer zu müde ist um sein Fahrzeug zu lenken, wird eine Warneinheit aktiviert.In the publication DE 198 03 168 C1 discloses a device which determines the vigilance state of the driver of a motor vehicle. For this purpose, two systems are used, an image acquisition unit consisting of camera and infrared light illumination, and an image evaluation unit. Through the interaction of both systems, the eyelid closure and the diameter vibrations of the iris of the driver can be monitored and evaluated. Should it be determined from this information that the driver is too tired to steer his vehicle, a warning unit is activated.

Die DE 10 2009 054 194 A1 beschreibt eine Vorrichtung in einem Kraftfahrzeug, die unter anderem dazu verwendet werden kann, den Vigilanzzustand des Fahrers zu erkennen. Die Vorrichtung funktioniert in Kombination mit einem Head-Up Display, indem in dessen optischen Strahlengang über ein entsprechendes optisches Element eine Kamera eingekoppelt wird. Während nun die Projektionsvorrichtung des Head-Up Displays Informationen über die Frontscheibe als Reflexionselement in das Auge des Fahrers projiziert, verwendet die Kamera den umgekehrten Strahlenverlauf und nutzt die Reflexion der Frontscheibe, um die Augen des Fahrers zu filmen. Wird zusätzlich eine Auswerteeinheit verwendet, die mit entsprechenden Algorithmen ausgestattet ist, so kann das System aus den gewonnenen Informationen über die Augen des Fahrers dessen Vigilanzzustand bestimmen.The DE 10 2009 054 194 A1 describes a device in a motor vehicle that can be used inter alia to detect the vigilance state of the driver. The device works in combination with a head-up display by a camera is coupled into the optical beam path via a corresponding optical element. While the projection device of the head-up display now projects information about the windshield as a reflection element into the driver's eye, the camera uses the reverse beam path and uses the reflection of the windshield to film the driver's eyes. If, in addition, an evaluation unit is used which is equipped with appropriate algorithms, the system can determine its vigilance state from the information obtained via the eyes of the driver.

Die Systeme zum Erkennen des Vigilanzzustandes des Fahrers nach dem Stand der Technik weisen jedoch einige Nachteile auf. Einerseits müssen diese Systeme fest in einem Kraftfahrzeug verbaut werden, ohne deren Akzeptanz durch ästhetische Störung des Fahrers zu verlieren. Dies wird beispielsweise dadurch gelöst, dass die Kamera neben dem Projektor eines Head-Up Displays angebracht wird, so dass sie für den Fahrer unsichtbar ist. Jedoch wird dafür Bauraum benötigt, der in modernen Fahrzeugen sehr knapp ist. Andererseits dürfen solche Systeme nicht mit einem großen Aufpreis einhergehen, da sie ansonsten ebenfalls an Akzeptanz einbüßen. Jedoch wird für ein Erkennungssystem des Vigilanzzustandes zwingend eine Kamera benötigt, die den Fahrer filmt. Diese Kamera kann allerdings keine weiteren Aufgaben übernehmen, so dass sie ausschließlich für das Erkennungssystem verwendet werden kann. Somit wird eine preisgünstige Integration in das Fahrzeug erschwert und der Mehrpreis für den Einbau eines solchen Erkennungssystems erhöht.However, the prior art driver's vigilance detection systems have some disadvantages. On the one hand, these systems must be firmly installed in a motor vehicle without losing their acceptance by aesthetic disturbance of the driver. This is achieved, for example, by placing the camera next to the projector of a head-up display, so that it is invisible to the driver. However, this space is needed, which is very scarce in modern vehicles. On the other hand, such systems should not be accompanied by a large surcharge, otherwise they will also lose acceptance. However, for a recognition system of the vigilance condition, a camera is required to film the driver. However, this camera can not take on any other tasks, so it can only be used for the recognition system. Thus, a low-cost integration into the vehicle is made more difficult and increases the cost of installing such a detection system.

Bei Personen mit Zugriff auf mehrere Fahrzeuge ergibt sich zusätzlich das Problem, dass jedes dieser Fahrzeuge mit einem Erkennungssystem ausgestattet sein muss. Eine flexible, portable Lösung, wie sie beispielsweise für Navigationssysteme vorhanden ist, würde hier deutliche Verbesserungen bringen.For persons with access to several vehicles, the additional problem arises that each of these vehicles must be equipped with a recognition system. A flexible, portable solution, such as that for navigation systems, would bring significant improvements here.

Offenbarung der ErfindungDisclosure of the invention

Die erfindungsgemäße Vorrichtung betrifft eine mobile Vorrichtung, die zum Erkennen des Vigilanzzustandes einer Person, insbesondere eines Fahrers eines Fahrzeuges eingerichtet ist. Dazu wird eine der Person zugewandte Kamera verwendet, die in die Vorrichtung integriert ist. Der Vigilanzzustand des Fahrers wird bestimmt, indem das von der Kamera aufgezeichnete Bild nach dem Augenpaar der zu überwachenden Person durchsucht wird. Sobald dieses aufgefunden wurde, kann die Lidschluss- und Irisaktivität der Augen überwacht und ausgewertet werden. Aus diesen Informationen kann schließlich der Vigilanzzustand abgeleitet werden.The device according to the invention relates to a mobile device that is set up to detect the vigilance state of a person, in particular a driver of a vehicle. For this purpose, a person facing camera is used, which is integrated into the device. The vigilance state of the driver is determined by searching the image recorded by the camera for the pair of eyes of the person to be monitored. Once this is found, the eyelid closure and iris activity of the eyes can be monitored and evaluated. From this information, finally, the vigilance state can be derived.

Da die Aufzeichnung der Augen keine große Schwierigkeit darstellt, kann auf eine aufwändige Kamera mit Einstellen von Blende und Belichtungszeit verzichtet und vielmehr ein einfacher, in die mobile Vorrichtung integrierter Kamerachip verwendet werden. Dieser Aufbau macht es möglich, das gesamte System mobil und flexibel auszugestalten. Außerdem muss keine zusätzliche Hardware im Fahrzeug verbaut werden, so dass jedes Fahrzeug leicht mit der erfindungsgemäßen Vorrichtung ausgestattet werden kann. Durch die Verwendung bereits vorhandener Komponenten kann zusätzlich der Preis für ein solches System gesenkt werden.Since the recording of the eyes is not a great difficulty, it is possible to dispense with a complex camera with adjustment of aperture and exposure time, and rather a simple camera chip integrated in the mobile device can be used. This structure makes it possible to design the entire system mobile and flexible. In addition, no additional hardware in the vehicle must be installed so that each vehicle can be easily equipped with the device according to the invention. By using existing components, you can also reduce the price of such a system.

Das erfindungsgemäße Verfahren läuft auf einer mobilen Vorrichtung ab und setzt eine in die mobile Vorrichtung integrierte Kamera voraus. Somit kann die mobile Vorrichtung die Kameradaten auslesen und auf das Augenpaar der gefilmten Person finden. Sobald das Augenpaar gefunden wurde, wird die Lidschluss- und Irisaktivität überwacht und anhand dieser Daten festgestellt, ob der Fahrer zu müde ist, sein Fahrzeug sicher zu steuern. Sollte dies der Fall sein, wird eine Warnung ausgegeben.The method according to the invention runs on a mobile device and requires a camera integrated into the mobile device. Thus, the mobile device can read the camera data and find the pair of eyes of the filmed person. Once the pair of eyes are found, the eyelid closure and iris activity is monitored and this data is used to determine if the driver is too tired to safely control his vehicle. If this is the case, a warning is issued.

Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung. The dependent claims show preferred developments of the invention.

Bevorzugt wird die erfindungsgemäße Vorrichtung direkt an der Frontscheibe eines Fahrzeuges montiert. Auf diese Weise hat der Fahrer des Fahrzeuges die Vorrichtung ständig im Blick. Ebenso befindet sich der Fahrer im Aufnahmebereich der Kamera, so dass diese den Fahrer überwachen kann. Damit ist eine durchgängige und zuverlässige Überprüfung des Vigilanzzustandes möglich.Preferably, the device according to the invention is mounted directly on the windshield of a vehicle. In this way, the driver of the vehicle has the device constantly in view. Likewise, the driver is in the receiving area of the camera, so that they can monitor the driver. This enables a continuous and reliable check of the vigilance state.

Weiterhin ist es vorteilhaft, wenn der Fahrer gewarnt wird, wenn die erfindungsgemäße Vorrichtung erkannt hat, dass er zu müde ist um das Fahrzeug weiterhin sicher zu steuern. Diese Aufgabe kann beispielsweise durch eine akustische und/oder optische Meldung gelöst werden. Dies ist vor allem dann von Vorteil, wenn der Fahrer seinen eigenen Vigilanzzustand inkorrekt einschätzt.Furthermore, it is advantageous if the driver is warned when the device according to the invention has recognized that he is too tired to continue to control the vehicle safely. This task can be solved for example by an acoustic and / or visual message. This is especially advantageous if the driver incorrectly assesses his own Vigilanzzustand.

Außerdem kann in der erfindungsgemäßen Vorrichtung bevorzugt eine weitere Kamera verwendet werden. Diese ist von der zu überwachenden Person weg gerichtet und kann beispielsweise die vor der Vorrichtung liegende Straße aufnehmen. Damit werden die Voraussetzungen geschaffen, die erfindungsgemäße Vorrichtung für weitere Funktionen einzusetzen.In addition, in the device according to the invention preferably a further camera can be used. This is directed away from the person to be monitored and can record, for example, the road lying in front of the device. This creates the prerequisites for using the device according to the invention for further functions.

In bevorzugter Weise läuft das System zum Überwachen das Vigilanzzustandes im Hintergrund ab. Somit können weitere Aufgaben, wie beispielsweise die Navigation übernommen werden. Wenn eine weitere Kamera vorhanden ist, kann diese für zusätzliche Assistenzsysteme wie beispielsweise einen Spurhalteassistenten verwendet werden. Damit wird die Einsatzmöglichkeit der erfindungsgemäßen Vorrichtung deutlich gesteigert.Preferably, the system for monitoring the vigilance state runs in the background. Thus, additional tasks, such as the navigation can be adopted. If there is another camera, it can be used for additional assistance systems such as a lane departure warning system. Thus, the possibility of using the device according to the invention is significantly increased.

Weiterhin ist es vorteilhaft, wenn die mobile Vorrichtung ein Smartphone ist. Ein Smartphone besitzt üblicherweise mindestens eine Kamera und verfügt meist über ausreichende Rechenleistung, um ein erfindungsgemäßes Assistenzsystem ausführen zu können. Dadurch ergibt sich der Vorteil, dass der Kauf und Einbau neuer Komponenten in das Fahrzeug entfällt, sondern der Fahrer stattdessen sein Smartphone verwenden kann. Alternativ kann statt des Smartphones auch ein Navigationsgerät oder ein Musikabspielgerät (z. B. ein mp3-Player) mit integrierter Kamera verwendet werden.Furthermore, it is advantageous if the mobile device is a smartphone. A smartphone usually has at least one camera and usually has sufficient computing power in order to be able to execute an assistance system according to the invention. This results in the advantage that the purchase and installation of new components in the vehicle is eliminated, but the driver can use his smartphone instead. Alternatively, a navigation device or a music player (eg an mp3 player) with integrated camera can be used instead of the smartphone.

Kurze Beschreibung der ZeichnungShort description of the drawing

Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:Hereinafter, embodiments of the invention will be described in detail with reference to the accompanying drawings. In the drawing is:

1 ein Ablaufdiagramm der Erkennung von verringerter Vigilanz einer zu überwachenden Person durch die erfindungsgemäße Vorrichtung. 1 a flowchart of the detection of reduced vigilance of a person to be monitored by the device according to the invention.

Ausführungsform der ErfindungEmbodiment of the invention

In einer bevorzugten Ausführungsform wird ein Smartphone verwendet, das zwei integrierte Kameras aufweist. Die erste Kamera befindet sich auf der Vorderseite und die zweite Kamera auf der Rückseite des Smartphones. Über eine entsprechende Haltevorrichtung ist das Smartphone an der Frontscheibe des Fahrzeuges befestigt.In a preferred embodiment, a smartphone is used which has two integrated cameras. The first camera is on the front and the second camera is on the back of the smartphone. About a corresponding holding device, the smartphone is attached to the windshield of the vehicle.

Mit der ersten Kamera wird die erfindungsgemäße Überwachung des Vigilanzzustandes des Fahrers des Fahrzeuges realisiert. Der Ablauf dieser Überwachung ist in 1 dargestellt. Im Schritt S1 wird zunächst die Anwendung initialisiert. Dies umfasst auch das Starten und Initialisieren der Kamera.With the first camera, the monitoring according to the invention of the vigilance state of the driver of the vehicle is realized. The sequence of this monitoring is in 1 shown. In step S1, the application is first initialized. This includes starting and initializing the camera.

Nachdem das System durch die Initialisierung einsatzbereit ist, werden im Schritt S2 die Augen der zu überwachenden Person, in der Regel die des Fahrers gesucht. Sobald diese gefunden wurden, beginnt die Überwachung der Lidschluss- und Irisaktivität (S3). Beide Aktivitäten sind charakteristisch für den Vigilanzzustand des Fahrers. Solange keine kritische Müdigkeit erkannt wurde (S4), wird die Überwachung fortgesetzt. Der Zustand des Fahrers unterliegt somit einer ständigen Überprüfung.After the system is ready for use by the initialization, the eyes of the person to be monitored, usually those of the driver are searched in step S2. Once these are found, monitoring of eyelid closure and iris activity begins (S3). Both activities are characteristic of the vigilance state of the driver. As long as no critical fatigue has been detected (S4), monitoring will continue. The condition of the driver is thus subject to constant inspection.

Wird im Schritt S4 jedoch festgestellt, dass der Fahrer zu müde ist, das Fahrzeug weiterhin sicher zu bedienen, so wird die Überwachung beendet und eine Warnung an den Fahrer ausgegeben (S5). Es liegt dann im Ermessen des Fahrers, auf diese Warnung zu angemessen reagieren.However, if it is determined in step S4 that the driver is too tired to continue operating the vehicle safely, the monitoring is terminated and a warning is issued to the driver (S5). It is then at the driver's discretion to respond adequately to this warning.

Der gesamte Algorithmus läuft im Hintergrund des auf dem Smartphone verwendeten Betriebssystems ab. Somit können parallel weitere Anwendungen ausgeführt werden. Mit der zweiten Kamera kann beispielsweise ein Spurhalteassistent arbeiten. Das Smartphone warnt dann einerseits den Fahrer, wenn er zu müde wird, andererseits weist es darauf hin, dass das Fahrzeug die Fahrspur zu verlassen droht. Ebenso ist die Realisierung eines Navigationssystems auf dem Smartphone möglich.The whole algorithm runs in the background of the operating system used on the smartphone. Thus, further applications can be carried out in parallel. For example, a lane departure warning assistant can work with the second camera. The smartphone then warns the driver on the one hand, if he gets too tired, on the other hand, it indicates that the vehicle threatens to leave the lane. Likewise, the realization of a navigation system on the smartphone is possible.

Dem Fahrer wird dadurch ermöglicht, die erfindungsgemäße Vorrichtung zusammen mit einer Vielzahl von weiteren Assistenzfunktionen in beliebigen Fahrzeugen zu verwenden. Die Fahrzeuge hingegen müssen nicht mit weitren Komponenten ausgestattet werden, da das Smartphone sämtliche benötigte Hardware bereitstellt.The driver is thus enabled to use the device according to the invention together with a variety of other assistance functions in any vehicles. On the other hand, the vehicles do not have to be equipped with other components because the smartphone provides all the necessary hardware.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 19803168 C1 [0002] DE 19803168 C1 [0002]
  • DE 102009054194 A1 [0003] DE 102009054194 A1 [0003]

Claims (7)

Mobile Vorrichtung umfassend mindestens eine in die mobile Vorrichtung integrierte Kamera, dadurch gekennzeichnet, dass mindestens eine Kamera einer zu überwachenden Person zuwendbar ist, und die mobile Vorrichtung eingerichtet ist, ein Augenpaar der zu überwachenden Person, insbesondere des Fahrers eines Kraftfahrzeuges, anhand der Daten zu erkennen, die von der mindestens einen der zu überwachenden Person zuwendbaren Kamera ausgegeben werden, eine Lidschluss- und Irisaktivität des erkannten Augenpaares zu überwachen und auszuwerten, anhand der Lidschluss- und Irisaktivität den Vigilanzzustand der zu überwachenden Person zu bestimmen, und bei bestimmter geringer Vigilanz eine Warnung auszugeben.Mobile device comprising at least one integrated into the mobile device camera, characterized in that at least one camera of a person to be monitored zuwendbar, and the mobile device is set up, a pair of eyes to be monitored person, in particular the driver of a motor vehicle, based on the data recognize, which are issued by at least one of the person to be monitored zuwendbaren camera to monitor eyelid closure and iris activity of the detected eye pair and evaluate, determine the Vigilanzzustand of the monitored person on the basis of eyelid closure and iris activity, and at a certain low vigilance To issue a warning. Mobile Vorrichtung nach Anspruch 1, gekennzeichnet durch eine an der Frontscheibe eines Fahrzeuges montierbare Aufnahme für die mobile Vorrichtung.Mobile device according to claim 1, characterized by a mountable on the windshield of a vehicle receptacle for the mobile device. Mobile Vorrichtung nach einem der vorherigen Ansprüche, umfassend eine weitere, von der zu prüfenden Person weg weisende Kamera.Mobile device according to one of the preceding claims, comprising a further, facing away from the person to be tested camera. Mobile Vorrichtung nach einem der vorherigen Ansprüche, wobei die Erkennung des Vigilanzzustandes im Hintergrund läuft, so dass die mobile Vorrichtung andere Programme, insbesondere andere Assistenzfunktionen ausführen kann.Mobile device according to one of the preceding claims, wherein the recognition of the vigilance state runs in the background, so that the mobile device can execute other programs, in particular other assistance functions. Mobile Vorrichtung nach einem der vorherigen Ansprüche, wobei die mobile Vorrichtung ein Smartphone, ein mobiles Navigationsgerät oder ein mobiles Wiedergabegerät, jeweils mit integrierter Kamera, ist.Mobile device according to one of the preceding claims, wherein the mobile device is a smartphone, a mobile navigation device or a mobile playback device, each with an integrated camera. Verfahren, das auf einer mobilen Vorrichtung ausgeführt wird, umfassend die folgenden Schritte: Auslesen von Daten mindestens einer in der mobilen Vorrichtung integrierten Kamera, Erkennen des Augenpaares einer von der Kamera erfassten Person anhand der ausgelesenen Daten, Bestimmung des Vigilanzzustandes der erfassten Person anhand der Lidschluss- und Irisaktivität des erkannten Augenpaares, und Ausgabe einer Warnung bei erkannter geringer Vigilanz.A method performed on a mobile device, comprising the following steps: Reading data from at least one camera integrated in the mobile device, Recognizing the pair of eyes of a person detected by the camera on the basis of the read data, Determination of the vigilance condition of the person detected on the basis of the eyelid closure and iris activity of the detected eye pair, and Output of a warning with detected low vigilance. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass es im Hintergrund der mobilen Vorrichtung ausgeführt wird, so dass die mobile Vorrichtung andere Programme, insbesondere andere Assistenzfunktionen ausführen kann.A method according to claim 6, characterized in that it is carried out in the background of the mobile device, so that the mobile device can execute other programs, in particular other assistance functions.
DE201110084552 2011-10-14 2011-10-14 Mobile device e.g. smart phone, for recognition of vigilance of driver of motor car, has camera integrated into device, which monitors and evaluates eyelid closing and iris activity to determine vigilance of person and outputs warning Ceased DE102011084552A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201110084552 DE102011084552A1 (en) 2011-10-14 2011-10-14 Mobile device e.g. smart phone, for recognition of vigilance of driver of motor car, has camera integrated into device, which monitors and evaluates eyelid closing and iris activity to determine vigilance of person and outputs warning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201110084552 DE102011084552A1 (en) 2011-10-14 2011-10-14 Mobile device e.g. smart phone, for recognition of vigilance of driver of motor car, has camera integrated into device, which monitors and evaluates eyelid closing and iris activity to determine vigilance of person and outputs warning

Publications (1)

Publication Number Publication Date
DE102011084552A1 true DE102011084552A1 (en) 2012-08-02

Family

ID=46511487

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201110084552 Ceased DE102011084552A1 (en) 2011-10-14 2011-10-14 Mobile device e.g. smart phone, for recognition of vigilance of driver of motor car, has camera integrated into device, which monitors and evaluates eyelid closing and iris activity to determine vigilance of person and outputs warning

Country Status (1)

Country Link
DE (1) DE102011084552A1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2743118A1 (en) * 2012-12-17 2014-06-18 State Farm Mutual Automobile Insurance Company Method, system and computer readable medium with instructions to adjust insurance rate based on real-time data about potential vehicle operator impairment
US8981942B2 (en) 2012-12-17 2015-03-17 State Farm Mutual Automobile Insurance Company System and method to monitor and reduce vehicle operator impairment
DE102013222645A1 (en) 2013-11-07 2015-05-07 Robert Bosch Gmbh A detection system in a vehicle for detecting the voice activity of a vehicle occupant
DE102013222584A1 (en) 2013-11-07 2015-05-21 Robert Bosch Gmbh Optical playback and recognition system in a vehicle
CN104751600A (en) * 2015-03-03 2015-07-01 北京虹安翔宇信息科技有限公司 Anti-fatigue driving safety equipment based on iris recognition and application method thereof
DE102015210430A1 (en) 2015-06-08 2016-12-08 Robert Bosch Gmbh A method for recognizing a speech context for a voice control, a method for determining a voice control signal for a voice control and apparatus for carrying out the methods
CN106991792A (en) * 2017-05-15 2017-07-28 广东小天才科技有限公司 A kind of eye fatigue detection method and device, user equipment
DE102018208060B3 (en) 2018-05-23 2019-07-04 Robert Bosch Gmbh Method and device for detecting fatigue of a driver of a vehicle in a mobile device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10046309C1 (en) * 2000-09-19 2001-10-31 Siemens Ag Image recognition sensor device has 2 sets of sensor elements using visible and IR light, e.g. for providing video telephone image and user identification image
US7482937B2 (en) * 2006-03-24 2009-01-27 Motorola, Inc. Vision based alert system using portable device with camera
DE102009054194A1 (en) 2009-11-24 2011-05-26 Conti Temic Microelectronic Gmbh Use of the optical elements of a head-up display for camera-based rain and dirt sensors, driver identification, fatigue detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10046309C1 (en) * 2000-09-19 2001-10-31 Siemens Ag Image recognition sensor device has 2 sets of sensor elements using visible and IR light, e.g. for providing video telephone image and user identification image
US7482937B2 (en) * 2006-03-24 2009-01-27 Motorola, Inc. Vision based alert system using portable device with camera
DE102009054194A1 (en) 2009-11-24 2011-05-26 Conti Temic Microelectronic Gmbh Use of the optical elements of a head-up display for camera-based rain and dirt sensors, driver identification, fatigue detection

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9868352B1 (en) 2012-12-17 2018-01-16 State Farm Mutual Automobile Insurance Company Systems and methodologies for real-time driver gaze location determination and analysis utilizing computer vision technology
US8930269B2 (en) 2012-12-17 2015-01-06 State Farm Mutual Automobile Insurance Company System and method to adjust insurance rate based on real-time data about potential vehicle operator impairment
US8981942B2 (en) 2012-12-17 2015-03-17 State Farm Mutual Automobile Insurance Company System and method to monitor and reduce vehicle operator impairment
US10343693B1 (en) 2012-12-17 2019-07-09 State Farm Mutual Automobile Insurance Company System and method for monitoring and reducing vehicle operator impairment
EP2743118A1 (en) * 2012-12-17 2014-06-18 State Farm Mutual Automobile Insurance Company Method, system and computer readable medium with instructions to adjust insurance rate based on real-time data about potential vehicle operator impairment
US10343520B1 (en) 2012-12-17 2019-07-09 State Farm Mutual Automobile Insurance Company Systems and methodologies for real-time driver gaze location determination and analysis utilizing computer vision technology
US9165326B1 (en) 2012-12-17 2015-10-20 State Farm Mutual Automobile Insurance Company System and method to adjust insurance rate based on real-time data about potential vehicle operator impairment
US9275532B2 (en) 2012-12-17 2016-03-01 State Farm Mutual Automobile Insurance Company Systems and methodologies for real-time driver gaze location determination and analysis utilizing computer vision technology
US10163163B1 (en) 2012-12-17 2018-12-25 State Farm Mutual Automobile Insurance Company System and method to adjust insurance rate based on real-time data about potential vehicle operator impairment
US9932042B1 (en) 2012-12-17 2018-04-03 State Farm Mutual Automobile Insurance Company System and method for monitoring and reducing vehicle operator impairment
US9758173B1 (en) 2012-12-17 2017-09-12 State Farm Mutual Automobile Insurance Company System and method for monitoring and reducing vehicle operator impairment
DE102013222584A1 (en) 2013-11-07 2015-05-21 Robert Bosch Gmbh Optical playback and recognition system in a vehicle
DE102013222645A1 (en) 2013-11-07 2015-05-07 Robert Bosch Gmbh A detection system in a vehicle for detecting the voice activity of a vehicle occupant
CN104751600B (en) * 2015-03-03 2018-01-30 北京虹安翔宇信息科技有限公司 Anti-fatigue-driving safety means and its application method based on iris recognition
CN104751600A (en) * 2015-03-03 2015-07-01 北京虹安翔宇信息科技有限公司 Anti-fatigue driving safety equipment based on iris recognition and application method thereof
US9865258B2 (en) 2015-06-08 2018-01-09 Robert Bosch Gmbh Method for recognizing a voice context for a voice control function, method for ascertaining a voice control signal for a voice control function, and apparatus for executing the method
DE102015210430A1 (en) 2015-06-08 2016-12-08 Robert Bosch Gmbh A method for recognizing a speech context for a voice control, a method for determining a voice control signal for a voice control and apparatus for carrying out the methods
CN106991792A (en) * 2017-05-15 2017-07-28 广东小天才科技有限公司 A kind of eye fatigue detection method and device, user equipment
DE102018208060B3 (en) 2018-05-23 2019-07-04 Robert Bosch Gmbh Method and device for detecting fatigue of a driver of a vehicle in a mobile device

Similar Documents

Publication Publication Date Title
DE102011084552A1 (en) Mobile device e.g. smart phone, for recognition of vigilance of driver of motor car, has camera integrated into device, which monitors and evaluates eyelid closing and iris activity to determine vigilance of person and outputs warning
DE102011080257A1 (en) System and method for face recognition
DE102017130041A1 (en) AUTOMATIC DELICACY DETECTION IN VEHICLES
DE102012223481B4 (en) Apparatus and method for tracking the position of a peripheral vehicle
WO2015192980A1 (en) Device, method, and computer program for detecting momentary sleep
DE102012209463A1 (en) DEVICE AND METHOD FOR DETECTING AN EMERGENCY OF THE DRIVER AND SYSTEM AND METHOD FOR BLOCKING AN APERTURE USING THE SAME
DE102015210430A1 (en) A method for recognizing a speech context for a voice control, a method for determining a voice control signal for a voice control and apparatus for carrying out the methods
DE112018005191T5 (en) System and method for improving the signal-to-noise ratio when tracking objects under poor lighting conditions
DE102009040252A1 (en) Device for detecting light signals of traffic light systems for a vehicle
DE102013221668A1 (en) A system and method for providing a user interface in the vehicle, wherein recognizing a handheld shape track is used
DE112016006386T5 (en) VEHICLE DEVICE, WARNING OUTPUT PROCEDURE AND WARNING OUTPUT PROGRAM
DE102018201766A1 (en) A method, apparatus and computer readable storage medium having instructions for controlling a display of a display device of a motor vehicle
DE102018213268A1 (en) METHOD FOR APPLICATION IN A VEHICLE
DE102017217027A1 (en) A method of operating a head-mounted electronic display device and display system for displaying a virtual content
DE112016006824B4 (en) Vehicle-mounted information processing device, vehicle-mounted device, and vehicle-mounted information processing method
DE102012200762A1 (en) Method for signaling traffic condition in environment of vehicle, involves recording surrounding area of vehicle using sensor, and indicating recognized sensitive object on display arranged in rear view mirror housing of vehicle
DE102017221381A1 (en) Method, apparatus and computer program for determining a distance to an object
DE102016011246A1 (en) A method of monitoring a condition of at least one occupant of a vehicle
DE102015217595A1 (en) Safety device for a vehicle, method of operation
DE102017205534A1 (en) Method and device for recording traffic signs
DE102020215859A1 (en) Correction of images from a camera in rain, light and dirt
DE102019105778A1 (en) Method for classifying objects within a motor vehicle
DE102019008722A1 (en) Method for operating an optical detection device as a function of a lightsaber probability and optical detection device
DE102019202783A1 (en) Method and device for detecting unauthorized viewing of an electronic display device and control unit
DE102022116137A1 (en) Method for determining a deviation between two eye axes of a user of a motor vehicle, computer program, data processing device and motor vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R230 Request for early publication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final

Effective date: 20140318