DE102017211555A1 - Verfahren zur Überwachung mindestens eines Insassen eines Kraftfahrzeugs, wobei das Verfahren insbesondere zur Überwachung und Erkennung möglicher Gefahrensituationen für mindestens einen Insassen dient - Google Patents

Verfahren zur Überwachung mindestens eines Insassen eines Kraftfahrzeugs, wobei das Verfahren insbesondere zur Überwachung und Erkennung möglicher Gefahrensituationen für mindestens einen Insassen dient Download PDF

Info

Publication number
DE102017211555A1
DE102017211555A1 DE102017211555.6A DE102017211555A DE102017211555A1 DE 102017211555 A1 DE102017211555 A1 DE 102017211555A1 DE 102017211555 A DE102017211555 A DE 102017211555A DE 102017211555 A1 DE102017211555 A1 DE 102017211555A1
Authority
DE
Germany
Prior art keywords
occupant
motor vehicle
interior
monitoring
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017211555.6A
Other languages
English (en)
Inventor
Markus Holzer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102017211555.6A priority Critical patent/DE102017211555A1/de
Publication of DE102017211555A1 publication Critical patent/DE102017211555A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/10Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the vehicle 
    • B60K28/14Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the vehicle  responsive to accident or emergency, e.g. deceleration, tilt of vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/60Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by optical aspects
    • B60Q3/68Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by optical aspects using ultraviolet light
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80Circuits; Control arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00Arrangement or adaptation of acoustic signal devices
    • B60Q5/005Arrangement or adaptation of acoustic signal devices automatically actuated
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19647Systems specially adapted for intrusion detection in or around a vehicle

Abstract

Verfahren zur Überwachung mindestens eines Insassen (2) eines Kraftfahrzeugs (1), umfassend zumindest die folgenden Verfahrensschritte:
a) Empfangen von Daten von mindestens einer Innenraumerfassung (10) und
b) Automatisiertes Ermitteln eines Zustandes des mindestens eines Insassen (2) aus den in Schritt a) erfassten Daten.

Description

  • Stand der Technik
  • Zur Überwachung von Insassen eines Kraftfahrzeugs sind insbesondere Fahrerbeobachtungskamerasysteme (engl. DMC: Driver Monitoring Camera) und Insassenbeobachtungskameras (engl. OMC: Occupancy Monitoring Camera) bekannt. Solche Systeme können beispielsweise für (teil)-autonomes oder vollautomatisiertes Fahren verwendet werden. Insbesondere werden derartige Systeme zur Analyse der Reaktionsfähigkeit des Fahrers verwendet.
  • Offenbarung der Erfindung
  • Hier wird ein besonders vorteilhaftes Verfahren zur Überwachung mindestens eines Insassen eines Kraftfahrzeugs vorgestellt. Die abhängigen Ansprüche geben besonders vorteilhafte Weiterbildungen des Verfahrens an.
  • In Schritt a) des beschriebenen Verfahrens werden Daten von mindestens einer Innenraumerfassung empfangen.
  • Die mindestens eine Innenraumerfassung umfasst vorzugsweise zumindest mindestens eine Innenraumkamera, die auf die Insassen des Kraftfahrzeugs gerichtet ist. Mit der mindestens einen Innenraumkamera können Videosignale generiert werden, die als Daten gemäß Schritt a) empfangen werden können. Bei der mindestens einen Innenraumkamera handelt es sich vorzugsweise um eine DMC-Kamera. Die Innenraumkamera kann auch als Fahrzeuginnenraumbeobachtungskamera bezeichnet werden. Die Innenraumerfassung umfasst vorzugsweise weiterhin einen Prozessor wie beispielsweise eine CPU (Central Processing Unit) oder ein SOC (System On Chip).
  • Die mit der mindestens einen Innenraumerfassung aufgenommenen Daten werden vorzugsweise von der mindestens einen Innenraumkamera und/oder von dem Prozessor abgesendet und mit einem Steuergerät empfangen, das insbesondere zur Durchführung des beschriebenen Verfahrens bestimmt und eingerichtet ist. Das Steuergerät ist vorzugsweise in dem Kraftfahrzeug angeordnet. Alternativ ist es aber auch möglich, dass die Daten gemäß Schritt a) von einem Computersystem außerhalb des Kraftfahrzeugs empfangen werden. So kann insbesondere ein Computersystem vorgesehen sein, das Daten einer Vielzahl von Kraftfahrzeugen empfangen und verarbeiten kann. Die Daten können zwischen der mindestens einen Innenraumerfassung und dem Empfänger der Daten (also insbesondere dem Steuergerät und/oder dem Computersystem) unmittelbar ausgetauscht werden. Es ist aber auch möglich, dass die Daten Zwischenstationen beispielsweise zur Verteilung von Signalen an eine Mehrzahl verschiedener Empfänger und/oder zur Signalverstärkung durchlaufen. Solche Zwischenstationen können beispielsweise zur Erhöhung der Reichweite zwischen Innenraumerfassung und Empfänger genutzt werden.
  • In Schritt b) des beschriebenen Verfahrens wird aus den in Schritt a) erfassten Daten automatisiert ein Zustand des mindestens einen Insassen ermittelt.
  • Wird der Zustand von Insassen einer Vielzahl von Kraftfahrzeugen gemäß dem beschriebenen Verfahren überwacht, ist eine entsprechend große Datenmenge auszuwerten. Zur Übertragung und zum Empfangen von Videodaten aus einem Kraftfahrzeug oder sogar aus einer Mehrzahl oder Vielzahl von Kraftfahrzeugen besteht ein immenser Bandbreitenbedarf. Insbesondere für diesen Fall ist es vorgesehen, dass die Erfassung des Zustandes des mindestens einen Insassen automatisiert erfolgt. Regelmäßig ist dies erheblich praktikabler als die Übertragung von Videodaten, die anschließend ausgewertet werden.
  • Der hier erfasste Zustand eines Insassen bezeichnet insbesondere einen Vitalzustand des Insassen. In Ausführungsvarianten kann der erfasste Zustand auch ein emotionaler Zustand des Insassen sein bzw. Informationen bezüglich eines emotionalen Zustandes des Insassen umfassen.
  • Dass der Zustand des mindestens einen Insassen automatisiert ermittelt wird, bedeutet insbesondere, dass der Zustand anhand von vorgebbaren Kriterien unter Verwendung technischer Mittel beurteilt wird. Vorzugsweise erfolgt dies durch einen Softwarealgorithmus. Dieser ist vorzugsweise in dem Steuergerät bzw. in dem Computersystem implementiert. Insbesondere das bloße Betrachten eines Videobildes durch einen Menschen soll hier nicht als eine automatisierte Auswertung betrachtet werden. Auch eine große Datenmenge kann anhand der vorgebbaren Kriterien analysiert und dabei vorsortiert werden. Im Falle von Auffälligkeiten erfolgt vorzugsweise zusätzlich zu der automatisierten Auswertung eine Beurteilung der Situation durch einen Menschen (hier auch Operator genannt). Ein solcher Operator befindet sich bevorzugt in einer Einsatzzentrale außerhalb des Kraftfahrzeugs. Der Operator ist bevorzugt eine geschulte Fachkraft. Die übrigen, nicht auffälligen Situationen, werden vorzugsweise von dem Softwarealgorithmus aussortiert.
  • Vorzugsweise werden die gemäß Schritt a) empfangenen Daten in Schritt b) in Echtzeit verarbeitet. Dazu kann insbesondere eine DMC-Basisbildverarbeitung und/oder ein Head/Eye-Tracking durchgeführt werden. Auch kann die Bildverarbeitung eine Bildvorverarbeitung mit beispielsweise Fehlerkorrektur und Kontrastverbesserung umfassen sowie eine Segmentierung und eine Merkmalsextraktion und/oder -klassifikation. Vorzugsweise verfügt eine vorgesehene CPU oder das SOC in dem Kraftfahrzeug über entsprechende Rechenkapazität, die für die beschriebenen Verarbeitungsschritte der Daten ausreichend ist.
  • Eine bei der Durchführung des beschriebenen Verfahrens vorzugsweise verwendete Software zur Bildsignalverarbeitung verfügt vorzugsweise insbesondere über eine CV-Algorithmik (CV: Computer-Vision). Bei Anwendung der CV-Algorithmik können beispielsweise Trainingssequenzen über Deep-Learning-Algorithmen, insbesondere mittels Support-Vector-Machines, eingesetzt werden. Auch die Nutzung von anderen (Bild-)Daten, welche beispielsweise über eine Schnittstelle von einem Smart-Device zur Verfügung gestellt werden können, kann zur Anlernung der CV-Algorithmen dienen.
  • In einer bevorzugten Ausführungsform umfasst das Verfahren weiterhin den folgenden Verfahrensschritt:
    • c) Übermitteln mindestens eines Signals, das den gemäß Schritt b) ermittelten Zustand des mindestens einen Insassen beschreibt, über eine Funkverbindung.
  • In dieser Ausführungsform ist es bevorzugt, dass die Daten gemäß Schritt a) über ein Steuergerät innerhalb des Kraftfahrzeugs empfangen werden. In dem Fall wird das mindestens eine Signal vorzugsweise von dem Steuergerät generiert. Das so generierte Signal kann insbesondere über eine Mobilfunkverbindung übermittelt werden. Dazu wird das von dem Steuergerät ausgegebene Signal vorzugsweise an einen Mobilfunksender des Kraftfahrzeugs geleitet und von diesem über die Mobilfunkverbindung übertragen.
  • Als Empfänger des mindestens einen Signals kommt insbesondere ein Server in Betracht, der über entsprechende Empfangsvorrichtungen verfügt und der zum Empfang und zur Verarbeitung von entsprechenden Signalen insbesondere einer Vielzahl von Kraftfahrzeugen bestimmt und eingerichtet ist.
  • In dem gemäß Schritt c) übermittelten Signal ist vorzugsweise das Ergebnis der Ermittlung des Zustandes gemäß Schritt b) kodiert. Das bedeutet insbesondere, dass Schritt c) nicht bloß darin besteht, Rohdaten der mindestens einen Innenraumerfassung kontinuierlich (d. h. unabhängig von einem gemäß Schritt b) ermittelten Zustand) zu übertragen.
  • Insbesondere kann das gemäß Schritt c) übermittelte mindestens eine Signal Informationen darüber enthalten, ob der gemäß Schritt b) ermittelte Zustand Auffälligkeiten aufweist, die beispielsweise für eine Gefahrensituation sprechen, so dass beispielsweise eine Beurteilung durch einen Menschen bzw. den weiter oben bereits beschriebenen Operator geboten ist.
  • Es ist auch möglich, dass die Daten in Schritt a) von einem Computersystem außerhalb des Kraftfahrzeugs empfangen werden. Dazu können insbesondere die von der Innenraumerfassung generierten Rohdaten beispielsweise über eine Mobilfunkverbindung an das Computersystem übermittelt werden. Eine solche Übermittlung stellt keine Übermittlung im Sinne des Schritts c) dar. Anschließend können die Daten in dem Computersystem verarbeitet werden. Das gemäß Schritt c) generierte Signal kann dann von dem Computersystem generiert und an den Server übermittelt werden.
  • Neben dem gemäß Schritt c) übermittelten Signal, das den Zustand des mindestens einen Insassen beschreibt, können aber auch Rohdaten zusätzlich übermittelt werden. So können insbesondere die folgenden Daten mit übermittelt werden:
    • - ein Bildsignal eines Standbildes der Insassen bzw. des Fahrzeuginnenraums und
    • - ein Videosignal eines Videos der Insassen bzw. des Fahrzeuginnenraums.
  • In einer weiteren bevorzugten Ausführungsform des Verfahrens wird in Schritt b) ein Gesundheitszustand des mindestens einen Insassen ermittelt.
  • Das beschriebene Verfahren kann damit insbesondere auch als „Automatischer Visueller Emergency Statusreport“ (AVES) bezeichnet werden. Es handelt sich damit um ein Verfahren zur visuellen Bestimmung und Übermittlung von Verletzungs- und Vital-Statusinformationen von verunglückten Insassen eines Kraftfahrzeugs mittels Innenraumerfassung.
  • Parameter des Vitalstatus eines Insassen können insbesondere durch berührungslose Puls- und Atemratenmessung gemäß dem so genannte „Eulerian Video Magnification“ ermittelt werden. Dabei erfolgt eine Analyse von Videodaten über eine Verstärkung geringfügiger Intensitätswertsfluktuationen signifikanter Bildbereiche über aufeinanderfolgende Videobilder hinweg.
  • Der in Schritt b) ermittelte Gesundheitszustand eines Insassen kann insbesondere Verletzungen (wie beispielsweise Prellungen, Platzwunden und/oder Frakturen) umfassen, insbesondere Verletzungen im Gesicht und am Kopf (beispielsweise in Form eines Schädel-Hirntraumas oder in Form von Verletzungen im Bereich Mund/Mundraum/Zunge/Zähne, im Bereich der Nase, oder im Bereich der Ohren). Verletzungen an den Ohren oder an der Nase, innere Verletzungen (insbesondere Schädel- und Gehirnverletzungen) können beispielsweise durch Austritt von Flüssigkeiten wie Blut oder Ventrikelflüssigkeit erkannt werden. Weiterhin umfasst der gemäß Schritt b) ermittelte Gesundheitszustand vorzugsweise Informationen über Verletzungen der sichtbaren Extremitäten und des Oberkörpers (wie beispielsweise am Hals, im Nacken, an der Wirbelsäule, am Genick, an den Schultern oder an den Armen). Insbesondere kann das gemäß Schritt c) übermittelte Signal (umfassend CV-Ergebnisdaten) an eine Notrufzentrale übermittelt werden. Auch kann über Wifi-Direkt ein Notruf mit Vital-Statusinformationen direkt ad hoc an andere Verkehrsteilnehmer/Passanten im Umkreis von bis zu 500 Metern übertragen werden, welche dann eine Erstversorgung der Verletzten durchführen können. Wifi-Direkt bietet ebenfalls die Möglichkeit, im Falle einer schlechten Mobilfunkverbindung die Übermittlung eines Notrufes über mehrere, mittels Wifi-Direkt verbundenen Passanten in der Nähe über ein so genanntes Ad-Hoc-Netzwerk abzusetzen. Sobald ein Teilnehmer des Ad-Hoc-Netzwerks ausreichenden Mobilfunkempfang hat, kann über diesen ein Notruf über das Mobilfunknetz abgegeben werden.
  • Alternativ oder zusätzlich zu der Übermittlung des mindestens einen Signals gemäß Schritt c) wird der gemäß Schritt b) ermittelte Zustand des mindestens einen Insassen vorzugsweise an einem Display des Kraftfahrzeugs angezeigt. So können gemäß dem beschriebenen Verfahren gewonnene Informationen insbesondere auch Einsatzkräften und/oder Ersthelfern vor Ort mitgeteilt werden. Insbesondere können über das Display Vital-Statusinformationen der Insassen für die Erstversorgung angezeigt werden. Dazu können insbesondere in Abhängigkeit des gemäß Schritt b) ermittelten Zustands Anweisungen an Ersthelfer angezeigt werden. Zudem kann über das Display insbesondere auch angezeigt werden, dass ein Notruf abgesetzt wurde und/oder wann mit dem Eintreffen der Rettungskräfte zu rechnen ist. Bei dem Display kann es sich beispielsweise um ein Zentral- oder Head-Up-Display handeln. Das Display kann insbesondere als ein Human-Maschine-Interface (HMI) betrachtet werden. Eine Darstellung der beschriebenen Informationen auf einem mit einem Bord-Computer des Kraftfahrzeugs verbundenen Smart-Device (wie beispielsweise eines Smartphones) als HMI ist ebenfalls möglich.
  • Die vorliegende Ausführungsform des beschriebenen Verfahrens bietet insbesondere den Vorteil, dass mit dem Verfahren nach einem Unfall erkannt werden kann, ob einer oder mehrere der Insassen medizinische Hilfe benötigen. Das kann insbesondere dann von Vorteil sein, wenn Insassen nicht bei Bewusstsein sind, derart schwer verletzt und/oder in dem Kraftfahrzeug eingeklemmt sind, dass diese nicht selbständig einen Notruf absetzen können. Darüber hinaus können Rettungskräften bereits vor Eintreffen am Unfallort entscheidende Informationen über den Gesundheitszustand der Insassen übermittelt werden. Insbesondere können nach einem Unfall des Kraftfahrzeugs wichtige Informationen über den Zustand und ggf. den Verletzungsgrad und die Vital-Funktionen der Insassen an Rettungskräfte übermittelt und somit wertvolle Informationen für eine Bergung und Rettung zur Verfügung gestellt werden. Hierdurch kann ein Rettungseinsatz sehr viel gezielter koordiniert und effizienter durchgeführt werden. Insbesondere kann wertvolle Zeit bis zur Erstversorgung und Bergung der Verunglückten eingespart werden.
  • Alternativ oder zusätzlich zu dem Gesundheitszustand des mindestens einen Insassen kann der gemäß Schritt b) ermittelte Zustand des mindestens einen Insassen auch eine Bedrohungssituation für den mindestens einen Insassen umfassen.
  • Neben der Erkennung von Verletzungen nach Unfällen können mit dem beschriebenen Verfahren damit auch Gewalt gegen die Insassen oder Bedrohungssituationen für die Insassen (sowohl bei Bedrohung von außen als auch bei Bedrohung untereinander) erkannt werden. Auch in einem solchen Fall kann beispielsweise gemäß Schritt c) ein Notruf abgesetzt werden.
  • Weiterhin kann mit dem beschriebenen Verfahren unautorisiertes Eindringen in das Kraftfahrzeug erkannt werden. Auch in dem Fall kann ein entsprechender Notruf abgesetzt werden. Damit kann insbesondere ein Diebstahl des Kraftfahrzeugs oder von Gegenständen aus dem Kraftfahrzeug verhindert oder zumindest frühzeitig erkannt werden. Es können ebenfalls Bilddaten der Einbrecher, für zukünftige Ermittlungen, gespeichert bzw. an die Einsatzzentrale übermittelt werden.
  • In einer weiteren bevorzugten Ausführungsform des Verfahrens wird ein Alarmsignal ausgegeben, wenn der gemäß Schritt b) ermittelte Zustand des mindestens einen Insassen eine Notsituation darstellt.
  • Das Alarmsignal kann insbesondere ein optisches und/oder akustisches Signal sein. Vorzugsweise wird das Alarmsignal akustisch über einen Lautsprecher des Kraftfahrzeugs ausgegeben, so dass andere Verkehrsteilnehmer auf die Notsituation aufmerksam gemacht werden können.
  • In einer weiteren bevorzugten Ausführungsform des Verfahrens wird in Schritt b) zyklisch überprüft, ob sich eine visuelle Erscheinung des mindestens einen Insassen verändert.
  • Der Zustand des mindestens einen Insassen kann insbesondere an dessen äußerer Erscheinung erkannt werden. Insbesondere äußere Verletzungen sind so unmittelbar erkennbar. An der Körperhaltung kann beispielsweise erkannt werden, ob der Insasse bei Bewusstsein ist.
  • In einer weiteren bevorzugten Ausführungsform des Verfahrens wird die visuelle Erscheinung des mindestens einen Insassen zumindest unter Verwendung eines Erscheinungsbildmodells überprüft.
  • Zur besonders zuverlässigen visuellen Detektion von Verletzungen wird für einen oder mehrere der Insassen vorzugsweise ein jeweiliges persönliches Erscheinungsbildmodell angelegt und zyklisch aktualisiert. Das Erscheinungsbildmodell kann insbesondere als eine Repräsentation des Normalzustands betrachtet werden. Das Erscheinungsbildmodell umfasst vorzugsweise zumindest ein Kopfmodell.
  • Das Erscheinungsbildmodell umfasst vorzugsweise Informationen über die äußere Erscheinung verschiedener Körperteile des Insassen. Diese Informationen sind dabei vorzugsweise den entsprechenden Körperteilen zugeordnet. So kann das Erscheinungsbildmodell beispielsweise die Information umfassen, dass ein Arm des Insassen in einem ersten Zyklus frei von erkennbaren Verletzungen ist. In nachfolgenden Zyklen kann überprüft werden, ob Verletzungen an diesem Arm hinzugekommen sind. Dabei werden Informationen, die den Arm betreffen, diesem zugeordnet. Das erfolgt vorzugsweise insbesondere unabhängig davon, wo sich der Arm im Innenraum befindet. Damit kann durch das Erscheinungsbildmodell eine Veränderung der äußeren Erscheinung der einzelnen Körperteile des Insassen auch dann erkannt werden, wenn sich der Insasse von einem Zyklus zum nächsten bewegt.
  • Bei der zyklischen Aktualisierung des Erscheinungsbildmodells wird das aktuelle Erscheinungsbild des jeweiligen Insassen vorzugsweise mit dem in einem oder mehreren vorherigen Zyklen erstellten Erscheinungsbild verglichen. Kommt es von einem Zyklus zum nächsten zu einer erheblichen Veränderung, kann dies für eine Verletzung des entsprechenden Insassen sprechen.
  • In einer weiteren bevorzugten Ausführungsform des Verfahrens wird die Durchführung von Schritt b) bei einem erkannten Unfall des Kraftfahrzeugs ausgelöst.
  • Verletzt sich ein Insasse bei einem Unfall, kann nicht nur die Verletzung als das Ergebnis des Unfalls gemäß Schritt b) erkannt werden. Auch der Unfall als Ursache der Verletzung kann unmittelbar, beispielsweise über Beschleunigungssensoren des Kraftfahrzeugs, erkannt werden. In der vorliegenden Ausführungsform wird der Zustand des mindestens einen Insassen im Falle eines erkannten Unfalls überprüft. Das bedeutet, dass der Unfall als Ursache möglicher Verletzungen erkannt wird und dass als Reaktion darauf überprüft wird, ob es zu Verletzungen der Insassen gekommen ist. Das System kann darüber hinaus die Insassen auffordern einen Status über ihr aktuelles Befinden nach dem Unfall abzugeben. Dies kann mittels visuellem oder akustischem HMI erfolgen.
  • Das Steuergerät ist vorzugsweise mit Sensoren in dem Kraftfahrzeug verbunden, über die eine Unfallsituation des Kraftfahrzeugs erkannt werden kann. Aus den so erhaltenen Informationen kann insbesondere ein Unfallsignal generiert werden, das ebenfalls über die Mobilfunkverbindung an den Server übermittelt werden kann. Dabei kann insbesondere auch eine Information über die Art und die Schwere des Unfalls mit übermittelt werden.
  • In einer weiteren bevorzugten Ausführungsform des Verfahrens wird eine Innenraumbeleuchtung des Kraftfahrzeugs bei einem erkannten Unfall des Kraftfahrzeugs verstärkt.
  • Mit der mindestens einen Innenraumerfassung können die Insassen optisch erfasst werden. Das kann umso besser erfolgen, je besser der Innenraum ausgeleuchtet ist. Dazu ist insbesondere in dieser Ausführungsform eine Innenraumbeleuchtung vorgesehen. Eine für die mindestens eine Innenraumerfassung ausreichende Ausleuchtung des Innenraums ist insbesondere im Falle eines Unfalls von Vorteil, um Verletzungen durch den Unfall erkennen zu können. Entsprechend wird die Innenraumbeleuchtung gemäß dieser Ausführungsform verstärkt, wenn ein Unfall beispielsweise über Beschleunigungssensoren erkannt wurde.
  • In einer weiteren bevorzugten Ausführungsform des Verfahrens wird ein Innenraum des Kraftfahrzeugs zumindest in Schritt a) mit einer Infrarot-Innenraumbeleuchtung ausgeleuchtet.
  • Mit der Infrarot-Innenraumbeleuchtung kann eine von der Umgebungslichtsituation nahezu oder sogar vollständig unabhängige homogene Ausleuchtung des Innenraums erreicht werden. Vorzugsweise kommt bei der Infrarot-Innenraumbeleuchtung eine Wellenlänge im Bereich von 940 nm [Nanometer] zum Einsatz. Bei einer solchen Wellenlänge ist die Infrarot-Innenraumbeleuchtung für die Insassen unsichtbar und kann die Insassen daher nicht blenden oder anderweitig stören.
  • Die Infrarot-Innenraumbeleuchtung weist vorzugsweise einen oder mehrere Infrarotstrahler auf, die an verschiedenen Positionen innerhalb des Kraftfahrzeugs, insbesondere in der Nähe zu der Innenraumerfassung, angeordnet sein können. Vorzugsweise ist jeweils ein Infrarotstrahler vor dem Fahrer und dem Beifahrer angeordnet und jeweils auf diese ausgerichtet. Mit den Infrarotstrahlern werden vorzugsweise insbesondere sogenannte Regions of Interest (ROI) ausgeleuchtet. Bei den Regions of Interest kann es sich insbesondere um besonders sensible Bereiche der Insassen wie das Gesicht und/oder den Oberkörper handeln. Auch sichtbare Extremitäten der Insassen werden vorzugsweise durch die Innenraumbeleuchtung ausgeleuchtet.
  • Die Innenraumbeleuchtung kann insbesondere für eine optimale Ausleuchtung der ROI, in Bezug auf einen variablen Abstand eines Kopfes eines Insassen zur Kamera, geregelt und gepulst betrieben werden.
  • Als ein weiterer Aspekt wird ein Steuergerät vorgestellt, welches zur Überwachung mindestens eines Insassen eines Kraftfahrzeugs nach dem beschriebenen Verfahren eingerichtet ist.
  • Die weiter vorne für das Verfahren beschriebenen besonderen Vorteile und Ausgestaltungsmerkmale sind auf das Steuergerät anwendbar und übertragbar, und umgekehrt.
  • In einer bevorzugten Ausführungsform ist das Steuergerät dazu eingerichtet, Daten hinsichtlich eines Gesundheitszustandes des mindestens einen Insassen zu ermitteln und an einen Server weiterzuleiten.
  • Weiterhin wird ein Computerprogramm vorgestellt, welches eingerichtet ist, alle Schritte des beschriebenen Verfahrens auszuführen. Zudem wird ein maschinenlesbares Speichermedium vorgestellt, auf dem das beschriebene Computerprogramm gespeichert ist. Die weiter vorne für das Verfahren und das Steuergerät beschriebenen besonderen Vorteile und Ausgestaltungsmerkmale sind auf das Computerprogramm und das maschinenlesbare Speichermedium anwendbar und übertragbar.
  • Weitere Einzelheiten der Erfindung und ein Ausführungsbeispiel, auf welches die Erfindung jedoch nicht beschränkt ist, werden anhand der Zeichnungen näher erläutert. Es zeigen schematisch:
    • 1: eine Darstellung eines Kraftfahrzeugs mit zwei Insassen und einer Innenraumerfassung,
    • 2: eine Darstellung einer Anordnung zur Verarbeitung von Daten, die mit der Innenraumerfassung aus 1 erfasst werden,
    • 3: ein erstes Beispiel eines verletzten Insassen,
    • 4: ein zweites Beispiel eines verletzten Insassen, und
    • 5: ein Ablaufdiagramm des beschriebenen Verfahrens.
  • 1 zeigt ein Kraftfahrzeug 1 mit zwei Insassen 2, die sich in einem Innenraum 7 des Kraftfahrzeugs 1 befinden. Über eine erste Innenraumkamera 3 und eine zweite Innenraumkamera 4 werden die Insassen 2 erfasst. Mit Infrarotstrahlern 9 wird der Innenraum 7 (für die Insassen 2 nicht sichtbar) ausgeleuchtet.
  • In 2 ist gezeigt, wie die mit den Innenraumkameras 3, 4 aus 1 erfassten Daten verarbeitet werden. Die Innenraumkameras 3, 4 sind Teil einer Innenraumerfassung 10, die zudem eine CPU 8 und die Infrarotstrahler 9 umfasst. Die Innenraumkameras 3, 4 und die Infrarotstrahler 9 sind auf den Innenraum 7 des Kraftfahrzeugs 1 gerichtet. Von der Innenraumerfassung 10 werden Daten ausgesendet, die von einem Steuergerät 11 empfangen werden. Dies betrifft den Schritt a) des beschriebenen Verfahrens. In dem Steuergerät 11 wird automatisiert ein Zustand der zwei Insassen 2 aus den empfangenen Daten ermittelt. Dies entspricht Schritt b) des beschriebenen Verfahrens. Das Steuergerät 11 ist an einen Mobilfunksender 5 angebunden, mit dem ein Signal über eine Funkverbindung an eine Notrufzentrale 6 übermittelt werden kann. Das Signal beschreibt den mit dem Steuergerät 11 ermittelten Zustand der Insassen 2. Zudem ist das Steuergerät 11 an ein Display 12 angebunden, über das die mit dem Steuergerät 11 ermittelten Informationen angezeigt werden können.
  • In den 3 und 4 sind zwei Beispiele von Insassen 2 mit verschiedenen Verletzungen gezeigt. Die Verletzungen sind optisch zu erkennen und können daher über die erste Innenraumkamera 3 (die in diesem Beispiel auf den gezeigten Insassen 2 ausgerichtet ist) erfasst werden. Weiterhin eingezeichnet sind die beiden Infrarotstrahler 9, die ebenfalls auf den Insassen 2 gerichtet sind. In 3 hat der Insasse 2 Verletzungen im Bereich beider Augen, am Oberkörper und am linken Arm. Zudem tritt Blut aus der Nase und dem linken Ohr aus. In 4 hat der Insasse 2 zwei beschädigte Zähne und eine Verletzung am linken Auge. Zudem tritt Blut aus der Nase aus.
  • 5 zeigt ein Ablaufdiagramm des hier beschriebenen Verfahrens, dass insbesondere mit der Vorrichtung (beispielsweise der Vorrichtung gemäß 2) durchgeführt werden kann. Zu erkennen sind die Verfahrensschritte a), b) und c) wie sie gemäß des Verfahrens durchgeführt werden.

Claims (12)

  1. Verfahren zur Überwachung mindestens eines Insassen (2) eines Kraftfahrzeugs (1), umfassend zumindest die folgenden Verfahrensschritte: a) Empfangen von Daten von mindestens einer Innenraumerfassung (10) und b) Automatisiertes Ermitteln eines Zustandes des mindestens einen Insassen (2) aus den in Schritt a) erfassten Daten.
  2. Verfahren nach Anspruch 1, weiterhin umfassend den folgenden Verfahrensschritt: c) Übermitteln mindestens eines Signals, das den gemäß Schritt b) ermittelten Zustand des mindestens einen Insassen (2) beschreibt, über eine Funkverbindung.
  3. Verfahren nach einem der vorhergehenden Ansprüche, wobei in Schritt b) ein Gesundheitszustand des mindestens einen Insassen (2) ermittelt wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei in Schritt b) zyklisch überprüft wird, ob sich eine visuelle Erscheinung des mindestens einen Insassen (2) verändert.
  5. Verfahren nach Anspruch 4, wobei die visuelle Erscheinung des mindestens einen Insassen (2) zumindest unter Verwendung eines Erscheinungsbildmodells überprüft wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Durchführung von Schritt b) bei einem erkannten Unfall des Kraftfahrzeugs (1) ausgelöst wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Innenraumbeleuchtung des Kraftfahrzeugs bei einem erkannten Unfall des Kraftfahrzeugs (1) verstärkt wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, wobei ein Innenraum (7) des Kraftfahrzeugs zumindest in Schritt a) mit einer Infrarot-Innenraumbeleuchtung ausgeleuchtet wird.
  9. Steuergerät (11) eingerichtet zur Überwachung mindestens eines Insassen (2) eines Kraftfahrzeugs (1) nach einem Verfahren gemäß einem der vorhergehenden Ansprüche.
  10. Steuergerät (11) nach Anspruch 9, wobei das Steuergerät (11) dazu eingerichtet ist, Daten hinsichtlich eines Gesundheitszustandes des mindestens einen Insassen (2) zu ermitteln und an einen Server weiterzuleiten.
  11. Computerprogramm, welches eingerichtet ist, alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 8 auszuführen.
  12. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 11 gespeichert ist.
DE102017211555.6A 2017-07-06 2017-07-06 Verfahren zur Überwachung mindestens eines Insassen eines Kraftfahrzeugs, wobei das Verfahren insbesondere zur Überwachung und Erkennung möglicher Gefahrensituationen für mindestens einen Insassen dient Pending DE102017211555A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017211555.6A DE102017211555A1 (de) 2017-07-06 2017-07-06 Verfahren zur Überwachung mindestens eines Insassen eines Kraftfahrzeugs, wobei das Verfahren insbesondere zur Überwachung und Erkennung möglicher Gefahrensituationen für mindestens einen Insassen dient

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017211555.6A DE102017211555A1 (de) 2017-07-06 2017-07-06 Verfahren zur Überwachung mindestens eines Insassen eines Kraftfahrzeugs, wobei das Verfahren insbesondere zur Überwachung und Erkennung möglicher Gefahrensituationen für mindestens einen Insassen dient

Publications (1)

Publication Number Publication Date
DE102017211555A1 true DE102017211555A1 (de) 2019-01-10

Family

ID=64666377

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017211555.6A Pending DE102017211555A1 (de) 2017-07-06 2017-07-06 Verfahren zur Überwachung mindestens eines Insassen eines Kraftfahrzeugs, wobei das Verfahren insbesondere zur Überwachung und Erkennung möglicher Gefahrensituationen für mindestens einen Insassen dient

Country Status (1)

Country Link
DE (1) DE102017211555A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020214910A1 (de) 2020-11-27 2022-06-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Überwachung eines Fahrzeuginnenraums
DE102022108519A1 (de) 2022-04-08 2023-10-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Übermitteln von Informationen über einen Gesundheitszustand eines Insassen nach einem Unfall mit dem Fahrzeug, computerlesbares Medium, System, und Fahrzeug

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
WO2008058277A2 (en) * 2006-11-09 2008-05-15 Smartdrive Systems, Inc. Video event recorders having integrated illumination sources
DE102012015994A1 (de) * 2012-08-11 2013-03-14 Daimler Ag Verfahren zum Betrieb einer Notfallvorrichtung und Notfallvorrichtung für ein Fahrzeug
US20140139655A1 (en) * 2009-09-20 2014-05-22 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US20140276090A1 (en) * 2011-03-14 2014-09-18 American Vehcular Sciences Llc Driver health and fatigue monitoring system and method using optics
DE102013223439A1 (de) * 2013-11-18 2015-05-21 Robert Bosch Gmbh Verfahren zum Absetzen eines Notrufs in einem Fahrzeug
DE102015108392A1 (de) * 2014-06-13 2015-12-17 Denso Corporation Fahrzeugnotfallmeldevorrichtung und Notfallmeldesystem
GB2528477A (en) * 2014-07-23 2016-01-27 Ford Global Tech Llc Accident severity estimator for a vehicle
DE102015010727A1 (de) * 2015-08-17 2016-03-24 Daimler Ag Vorrichtung zur Notfallüberwachung eines Insassen eines Fahrzeugs

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
WO2008058277A2 (en) * 2006-11-09 2008-05-15 Smartdrive Systems, Inc. Video event recorders having integrated illumination sources
US20140139655A1 (en) * 2009-09-20 2014-05-22 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US20140276090A1 (en) * 2011-03-14 2014-09-18 American Vehcular Sciences Llc Driver health and fatigue monitoring system and method using optics
DE102012015994A1 (de) * 2012-08-11 2013-03-14 Daimler Ag Verfahren zum Betrieb einer Notfallvorrichtung und Notfallvorrichtung für ein Fahrzeug
DE102013223439A1 (de) * 2013-11-18 2015-05-21 Robert Bosch Gmbh Verfahren zum Absetzen eines Notrufs in einem Fahrzeug
DE102015108392A1 (de) * 2014-06-13 2015-12-17 Denso Corporation Fahrzeugnotfallmeldevorrichtung und Notfallmeldesystem
GB2528477A (en) * 2014-07-23 2016-01-27 Ford Global Tech Llc Accident severity estimator for a vehicle
DE102015010727A1 (de) * 2015-08-17 2016-03-24 Daimler Ag Vorrichtung zur Notfallüberwachung eines Insassen eines Fahrzeugs

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020214910A1 (de) 2020-11-27 2022-06-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Überwachung eines Fahrzeuginnenraums
DE102022108519A1 (de) 2022-04-08 2023-10-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Übermitteln von Informationen über einen Gesundheitszustand eines Insassen nach einem Unfall mit dem Fahrzeug, computerlesbares Medium, System, und Fahrzeug

Similar Documents

Publication Publication Date Title
DE102019134141B4 (de) Sicherheitsgurt-Zustandsbestimmungsverfahren
DE102017214353B4 (de) Fahrerzustands-erfassungssystem, fahrerzustands-erfassungsverfahren und diese enthaltendes fahrzeug
DE102012214852B4 (de) Verfahren und Vorrichtung zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs
DE602005001627T2 (de) Vorrichtung zur Extraktion von Fussgängern
DE112015002944T5 (de) Vorrichtung zum Erfassen eines Fahrunvermögenzustands eines Fahrers
DE102017218917A1 (de) Überwachungsvorrichtung, Industrieanlage, Verfahren zur Überwachung sowie Computerprogramm
DE102017111468A1 (de) Fahrzeugsystem und Verfahren zum Bestimmen, ob ein Fahrzeuginsasse ein fahrzeugexternes Objekt wahrgenommen hat
WO2012156228A1 (de) Verfahren und vorrichtung zum erkennen eines möglichen kollisionsobjektes
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
EP2681722B1 (de) Verfahren und system zur sturzerkennung und weitergabe eines alarms
DE102017108254A1 (de) Rundumsichtkamerasystem zur Objekterkennung und -verfolgung
DE102020213360A1 (de) Arbeitsstellenklassifizierungssystem und -verfahren
DE102016206694B4 (de) Assistenzsystem und Verfahren eines hochautomatisierten Fahrzeugs zur Verbesserung des Zusammenwirkens mit anderen Verkehrsteilnehmern
DE112018007454T5 (de) Insassenzustand-Bestimmungsvorrichtung, Warnausgabe-Steuervorrichtung und Insassenzustand-Bestimmungsverfahren
DE102012215465A1 (de) Verfahren und Informationssystem zum Filtern von Objektinformationen
DE102009014437A1 (de) Objekterkennungssystem und -verfahren
DE102018206593A1 (de) Mobiles Erkennen von Reisenden und Objekten auf Bahnsteigen
DE102017211555A1 (de) Verfahren zur Überwachung mindestens eines Insassen eines Kraftfahrzeugs, wobei das Verfahren insbesondere zur Überwachung und Erkennung möglicher Gefahrensituationen für mindestens einen Insassen dient
DE102018213268A1 (de) Verfahren zur anwendung in einem fahrzeug
DE102008062915B4 (de) Erkennung von Personen, insbesondere von Fußgängern
DE112017007247B4 (de) Bildverarbeitungsvorrichtung
DE102018202683B3 (de) Kamerasystem sowie Verfahren zum Erfassen eines Einsatzfahrzeugs mit Sonderzeichen
DE102018222683A1 (de) Verfahren zum Erstellen einer Umgebungsrepräsentationskarte zur Überwachung eines Fahrzeugs und/oder eines Fahrzeuganhängers unter Verwendung eines Kamerasystems
DE102018008683A1 (de) Verfahren zum Ermöglichen der Identifizierung eines rücksichtslosen Fahrers eines Straßenfahrzeugs, System, Computerprogramm, computerlesbares Medium und Fahrzeug
DE102017219292A1 (de) Verfahren und vorrichtung zum erfassen von ereignisbezogenen daten bezüglich eines fahrzeugs

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication