DE102020202284A1 - Verfahren zum Trainieren und/oder Optimieren eines Insassenüberwachungssystems - Google Patents

Verfahren zum Trainieren und/oder Optimieren eines Insassenüberwachungssystems Download PDF

Info

Publication number
DE102020202284A1
DE102020202284A1 DE102020202284.4A DE102020202284A DE102020202284A1 DE 102020202284 A1 DE102020202284 A1 DE 102020202284A1 DE 102020202284 A DE102020202284 A DE 102020202284A DE 102020202284 A1 DE102020202284 A1 DE 102020202284A1
Authority
DE
Germany
Prior art keywords
monitoring system
occupant monitoring
vehicle
touch
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020202284.4A
Other languages
English (en)
Inventor
Lenne Ahrens
Jihad Miramo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102020202284.4A priority Critical patent/DE102020202284A1/de
Priority to CN202110188644.8A priority patent/CN113296601A/zh
Publication of DE102020202284A1 publication Critical patent/DE102020202284A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Trainieren und/oder Optimieren eines Insassenüberwachungssystems (110) eines Fahrzeugs (100), das zum automatisierten Erkennen einer Pose und/oder einer Geste einer Person in dem Fahrzeug (100) dient, wobei eine Pose und/oder eine Geste einer Person (150) in dem Fahrzeug (100) mittels des Insassenüberwachungssystems (110) erfasst werden, wobei von vom Insassenüberwachungssystem (110) verschiedenen Erfassungsmitteln (120) erfasste Informationen über eine Betätigung eines Betätigungselements (120) oder Berührung eines berührungssensitiven Elements durch die Person (150) in dem Fahrzeug erhalten (150) werden, und wobei unter Verwendung der erhaltenen Informationen über die Betätigung des Betätigungselements (120) oder die Berührung des berührungssensitiven Elements und von mittels des Insassenüberwachungssystems (110) ermittelten Informationen über die Pose und/oder die Geste der Person (150), die zeitlich einander entsprechen, das Insassenüberwachungssystem (110) hinsichtlich des automatisierten Erkennens der Pose und/oder der Geste einer Person in dem Fahrzeug (100) trainiert und/oder optimiert wird, sowie ein solches Insassenüberwachungssystem (110).

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zum Trainieren und/oder Optimieren eines Insassenüberwachungssystems eines Fahrzeugs sowie eine Recheneinheit und ein Computerprogramm zu dessen Durchführung.
  • Stand der Technik
  • Bei modernen Fahrzeugen gibt es sog. Insassenüberwachungssysteme (auch als „Occupant Monitoring Systems“ bezeichnet), die für sicherheitsrelevante Funktionen wie z.B. eine Überwachung, ob ein Fahrer zumindest eine Hand am Lenkrad hat, oder der Prüfung, ob Personen ordentlich auf der Rückbank sitzen, verwendet werden können. Ebenso kann dies für Komfortfunktionen wie z.B. der Gestensteuerung im Fahrzeug verwendet werden.
  • Offenbarung der Erfindung
  • Erfindungsgemäß werden ein Verfahren zum Trainieren und/oder Optimieren eines Insassenüberwachungssystems sowie eine Recheneinheit und ein Computerprogramm zu dessen Durchführung mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.
  • Die Erfindung beschäftigt sich mit dem Trainieren und/oder Optimieren eines Insassenüberwachungssystems eines Fahrzeugs, das zum automatisierten Erkennen einer Pose und/oder einer Geste einer Person in dem Fahrzeug dient bzw. dafür eingerichtet ist, wie es eingangs schon kurz erläutert wurde. Solche Systeme zur automatisierten Erkennung von Pose bzw. Geste einer Person bzw. eines Körperteils wie z.B. eines Arms oder auch einer Hand der Person müssen in aller Regel vor der Verwendung trainiert werden. Hierzu kann einem solchen System, das typischerweise mit maschinellem Lernen und z.B. einem (künstlichen) neuronalen Netz arbeitet, z.B. eine Vielzahl an Bildern bzw. Videoausschnitten zur Verfügung gestellt werden, die eine bestimmte Geste oder Pose zeigen. Damit können zwar grundsätzlich verschiedene Gesten bzw. Posen bzw. deren Erkennung trainiert werden, die Genauigkeit des Systems hängt jedoch von der Qualität der zur Verfügung stehenden Daten für das Training ab. Problematisch kann auch sein, dass sich Personen im Fahrzeug ungewöhnlich verhalten, was zu Fehlerkennungen führen kann.
  • Eine Möglichkeit, die Genauigkeit eines solchen Systems zu verbessern, ist z.B. ein Online-Training bzw. das Trainieren in Echtzeit. Allerdings ist es hierbei schwierig, eine Pose oder Geste zu finden, von der genau bekannt ist, welche es ist. Dies wäre jedoch nötig, um mittels des Trainierens das System zu verbessern.
  • Hier setzt die Erfindung an und schlägt vor, dass zum Trainieren auch Informationen verwendet werden, die von vom Insassenüberwachungssystem verschiedenen Erfassungsmitteln stammen und die die eindeutige Bestimmung der Pose oder Geste ermöglichen, weil sie Informationen über eine Betätigung eines Betätigungselements oder Berührung eines berührungssensitiven Elements durch die Person in dem Fahrzeug enthalten.
  • Das Insassenüberwachungssystem kann zum Erfassen der Pose und/oder der Geste der Person wenigstens eines der folgenden Erfassungsmittel aufweisen: eine Kamera, einen TOF-Sensor, Radar, einen Infrarot-Sensor, ein Mikrofon, und eine Wärmebildkamera. Auch mehrere gleiche und/oder (beliebige) Kombinationen davon sind denkbar. Bei dem Element in dem Fahrzeug kann es sich z.B. um einen Drehknopf (z.B. zum Verstellen der Lautstärke eines Radios), eine Taste (z.B. an einem Radio oder für einen elektrischen Fensterheber), oder einen Gangwahlhebel handeln. Es versteht sich, dass das Verfahren auch für jedes dieser Betätigungselemente auf die gleiche Weise durchgeführt werden kann.
  • Unter Verwendung von mittels der (von dem Insassenüberwachungssystem verschiedenen) Erfassungsmittel ermittelten Informationen über die Betätigung des Betätigungselements bzw. der Berührung des berührungssensitiven Elements und von mittels des Insassenüberwachungssystems ermittelten Informationen über die Pose und/oder die Geste der Person, die zeitlich einander entsprechen, wird das Insassenüberwachungssystem hinsichtlich des automatisierten Erkennens der Pose und/oder der Geste einer Person in dem Fahrzeug trainiert und/oder optimiert. Insbesondere kann damit ein Algorithmus des Insassenüberwachungssystems zum Erkennen der Pose bzw. Geste verbessert bzw. verfeinert werden. Hinsichtlich der konkreten Art und Weise, wie ein solcher Algorithmus trainiert werden kann, soll an dieser Stelle nicht näher eingegangen werden, sondern auf entsprechende Literatur (z.B. „Online Q-Learning using Connectionist Systems“ by Rummery & Niranjan, 1994) verwiesen sein.
  • Ein besonderer Vorteil der Erfindung ist dabei darin zu sehen, dass die Tatsache, dass eine Person während der Verwendung eines Fahrzeugs Elemente, die in modernen Fahrzeugen ohnehin in aller Regel elektrisch bzw. elektronisch funktionieren und daher entsprechende Signale liefern, betätigt bzw. berührt, geschickt genutzt wird, um dem Insassenüberwachungssystem Daten zum Trainieren bzw. Optimieren zur Verfügung zu stellen. Insofern ist es auch zweckmäßig, wenn das Element selbst oder eine oder mehrere Komponenten davon oder auch eine diesem zugeordnete Steuereinheit als die vom Insassenüberwachungssystem verschiedenen Erfassungsmittel verwendet werden.
  • Die Informationen über die Betätigung bzw. Berührung des Elements umfassen dabei bevorzugt einen oder mehrere Zeitpunkte und/oder eine Art und/oder eine Quantität der Betätigung bzw. der Berührung des Elements. Während die Information, dass ein solches Element überhaupt betätigt bzw. berührt wird, implizit in einem davon generierten Signal z.B. auf einem Bus im Fahrzeug enthalten ist, kann zur ordnungsgemäßen, zeitlichen Zuordnung der Betätigung bzw. Berührung und der zugehörigen, vom Insassenüberwachungssystem erfassten Informationen bzw. Daten, ein Zeitpunkt der Betätigung bzw. Berührung (z.B. bei kurzen Tastendrücken) verwendet werden.
  • Ebenso können aber z.B. zwei Zeitpunkte, einer zu Beginn und einer zum Ende der Betätigung bzw. Berührung, z.B. bei längeren Tastendrücken, erfasst und verwendet werden, um genauere Informationen zu erhalten. Bei Drehknöpfen z.B. kann die Richtung des Drehens (als eine Art der Betätigung) und ein Winkel, um den gedreht wird (als eine Quantität der Betätigung), erfasst werden. Beim Gangwahlhebel kann z.B. die Richtung, in die dieser bewegt wird, erfasst werden. Auf diese Weise können also verschiedene Informationen erfasst und dem Insassenüberwachungssystem zur Verfügung gestellt werden, um möglichst aussagekräftige Informationen zum möglichst optimalen Trainieren bzw. Optimieren des Insassenüberwachungssystems zu erhalten.
  • Zweckmäßig ist zudem, wenn das Insassenüberwachungssystem unter Verwendung von Informationen über eine Position des Elements im Fahrzeug und/oder einer Position relativ zu Erfassungsmitteln (z.B. einer Kamera) des Insassenüberwachungssystems hinsichtlich des automatisierten Erkennens der Pose und/oder der Geste der Person in dem Fahrzeug trainiert und/oder optimiert wird. Damit ist eine bessere Zuordnung der Pose bzw. Geste in den Trainingsdaten möglich. Solche Positionsinformationen müssen dem Insassenüberwachungssystem nicht notwendigerweise immer übermittelt werden, vielmehr können diese in dem Insassenüberwachungssystem zu jedem verwendeten Element schon hinterlegt und damit verknüpft sein, da diese sich in der Regel sich ja nicht ändern. Wenn jedoch ein solches Element am Lenkrad angeordnet ist, kann zur Position noch eine Information über den aktuellen Winkel des Lenkrads erfasst und an das Insassenüberwachungssystem übermittelt werden.
  • Eine erfindungsgemäße Recheneinheit, z.B. ein Steuergerät eines Kraftfahrzeugs, das neben den erwähnten Erfassungsmittel Teil des Insassenüberwachungssystems sein kann, ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen.
  • Gegenstand der Erfindung ist zudem ein Insassenüberwachungssystem mit einer erfindungsgemäßen Recheneinheit und Erfassungsmitteln wie z.B. einer Kamera zum Erfassen der Pose und/oder der Geste einer Person. An dieser Stelle sei auch angemerkt, dass die Informationen über eine Betätigung eines Betätigungselements bzw. Berührung des berührungssensitiven Elements durch eine Person in dem Fahrzeug durch die vom Insassenüberwachungssystem verschiedenen Erfassungsmitteln bei der Betätigung bzw. Berührung in aller Regel ohnehin erfasst werden, bisher aber eben nur für die eigentlich dafür vorgesehene Funktion, nämlich die Funktion des Betätigungselements bzw. berührungssensitiven Elements verwendet werden. Nunmehr werden diese Informationen aber zudem vom Insassenüberwachungssystem erhalten bzw. eingelesen, z.B. über eine entsprechende Kommunikationsverbindung im Fahrzeug wie einen Bus.
  • Auch die Implementierung eines erfindungsgemäßen Verfahrens in Form eines Computerprogramms oder Computerprogrammprodukts mit Programmcode zur Durchführung aller Verfahrensschritte ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Geeignete Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich.
  • Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
  • Die Erfindung ist anhand eines Ausführungsbeispiels in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung beschrieben.
  • Figurenliste
    • 1 zeigt schematisch ein Fahrzeug, bei dem ein erfindungsgemäßes Verfahren durchführbar ist.
    • 2 zeigt schematisch einen Ablauf eines erfindungsgemäßen Verfahrens in einer bevorzugten Ausführungsform.
    • 3 zeigt Bildaufnahmen eines Insassenüberwachungssystems.
  • Ausführungsform(en) der Erfindung
  • In 1 ist schematisch ein Fahrzeug 100 dargestellt, bei dem ein erfindungsgemäßes Verfahren durchführbar ist. In dem Fahrzeug 100 ist ein Insassenüberwachungssystem 110 mit beispielhaft als Kamera 111 ausgebildeten Erfassungsmitteln sowie einer zugehörigen Recheneinheit bzw. einem Steuergerät 112 enthalten. In dem Fahrzeug 100 befindet sich ein Fahrer bzw. eine Person 150, die ihre Hand 151 an einem Lenkrad 130 des Fahrzeugs hat.
  • Außerdem ist beispielhaft eine Taste 120 für einen elektrischen Fensterheber als ein Betätigungselement gezeigt, der mit einem zugehörigen Steuergerät 121 verbunden ist. Die Steuergeräte 112 und 121 sind ebenfalls datenübertragend verbunden bzw. stehen in Kommunikationsverbindung über z.B. einen Bus.
  • In 2 ist schematisch ein Ablauf eines erfindungsgemäßen Verfahrens in einer bevorzugten Ausführungsform dargestellt. Hierzu ist ein Zeitablauf mit einer Zeit t angedeutet. Dabei wird mittels des Insassenüberwachungssystems bzw. dessen Erfassungsmittel, z.B. der Kamera, die in 1 gezeigt ist, der Innenraum eines Fahrzeugs überwacht und damit insbesondere auch eine Pose und/oder Geste einer sich in dem Fahrzeug befindlichen Person. Diese Erfassung 200 erfolgt zweckmäßigerweise laufend bzw. durchgehend, wie in der 2 auch angedeutet.
  • Beispielsweise wird nun von der Person ein Betätigungselement, wie z.B. die Taste für den elektrischen Fensterheber wie in 1 gezeigt, betätigt. Dies soll zwischen den Zeitpunkten t0 und t1 erfolgen. Wie für eine Taste für einen elektrischen Fensterheber typisch, wird diese für eine gewisse Zeitdauer betätigt bzw. gedrückt gehalten. Informationen bzw. Daten 220 hierüber werden erfasst und an das Insassenüberwachungssystem übermittelt.
  • In dem Insassenüberwachungssystem bzw. in dessen Recheneinheit können diese Informationen 220 nun zusammen mit zeitlich entsprechenden Informationen bzw. Daten 210 - also z.B. Bildern oder einem Videoausschnitt zwischen den Zeitpunkten t0 und t1 - verwendet werden, um ein Training 230 des Insassenüberwachungssystems hinsichtlich des Erkennens einer Pose bzw. Geste durchzuführen.
  • In dem geschilderten Beispiel verfügt das Insassenüberwachungssystem also über z.B. Bilder einer Person in dem Fahrzeug, die zwischen den Zeitpunkten t0 und t1 ihre Hand an der Taste für den elektrischen Fensterheber hat. Dabei kann anhand der Informationen, dass und für wie lange bzw. zwischen welchen Zeitpunkten diese Taste betätigt wird, sichergestellt bzw. mit sehr hoher Sicherheit darauf geschlossen werden, dass dies auch wirklich der Fall ist.
  • Anhand dieser Bilder kann das Insassenüberwachungssystem bzw. dessen Algorithmus also z.B. vergleichbare Situationen, in denen eine Person im Fahrzeug ebenfalls ihre Hand in dieser Position hat, durch Trainieren besser bzw. zuverlässiger erkennen.
  • Ergänzend können z.B. auch die zeitlichen Bereiche vor und nach t0 bzw. t1 verwendet werden, die eine Bewegung der Hand der Person zur Taste hin bzw. davon weg betreffen.
  • In 3 sind rein beispielhaft Bildaufnahmen eines Insassenüberwachungssystems für verschiedene Posen bzw. Gesten einer Person in einem Fahrzeug gezeigt, wie sie im Rahmen der vorliegenden Erfindung zum Trainieren bzw. Optimieren des Insassenüberwachungssystems verwendet werden können. Dabei ist in jeder der vier Abbildungen jeweils rechts ein Foto gezeigt, links eine aus dem Foto erhaltene Abstraktion, die datentechnisch verarbeitet wird.
  • In Abbildung (a) ist zu sehen, dass die Person ihre linke Hand am Lenkrad hat, in Abbildung (b) hat die Person beide Hände am Lenkrad. Diese Posen können durch berührungssensitive Elemente im Lenkrad bestätigt werden.
  • In Abbildung (c) hat die Person ihre rechte Hand am Gangwahlhebel. Diese Pose kann durch berührungssensitive Elemente im Lenkrad und im Ganghebel bestätigt werden.
  • In Abbildung (d) hat die Person ihre linke Hand an der Taste für den elektrischen Fensterheber. Diese Pose kann durch das Betätigungselement „Taster“ bestätigt werden.

Claims (11)

  1. Verfahren zum Trainieren und/oder Optimieren eines Insassenüberwachungssystems (110) eines Fahrzeugs (100), das zum automatisierten Erkennen einer Pose und/oder einer Geste einer Person in dem Fahrzeug (100) dient, wobei eine Pose und/oder eine Geste einer Person (150) in dem Fahrzeug (100) mittels des Insassenüberwachungssystems (110) erfasst werden, wobei von vom Insassenüberwachungssystem (110) verschiedenen Erfassungsmitteln (120) erfasste Informationen (220) über eine Betätigung eines Betätigungselements (120) oder Berührung eines berührungssensitiven Elements durch die Person (150) in dem Fahrzeug erhalten (150) werden, und wobei unter Verwendung der erhaltenen Informationen (220) über die Betätigung des Betätigungselements (120) oder die Berührung des berührungssensitiven Elements und von mittels des Insassenüberwachungssystems (110) ermittelten Informationen (210) über die Pose und/oder die Geste der Person (150), die zeitlich einander entsprechen, das Insassenüberwachungssystem (110) hinsichtlich des automatisierten Erkennens der Pose und/oder der Geste einer Person in dem Fahrzeug (100) trainiert und/oder optimiert wird.
  2. Verfahren nach Anspruch 1, wobei die Informationen (220) über die Betätigung des Betätigungselements oder die Berührung des berührungssensitiven Elements einen oder mehrere Zeitpunkte (t0, t1) und/oder eine Art und/oder eine Quantität der Betätigung des Betätigungselements (120) oder der Berührung des berührungssensitiven Elements umfassen.
  3. Verfahren nach Anspruch 1 oder 2, wobei das Insassenüberwachungssystem (110) zudem hinsichtlich des automatisierten Erkennens der Pose und/oder der Geste einer Person in dem Fahrzeug (100) trainiert und/oder optimiert wird unter Verwendung von Informationen über eine Position des Betätigungselements (120) oder des berührungssensitiven Elements im Fahrzeug (100) und/oder relativ zu Erfassungsmitteln (111) des Insassenüberwachungssystems (110).
  4. Verfahren nach einem der vorstehenden Ansprüche, wobei das Insassenüberwachungssystem (110) zum Erfassen der Pose und/oder der Geste der Person (150) wenigstens eines der folgenden Erfassungsmittel aufweist: eine Kamera (111), einen TOF-Sensor, Radar, einen Infrarot-Sensor, ein Mikrofon, und eine Wärmebildkamera.
  5. Verfahren nach einem der vorstehenden Ansprüche, wobei das Betätigungselement (120) oder das berührungssensitive Element oder eine oder mehrere Komponenten davon oder eine diesem zugeordnete Steuereinheit als die vom Insassenüberwachungssystem (110) verschiedenen Erfassungsmittel (120) verwendet werden.
  6. Verfahren nach einem der vorstehenden Ansprüche, wobei das Betätigungselement (120) oder das berührungssensitive Element ausgewählt ist aus der Gruppe, die aufweist: Drehknopf, Taste (120), Gangwahlhebel, berührungssensitiver, insbesondere kapazitiver, Sensor.
  7. Verfahren nach einem der vorstehenden Ansprüche, wobei das Insassenüberwachungssystem (110) dazu verwendet wird, um bei Bedarf eine Sicherheitsmaßnahme in dem oder für das Fahrzeug (100) einzuleiten.
  8. Recheneinheit (112), die dazu eingerichtet ist, alle Verfahrensschritte eines Verfahrens nach einem der vorstehenden Ansprüche durchzuführen.
  9. Insassenüberwachungssystem (110) mit einer Recheneinheit (112) nach Anspruch 8 und Erfassungsmitteln (111) zum Erfassen der Pose und/oder der Geste einer Person (150) in einem Fahrzeug.
  10. Computerprogramm, das ein Insassenüberwachungssystem (110) nach Anspruch 9 veranlasst, alle Verfahrensschritte eines Verfahrens nach einem der Ansprüche 1 bis 7 durchzuführen, wenn es auf der Recheneinheit (112) ausgeführt wird.
  11. Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 10.
DE102020202284.4A 2020-02-21 2020-02-21 Verfahren zum Trainieren und/oder Optimieren eines Insassenüberwachungssystems Pending DE102020202284A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102020202284.4A DE102020202284A1 (de) 2020-02-21 2020-02-21 Verfahren zum Trainieren und/oder Optimieren eines Insassenüberwachungssystems
CN202110188644.8A CN113296601A (zh) 2020-02-21 2021-02-19 用于训练和/或优化乘员监控系统的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020202284.4A DE102020202284A1 (de) 2020-02-21 2020-02-21 Verfahren zum Trainieren und/oder Optimieren eines Insassenüberwachungssystems

Publications (1)

Publication Number Publication Date
DE102020202284A1 true DE102020202284A1 (de) 2021-08-26

Family

ID=77176000

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020202284.4A Pending DE102020202284A1 (de) 2020-02-21 2020-02-21 Verfahren zum Trainieren und/oder Optimieren eines Insassenüberwachungssystems

Country Status (2)

Country Link
CN (1) CN113296601A (de)
DE (1) DE102020202284A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022107274A1 (de) 2022-03-28 2023-09-28 BEAMOTIONS Rüddenklau Hänel GbR (vertretungsberechtigte Gesellschafter: Rene Rüddenklau, 80687 München und Christian Hänel, 85586 Poing) System und Verfahren für die Gestenerkennung und/oder Gestensteuerung

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008051756A1 (de) 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
US20140365228A1 (en) 2013-03-15 2014-12-11 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
DE102013012466A1 (de) 2013-07-26 2015-01-29 Audi Ag Bediensystem und Verfahren zum Bedienen einer fahrzeugseitigen Vorrichtung
DE112014000934T5 (de) 2013-02-21 2016-01-07 Iee International Electronics & Engineering S.A. Bildgebungsgestütztes Insassenüberwachungssystem mit breit gefächerter Funktionsunterstützung
DE112016002832T5 (de) 2015-06-26 2018-03-08 Intel Corporation Sicherheitssysteme und -verfahren für autonome Fahrzeuge
DE102017217664A1 (de) 2017-10-05 2019-04-11 Bayerische Motoren Werke Aktiengesellschaft Bestimmung eines Nutzerempfindens eines Nutzers in einem zumindest teilweise autonom fahrenden Fahrzeug

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008051756A1 (de) 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
DE112014000934T5 (de) 2013-02-21 2016-01-07 Iee International Electronics & Engineering S.A. Bildgebungsgestütztes Insassenüberwachungssystem mit breit gefächerter Funktionsunterstützung
US20140365228A1 (en) 2013-03-15 2014-12-11 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
DE102013012466A1 (de) 2013-07-26 2015-01-29 Audi Ag Bediensystem und Verfahren zum Bedienen einer fahrzeugseitigen Vorrichtung
DE112016002832T5 (de) 2015-06-26 2018-03-08 Intel Corporation Sicherheitssysteme und -verfahren für autonome Fahrzeuge
DE102017217664A1 (de) 2017-10-05 2019-04-11 Bayerische Motoren Werke Aktiengesellschaft Bestimmung eines Nutzerempfindens eines Nutzers in einem zumindest teilweise autonom fahrenden Fahrzeug

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022107274A1 (de) 2022-03-28 2023-09-28 BEAMOTIONS Rüddenklau Hänel GbR (vertretungsberechtigte Gesellschafter: Rene Rüddenklau, 80687 München und Christian Hänel, 85586 Poing) System und Verfahren für die Gestenerkennung und/oder Gestensteuerung
DE102022107274B4 (de) 2022-03-28 2024-02-15 BEAMOTIONS Rüddenklau Hänel GbR (vertretungsberechtigte Gesellschafter: Rene Rüddenklau, 80687 München und Christian Hänel, 85586 Poing) System und Verfahren für die Gestenerkennung und/oder Gestensteuerung

Also Published As

Publication number Publication date
CN113296601A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
WO2018177484A1 (de) Verfahren und system zur vorhersage von sensorsignalen eines fahrzeugs
DE102012223481B4 (de) Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs
DE102013221668A1 (de) System und Verfahren für das Bereitstellen einer Benutzerschnittstelle im Fahrzeug, wobei das Erkennen einer Handformspur benutzt wird
EP3291172B1 (de) Verfahren zur ermittlung von ergebnisbilddaten
EP2943367A1 (de) Verfahren zum synchronisieren von anzeigeeinrichtungen eines kraftfahrzeugs
DE102014221510A1 (de) System und Verfahren für das Erkennen einer Benutzergeste für das Ausführen der Bedienung eines Fahrzeugs
DE102015216908A1 (de) Verfahren zum Erkennen von Objekten auf einer Abstellfläche
DE102011102744A1 (de) Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, Kraftfahrzeug sowie System mit einem Kraftfahrzeug und einer separaten Recheneinrichtung
DE102012009429A1 (de) Verfahren zur Fernkonfiguration eines Fahrzeugs durch Visualisierung der Fahrzeugbedienung, sowie Endgerät und Fahrzeug hierfür
DE102018131805A1 (de) Vorrichtung zum erfassen einer gesichtsposition
EP3853681A1 (de) Verfahren zum klassifizieren einer fahraufgabenfremden aktivität eines fahrers hinsichtlich einer unterbrechbarkeit der fahraufgabenfremden aktivität bei einer übernahmeaufforderung der fahraufgabe und verfahren zur wiederfreigabe einer fahraufgabenfremden aktivität nach einer unterbrechung der fahraufgabenfremden aktivität aufgrund einer übernahmeaufforderung der fahraufgabe
DE102017207438B4 (de) Verfahren, Vorrichtung und deren Verwendung zur Ermittlung des Knickwinkels eines Gespanns
DE102020202284A1 (de) Verfahren zum Trainieren und/oder Optimieren eines Insassenüberwachungssystems
DE102018219290B4 (de) Verfahren zum Anlernen einer personalisierten Scheinwerfereinrichtung eines Kraftfahrzeugs
DE102019204892A1 (de) Verfahren und Steuergerät zum Erkennen einer Müdigkeit eines Fahrers für ein Fahrassistenzsystem für ein Fahrzeug
WO2016156377A1 (de) Verfahren zum bereitstellen von höheninformationen eines objekts in einem umgebungsbereich eines kraftfahrzeugs an einer kommunikationsschnittstelle, sensoreinrichtung, verarbeitungseinrichtung und kraftfahrzeug
WO2020193123A1 (de) Verfahren zur bereitstellung eines sprachdialogs in gebärdensprache bei einem sprachdialog-system für ein fahrzeug
DE102017102640A1 (de) Verfahren zum Erkennen einer Ladevorrichtung zum induktiven Laden eines Energiespeichers eines Kraftfahrzeugs mithilfe einer Kamera des Kraftfahrzeugs, Recheneinrichtung, Fahrzeugassistenzsystem sowie Kraftfahrzeug
DE102018217183A1 (de) Erlernen einer Lichtverteilung für einen Scheinwerfer
WO2012052308A1 (de) Bestimmung der basisbreite eines stereobild-erfassungssystems
WO2018167164A1 (de) Verfahren und vorrichtung zum aktualisieren einer digitalen karte zur fahrzeugnavigation
DE102019104973A1 (de) Verfahren sowie Steuergerät für ein System zum Steuern eines Kraftfahrzeugs
DE102019111608A1 (de) Verfahren zum Bestimmen einer Eigenbewegung eines Kraftfahrzeugs, elektronische Recheneinrichtung sowie elektronisches Fahrzeugführungssystem
DE102013102528B4 (de) Verfahren zur Bestimmung einer Verbauposition einer Innenraumsensorik in einem Fahrzeug
DE102018211908A1 (de) Verfahren für das Erfassen eines digitalen Bildes einer Umgebung eines Kraftfahrzeugs sowie Kraftfahrzeug mit einer Bilderfassungseinrichtung

Legal Events

Date Code Title Description
R163 Identified publications notified