DE102016201939A1 - Vorrichtung, Verfahren und Computerprogramm zur Verbesserung der Wahrnehmung bei Kollisionsvermeidungssystemen - Google Patents

Vorrichtung, Verfahren und Computerprogramm zur Verbesserung der Wahrnehmung bei Kollisionsvermeidungssystemen Download PDF

Info

Publication number
DE102016201939A1
DE102016201939A1 DE102016201939.2A DE102016201939A DE102016201939A1 DE 102016201939 A1 DE102016201939 A1 DE 102016201939A1 DE 102016201939 A DE102016201939 A DE 102016201939A DE 102016201939 A1 DE102016201939 A1 DE 102016201939A1
Authority
DE
Germany
Prior art keywords
driver
vehicle
data
elements
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102016201939.2A
Other languages
English (en)
Inventor
Martin Gehardus
Daniel Töpfer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102016201939.2A priority Critical patent/DE102016201939A1/de
Publication of DE102016201939A1 publication Critical patent/DE102016201939A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychology (AREA)
  • Automation & Control Theory (AREA)
  • Physiology (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Bei den Ausführungsbeispielen der vorliegenden Erfindung kann eine plötzlich gesteigerte Aufmerksamkeit des Fahrers durch geeignete Sensoren registriert werden. Zusätzlich kann in einer solchen Situation die Blickrichtung des Fahrers registriert werden, ebenfalls durch geeignete Sensoren. Somit kann eine vom Fahrer erkannte Gefahr einschließlich der zugehörigen Blickrichtung des Fahrers sensorisch erfasst werden. Die von Fahrer erfassten Informationen werden nun bei der Ermittlung der Gefahrensituation berücksichtigt. Diese Ermittlung umfasst neben einem Identifizieren von Objekten im Umfeld des Fahrzeugs und deren Position auch die Feststellung einer ausreichenden Existenzsicherheit dieser Objekte. Nur bei ausreichender Sicherheit der Existenz der Objekte sind Eingriffe in das Fahrverhalten des Fahrzeugs oder Warnmaßnahmen für den Fahrer zu rechtfertigen.

Description

  • Die Erfindung liegt allgemein auf dem Gebiet der Kollisionsvermeidung für Fahrzeuge, insbesondere bei der Verbesserung der Wahrnehmung von Kollisionsvermeidungssystemen.
  • Generell beinhaltet ein Kollisionsvermeidungssystem, im Folgenden auch System genannt, ein automatisches Eingreifen in das Fahrverhalten eines Fahrzeugs. Weiter gibt ein solches System auch Warnhinweise an den Fahrer aus, die ihn auf erkannte Gefahrensituationen aufmerksam machen. Dabei ist die Beurteilung der Reaktion des Kollisionsvermeidungssystems durch den Fahrer von erheblicher Bedeutung. Bei einer Anzahl von Systemeingriffen oder Warnungen, die der Fahrer als unberechtigt beurteilt, kann das Vertrauen des Fahrers in die Wirksamkeit des Systems erheblich beeinträchtigt werden.
  • Unter Wahrnehmung bei Kollisionsvermeidungssystemen versteht man die Fähigkeiten zur Identifizierung von im Umfeld des Fahrzeugs angeordneten Objekten. Diese geht mit einer Einschätzung des tatsächlichen Vorhandenseins des identifizierten Objekts einher, die auch Existenzwahrscheinlichkeit genannt wird. Entsprechend kann eine Verbesserung der Wahrnehmung der Verbesserung der Objekterkennung dienen. Ergänzend oder alternativ kann die Verbesserung der Wahrnehmung auch der Steigerung der Existenzwahrscheinlichkeit des erkannten Objektes dienen.
  • Objekte umfassen zum Beispiel Personen (zum Beispiel Fußgänger), und/oder Tiere und/oder Fahrzeuge und/oder Gebäude.
  • Um das Risiko eines als unnötig oder gar als falsch empfundenen Eingriffes oder einer Warnung möglichst gering zu halten, wird bei der Parametrierung solcher Systeme konservativ vorgegangen, das heißt, eine Warnung oder ein Eingriff wird so spät wie möglich ausgelöst. Dies steht jedoch im Widerspruch dazu, dass ein frühzeitiger Eingriff die möglichen Folgen einer Kollision stark reduzieren kann, da die kinetische Energie beim Zusammenstoß quadratisch mit dem zeitlichen Abstand zur Kollision sinkt oder eine Kollision durch frühzeitige Bremsung und/oder Ausweichen ganz verhindert werden kann.
  • Es ist aus US 7,206,697 bekannt, dass die Modellierung und Beobachtung des Fahrers dazu genutzt werden kann, um Parameter eines Fahrerassistenzsystems zur Warnung vor oder zur Vermeidung einer Kollision fahreradaptiv anzupassen. Weiterhin ist aus der EP 1 779 355 B1 bekannt, dass Kollisionsvermeidungssysteme die Aufmerksamkeit des Fahrers in die Berechnung des Auslösezeitpunktes mit einbeziehen können. Dazu können gemäß dem Stand der Technik die Erfassung der Lenkaktivität, der Pedalbetätigung, einer Lidschlagbeobachtung durch Innenraumkameras oder durch eine Pulsmessung am Lenkrad verwendet werden.
  • Allerdings beschränken sich die bekannten Ermittlungen und Auswertungen der fahrerspezifischen Daten mittels im Fahrzeug verbauter Sensorik auf den Auslösezeitpunkt der aus Sicht des Systems als notwendig erkannten Maßnahme. Bei der Ermittlung und Beurteilung der Sicherheitssituation selbst werden die Fahrer spezifischen Daten hingegen nicht berücksichtigt. Entsprechend kann die Ermittlung und Beurteilung sich nur auf die üblichen routinemäßigen Maßnahmen zur Ermittlung der Gefahrensituation stützen, die kontinuierlich durchgeführt werden können. Somit bleibt bei der Ermittlung und Beurteilung der Gefahrensituation die gesteigerte Aufmerksamkeit des Fahrers unberücksichtigt
  • Daher besteht Bedarf, die Ermittlung und Beurteilung der Gefahrensituation weiter zu verbessern.
  • Die Aufgabe wird gelöst durch eine Vorrichtung, ein Verfahren und ein Computerprogramm mit den Merkmalen der jeweiligen unabhängigen Patentansprüche.
  • Bei den Ausführungsbeispielen der vorliegenden Erfindung kann dabei eine plötzlich gesteigerte Aufmerksamkeit des Fahrers durch geeignete Sensoren registriert werden. Zusätzlich kann in einer solchen Situation die Blickrichtung des Fahrers registriert werden, ebenfalls durch geeignete Sensoren. Somit kann eine vom Fahrer erkannte Gefahr einschließlich der zugehörigen Blickrichtung des Fahrers sensorisch erfasst werden. Die vom Fahrer erfassten Informationen werden nun bei der Ermittlung der Gefahrensituation berücksichtigt. Diese Ermittlung umfasst neben einem Identifizieren von Objekten im Umfeld des Fahrzeugs und deren Position auch die Feststellung einer ausreichenden Existenzsicherheit dieser Objekte. Nur bei ausreichender Sicherheit der Existenz der Objekte sind Eingriffe in das Fahrverhalten des Fahrzeugs oder Warnmaßnahmen für den Fahrer zu rechtfertigen. Das Maß der Sicherheit der Erkennung des Objektes wird dabei als Existenzwahrscheinlichkeit bezeichnet. Ein Maß für eine ausreichende Existenzwahrscheinlichkeit wird auch als Evidenz bezeichnet. Unter Evidenz ist in diesem Falle als das dem Anschein nach unzweifelbar Erkennbare zu verstehen oder auch die mit besonderer Sicherheit ermittelte Erkenntnis. Entsprechend geht das System bei Evidenz von einer mit besonderer Sicherheit ermittelten Gegenwart erkannter Objekte aus. Erst bei Evidenz stoppt das System seine Ermittlung und stellt anschließend seine gesicherte Wahrnehmung für eine Reaktion des Systems zur Verfügung. Die Fahrerbeobachtung kann nun die Objekterkennung verbessern und/oder die Existenzwahrscheinlichkeit des erkannten Objektes erhöhen. Beide Maßnahmen können die Bearbeitungszeit des Systems verkürzen und/oder massivere Eingriffe ins Fahrverhalten oder massivere Warnungen des Fahrers rechtfertigen. Auch frühere Eingriffe des Systems können veranlasst werden.
  • Objekte beziehen sich auf die Erkennung potentieller im Umfeld eines Fahrzeugs befindlicher Gegenstände, Personen und Anordnungen, die für das Fahrverhalten des Fahrzeugs Relevanz haben können. Dies sind insbesondere solche Objekte, die bei Nichtbeachtung das Fahrzeug gefährden können, beziehungsweise die Objekte gefährden können. Entsprechend umfassen zu identifizierende Objekte zum Beispiel Personen (zum Beispiel Fußgänger), und/oder Tiere und/oder Fahrzeuge und/oder Gebäude und/oder Fahrbahngegebenheiten, wie zum Beispiel die Fahrbahntopologie, siehe zum Beispiel Töpfer, On Compositional Hierarchical Models for holistic Lane and Road Perception in Intelligent Vehicles, 2014.
  • Gemäß eines ersten Aspektes der vorliegenden Erfindung wird ein Verfahren zur Objekterkennung im Umfeld eines Fahrzeugs mit Hilfe von Fahrerbeobachtung vorgeschlagen. Dies umfasst eine Erkennung einer plötzlich gesteigerten Aufmerksamkeit des Fahrers durch Auswertung von Daten zumindest eines Sensors, der zur Erfassung physiologischer Parameter des Fahrers ausgebildet ist. Weiter umfasst das Verfahren eine Ermittlung einer Blickrichtung des Fahrers durch Auswertung von Daten zumindest eines weiteren Sensors zum Zeitpunkt der plötzlich gesteigerten Aufmerksamkeit. Ferner umfasst das Verfahren eine Bestimmung eines Objektes im Umfeld des Fahrzeugs unter Berücksichtigung der plötzlich gesteigerten Aufmerksamkeit und der Blickrichtung.
  • Dabei ist unter Objekterkennung die Identifizierung eines Objektes durch Vergleich von Daten eines Abbildes der Fahrzeugumgebung mit bekannten hinterlegten Objekten oder deren Elemente zu verstehen. Eine Objekterkennung kann stufenweise erfolgen. Beispielsweise können aus den Daten der Fahrzeugumgebung zuerst Linien identifiziert werden, die verschiedene Formen haben können, sogenannte schwache Merkmale, die im Folgenden auch als Merkmale bezeichnet werden. Diese Linien können in einer weiteren Stufe dann zu komplexeren Objektelementen zusammengesetzt werden, zum Beispiel zu einem Kopf, Arm oder Rumpf einer Person, sogenannte starke Merkmale. Diese werden im Folgenden auch Objektelemente genannt. Eine ausreichende Anzahl zueinander passender Objektelemente führt zu einem erkannten Objekt. Weitere Objekte können auch die Fahrbahntopologie charakterisieren, die als Verlauf der Straße in der Landschaft verstanden werden kann. Jede Stufe benötigt Evidenz bei der von ihr getroffenen Aussage. Auch im Anschluss an die Objektbildung kann die Existenzwahrscheinlichkeit des Objektes noch verändert werden, zum Beispiel wenn die Fahrerbeobachtung eine entsprechende Erhöhung über die Evidenz hinaus ermöglicht. Bekannte Methoden der Erkennung solcher Merkmale und Objektelemente sind unter „Sigal et al., Loose-limbed People: Estimating 3D Human Pose and Motion Using Non-parametric Belief Propagation, 2011", „Sudderth et al., Graphical Models for Visual Object Recognition and Tracking, 2006" veröffentlicht.
  • Physiologische Parameter kennzeichnen den Zustand des Fahrers. So kann bereits durch Erfassung einzelner Parameter, wie zum Beispiel der Herzfrequenz oder der Pulsfrequenz, auf einen physiologischen Zustand des Fahrers geschlossen werden. Können verschiedene physiologische Parameter gemessen werden, erhöht sich naturgemäß die Aussagefähigkeit über den Fahrerzustand. Solche Parameter können am Fahrer erhoben werden, zum Beispiel durch Messbänder oder entsprechend mit Sensoren ausgestatteter Kleidungsstücke, sogenannte Wearables oder Smart Watches oder entsprechende Brillen. Sie können durch Beobachtung des Fahrers erhoben werden, zum Beispiel mit einer optischen Innenkamera im Fahrgastraum eines Fahrzeugs oder mit einer Infrarotkamera zur Messung der Hautoberflächentemperatur. Sie können aber auch im Körper erhoben werden durch körperinterne Sensoren, sogenannte Smart Pills.
  • Plötzliche Veränderungen der Parameter deuten auf ein Aufschrecken oder Erschrecken des Fahrers hin, wie es beim Erkennen einer Gefahr durch den Fahrer üblich ist. Entsprechend lässt sich je beobachteten Parameter ein Änderungsmaß definieren, dessen Überschreitung als Aufschrecken des Fahrers verstanden werden kann. Dazu werden die Parameter der physiologischen Größen nach charakteristischen Abweichungen vom Normalverhalten durchsucht. Überschreitet die geschätzte Aufmerksamkeit einen Grenzwert, wird dieser sowie ein Blickrichtungsvektor an die Sensordatenverarbeitung der Sensoreinrichtung weitergegeben. Entsprechend lässt sich durch die kontinuierliche Erfassung dieser Parameter eine plötzlich gesteigerte Aufmerksamkeit des Fahrers, zum Beispiel beim Erschrecken, feststellen.
  • Die Blickrichtung des Fahrers wird mit Hilfe von Blickrichtungsvektoren erfasst, welche in einer Recheneinheit mit Hilfe von Koordinatentransformationen so ausgewertet wird, dass Blickrichtungsvektor und bestimmte Objekte im gleichen Koordinatensystem betrachtet werden können. Folglich ist bekannt, auf welchen Punkt im Umfeld des Fahrzeuges der Blick des Fahrers fällt.
  • Konkret könnte dieser Schritt so aussehen: Bestimmung des Blickrichtungsvektors mit Hilfe einer Innenraumkamera zunächst einzeln für beide Augen, Aufpunkt der Blickrichtungsgeraden in den Pupillen, anschließende Mittelung der beiden Geraden zu x→_Blickrichtung. Die Koordinatentransformation in das Sensorkoordinatensystem (Fzg.-KOS) ergibt eine Gerade für den Sichtstrahl des Fahrers zu x→_(Blickrichtung, Fzg.-KOS) = x_(Augenposition, Fzg.-KOS) + λx→_Blickrichtung Gl. 0
  • Es können nun Punkte oder Objekte im Umfeld des Fahrzeuges ermittelt werden, die vom Blick des Fahrers getroffen werden, in dem die Gerade aus Gleichung 0 mit relevanten Objekten auf Schnitt geprüft werden.
  • Neben der Blickrichtung kann auch der zeitliche Verlauf des Blickrichtungsvektors (Fixationsdauer des Blickes auf Objekt über einem Schwellwert von zum Beispiel ΔtFix, zum Beispiel 300 Millisekunden) berücksichtigt werden. Dabei kann unter Berücksichtigung des zeitlichen Verlaufes und der Blickrichtung in Kombination mit den gemessenen physiologischen Größen durch ein Rechenverfahren eine Wahrscheinlichkeit PFahrer(k) (11) geschätzt werden, mit welcher der Fahrer ein Objekt erkannt hat. Die Variable k bezeichnet hier den aktuellen Zeitschritt.
  • Mit Hilfe des Blickrichtungsvektors wird dabei ein räumlicher Relevanzbereich (engl. Region of Interest, kurz ROI) definiert. Es wird mittels einer Distanzmetrik überprüft, ob sich Objekte und/oder Objektelemente und/oder Merkmale innerhalb des räumlichen Relevanzbereiches befinden.
  • Das Umfeld des Fahrzeugs ist der nähere Bereich um das Fahrzeug herum, das durch das System erfasst und ausgewertet wird. Seine Ausrichtung liegt hauptsächlich in Fahrtrichtung, wobei eine Betrachtung des rückwärtigen und des seitlichen Verkehrs auch mit umfasst ist. Insbesondere eine Kollisionsvermeidung durch das aktive System arbeitet im Schwerpunkt in einem Bereich von 0 m bis 200 m vor dem Fahrzeug. Neben dem Bereich der Kollisionsvermeidung gibt es vielfältige weitere Bereiche im Umfeld des Fahrzeugs, die für Zwecke des Spurwechsels oder anderer Funktionen verwendet werden.
  • Sensoren für erfindungsgemäße Systeme umfassen zum Beispiel Radarsystem, Lidar(Light detection and ranging)-Systeme mit optischer Abstands- und Geschwindigkeitsmessung, stereoskopische optische Kamerasysteme und Ultraschallsysteme. Auch durch Kommunikation mit dem Fahrzeugumfeld, insbesondere mit anderen Fahrzeugen oder stationären Informationsbereitstellern, kann Information zum Fahrzeugumfeld bereitgestellt werden. Insbesondere kann durch solche Zusatzinformation das beobachtbare Umfeld des Fahrzeugs auch über die unmittelbare Erkennbarkeit hinaus durch Fahrzeug eigene Sensoren erweitert werden.
  • Vorteilhaft kann so die Gefahrenerkennung des Fahrers mit in die Wahrnehmung der Objekte im System einfließen.
  • Optional kann das zu erkennende Objekt im Umfeld eines Fahrzeugs Objektelemente umfassen. Diese können wiederum Merkmale umfassen. Merkmale, Objektelemente und Objekte bilden somit eine Hierarchie, deren Stufen sequentiell bearbeitbar sind. Eine Erkennung der Objektelemente und/oder der Merkmale basiert auf einer Durchsuchung eines Abbildes vom Umfeld des Fahrzeuges mit Daten in einer ersten Auflösung. Ferner basiert im Bereich der Blickrichtung des Fahrers die Erkennung der Objektelemente und/oder der Merkmale auf einer Durchsuchung des Abbildes mit Daten in einer zweiten Auflösung. Die zweite Auflösung ist feiner als die erste Auflösung.
  • Objektelemente kennzeichnen ein Objekt. Werden ausreichend viele und eindeutige Objektelemente identifiziert, kann dadurch das Objekt nachgewiesen werden. Dabei können Objektelemente komplexere Formen umfassen wie zum Beispiel Arme, Beine, Kopf und Rumpf. Die Objektelemente sind dabei in einer bestimmten geografischen Anordnung und Lage zueinander angeordnet. So sitzt zum Beispiel das Objektelement vom Kopf auf dem Objektelement des Rumpfes bei einem Objekt einer Person, die zum Beispiel als Fußgänger ausgebildet ist.
  • Die Objektelemente können wiederum auf Merkmalen basieren. Merkmale sind einfachere geometrische Formen, die zum Beispiel als Linie ausgebildet sein können. Mehrere zueinander passend angeordnete Merkmale können zu einem Objektelement führen. Die Merkmale selbst können unmittelbar aus dem Abbild des Umfelds des Fahrzeugs ermittelt werden. Da sie einfachere geometrische Formen umfassen, ist dabei geringerer Rechenaufwand als bei der Ermittlung von Objektelementen notwendig.
  • Das System ist nunmehr bestrebt, in einer Stufe Merkmale zu erkennen. In einer weiteren Stufe können aus den erkannten Merkmalen Objektelemente geformt werden. In einer weiteren Stufe ist es bestrebt, aus erkannten Objektelementen Objekte zu bilden.
  • Ein Abbild vom Umfeld des Fahrzeugs ist durch eine Datenmenge gegeben, die von den zur Verfügung stehenden Sensoren erfasst wird. Die Sensoren werden in erster Linie im oder am Fahrzeug angeordnete Sensoren sein. Allerdings können Daten für das Abbild des Umfeldes auch von externen Sensoren geliefert werden, zum Beispiel von anderen Fahrzeugen, die auch als Car2Car Kommunikation bezeichnet wird. Hiermit bezeichnet man den Austausch von Informationen und Daten zwischen Kraftfahrzeugen mit dem Hintergrund, dem Fahrer frühzeitig kritische und gefährliche Situationen zu melden. Weiter kann auch ein Austausch mit Feststationen, zum Beispiel am Fahrbahnrand, vorgesehen sein. Dies ist auch als Car-2-X bekannt. Die Kommunikation mit der Umgebung kann dabei beispielsweise über eine eigene oder eine vorhandene Infrastruktur erfolgen. Durch die Sammlung der Daten sollen frühzeitige Warnungen vor Glatteis, Staus oder anderen Hindernissen ermöglicht und dadurch der Straßenverkehr sicherer und zügiger gestaltet werden.
  • Dabei kann das Abbild in sensorspezifische Abbilder aufgeteilt sein, bei denen zum Beispiel das Radar- und das Ultraschallabbild getrennt erfasst, gespeichert und ausgewertet wird. Es ist aber auch ein gemeinsames Abbild denkbar, bei dem alle Sensordaten in einer gemeinsamen Datenwolke erfasst, gespeichert und ausgewertet werden. Weiter ist denkbar, dass für das aktive System ein eigenes Abbild vorgehalten wird und für andere im Fahrzeug angeordnete Systeme, wie zum Beispiel für den Spurhalteassistent, ergänzend ein eigenes Abbild vorgehalten wird.
  • Die Daten des Abbilds vom Umfeld des Fahrzeugs liegen in einer Auflösung vor, die in erster Linie von den einzelnen eingesetzten Sensoren abhängt. Allerdings kann hierbei die Datenmenge bereits solche Umfänge annehmen, dass in der zur Verfügung stehenden Zeit bis zum nächsten Abbild keine vollständige Bearbeitung der Abbild-Daten möglich ist. Eine übliche Frequenz bei der Abbilderneuerung kann Sensor spezifisch sein. Sie liegt üblicherweise zwischen 10 bis 50 Millisekunden. Aus diesem Grunde wird für eine routinemäßige Analyse der Daten die Datenmenge verkleinert durch Reduzierung der Auflösung des Abbildes. Hierbei können bekannte Kompressionsverfahren eingesetzt werden. Bei reduzierter Auflösung reduziert sich naturgemäß die Erkennbarkeit von Merkmalen und Objektelementen in gewissen Umfang.
  • Vorteilhaft kann so im Bereich der vermuteten Gefahr mit besonderer Genauigkeit das Abbild des Fahrzeugumfeldes untersucht werden.
  • Weiter optional können die Daten in der ersten Auflösung mit einer ersten Prozessorleistung durchsucht werden. Die Daten in der zweiten Auflösung können mit einer zweiten Prozessorleistung durchsucht werden, wobei die zweite Prozessorleistung höher ist als die erste Prozessorleistung. Dabei können sich die erste und die zweite Prozessorleistung um den Faktor 2 bzw. 4 (je nach Ansatz) unterscheiden.
  • Die Prozessorleistung kann durch verschiedene Maßnahmen beeinflusst werden. So können verschiedene Taktraten dem Prozessor zur Verfügung gestellt werden, die eine unterschiedliche Bearbeitungsgeschwindigkeit des Prozessors vorgeben. Wegen des dabei gesteigerten Stromverbrauchs und/oder auch wegen der erhöhten thermischen Belastung wird diese Zeit beschränkt. Weiter können zusätzliche Aufgaben für den Prozessor für die Zeit der Untersuchung mit genauerer Auflösung blockiert werden. Damit kann der Prozessor seine gesamte Rechenleistung der Durchsuchung des Abbildes des Fahrzeugumfeldes widmen. Bei einem Mehrprozessorsystem können mehrere Prozessoren parallel oder quasi parallel das Abbild des Fahrzeugumfeldes durchsuchen. Entsprechend lässt sich durch einzelne Maßnahmen oder auch durch Kombination der genannten Maßnahmen die Prozessorleistung erhöhen.
  • Vorteilhaft kann somit der erhöhte Verarbeitungsaufwand durch erhöhte Rechenleistung zeitlich zumindest teilweise kompensiert werden.
  • In Ausführungsbeispielen können im Bereich der Blickrichtung des Fahrers identifizierte Objektelemente durch simulierte Objektelemente ergänzt werden, die einer Objekthypothese zugeordnet sind.
  • Die Identifizierung von Objektelementen kann auf Basis identifizierter Merkmale, zum Beispiel identifizierter Linien, erfolgen. So können im Bereich der Blickrichtung des Fahrers einige identifizierte Objektelemente vorliegen, die aber unzureichend sind, um ein Objekt zu identifizieren. Beispielsweise sind Objektelemente identifiziert, die das Abbild eines Arms, eines Beins und eines Kopffragments umfassen. Da die identifizierten Objektelemente aber mehrdeutig sein können, ist die Anwesenheit eines Objektes, zum Beispiel einer Person, noch nicht sicher erkennbar. Bei normaler Bearbeitung würde das System bei dieser Sachlage kein Objekt identifizieren können. Da im Bereich der Blickrichtung des Fahrers jedoch die Objektwahrscheinlichkeit deutlich erhöht ist, ergänzt das System die erkannten Objektelemente durch voraussichtlich passende simulierte Objektelemente einer Objekthypothese. Letztere umfassen alle Objektelemente eines Objektes.
  • Basis der Identifizierung von Objektelementen können die schwachen Merkmale sein, die zur Bildung von Objektelementen herangezogen werden, wie bereits erwähnt. Solche Merkmale können zum Beispiel als Fahrstreifenmarkierungen, abstrakte Merkmale wie Kanten an Grauwert- oder Farbübergängen ausgebildet sein. Ferner können auch Merkmale wie Extremitäten, Kopfposen oder ähnliches aus Bilddaten nach bekannten Verfahren extrahiert werden. Solche Verfahren werden auch als „Bottom-Up“ Verfahren gekennzeichnet.
  • Vorteilhaft wird somit im voraussichtlich kritischen Bereich des Umfeldes des Fahrzeugs die Schwelle der Objekterkennung deutlich abgesenkt.
  • Optional wird geprüft, ob die simulierten Objektelemente mit den identifizierten Objektelementen in Übereinstimmung gebracht werden können. Im Falle der Übereinstimmung der simulierten Objektelemente mit den identifizierten Objektelementen erfolgt die Bestimmung des Objektes unter Berücksichtigung der identifizierten Objektelemente und der simulierten Objektelemente.
  • Wegen der benötigten großen Gewissheit der Existenz der erkannten Objekte, auch Evidenz genannt, ist die Übereinstimmung der identifizierten Objektelemente und der entsprechenden simulierten Objektelemente notwendige Voraussetzung der Ergänzung durch die simulierten Objektelemente.
  • Die Übereinstimmung von simulierten und identifizierten Objektelementen wird durch den Vergleich typischer Eigenschaften des Objektelements festgestellt. So können Ausdehnung, Form, Lage und relative Position zu anderen Objektelementen herangezogen werden. Beispielsweise kann ein Objektelement eines Arms auf Übereinstimmung in Bezug auf die eingenommene Körperpose einer Person, auch als Körperhaltung bekannt, und den wahrgenommenen Bewegungsablauf der Person abgeglichen werden. Allerdings wird unter Übereinstimmung kein identisches Abbild verstanden. Vielmehr kann sich die Übereinstimmung auf die Erkennbarkeit wesentlicher Elemente der Objektelemente und deren Zusammenhänge beschränken.
  • Vorteilhaft kann so der übliche Identifizierungsmechanismus der Objekte zur Anwendung kommen.
  • Weiter optional kann eine Mehrzahl von Typen von Objekthypothesen gespeichert sein. Dabei kann der Typ der eingesetzten Objekthypothese von Daten abhängen, die eine Fahrerreaktion beschreiben.
  • Es kann beispielsweise der Grad des Erschreckens des Fahrers ermittelt werden. Bei mäßigen Erschrecken können Objekthypothesen bevorzugt werden, die im Fahrzeugumfeld erwarteten Objekten entsprechen. Bei heftigem Erschrecken des Fahrers, gegebenenfalls kombiniert mit weiteren Reaktionen des Fahrers, zum Beispiel unerwarteten Lenkreaktionen, ist eher auf nicht erwartete Objekte zu schließen. Beispielhaft kann im ersten Fall ein Fahrzeug knapp das eigene Fahrzeug überholen. Im zweiten Fall kann ein Kind auf die Straße laufen.
  • Vorteilhaft kann so die Auswahl zutreffender Objekthypothesen unterstützt werden.
  • In Ausführungsbeispielen kann die Objekthypothese nur ergänzt werden, wenn ein Prüfschritt ergibt, dass im Bereich der Blickrichtung des Fahrers die Objektbildung noch zu keinem identifizierbaren Objekt geführt hat.
  • Entsprechend wird vor der Ergänzung der identifizierten Objektelemente durch die simulierten Objektelemente geprüft, ob bereits die identifizierten Objektelemente die Bildung einer Objekthypothese erlauben. Dazu wird der Vorgang der Objektbildung durchlaufen, der zum Ziel hat, die Objektelemente in eine Objekthypothese zu überführen. Erst wenn dieser fehlschlägt, werden die simulierten Objektelemente ergänzt.
  • Mit anderen Worten kann eine Fallunterscheidung vorgenommen werden. Im ersten Fall können erkannte Objekte als Attribut eine Existenzwahrscheinlichkeit PSensor(k) besitzen, wobei k den aktuellen Zeitschritt eines zugehörigen Rechenverfahrens bezeichnet. Durch den Blickrichtungsvektor und die Fahrerreaktion wurde eine Existenzwahrscheinlichkeit für ein Objekt geschätzt, wie bereits erwähnt. Nun wird die Existenzwahrscheinlichkeit des Objektes gemäß der Formel
    Figure DE102016201939A1_0002
    wobei δS + δF = 1 Gl. 2 verändert, falls PFahrer(k) > PSensor(k). Die Variablen δS und δF sind Parameter, mit welchen die Gewichtung der Fahrerreaktion festgelegt werden kann.
  • Durch die erhöhte Existenzwahrscheinlichkeit, bedingt durch die zusätzliche Sicherheit durch die Fahrerbeobachtung, kann so einem Eingriff des Fahrerassistenzsystems stattgegeben werden, was aufgrund des unsicheren Wissens der reinen Fahrzeug Sensorik nicht möglich gewesen wäre. Die Reaktion der Fahrerassistenzfunktion wird somit verbessert.
  • Im zweiten Fall kann zunächst der Bereich der Blickrichtung des Fahrers nach Objektelementen durchsucht werden. Da der Bereich der Blickrichtung des Fahrers nur einen Teilbereich des gesamten Umfeldes des Fahrzeugs darstellt, kann diese Suche mit einer höheren Auflösung stattfinden (zum Beispiel bei gleich bleibender Suchzeit bzw. Rechenkomplexität). Weiterhin ist denkbar, aufgrund der Hinweise durch die Fahrerreaktion eine erhöhte Rechenleistung freizugeben, mit welcher die Suche durchgeführt wird. Dies kann beispielsweise dadurch erreicht werden, dass kurzfristig zusätzliche im Fahrzeug befindliche Rechenzeiten genutzt werden. Nach der Suche mit höherer Rechenleistung bzw. höherer Auflösung bei Bildverarbeitungsverfahren kann sich eine neue Menge zusätzlicher Objektelemente ergeben. Diese Menge zusätzlicher Objektelemente wird weiter an eine Verarbeitungskette gegeben. Es kann zu einer neuen Menge von Objekten führen auf Basis aller nunmehr erkannten Objektelemente. So können Objekte detektiert werden, welche ohne die Fahrerreaktion nicht zu detektieren waren, zum Beispiel weil Auflösung zu niedrig war aufgrund der Größe des Suchbereiches. Ein Verfahren zur Objektbildung bzw. zur Feature-Extraktion ist zum Beispiel aus WO 2009019250 A2 bekannt. Wird im Bereich der Blickrichtung des Fahrers kein neues Objektelement gefunden, wird der Bereich der Blickrichtung des Fahrers nach relevanten Merkmalen durchsucht, die zu einer vergrößerten Anzahl der Merkmale führen kann. Diese können nun wieder weiter an eine Verarbeitungskette gegeben werden und so über den Zwischenschritt neuer Objektelemente neue Objekte erzeugen.
  • Zur Ermittlung der Existenzwahrscheinlichkeit können mittels einer Stereokameraanordnung erzeugte und von einer zeitlichen Filterung unabhängige dichte Stereodaten verwendet werden. Die zeitliche Filterung kann beispielsweise mittels eines Kalman-Filters durchgeführt werden.
  • Vorteilhaft kann somit die Qualität der Objektbildung gesteigert werden und zugleich zusätzlicher Ermittlungsaufwand des Systems auf unklare Fälle beschränkt werden.
  • In Ausführungsbeispielen kann alternativ auch zumindest der Inhalt oder die Ausprägung einer vorgegebenen geometrischen Form im Abbild vom Umfeld des Fahrzeugs auf vorgegebene Objektelemente hin untersucht werden. Weiter können die identifizierten Objektelemente und/oder der Inhalt oder die Ausprägung der vorgegebenen geometrischen Form im Abbild vom Umfeld des Fahrzeugs auf vorgegebene Merkmale hin untersucht werden.
  • Geometrische Formen können dabei als Rechtecke ausgebildet sein, die zum Beispiel einer Erkennung von Fahrzeugen oder Fußgänger dienen. Alternativ können die geometrischen Formen auch als Klothoiden ausgebildet sein, die insbesondere zur Erkennung des Fahrbahnverlaufs geeignet sind. Unter Klothoiden wird eine spezielle ebene Kurve verstanden, die in der Ebene bis auf Ähnlichkeit durch ihre Eigenschaft eindeutig bestimmbar ist. Sie wird als Übergangsbogen bei Kurven im Straßenbau und im Eisenbahnbau eingesetzt. Ihr Krümmungsverlauf nimmt linear zu und dient einer ruckfreien Fahrdynamik.
  • Vorteilhaft kann somit alternativ zum „Bottom-Up“ Verfahren auch das hier beschriebene „Top-Down“ Verfahren eingesetzt werden. Die Auswahl der Methode kann von der Ausgestaltung einer Sensordatenverarbeitung abhängen.
  • Optional kann das Bestimmen des Objektes eine Objektbewertung mit einem Existenzwahrscheinlichkeit zur Angabe der Wahrscheinlichkeit, dass das Objekt tatsächlich existiert, umfassen. Dabei wird die in einem ersten Schritt ohne Berücksichtigung der Blickrichtung ermittelte Existenzwahrscheinlichkeit eines Objektes im Bereich der Blickrichtung des Fahrers in einem zweiten Schritt erhöht. Zusätzlich oder alternativ können die in einem ersten Schritt ohne Berücksichtigung der Blickrichtung ermittelte Existenzwahrscheinlichkeit des Objektes außerhalb des Bereich der Blickrichtung des Fahrers in einem zweiten Schritt abgesenkt werden.
  • Die Existenzwahrscheinlichkeit kann als Ausdruck oder Maß einer Gewissheit verstanden werden, dass das erkannte Objekt tatsächlich existiert. Große Gewissheit wird auch als Evidenz bezeichnet, wie bereits ausgeführt. Dabei kann die Existenzwahrscheinlichkeit zumindest einen Wert einnehmen, der die für die Erkennung des Objektes nötige Evidenz aufweist. Darüber hinaus kann die Existenzwahrscheinlichkeit über die Evidenz hinaus weiter erhöht werden. Mit anderen Worten kann die Gewissheit der Existenz zusätzlich vergrößert werden. Beispielsweise kann bei bereits erkannten Objekten durch den Blick des Fahrers auf das Objekt die Gewissheit seiner Existenz höher angesetzt werden.
  • Es können die ermittelten Daten der erfassten physiologischen Parameter aber auch eine Verminderung der ermittelten Existenzwahrscheinlichkeit bewirken. Dies kann insbesondere dann der Fall sein, wenn ein Objekt mit evidenter Existenzwahrscheinlichkeit nicht in der Blickrichtung des Fahrers liegt, insbesondere wenn es neben der Blickrichtung des Fahrers angeordnet ist.
  • Vorteilhaft können bei erhöhter Existenzwahrscheinlichkeit drastischere Eingriffe in das Fahrverhalten des Fahrzeugs vorgenommen werden und/oder die Maßnahmen können früher eingeleitet werden und/oder umfangreicher sein. Alternativ kann bei Fokus des Fahrers auf andere Objekte eine abgesenkte Existenzwahrscheinlichkeit von Objekten zur Streichung unsicherer Objekte führen.
  • Weiter optional kann die Auswertung der Daten, die einen physiologischen Parameter des Fahrers entsprechen, auf ein Erschrecken des Fahrers hinweisen.
  • Eine plötzlich gesteigerte Aufmerksamkeit kann in verschiedenen Geraden festgestellt werden. Dabei ist die deutlichste Veränderung der physiologischen Parameter als ein Erschrecken des Fahrers auszulegen. Weniger deutliche Veränderungen lassen sich auch einer anderen Stufe der Aufmerksamkeitsveränderung zuordnen, zum Beispiel einer Stufe der Überraschung. Entsprechend können durch Auswertung der physiologischen Parameter eine Abstufung des beobachteten Fahrerzustandes ermittelt werden.
  • Vorteilhaft können so beim Erschrecken des Fahrers als der höchsten Stufe der Fahreraufmerksamkeit drastische Eingriffe des Systems in das Fahrverhalten erfolgen.
  • Weiter optional können Daten zur Erfassung zumindest eines physiologischen Parameters des Fahrers mit Hilfe von zumindest eines am Körper getragenen Sensors und/oder im Körper befindlichen Sensors und/oder in einem Fahrzeug im Fahrgastraum befindlichen Sensors ermittelt werden.
  • Vorteilhaft kann so den jeweiligen Gegebenheiten flexibel Rechnung getragen werden. Trägt der Fahrer beispielsweise Sensoren am oder im Körper, können die entsprechenden Daten mit ausgewertet werden. Aber auch ohne solche körpernahen Sensoren sind die physiologischen Parameter des Fahrers bestimmbar.
  • In Ausführungsbeispielen können die Daten der physiologischen Parameter des Fahrers die Aufweitung der Pupillen und/oder den Pulsanstieg und/oder Schweißbildung und/oder den veränderten Lidschlag des Auges erkennen lassen.
  • Vorteilhaft kann durch Kombination möglichst vieler verschiedener Parameter die Aufmerksamkeit des Fahrers sicher ermittelt werden.
  • Optional kann eine Ausgestaltung des im Fahrgastraum eines Fahrzeugs angeordneten Sensors eine Innenraumkamera und/oder eine von Fahrer getragenen Brille umfassen.
  • Vorteilhaft kann so die Blickrichtung des Fahrers genau ermittelt werden.
  • Am Körper getragene Sensoren können dabei als Kleidungs- oder Schmuckstücke mit integrierten Sensoren ausgeführt sein. So können Armbänder zur Erfassung von Blutdruck und Pulsfrequenz zum Einsatz kommen. Diese werden in der Regel unmittelbar auf der Haut des Fahrers getragen. Auch die Schweißbildung ist mit Hilfe solcher so genannter Wearebles zu ermitteln. Zusätzlich oder alternativ können auch spezifische von Fahrer getragene Brillen physiologischen Parameter des Fahrers erfassen. Zum Beispiel ist die Blickrichtung des Fahrers erfassbar und zum Beispiel über Funk dem Fahrzeug mitteilbar. Auch die Temperaturmessung der Haut oder eine Schweißbildungserkennung ist so durchführbar. Im Körper befindliche Sensoren können in Pillenform ausgebildet und schluckbar sein. Sie können chemische Reaktionen im Körper ermitteln und zum Beispiel ebenfalls per Funkverbindung entsprechende Werte dem Fahrzeug mitteilen. Im Fahrgastraum eines Fahrzeugs angeordnete Sensoren können eine optische Kamera und/oder Infrarotkamera umfassen. Diese können ihrerseits zur Ermittlung der Fahrerblickrichtung herangezogen werden. Darüber hinaus kann auch Müdigkeit, Unaufmerksamkeit oder Sekundenschlaf detektiert werden. Weiter kann auch der Pulsschlag beispielsweise vom Lenkrad detektiert werden. Vorzugsweise werden die Daten aller verfügbaren Sensoren kombiniert ausgewertet.
  • Eine weitere Ausführungsform der Erfindung umfasst ein Computerprogramm zur Durchführung wenigstens eines Schrittes der oben genannten Verfahren. Das Computerprogramm läuft dabei auf einer programmierbaren Hardwarekomponente ab.
  • Vorteilhaft ist somit eine leichte Änderbarkeit der Funktion gegeben, da die programmierbare Hardwarekomponente in vielen Fällen nicht geändert werden muss.
  • Eine weitere Ausführungsform der Erfindung betrifft ein System zur Beeinflussung der aktiven Fahrzeugsicherheit. Es umfasst eine Sensoreinheit zum Erfassen des Umfelds eines Fahrzeugs. Ferner umfasst es einen Erkennungsprozessor zur Erkennen einer plötzlich gesteigerten Aufmerksamkeit des Fahrers durch Auswertung zumindest eines physiologischen Parameters des Fahrers. Weiter umfasst es einen Ermittlungsprozessor zur Ermittelung der Blickrichtung des Fahrers zum Zeitpunkt der plötzlich gesteigerten Aufmerksamkeit. Weiter umfasst es einen Bestimmungsprozessor zur Bestimmung eines Objektes im Umfeld des Fahrzeugs unter Berücksichtigung der plötzlich gesteigerten Aufmerksamkeit und der Blickrichtung.
  • Vorteilhaft kann so die Gefahrenerkennung des Fahrers mit in die Bestimmung der Objekte im System einfließen.
  • Optional kann der Erkennungsprozessor an zumindest ein fahrzeugfestes und/oder am Fahrer angeordnetes und/oder im Fahrer angeordnetes Erfassungsgerät gekoppelt sein.
  • Diese Erfassungsgeräte können zum Beispiel am Körper getragen werden, zum Beispiel als Brille oder Armband ausgeführt, und/oder sich im Körper befinden.
  • Vorteilhaft können die Daten der fahrzeugfesten Erfassungsgeräte ergänzt werden durch weitere Daten, die den physiognomischen Zustand des Fahrers beschreiben.
  • Einige beispielhafte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend bezugnehmend auf die beiliegenden Figuren näher erläutert. Es zeigen:
  • 1 ein Verfahren nach einem Ausführungsbeispiel der Erfindung
  • 2 eine Ausprägung eines Ausführungsbeispiels der Erfindung in hierarchischer Form
  • 3 eine Ausprägung eines Ausführungsbeispiels der Erfindung mit Simulation
  • 4 eine weitere Ausprägung eines Ausführungsbeispiels der Erfindung mit Simulation
  • 5 eine Ausprägung eines Ausführungsbeispiels der Erfindung in Bezug auf Existenzwahrscheinlichkeit
  • 6 ein als System ausgeführtes Ausführungsbeispiel der Erfindung als Prinzipschaltbild
  • 7 ein als System detaillierter ausgeführtes Ausführungsbeispiel der Erfindung
  • Verschiedene Ausführungsbeispiele werden nun ausführlicher unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben, in denen einige Ausführungsbeispiele dargestellt sind. In den Figuren können die Dickenabmessungen von Linien, Schichten und/oder Regionen um der Deutlichkeit Willen übertrieben dargestellt sein.
  • Bei der nachfolgenden Beschreibung der beigefügten Figuren, die lediglich einige exemplarische Ausführungsbeispiele zeigen, können gleiche Bezugszeichen gleiche oder vergleichbare Komponenten bezeichnen. Ferner können zusammenfassende Bezugszeichen für Komponenten und Objekte verwendet werden, die mehrfach in einem Ausführungsbeispiel oder in einer Zeichnung auftreten, jedoch hinsichtlich eines oder mehrerer Merkmale gemeinsam beschrieben werden. Komponenten oder Objekte, die mit gleichen oder zusammenfassenden Bezugszeichen beschrieben werden, können hinsichtlich einzelner, mehrerer oder aller Merkmale, beispielsweise ihrer Dimensionierungen, gleich, jedoch gegebenenfalls auch unterschiedlich ausgeführt sein, sofern sich aus der Beschreibung nicht etwas anderes explizit oder implizit ergibt.
  • Obwohl Ausführungsbeispiele auf verschiedene Weise modifiziert und abgeändert werden können, sind Ausführungsbeispiele in den Figuren als Beispiele dargestellt und werden hierin ausführlich beschrieben. Es sei jedoch klargestellt, dass nicht beabsichtigt ist, Ausführungsbeispiele auf die jeweils offenbarten Formen zu beschränken, sondern dass Ausführungsbeispiele viel-mehr sämtliche funktionale und/oder strukturelle Modifikationen, Äquivalente und Alternativen, die im Bereich der Erfindung liegen, abdecken sollen. Gleiche Bezugszeichen bezeichnen in der gesamten Figurenbeschreibung gleiche oder ähnliche Elemente.
  • Die Terminologie, die hierin verwendet wird, dient nur der Beschreibung bestimmter Ausführungsbeispiele und soll die Ausführungsbeispiele nicht beschränken. Wie hierin verwendet, sollen die Singularformen „einer,” „eine”, „eines” und „der, die, das“ auch die Pluralformen beinhalten, solange der Kontext nicht eindeutig etwas anderes angibt. Ferner sei klargestellt, dass die Ausdrücke wie zum Beispiel „beinhaltet“, „beinhaltend“, aufweist“ und/oder „aufweisend“, wie hierin verwendet, das Vorhandensein von genannten Merk-malen, ganzen Zahlen, Schritten, Arbeitsabläufen, Elementen und/oder Komponenten angeben, aber das Vorhandensein oder die Hinzufügung von einem bzw. einer oder mehreren Merkmalen, ganzen Zahlen, Schritten, Arbeitsabläufen, Elementen, Komponenten und/oder Gruppen davon nicht ausschließen.
  • 1 zeigt ein Verfahren nach einem Ausführungsbeispiel der Erfindung in einem Prinzipschaltbild. Dabei zeigt 1 ein Verfahren zur Objekterkennung im Umfeld eines Fahrzeugs mit Hilfe von Fahrerbeobachtung 100. Ein als Rechteck dargestellter Schritt 110 dieses Verfahrens umfasst das Erkennen einer plötzlich gesteigerten Aufmerksamkeit des Fahrers durch Auswertung von Daten zumindest eines Sensors zur Erfassung physiologischer Parameter des Fahrers. Dies kann die Erfassung der plötzlichen Aufweitung der Pupillen umfassen. Ein zweiter ebenfalls als Rechteck dargestellter Schritt des Verfahrens 120 umfasst eine Ermittlung einer Blickrichtung des Fahrers durch Auswertung von Daten zumindest eines weiteren Sensors zum Zeitpunkt der plötzlich gesteigerten Aufmerksamkeit. Diese Ermittlung kann durch eine Innenraumkamera oder eine geeignete Brille des Fahrers unterstützt werden. Im ebenfalls als Rechteck dargestellten Schritt 130 werden die Erkennung der plötzlich gesteigerten Aufmerksamkeit 110 und die Ermittlung der Blickrichtung des Fahrers 120 berücksichtigt, was durch Pfeile vom den Schritt 110 zum Schritt 130 sowie vom Schritt 120 zum Schritt 130 dargestellt ist. Weiter ist ein Pfeil auf die Darstellung von Schritt 130 gerichtet, der Daten vom Umfeld des Fahrzeugs symbolisiert. Im Schritt 130 wird nun ein Objekt im Umfeld des Fahrzeugs bestimmt unter Berücksichtigung der drei Eingangsgrößen.
  • 2 zeigt eine Ausprägung eines Ausführungsbeispiels der Erfindung in hierarchischer Form 140. Dabei zeigt ein Rechteck ein Abbild vom Umfeld des Fahrzeuges mit Daten in einer ersten Auflösung 142. Darin ist ein Rechteck 143 platziert, das die Daten im Bereich der Blickrichtung eines Fahrers darstellt und die entsprechenden Daten vom Umfeld des Fahrzeuges in einer zweiten Auflösung darstellt. Alle Daten werden auf als Oval dargestellte Merkmale 134 untersucht, die einfache geometrische Formen umfassen. Ein das Oval 134 umfassendes weiteres Oval 133 stellt Objektelemente dar, die aus Merkmalen 134 zusammengesetzt sein können. Objektelemente können ebenfalls aus den Daten extrahiert werden. Ein das Oval 133 umfassendes Oval 132 stellt Objekte dar, die aus Objektelementen 133 zusammengesetzt sein können. Die Ovale sind beispielhaft im Bereich der Daten mit der ersten Auflösung 142 platziert. Es werden in gleicher Weise auch die Daten mit der zweiten Auflösung 143 durchsucht (nicht gezeigt).
  • 3 zeigt eine Ausprägung eines Ausführungsbeispiels der Erfindung mit Simulation. Es sind drei Rechtecke dargestellt, die Objektelemente beinhalten. Im linken Rechteck 145 sind Objektelemente gezeigt, die aus der Durchsuchung des Abbildes vom Umfeld des Fahrzeugs ermittelt wurden, beispielsweise durch Zusammensetzung von entsprechenden Merkmalen. Dargestellte Objektelemente beziehen sich auf eine Person und sind als Kopffragment, als linker Arm, Rumpf und rechtes Bein dargestellt. Diese Objektelemente reichen nicht zur Erkennung des Objektes, hier der Person, aus. Liegen die erkannten Objektelemente im Bereich der Blickrichtung des Fahrers, werden simulierte Objektelemente hinzugefügt, die einer bekannten Objekthypothese entsprechen. Diese Objekthypothese kann abhängig von der Fahrerreaktion und von den erkannten Objektelementen ausgewählt werden. Die simulierten Objektelemente sind im Rechteck 146 strichliert dargestellt und umfassen den vollständigen Kopf, beide Arme, beide Beine und den Rumpf. Ein „plus“ Zeichen zwischen den Rechtecken 145 und 146 stellt die Zusammenschau beider Arten von Objektelemente dar. So zeigt ein Pfeil auf das Rechteck 147, das die Summe der identifizierten und der simulierten Objektelemente zeigt. Identifizierte Objektelemente sind dabei als durchgehende Linien dargestellt. Simulierte Objektelemente sind dabei als strichlierte Linien dargestellt. Erfindungsgemäß kann vor der Ergänzung geprüft werden, ob die simulierten Objektelemente mit den zugehörigen identifizierten Objektelementen übereinstimmen, wie bereits beschrieben.
  • 4 zeigt eine weitere Ausprägung eines Ausführungsbeispiels der Erfindung mit Simulation. Eine Entscheidungsraute zeigt einen Prüfschritt 150. Dieser prüft, ob im Bereich der Blickrichtung des Fahrers die Objektbildung noch zu keinem identifizierten Objekt geführt hat. Auf die Raute zeigt ein Pfeil, der Daten darstellt, die identifizierte Objektelemente und daraus identifizierte Objekte im Bereich der Blickrichtung des Fahrers umfassen. Im Falle bereits identifizierter Objekte führt ein Pfeil von der rechten Rauten-Spitze zu einer Weiterverarbeitung 154. Im Falle noch nicht identifizierter Objekte führt ein Pfeil von der linken Rauten-Spitze zum Rechteck 152, das die Ergänzung der identifizierten Objektelemente um die simulierten Objektelemente darstellt. An das Rechteck 152 führt ein Pfeil, der von einer Mehrzahl von als Rechtecke dargestellte Objekthypothesen 132 ausgeht. Dies stellt die Auswahl der passenden Objekthypothese aus der Mehrzahl der vorgehaltenen Objekthypothesen dar. In Ausführungsbeispielen kann der Vorgang 152 auch noch die Objektbildung auf Basis der ergänzten Objektelemente umfassen, so dass anschließend identifizierte Objekte vorliegen. Ein Pfeil vom Rechteck 152 zur Weiterverarbeitung 154 zeigt die Weiterverarbeitung der ergänzten Objektelemente an. Diese Weiterverarbeitung 154 kann den Eingriff in das Fahrzeugverhalten bewirken oder eine Warnung an den Fahrer beinhalten.
  • 5 zeigt eine Ausprägung eines Ausführungsbeispiels der Erfindung in Bezug auf Existenzwahrscheinlichkeit. Dabei zeigt das Rechteck 180 eine Ermittlung der Existenzwahrscheinlichkeit eines erkannten Objektes, wie bereits beschrieben. Ein Pfeil führt aus dem Rechteck 180 auf die Spitze einer Raute. Diese symbolisiert die weitere Bearbeitung der Existenzwahrscheinlichkeit. Im Falle der Lage des Objekts im Bereich der Blickrichtung des Fahrers führt von der linken Rauten-Spitze ein mit „+“ gekennzeichneter Pfeil zum Vorgang 185. Beim Vorgang 185 wird der Wert der Existenzwahrscheinlichkeit erhöht. Im Falle der Lage des Objekts außerhalb der Blickrichtung des Fahrers führt von der rechten Rauten-Spitze ein mit „–“ gekennzeichneter Pfeil zum Vorgang 190. Beim Vorgang 190 wird der Wert der Existenzwahrscheinlichkeit abgesenkt.
  • 6 zeigt ein als System ausgeführtes Ausführungsbeispiel der Erfindung als Prinzipschaltbild. Dabei sind in dem als Rechteck ausgebildeten System 200 verschiedene Sensor- und Prozessoreinheiten angeordnet. Eine Sensoreinheit 210 empfängt Sensordaten, die als auf die Sensoreinheit 210 gerichteten Pfeil dargestellt sind. Diese Sensordaten bilden ein Fahrzeugumfeld ab. Weiter umfasst das System 200 einen Erkennungsprozessor 220. Dieser erkennt eine plötzlich gesteigerten Aufmerksamkeit des Fahrers durch Auswertung der Daten zumindest eines physiologischen Parameters des Fahrers. Der Datenfluss ist als Pfeil auf den Erkennungsprozessor 220 dargestellt. Weiter umfasst das System 200 einen Ermittlungsprozessor 230. Dieser ermittelt die Blickrichtung des Fahrers zum Zeitpunkt der plötzlich gesteigerte Aufmerksamkeit. Ein Pfeil auf den Ermittlungsprozessor 230 symbolisiert die zugehörigen Daten, die zum Beispiel von einer Innenraumkamera oder von einer speziellen Fahrerbrille erzeugt sein können. Weiter umfasst das System 200 einen Bestimmungsprozessor 240. Aus Sensoreinheit 210, Erkennungsprozessor 220 und Ermittlungsprozessor 230 führt ein zusammengefasster Pfeil zum Bestimmungsprozessor 240. Es symbolisiert einen Datenfluss zum Bestimmungsprozessor 240. Letzterer nutzt diese Daten zur Bestimmung eines Objektes im Umfeld des Fahrzeugs unter Berücksichtigung der plötzlich gesteigerten Aufmerksamkeit und der Blickrichtung.
  • 7 zeigt das als System detaillierter ausgeführte Ausführungsbeispiel der Erfindung. Dabei erfasst der Sensor 301 Daten vom Fahrzeugumfeld. Ein Pfeil zur Sensordatenverarbeitung 302 markiert den Datentransport. Die Sensordatenverarbeitung 302 umfasst die Merkmalsextraktion 303 zur Erkennung von Merkmalen aus den Daten vom Fahrzeugumfeld. Die Merkmalsextraktion 303 sendet die erkannten Merkmale zur Bildung Objekthypothese 304. Diese wiederum sendet die Objekthypothesen zur Objektaktualisierung 305, durch einen Pfeil angedeutet. Als Ausgang der Sensordatenverarbeitung wird ein Signal in eine Fahrerassistenzfunktion 312 zu einer Entscheidungsraute 213 geführt. Von dieser Entscheidungsraute 213 führt ein Pfeil zur Objektaktualisierung 305. Weiter umfasst die Figur einen Sensor zur Blickrichtungserkennung 306, der mit einer Koordinatentransformation in das Sensorkoordinatensystem 307 verbunden ist. Dessen Daten fließen in eine Objekterkennungsdetektion 309. Weiter ist eine Sensoreinheit für physiologische Größen 310 gezeigt mit einem Datenfluss zur Datenverarbeitung und weiter zur Objekterkennungsdetektion 309. Eine separate Zusammenfassung der Koordinatentransformation in das Sensorkoordinatensystem 307 und der Objekterkennungsdetektion 309 führt in die Fahrerassistenzfunktion 312 zur Entscheidungsraute 213. Ein Ausgang der Entscheidungsraute 213 führt aus der Fahrerassistenzfunktion 312 bei evidenten Objekten zum Funktionsblock 314 zur weiteren Verarbeitung.
  • Ausführungsbeispiele der Erfindung lassen sich wie folgt zusammenfassen: In Forschungsprojekten zur Entwicklung von aktiven Sicherheitssystem besteht oft das Problem, dass die Beurteilung einer Systemreaktion durch den Fahrer nicht vorhergesehen werden kann. Diese rein subjektive Beurteilung des Fahrers ist jedoch von imminenter Wichtigkeit, da der Eingriff eines aktiven Sicherheitssystem zum Verlust des Vertrauens in das System führen kann, falls der Fahrer einen Eingriff als nicht gerechtfertigt empfindet.
  • Um das Risiko eines als unnötig oder gar als falsch empfundenen Eingriffes oder einer Warnung möglichst gering zu halten, wird bei der Parametrierung solcher Systeme konservativ vorgegangen, das heißt, eine Warnung oder ein Eingriff wird so spät wie möglich ausgelöst. Dies steht jedoch im Widerspruch dazu, dass ein frühzeitiger Eingriff die möglichen Folgen einer Kollision stark reduzieren kann, da die kinetische Energie beim Zusammenstoß quadratisch mit dem zeitlichen Abstand zur Kollision sinkt oder eine Kollision durch frühzeitige Bremsung / durch Ausweichen ganz verhindert werden kann.
  • Es ist bekannt, dass die Modellierung und Beobachtung des Fahrers dazu genutzt werden kann, um Parameter eines Fahrerassistenzsystems zur Warnung vor oder zur Vermeidung einer Kollision fahreradaptiv anzupassen. Weiterhin ist bekannt, dass Kollisionsvermeidungssysteme die Aufmerksamkeit des Fahrers in die Berechnung des Auslösezeitpunktes mit einbeziehen können. Dazu können gemäß dem Stand der Technik die Erfassung der Lenkaktivität, der Pedalbetätigung, einer Lidschlagbeobachtung durch Innenraumkameras oder durch eine Pulsmessung am Lenkrad verwendet werden.
  • Die bekannten Lösungen bestimmen die fahrerspezifischen Daten mittels im Fahrzeug verbauter Sensorik. Insbesondere die Bestimmung von physiologischen Daten, wie zum Beispiel des Pulsschlags, kann dabei problematisch sein, da bekannte Systeme den Puls am Lenkrad messen. Berührt der Fahrer das Lenkrad jedoch nur Ieicht, kann keine robuste Schätzung des Pulses erstellt werden. Insbesondere beim automatischen Fahren ergibt sich das Problem, dass dieser Wert nicht gemessen werden kann, da auch das freihändige Fahren (Hands-Off) erlaubt sein kann. Die Messung des Pulses über im Sitz verbaute Sensorik kann ebenfalls fehlschlagen, falls zu dicke Kleidung eine Messung verhindert.
  • Erfindungsgemäß wird vorgeschlagen, zur Bestimmung des Fahrerzustandes physiologische Daten über so genannte Wearables (zum Beispiel Smart Watch, Glasses) oder im Körper befindlichen Sensoren (zum Beispiel Smart Pills) zu ermitteln. Insbesondere wird eine Einheit vorgeschlagen, welche das Aufschrecken eines Fahrers bei Erkennung einer Gefahr bestimmt. Dabei können alle durch das Wearable oder körperinternen Sensoren messbaren Daten verwendet werden (Pulsschlag, chemische Indikation, et cetera). Über eine Kommunikationsschnittstelle zwischen Wearable oder körperinternen Sensoren und Fahrzeug (zum Beispiel Bluetooth, WLAN (Wirelss Local Area Network), NFC (Near Field Communication) et cetera) kann die Information über den Fahrerzustand (insbesondere Schreckmoment, aber auch Müdigkeit/Sekundenschaf, Unaufmerksamkeit) der Recheneinheit eines Kollisionsvermeidungs- oder Kollisionswarnsystems bereitgestellt werden.
  • Die Sensorik zur Fahrerzustandsbestimmung muss nicht fahrzeugfest verbaut sein. Somit entstehen keine zusätzlichen Kosten für das Fahrzeug selbst. Da der Fahrer die benötigte Sensorik selbst erworben hat und verwendet, ist die Akzeptanz der Verwendung der Daten im Fahrzeug als hoch einzuschätzen. Die verwendete Sensorik stammt aus dem Bereich der Consumer Electronic.
  • Weiterhin ist die Erkennung, ob ein Fahrer eine Situation als gefährlich betrachtet (Aufschrecken), bisher nicht direkt in einem Kollisionsvermeidungssystem umgesetzt worden. Mit dieser Information kann sichergestellt werden, dass ein Eingriff im Sinne des Fahrers ist. So kann ein Eingriff unter Umstanden früher – mit "Zustimmung" des Fahrers – durchgeführt werden, ohne die Gefahr einer Falschauslösung im Sinne der subjektiven Fahrereinschätzung einzugehen. Die Verwendung von Wearables oder körperinternen Sensoren als Sensor für die Fahrerzustandsüberwachung kann beim automatischen Fahren genutzt werden, wenn die berührende Messung über ein Lenkrad nicht möglich ist oder die Körperpose des Fahrers keine Beobachtung durch eine fahrzeugfeste Innenraumkamera zulässt (zum Beispiel durch variable rotierbare Sitze in einem automatischen Fahrzeug).
  • Die bevorzugte Ausführung verwendet eine Smart-Watch zur Bestimmung des Pulses. Über eine Kommunikationsschnittstelle zwischen Smart-Watch und Fahrzeug werden diese Daten an die Recheneinheit eines Kollisionsvermeidungssystems übermittelt. Diese Recheneinheit errechnet eine Wahrscheinlichkeit, dass der Fahrer einen Noteingriff für gerechtfertigt hält, zum Beispiel auf Basis einer Schreckerkennung, welche mit Hilfe des gemessenen Pulses durchzuführen ist. Beurteilt die Recheneinheit, dass der Fahrer einen möglichen Eingriff für nötig hält, und die Situationserkennung des Kollisionsvermeidungssystems ermittelt ebenfalls eine kritische Situation, kann das System einen Eingriff vornehmen. Dieser Eingriff wird entsprechend mit Einverständnis des Fahrers durchgeführt.
  • Neben dem Pulsschlag können auch andere physiologische Größen zur Fahrerzustandsbeurteilung verwendet werden. Weiterhin können die Informationen über andere denkbare Wearables (Wirstband, T-Shirt, et cetera) oder über körperinterne Sensoren zur Verfügung gestellt werden.
  • Ein weiteres Ausführungsbeispiel verwendet die Schreckerkennung, um die Wahrnehmung eines Kollisionsvermeidungssystems zu präkonditionieren. Dabei kann zusätzlich die Blickrichtung des Fahrers während des Schreckmomentes beobachtet werden. Diese Informationen können dann genutzt werden, um einen bestimmen Bereich des Umfeldes mit erhöhter Rechenleistung erneut nach Gefahren abzusuchen.
  • Das vorgeschlagene Verfahren ist im Gegensatz zu bekannten Lösungen robust gegenüber der Fahrerpose (d.h. Pose des Fahrers im Fahrzeuginnenraum). Weiterhin wird die Robustheit der Fahrerzustandsschätzung dadurch erhöht, dass Wearables direkt auf der Haut getragen werden. Damit ist das Verfahren unter anderem auch für die Überwachung des Fahrers während einer automatischen Fahrt (Hands-Off) geeignet. Die Akzeptanz dieser Art der Datenermittlung ist vermutlich hoch, da die Sensorik vom Fahrer selbst gekauft und verwendet wird und dem Bereich der Consumer Electronic entstammt.
  • Weiter lässt sich zur verbesserten Wahrnehmung mit Hilfe von Fahrerzustandsbeobachtung Folgendes festhalten: Die Idee kann verwendet werden, um die sensorische Wahrnehmung eines Fahrzeuges zu verbessern. Das Fahrzeug ist mit verschiedenen Sensoren ausgestattet, wozu auch eine Kamera mit anschließender Bildverarbeitung zählt.
  • In einem ersten Schritt werden physiologische Größen des Fahrers gemessen. Dazu können Wearables oder fahrzeugfeste Sensorik verwendet werden. Durch kontinuierliche Beobachtung können Schreckmomente oder Zeitpunkte mit besonderen Merkmalen in den beobachteten Größen ermittelt werden (zum Beispiel eine Aufweitung der Pupillen, Pulsanstieg, ...).
  • Im zweiten Schritt wird über eine Innenraumkamera (oder auch eine spezielle Brille) die Blickrichtung während des oben genannten Zeitpunktes ermittelt.
  • Diese Information kann genutzt werden, um die Wahrnehmung / Objekterkennung eines Systems wie folgt zu verbessern.
  • 1. Möglichkeit: (Objektbildung der Wahrnehmung schon abgeschlossen)
  • Reagiert der Fahrer wie oben beschrieben, kann das Existenzmaß für ein von der Sensorik wahrgenommenes Objekt erhöht werden, wenn der Blick auf die vermutete Objektposition zeigt. Die Reaktion des Fahrers gibt dann zusammen mit der Blickrichtung auf die Position, an welcher die Sensorik das Objekt sieht, als zusätzliche Evidenz für das Vorhandensein eines Objektes.
  • Vorteile sind hier: Bessere Güte der gesehenen Objekte -> weniger Fehlauslösungen bei der Verwendung in einem System der aktiven Fahrzeugsicherheit
  • 2. Möglichkeit: (Objektbildung noch nicht abgeschlossen)
  • Das Wahrnehmungssystem eines Fahrzeuges hat auf Grund fehlender Feature auf der Ebene der Objektbildung noch keine Objekthypothese aufgestellt. Die Reaktion des Fahrers legt jedoch nahe, dass ein Objekt vorhanden ist. Es ergeben sich zwei Möglichkeiten: Durch die Evidenz in der Beobachtung des Fahrers und den schwachen Features, die im Bild gefunden werden, kann eine Objekthypothese aufgesetzt werden. Dazu könnte durch die Fahrerreaktion auch eine Objekthypothese vorgeschlagen werden. Anschließend wird geprüft, ob die Feature, welche im Bild erkannt wurden, zur vorgeschlagenen Objekthypothese passt. Vereinfacht gesagt erlaubt der Objekthypothesen-Vorschlag durch die Fahrerreaktion eine Neubewertung der schon gefundenen, aber allein nicht ausreichenden Features.
  • Die Blickrichtung des Fahrers zeigt einen Bereich im Bild an, in welchem auf Grund der Fahrerreaktion ein Objekt zu erwarten ist. Die folgende Suche kann sich dann auf den kleineren Teilabschnitt des Bildes konzentrieren. Dort kann ohne eine vorherige Runterskalierung (oft üblich bei der Suche nach Features in einem großen Bild) der Auflösung das Bild erneut durchsucht werden. Damit ergibt sich die Möglichkeit, im relevanten Bereich des Bildes zu suchen und dort eine erhöhte Rechenleistung einzusetzen, so wie es für das gesamte Bild nicht möglich wäre.
  • Zusammenfassend lässt sich feststellen: Ein Fahrzeug ist mit mindestens einer ersten Sensoreinrichtung (301) inklusive Sensordatenverarbeitung (302) und mindestens einer zweiten Sensoreinrichtung (306) sowie einer Auswerteeinheit (309) versehen, bei dem die erste Sensoreinrichtung inkl. Sensordatenverarbeitung Informationen über Objekte im Umfeld des Fahrzeuges in Form einer Liste von Sensorobjekten bereitstellt, wobei Sensorobjekte erkannte Objekte (305) repräsentieren und die Sensorobjekte mindestens die Position und die Existenzwahrscheinlichkeit des erkannten Objektes als Attribute umfassen. Die Sensordatenverarbeitung (302) ist ein stufiges Verfahren, welches einen gerichteten Verarbeitungsfluss darstellt, der von den Rohdaten der Sensoren (zum Beispiel 3D LIDAR-Reflexpunkte im Raum, Radar-Reflexe, aus Kamerabildern extrahierte Merkmale) ausgeht und in einem Umfeld-Abbild (Sensorobjekte) endet. Verfahren zur Sensordatenverarbeitung, welche Sensorobjekte mit den oben beschriebenen Attributen aus den Rohdaten erzeugen, sind bekannt.
  • Beispiele für die aus Kamerabildern extrahierten Merkmale können zum Beispiel Fahrstreifenmarkierungen, abstrakte Merkmale wie Kanten an Grauwert- oder Farbübergängen sein. Fernen können auch Merkmale wie Extremitäten, Kopfposen oder ähnliches aus Bilddaten nach bekannten Verfahren extrahiert werden (siehe [Suddert], [Sigal]). Diese Einzelmerkmale werden im Folgenden als Objektelemente bezeichnet, da in der Regel mehrere dieser Objektelemente zu einem Objekt zusammengefasst werden können. (Für Fußgänger siehe [Sigal], für Fahrbahntopologie siehe [Töpfer]). Dieser Prozess wird als Bottom-Up-Prozess verstanden, da relativ abstrakte Umfeldmerkmale bzw. Objektelemente zu komplexen Objekten zusammengesetzt werden.
  • Andere Ansätze für die Objekterkennung verwenden eine Top-Down-Methode. Dazu werden Objekthypothesen (zum Beispiel Boxen für Fahrzeuge oder Fußgänger, Klothoiden für Fahrstreifenmarkierungen) direkt mit Umfeldmerkmalen gefittet, also zusammengeführt.
  • Hierbei wird bei ausreichender Ähnlichkeit von Objekthypothesen und Rohdaten/Merkmalen ein Objekt gebildet. Demnach werden sowohl bei Bottom-Up als auch Top-Down Methoden Objekte (c), als auch Zwischenergebnisse auf verschiedenen Abstraktionsebenen (zum Beispiel Merkmale (a), Objektelemente (b) (Menge von Merkmalen, die Informationen abstrakt abbilden um zum Beispiel Speicher oder Buslast zu minimieren).
  • Im vorgeschlagenen Verfahren werden die Zwischenergebnisse dieser Sensordatenverarbeitung gespeichert, so dass (a) die Menge der abstrakten Merkmale, (b) die Menge der Objektelemente und (c) die Menge der Objekte beschreiben.
  • Die zweite Sensoreinrichtung (306) dient der Erfassung des Blickrichtungsvektors des Fahrers (bekannte Verfahren), welche in einer Recheneinheit (307) mit Hilfe von Koordinatentransformationen so ausgewertet wird, dass Blickrichtungsvektor und Sensorobjekte im gleichen Koordinatensystem betrachtet werden können. Folglich ist nach (307) bekannt, auf welchen Punkt im Umfeld des Fahrzeuges der Blick des Fahrers fällt. Konkret könnte dieser Schritt so aussehen: Bestimmung des Blickrichtungsvektors mit Hilfe einer Innenraumkamera zunächst einzeln für beide Augen, Aufpunkt der Blickrichtungsgeraden in den Pupillen, anschließende Mittelung der beiden Geraden zu x →Blickrichtung. Die Koordinatentransformation in das Sensorkoordinatensystem (Fzg.-KOS) ergibt eine Gerade für den Sichtstrahl des Fahrers zu
    Figure DE102016201939A1_0003
  • Es können nun Punkt oder Objekte im Umfeld des Fahrzeuges ermittelt werden, die vom Blick des Fahrers getroffen werden, in dem die Gerade aus Gl. 0 mit relevanten Objekten auf Schnitt geprüft werden.
  • Die dritte Sensoreinrichtung (310) dient zum Messen von physiologischen Größen. Im Allgemeinen ist die dritte Sensoreinheit verschieden von der zweiten Sensoreinrichtung, im Speziellen können jedoch auch physiologische Merkmale über die zweite Sensoreinrichtung gemessen werden (zum Beispiel Pupillenweitung über eine Innenraumkamera), so dass die dritte Sensoreinheit entfällt. Im gewählten Ausgestaltungsbeispiel ist die dritte Sensoreinrichtung ein Wearable, welches den Pulsschlag messen kann.
  • Durch den zeitlichen Verlauf des Blickrichtungsvektors (Fixationsdauer des Blickes auf Objekt über einem Schwellwert ΔtFix, zum Beispiel 300 Millisekunden) in Kombination mit den gemessenen physiologischen Größen der dritten Sensoreinrichtung kann durch ein Rechenverfahren (309) eine Wahrscheinlichkeit PFahrer(k) (311) geschätzt werden, mit welcher der Fahrer ein Objekt erkannt hat. Die Variable k bezeichnet hier den aktuellen Zeitschritt.
  • Dazu wird im Signal der physiologischen Größen nach charakteristischen Abweichungen vom Normalverhalten gesucht (bekannte Verfahren).
  • Überschreitet die geschätzte Wahrscheinlichkeit (309) einen Grenzwert, wird diese sowie der Blickrichtungsvektor (308) an die Sensordatenverarbeitung der ersten Sensoreinrichtung weitergegeben.
  • Mit Hilfe des Blickrichtungsvektors (308) wird ein räumlicher Relevanzbereich (engl. Region of Interest, kurz ROI) definiert. Es wird mittels einer Distanzmetrik überprüft, ob sich Elemente der Mengen (a), (b), oder (c) innerhalb der ROI befinden (Assoziation).
  • Es folgt eine Fallunterscheidung: Falls sich Elemente der Menge (c) in der ROI befinden, gehe zu Fall 1. Ist die nicht der Fall, gehe zu Fall 2. Die Fälle unterscheiden sich darin, dass bei der ersten Variante während der Sensordatenverarbeitung plausible Objekt (häufig als Objektkandidaten bezeichnet) bestimmt werden konnten. Bei der zweiten Variante wurden keine plausiblen bzw. keine Objekte gefunden. Der Begriff plausibel macht hier deutlich, dass während der Sensordatenverarbeitung verschiedene Strategien angewendet werden können. So können aus Performance Gründen bei jedem Berechnungsschritt unplausible Hypothesen ausgeschlossen werden. Hierdurch kann es passieren, dass Objektelemente ausgeschlossen werden und somit auch Objekte. In diesem Fall kann es passieren, dass keine Objekte erkannt werden. Werden diese harten Entscheidungen nicht getroffen, dann werden zum Beispiel auch unplausible Objektelemente genutzt, um Objekte zu Bilden. In diesem Fall entstehen unplausible Objekthypothesen.
  • Die hier beschriebene Erfindung ist grundsätzlich anwendbar für beide Verarbeitungsstrategien, Jedoch wird bei der Erläuterung von einer Verarbeitung mit harten Entscheidungen ausgegangen, da diese eher dem realen Anwendungsfall entspricht.
  • Fall 1: Es wurde ein Elemente der Menge (c) in der ROI gefunden. Bei einem Element der Menge (c) handelt es sich um ein Sensorobjekt, wie oben beschrieben. Es besitzt somit als Attribut eine Existenzwahrscheinlichkeit PSensor(k), wobei k den aktuellen Zeitschritt des Rechenverfahrens bezeichnet. Durch den Blickrichtungsvektor und der Fahrerreaktion wurde eine Existenzwahrscheinlichkeit für ein Objekt geschätzt. Nun wird die Existenzwahrscheinlichkeit des Objektes gemäß der Formel
    Figure DE102016201939A1_0004
    wobei δS + δF = 1 Gl. 2 verändert, falls PFahrer(k) > PSensor(k). Die Variablen δS und δF sind Parameter, mit welchen die Gewichtung der Fahrerreaktion festgelegt werden kann.
  • Durch die erhöhte Existenzwahrscheinlichkeit der Fahrerbeobachtung kann so einem Eingriff des Fahrerassistenzsystems stattgegeben werden, was aufgrund des unsicheren Wissens der reinen Fahrzeug Sensorik nicht möglich gewesen wäre. Die Reaktion der Fahrerassistenzfunktion wird somit verbessert.
  • Wurde kein Objekt (Element der Menge (c) gefunden), trifft Fall 2 ein. In Fall 2 wird zunächst die ROI nach Elementen der Menge (b) durchsucht. Da die ROI nur einen Teilbereich des gesamten Umfeldabbildes darstellt, kann diese Suche auf einer höheren Auflösung stattfinden (zum Beispiel bei gleich bleibender Suchzeit bzw. Rechenkomplexität).
  • Weiterhin ist denkbar, aufgrund der Hinweise durch die Fahrerreaktion eine erhöhte Rechenleistung freizugeben, mit welcher die Suche durchgeführt wird. Dies kann beispielsweise dadurch erreicht werden, dass kurzfristig zusätzliche im Fahrzeug befindliche Rechenzeiten genutzt werden.
  • Nach der Suche mit höherer Rechenleistung bzw. höherer Auflösung bei Bildverarbeitungsverfahren ergibt sich eine neue Menge (b‘), welche zusätzliche Objektelemente enthält.
  • Diese neue Menge (b‘) wird weiter an die Verarbeitungskette gegeben. Es resultiert eine neue Menge (c‘) aus (b‘) gemäß der Verarbeitungskette. So können Objekte detektiert werden, welche ohne die Fahrerreaktion nicht zu detektieren waren. (zum Beispiel weil Auflösung zu niedrig, aufgrund der Größe des Suchbereiches). Es kann hier davon ausgegangen werden, dass die Berechnung von (c‘) aus (b‘) nicht mehr Rechenleistung bedarf als die Berechnung von (c) aus (b). Würde jedoch ohne Anlass (Trigger durch Fahrermodell) d.h. permanent aus (c) und (c‘) (b, b‘) berechnet werden, ist mehr Rechenleistung notwendig.
  • Ein Verfahren zur Objektbildung bzw. zur Feature-Extraktion ist zum Beispiel aus WO 2009019250 A2 bekannt.
  • Wird in der ROI kein neues Objektelement gefunden, d. h. (b) = (b‘), wird die ROI nach relevanten Umfeldmerkmalen durchsucht, wodurch einen neue Menge (a‘) resultiert, welche dann weiter an die Verarbeitungskette gegeben wird. Es resultiert (c‘‘). Eine andere Ausgestaltung sieht vor, dass nicht nur Bottom-Up in der ROI nach neuen Merkmalen gesucht wird, sondern auch das Top-Down einer Menge von Objekten (c*) in die ROI gelegt wird, und versucht wird, die gefunden Merkmale (a) in Übereinstimmung mit (c*) zu bringen. Ferner kann (c*) auch mit bereits berechneten Objektelemente (b*) in Übereinstimmung gebrachten werden. Darüber hinaus ist auch denkbar, mittels räumlicher Relationen (c*) in Objektelemente (b*) zu zerlegen, um (b*) mit (a) in Übereinstimmung zu bringen. Die gewählte Variante hängt von der Ausgestaltung der Sensordatenverarbeitung ab.
  • Darüber hinaus ist es möglich, bei einer ausbleibenden Reaktion des Fahrers die Plausibilität von Objekten aus (c) in der ROI zu reduzieren. Dies kann beispielsweis indirekt proportional zur geschätzten Fahreraufmerksamkeit erfolgen. Dies ist sinnvoll, um Fehlauslösungen zu reduzieren. So kann es sein, dass ein ungültiges Objekt der Funktion übergeben wird und die Funktion darauf reagiert. Ist der Fahrer sehr aufmerksam und reagiert nicht auf das die Funktionsreaktion hervorrufende Objekt, kann die Funktionsreaktion durch eine Veränderung der Objektplausibilität zum Beispiel unterdrückt oder verzögert werden.
  • Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar.
  • Eine programmierbare Hardwarekomponente kann durch einen Prozessor, insbesondere durch einen Computerprozessor (CPU = Central Processing Unit), einen Grafikprozessor (GPU = Graphics Processing Unit), einen Computer, ein Computersystem, einen anwendungsspezifischen integrierten Schaltkreis (ASIC = Application-Specific Integrated Circuit), einen integrierten Schaltkreis (IC = Integrated Circuit), ein Ein-Chip-System (SOC = System on Chip), ein programmierbares Logikelement oder ein feldprogrammierbares Gatterarray mit einem Mikroprozessor (FPGA = Field Programmable Gate Array) gebildet sein.
  • Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.
  • Bezugszeichenliste
    • 100
    Verfahren zur Objekterkennung
    110
    Erkennen plötzlich gesteigerter Aufmerksamkeit
    120
    Ermitteln der Blickrichtung des Fahrers
    130
    Bestimmen eines Objektes
    131
    (identifizierbares) Objekt im Umfeld eines Fahrzeugs
    132
    Objekthypothese
    133
    (identifiziertes) Objektelement
    134
    simulierte Daten in einer ersten Auflösung
    135
    Merkmal
    140
    Abbild vom Umfeld eines Fahrzeugs
    142
    Daten in einer ersten Auflösung
    143
    Daten in einer zweiten Auflösung
    145
    identifizierte Objektelemente im Bereich der Blickrichtung des Fahrers
    146
    simulierte Objektelemente
    147
    durch simulierte Objektelemente ergänzte identifizierte Objektelemente
    150
    Prüfschritt
    152
    Ergänzung der identifizierten Objektelemente durch eine Objekthypothese
    154
    Weiterverarbeitung
    180
    Objektbewertung mit einer Existenzwahrscheinlichkeit
    185
    Erhöhung der Existenzwahrscheinlichkeit
    190
    Absenken der Existenzwahrscheinlichkeit
    200
    System zur Beeinflussung der aktiven Fahrzeugsicherheit
    210
    Sensoreinheit
    220
    Erkennungsprozessor
    230
    Ermittlungsprozessor
    240
    Bestimmungsprozessor
    301
    Sensor
    302
    Sensordatenverarbeitung
    303
    Merkmalsextraktion
    304
    Bildung Objekthypothese
    305
    Objektaktualisierung
    306
    Sensor zur Blickrichtungserkennung
    307
    Datenverarbeitung
    309
    Objekterkennungsdetektion
    310
    Sensor zur physiologische Größe
    312
    Fahrerassistenzfunktion
    313
    Objektevidenz vorhanden
    314
    Fahrzeugbeeinflussung / Warnung
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 7206697 [0006]
    • EP 1779355 B1 [0006]
    • WO 2009019250 A2 [0050, 0135]
  • Zitierte Nicht-Patentliteratur
    • Töpfer, On Compositional Hierarchical Models for holistic Lane and Road Perception in Intelligent Vehicles, 2014 [0011]
    • „Sigal et al., Loose-limbed People: Estimating 3D Human Pose and Motion Using Non-parametric Belief Propagation, 2011“ [0013]
    • „Sudderth et al., Graphical Models for Visual Object Recognition and Tracking, 2006“ [0013]

Claims (15)

  1. Verfahren zur Objekterkennung im Umfeld eines Fahrzeugs mit Hilfe von Fahrerbeobachtung (100), umfassend: – Erkennen (110) einer plötzlich gesteigerten Aufmerksamkeit des Fahrers durch Auswertung von Daten zumindest eines Sensors zur Erfassung physiologischer Parameter des Fahrers; – Ermitteln (120) einer Blickrichtung des Fahrers durch Auswertung von Daten zumindest eines weiteren Sensors zum Zeitpunkt der plötzlich gesteigerten Aufmerksamkeit; und – Bestimmen (130) eines Objektes im Umfeld des Fahrzeugs (131) unter Berücksichtigung der plötzlich gesteigerten Aufmerksamkeit und der Blickrichtung.
  2. Verfahren nach Anspruch 1, wobei das zu erkennende Objekt (131) im Umfeld eines Fahrzeugs Objektelemente (133) umfasst die ihrerseits Merkmale (135) umfassen, wobei eine Erkennung der Objektelemente (133) und/oder der Merkmale (135) auf einer Durchsuchung eines Abbildes vom Umfeld des Fahrzeuges (140) mit Daten in einer ersten Auflösung (142) basiert, wobei im Bereich der Blickrichtung des Fahrers die Erkennung der Objektelemente (133) und/oder der Merkmale (135) auf einer Durchsuchung des Abbildes mit Daten in einer zweiten Auflösung (143) basiert, und wobei die zweite Auflösung (143) feiner ist als die erste Auflösung (142).
  3. Verfahren nach Anspruch 2, wobei die Daten in der ersten Auflösung mit einer ersten Prozessorleistung durchsucht werden und wobei die Daten in der zweiten Auflösung mit einer zweiten Prozessorleistung durchsucht werden, wobei die zweite Prozessorleistung höher ist als die erste Prozessorleistung.
  4. Verfahren nach einem der vorherigen Ansprüche, wobei im Bereich der Blickrichtung des Fahrers identifizierte Objektelemente (145) durch simulierte Objektelemente (146) ergänzt werden, die einer Objekthypothese (132) zugeordnet sind.
  5. Verfahren nach Anspruch 4, wobei geprüft wird, ob die simulierten Objektelemente (146) mit den identifizierten Objektelemente (145) in Übereinstimmung gebracht werden können, wobei im Falle der Übereinstimmung der simulierten Objektelemente (146) mit den identifizierten Objektelementen (145) die Bestimmung des Objektes (131) unter Berücksichtigung der identifizierten Objektelemente (145) und der simulierten Objektelemente (146) erfolgt.
  6. Verfahren nach einem der Ansprüche 4 oder 5, wobei eine Mehrzahl von Typen von Objekthypothesen (132) gespeichert ist, wobei der Typ der eingesetzten Objekthypothese von Daten abhängt, die eine Fahrerreaktion beschreiben; und/oder wobei die Objekthypothese (132) nur ergänzt (152) wird, wenn ein Prüfschritt (150) ergibt, dass im Bereich der Blickrichtung des Fahrers die Objektbildung noch zu keinem identifizierbaren Objekt (131) geführt hat.
  7. Verfahren nach einem der Ansprüche 1 bis 3, wobei zumindest der Inhalt oder die Ausprägung einer vorgegebenen geometrische Form im Abbild vom Umfeld des Fahrzeugs auf vorgegebene Objektelemente hin untersucht wird zur Identifizierung von Objektelementen, und/oder wobei die identifizierten Objektelemente und/oder der Inhalt oder die Ausprägung der vorgegebene geometrische Form im Abbild vom Umfeld des Fahrzeugs auf vorgegebene Merkmale (135) hin untersucht wird.
  8. Verfahren nach einem der vorherigen Ansprüche, wobei das Bestimmen des Objektes eine Objektbewertung mit einer Existenzwahrscheinlichkeit zur Angabe der Wahrscheinlichkeit, dass das Objekt tatsächlich existiert, umfasst, wobei die in einem ersten Schritt ohne Berücksichtigung der Blickrichtung ermittelte Existenzwahrscheinlichkeit eines Objektes (180) im Bereich der Blickrichtung des Fahrers in einem zweiten Schritt erhöht (185) wird, und/oder wobei die in einem ersten Schritt ohne Berücksichtigung der Blickrichtung ermittelte Existenzwahrscheinlichkeit des Objektes außerhalb des Bereich der Blickrichtung des Fahrers in einem zweiten Schritt abgesenkt (190) wird.
  9. Verfahren nach einem der vorherigen Ansprüche, wobei die Auswertung der Daten, die einen physiologischen Parameter des Fahrers entsprechen, auf ein Erschrecken des Fahrers hinweisen.
  10. Verfahren nach einem der vorherigen Ansprüche, wobei die Daten zur Erfassung zumindest eines physiologischen Parameters des Fahrers mit Hilfe von zumindest eines am Körper getragenen Sensors und/oder im Körper befindlichen Sensors und/oder in einem Fahrzeug im Fahrgastraum befindlichen Sensors ermittelt werden.
  11. Verfahren nach einem der vorherigen Ansprüche, wobei die Daten des physiologischen Parameters des Fahrers die Aufweitung der Pupillen und/oder den Pulsanstieg und/oder Schweißbildung und/oder den veränderten Lidschlag des Auges erkennen lassen.
  12. Verfahren nach einem der vorherigen Ansprüche, wobei eine Ausgestaltung des im Fahrgastraum eines Fahrzeugs angeordneten Sensors eine Innenraumkamera und/oder eine von Fahrer getragenen Brille umfasst.
  13. Computerprogramm zur Durchführung wenigstens eines Schrittes der oben genannten Verfahren gemäß der Ansprüche 1 bis 12, wobei das Computerprogramm auf einer programmierbaren Hardwarekomponente abläuft.
  14. System zur Beeinflussung der aktiven Fahrzeugsicherheit (200), umfassend – Eine Sensoreinheit (210) zum Erfassen des Umfelds eines Fahrzeugs; – Einen Erkennungsprozessor (220) zum Erkennen einer plötzlich gesteigerten Aufmerksamkeit des Fahrers durch Auswertung zumindest eines physiologischen Parameters des Fahrers; – Einen Ermittlungsprozessor (230) zum Ermitteln der Blickrichtung des Fahrers zum Zeitpunkt der plötzlich gesteigerten Aufmerksamkeit; – Einen Bestimmungsprozessor (240) zur Bestimmung eines Objektes im Umfeld des Fahrzeugs unter Berücksichtigung der plötzlich gesteigerten Aufmerksamkeit und der Blickrichtung.
  15. System nach Anspruch 14, wobei der Erkennungsprozessor an zumindest ein fahrzeugfestes und/oder am Fahrer angeordnetes und/oder im Fahrer angeordnetes Erfassungsgerät gekoppelt ist.
DE102016201939.2A 2016-02-09 2016-02-09 Vorrichtung, Verfahren und Computerprogramm zur Verbesserung der Wahrnehmung bei Kollisionsvermeidungssystemen Pending DE102016201939A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016201939.2A DE102016201939A1 (de) 2016-02-09 2016-02-09 Vorrichtung, Verfahren und Computerprogramm zur Verbesserung der Wahrnehmung bei Kollisionsvermeidungssystemen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016201939.2A DE102016201939A1 (de) 2016-02-09 2016-02-09 Vorrichtung, Verfahren und Computerprogramm zur Verbesserung der Wahrnehmung bei Kollisionsvermeidungssystemen

Publications (1)

Publication Number Publication Date
DE102016201939A1 true DE102016201939A1 (de) 2017-08-10

Family

ID=59382492

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016201939.2A Pending DE102016201939A1 (de) 2016-02-09 2016-02-09 Vorrichtung, Verfahren und Computerprogramm zur Verbesserung der Wahrnehmung bei Kollisionsvermeidungssystemen

Country Status (1)

Country Link
DE (1) DE102016201939A1 (de)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019000060A1 (de) * 2019-01-03 2020-07-09 Preh Car Connect Gmbh Steuern eines Fahrzeugs unter Verwendung eines Steuerungssystems
CN111753594A (zh) * 2019-03-29 2020-10-09 杭州海康威视数字技术股份有限公司 危险识别方法、装置及系统
CN112088117A (zh) * 2018-05-08 2020-12-15 奥迪股份公司 用于运行机动车以改善机动车的评估单元的工作条件的方法、用于执行这种方法的控制系统和带有这种控制系统的机动车
DE102019208663A1 (de) * 2019-06-14 2020-12-17 Audi Ag Verfahren zur Unterstützung eines Fahrers hinsichtlich für eine Verkehrssituation relevanter Objekte und Kraftfahrzeug
DE102019209200A1 (de) * 2019-06-26 2020-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen eines Mittelpunkts und einer Augenöffnung eines Auges eines Insassen eines Fahrzeugs
DE102020100487A1 (de) * 2020-01-10 2021-07-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs mit Berücksichtigung einer Reaktion von zumindest einem Insassen, Recheneinrichtung sowie Fahrerassistenzsystem
CN113544021A (zh) * 2019-03-08 2021-10-22 奥拉科产品有限责任公司 用于创建包括自部件排除的碰撞检测训练集的方法
DE102020117157A1 (de) 2020-06-30 2021-12-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Nutzerinformationssystem zur Erhöhung des Vertrauens eines Nutzers in ein automatisiert fahrendes Fahrzeug
DE102020123976A1 (de) 2020-09-15 2022-03-17 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren, System und Computerprogrammprodukt zur Bestimmung von sicherheitskritischen Verkehrsszenarien für Fahrerassistenzsysteme (FAS) und hochautomatisierte Fahrfunktionen (HAF)
FR3118444A1 (fr) * 2020-12-31 2022-07-01 Valeo Comfort And Driving Assistance Dispositif d’analyse de la perception d’un danger par un conducteur de véhicule et procédé associé
DE102021002918A1 (de) 2021-06-07 2022-12-08 Mercedes-Benz Group AG Verfahren zur Erkennung von für ein Fahrzeug sicherheitsrelevanten Objekten

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4338244A1 (de) * 1992-11-13 1994-05-19 Mitsubishi Electric Corp Gefahrenvermeidungssystem für ein Fahrzeug
DE10135742A1 (de) * 2001-07-21 2003-02-27 Daimler Chrysler Ag Kraftfahrzeug mit automatischer Blickrichtungserkennung und Verfahren zu dessen Betrieb
US7206697B2 (en) 2003-10-14 2007-04-17 Delphi Technologies, Inc. Driver adaptive collision warning system
DE102007012955A1 (de) * 2007-03-14 2007-12-06 Daimlerchrysler Ag Verfahren zur Abstandsmessung zwischen Fahrzeugen
WO2009019250A2 (de) 2007-08-04 2009-02-12 Continental Teves Ag & Co. Ohg Verfahren und einrichtung zur objekterkennung in einem bild
EP1779355B1 (de) 2004-08-12 2010-06-02 Bayerische Motorenwerke Aktiengesellschaft Vorrichtung zur auswertung der aufmerksamkeit eines fahrers bei einem kollisionsvermeidungssystem in kraftfahrzeugen
EP2546819A1 (de) * 2010-04-19 2013-01-16 Honda Motor Co., Ltd. Vorrichtung zur überwachung der umgebung eines fahrzeugs
EP2977975A1 (de) * 2013-03-22 2016-01-27 Toyota Jidosha Kabushiki Kaisha Fahrhilfevorrichtung, fahrhilfeverfahren, informationsbereitstellungsvorrichtung, informationsbereitstellungsverfahren, navigationsvorrichtung und navigationsverfahren

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4338244A1 (de) * 1992-11-13 1994-05-19 Mitsubishi Electric Corp Gefahrenvermeidungssystem für ein Fahrzeug
DE10135742A1 (de) * 2001-07-21 2003-02-27 Daimler Chrysler Ag Kraftfahrzeug mit automatischer Blickrichtungserkennung und Verfahren zu dessen Betrieb
US7206697B2 (en) 2003-10-14 2007-04-17 Delphi Technologies, Inc. Driver adaptive collision warning system
EP1779355B1 (de) 2004-08-12 2010-06-02 Bayerische Motorenwerke Aktiengesellschaft Vorrichtung zur auswertung der aufmerksamkeit eines fahrers bei einem kollisionsvermeidungssystem in kraftfahrzeugen
DE102007012955A1 (de) * 2007-03-14 2007-12-06 Daimlerchrysler Ag Verfahren zur Abstandsmessung zwischen Fahrzeugen
WO2009019250A2 (de) 2007-08-04 2009-02-12 Continental Teves Ag & Co. Ohg Verfahren und einrichtung zur objekterkennung in einem bild
EP2546819A1 (de) * 2010-04-19 2013-01-16 Honda Motor Co., Ltd. Vorrichtung zur überwachung der umgebung eines fahrzeugs
EP2977975A1 (de) * 2013-03-22 2016-01-27 Toyota Jidosha Kabushiki Kaisha Fahrhilfevorrichtung, fahrhilfeverfahren, informationsbereitstellungsvorrichtung, informationsbereitstellungsverfahren, navigationsvorrichtung und navigationsverfahren

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
„Sigal et al., Loose-limbed People: Estimating 3D Human Pose and Motion Using Non-parametric Belief Propagation, 2011"
„Sudderth et al., Graphical Models for Visual Object Recognition and Tracking, 2006"
CN105083291A plus Auszüge aus den Datenbanken WPI und EPODOC *
Töpfer, On Compositional Hierarchical Models for holistic Lane and Road Perception in Intelligent Vehicles, 2014

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112088117B (zh) * 2018-05-08 2024-02-06 奥迪股份公司 用于运行机动车的方法、控制系统和机动车
CN112088117A (zh) * 2018-05-08 2020-12-15 奥迪股份公司 用于运行机动车以改善机动车的评估单元的工作条件的方法、用于执行这种方法的控制系统和带有这种控制系统的机动车
DE102019000060A1 (de) * 2019-01-03 2020-07-09 Preh Car Connect Gmbh Steuern eines Fahrzeugs unter Verwendung eines Steuerungssystems
CN111391818A (zh) * 2019-01-03 2020-07-10 普瑞车联有限公司 使用控制系统对车辆进行控制
CN113544021A (zh) * 2019-03-08 2021-10-22 奥拉科产品有限责任公司 用于创建包括自部件排除的碰撞检测训练集的方法
CN113544021B (zh) * 2019-03-08 2023-12-22 奥拉科产品有限责任公司 用于创建包括自部件排除的碰撞检测训练集的方法
CN111753594B (zh) * 2019-03-29 2023-09-29 杭州海康威视数字技术股份有限公司 危险识别方法、装置及系统
CN111753594A (zh) * 2019-03-29 2020-10-09 杭州海康威视数字技术股份有限公司 危险识别方法、装置及系统
DE102019208663B4 (de) * 2019-06-14 2021-01-14 Audi Ag Verfahren zur Unterstützung eines Fahrers hinsichtlich für eine Verkehrssituation relevanter Objekte und Kraftfahrzeug
US11130502B2 (en) 2019-06-14 2021-09-28 Audi Ag Method for assisting a driver with regard to traffic-situation-relevant objects and motor vehicle
DE102019208663A1 (de) * 2019-06-14 2020-12-17 Audi Ag Verfahren zur Unterstützung eines Fahrers hinsichtlich für eine Verkehrssituation relevanter Objekte und Kraftfahrzeug
DE102019209200A1 (de) * 2019-06-26 2020-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen eines Mittelpunkts und einer Augenöffnung eines Auges eines Insassen eines Fahrzeugs
DE102020100487A1 (de) * 2020-01-10 2021-07-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs mit Berücksichtigung einer Reaktion von zumindest einem Insassen, Recheneinrichtung sowie Fahrerassistenzsystem
DE102020117157A1 (de) 2020-06-30 2021-12-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Nutzerinformationssystem zur Erhöhung des Vertrauens eines Nutzers in ein automatisiert fahrendes Fahrzeug
US11801843B2 (en) 2020-09-15 2023-10-31 Dr. Ing. H. C. F. Porsche Ag Method, system, and computer program product for determining safety-critical traffic scenarios for driver assistance systems (DAS) and highly automated driving functions (HAD)
DE102020123976A1 (de) 2020-09-15 2022-03-17 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren, System und Computerprogrammprodukt zur Bestimmung von sicherheitskritischen Verkehrsszenarien für Fahrerassistenzsysteme (FAS) und hochautomatisierte Fahrfunktionen (HAF)
WO2022144529A1 (fr) * 2020-12-31 2022-07-07 Valeo Comfort And Driving Assistance Dispositif d'analyse de la perception d'un danger par un conducteur de véhicule et procédé associé
FR3118444A1 (fr) * 2020-12-31 2022-07-01 Valeo Comfort And Driving Assistance Dispositif d’analyse de la perception d’un danger par un conducteur de véhicule et procédé associé
DE102021002918A1 (de) 2021-06-07 2022-12-08 Mercedes-Benz Group AG Verfahren zur Erkennung von für ein Fahrzeug sicherheitsrelevanten Objekten
DE102021002918B4 (de) 2021-06-07 2023-04-06 Mercedes-Benz Group AG Verfahren zur Erkennung von für ein Fahrzeug sicherheitsrelevanten Objekten

Similar Documents

Publication Publication Date Title
DE102016201939A1 (de) Vorrichtung, Verfahren und Computerprogramm zur Verbesserung der Wahrnehmung bei Kollisionsvermeidungssystemen
DE102013210050B4 (de) Neurokognitive Verarbeitung eines Fahrerzustands
DE102012214852B4 (de) Verfahren und Vorrichtung zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs
DE112008001804B4 (de) Verfahren zum Bestimmen eines wahrscheinlichen Bewegungs-Aufenthaltsbereichs eines Lebewesens
EP2382609B1 (de) Verfahren zur Ermittlung einer Kollisionswahrscheinlichkeit eines Fahrzeugs mit einem Lebewesen.
DE112012007157B4 (de) Fahrunterstützungsvorrichtung und Fahrunterstützungsverfahren
DE102009006113B4 (de) Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
DE112014001607B4 (de) Situationswahrnehmungssystem und -verfahren
DE102014004395B3 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems und Kraftfahrzeug
DE102016120491A1 (de) Erkennung und verhinderung von fahruntauglichkeit
DE102018117380A1 (de) Bremsvorhersage und -eingriff
DE102015105494A1 (de) Systeme und Verfahren zur Auslegung physiologischer Fahrerdaten basierend auf Fahrzeugereignissen
DE102019109505A1 (de) Datenverarbeitungsvorrichtung, überwachungssystem, wecksystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm
DE102017211005A1 (de) Fahrerzustandsüberwachung unter verwendung der hornhautreflexionserfassung
DE102009004487A1 (de) Verfahren zur Müdigkeitserkennung eines Fahrers
DE112019007558B4 (de) Kognitiv-Funktion-Abschätzungsvorrichtung, Lernvorrichtung und Verfahren zur Schätzung der kognitiven Funktion
DE102014204137A1 (de) Informationsterminal
DE102016120876A1 (de) Verfahren, System und Computerprogrammprodukt zur Erkennung eines möglichen Spurwechsels eines Fremdfahrzeugs, sowie Fahrzeug
DE102019127190A1 (de) System und verfahren zum beurteilen des bekanntseins eines gelernten fahrzeugdatensatzes eines fahrerassistenzsystems
DE112015006809T5 (de) Tragbare fahrzeuginterne blickdetektion
EP0952039B1 (de) Vorrichtung zur Einschlafwarnung eines Kraftfahrzeugführers
DE102014105374B4 (de) Fahrerassistenzsystem
DE112016007335T5 (de) Autonome fahrzeugsteuerung durch komparative übergangsprognose
DE112015006601T5 (de) Verbesserte Kollisionsabwendung
DE102018100650A1 (de) Verfahren zur Kollisionsvermeidung für ein Kraftfahrzeug mit einem Fahrunterstützungssystem

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication