DE112020006670T5 - Aufmerksamkeitsrichtung-Beurteilungsvorrichtung und Aufmerksamkeitsrichtung-Beurteilungsverfahren - Google Patents

Aufmerksamkeitsrichtung-Beurteilungsvorrichtung und Aufmerksamkeitsrichtung-Beurteilungsverfahren Download PDF

Info

Publication number
DE112020006670T5
DE112020006670T5 DE112020006670.3T DE112020006670T DE112020006670T5 DE 112020006670 T5 DE112020006670 T5 DE 112020006670T5 DE 112020006670 T DE112020006670 T DE 112020006670T DE 112020006670 T5 DE112020006670 T5 DE 112020006670T5
Authority
DE
Germany
Prior art keywords
occupant
section
attention
face
inference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112020006670.3T
Other languages
English (en)
Inventor
Taro Kumagai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of DE112020006670T5 publication Critical patent/DE112020006670T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Beabsichtigt ist die Bereitstellung einer Aufmerksamkeitsrichtung-Beurteilungsvorrichtung und eines Aufmerksamkeitsrichtung-Beurteilungsverfahrens zur Beurteilung der Richtung, in welche die Aufmerksamkeit eines Insassen gerichtet ist. Die Aufmerksamkeitsrichtung-Beurteilungsvorrichtung umfasst eine Bilderwerbssektion zum Erwerben eines Bildes von Insassen in einem Fahrzeug, das durch eine Kamera aufgenommen wurde, eine Gesichtsmerkmal-Folgerungssektion, die basierend auf dem durch die Bilderwerbssektion erworbenen Bild Gesichtsmerkmale eines Insassen folgert, eine Physis-Folgerungssektion, die basierend auf dem durch die Bilderwerbssektion erworbenen Bild die Richtung folgert, in welche die Hand des Insassen gestreckt ist, eine Gesichtsrichtung-Detektionssektion, welche basierend auf den Gesichtsmerkmalen, die durch die Gesichtsmerkmal-Folgerungssektion gefolgert wurden, die Gesichtsrichtung des Insassen detektiert, und eine Aufmerksamkeitsrichtung-Beurteilungssektion, die basierend auf der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, und der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung des Insassen die Richtung beurteilt, in welche die Aufmerksamkeit des Insassen gerichtet ist.

Description

  • [Technisches Gebiet]
  • Die vorliegende Offenbarung betrifft eine Aufmerksamkeitsrichtung-Beurteilungsvorrichtung und ein Aufmerksamkeitsrichtung-Beurteilungsverfahren zur Beurteilung der Richtung, in welche die Aufmerksamkeit eines Insassen in einem Fahrzeug gerichtet ist.
  • [Hintergrundtechnologie]
  • Herkömmlich ist eine Technologie offenbart, bei der anhand eines Bildes, das durch eine in einem Fahrzeug eingebaute Kamera aufgenommen wurde, Körpermerkmale der Insassen in dem Fahrzeug detektiert werden, und anhand von Positionsänderungen der detektierten Körpermerkmale Handlungen eines Insassen in dem Fahrzeug prognostiziert werden (vgl. beispielsweise Patentdokument 1).
  • [Dokumente des Standes der Technik]
  • [Patentdokumente]
  • [Patentdokument 1] Patentveröffentlichung Nr. JP 2011-123733 A
  • [Übersicht über die Erfindung]
  • [Durch die Erfindung zu lösende Aufgabe]
  • Beim Stand der Technik besteht jedoch das Problem, dass zwar anhand von Positionsänderungen der Körpermerkmale Handlungen eines Insassen in dem Fahrzeug prognostiziert werden, da jedoch nicht die Richtung gefolgert wird, in welche die Aufmerksamkeit des Insassen gerichtet ist, werden Handlungen prognostiziert, die in keiner Beziehung zu der Richtung stehen, in welche der Insasse seine Aufmerksamkeit richtet. Beispielsweise gibt es bei dem Stand der Technik das Problem, dass auch wenn ein Insasse seine Sitzhaltung geändert hat, ohne dass seine Aufmerksamkeit in die Richtung eines Onboard-Geräts gerichtet ist, aufgrund der Positionsänderung der Körpermerkmale prognostiziert wird, dass es sich bei der Handlung des Insassen um eine Handlung zur Bedienung eines Onboard-Geräts handelt.
  • Die vorliegende Offenbarung erfolgte zur Lösung dieser Problematik und macht es sich zur Aufgabe, eine Aufmerksamkeitsrichtung-Beurteilungsvorrichtung und ein Aufmerksamkeitsrichtung-Beurteilungsverfahren zur Beurteilung der Richtung, in welche die Aufmerksamkeit eines Insassen gerichtet ist, bereitzustellen.
  • [Mittel zum Lösen der Aufgabe]
  • Die Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß der vorliegenden Offenbarung umfasst eine Bilderwerbssektion zum Erwerben eines Bildes von Insassen in einem Fahrzeug, das durch eine Kamera aufgenommen wurde, eine Gesichtsmerkmal-Folgerungssektion, die basierend auf dem durch die Bilderwerbssektion erworbenen Bild Gesichtsmerkmale eines Insassen folgert, eine Physis-Folgerungssektion, die basierend auf dem durch die Bilderwerbssektion erworbenen Bild die Richtung folgert, in welche die Hand des Insassen gestreckt ist, eine Gesichtsrichtung-Detektionssektion, welche basierend auf den Gesichtsmerkmalen, die durch die Gesichtsmerkmal-Folgerungssektion gefolgert wurden, die Gesichtsrichtung des Insassen detektiert, und eine Aufmerksamkeitsrichtung-Beurteilungssektion, die basierend auf der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, und der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung des Insassen die Richtung beurteilt, in welche die Aufmerksamkeit des Insassen gerichtet ist.
  • Das Aufmerksamkeitsrichtung-Beurteilungsverfahren gemäß der vorliegenden Offenbarung umfasst einen Schritt zum Erwerben eines Bildes von Insassen in einem Fahrzeug, das durch eine Kamera aufgenommen wurde, einen Schritt, in dem basierend auf dem Bild Gesichtsmerkmale eines Insassen gefolgert werden, einen Schritt, in dem basierend auf dem Bild die Richtung gefolgert wird, in welche die Hand des Insassen gestreckt ist, einen Schritt, in dem basierend auf den Gesichtsmerkmalen, die Gesichtsrichtung des Insassen detektiert wird, und einen Schritt, in dem basierend auf der Richtung, in welche die Hand des Insassen gestreckt ist, und der Gesichtsrichtung des Insassen die Richtung beurteilt wird, in welche die Aufmerksamkeit des Insassen gerichtet ist.
  • [Wirkungen der Erfindung]
  • Der Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß der vorliegenden Offenbarung zufolge kann die Richtung, in welche die Aufmerksamkeit eines Insassen gerichtet ist, beurteilt werden.
  • Dem Aufmerksamkeitsrichtung-Beurteilungsverfahren gemäß der vorliegenden Offenbarung zufolge kann die Richtung, in welche die Aufmerksamkeit eines Insassen gerichtet ist, beurteilt werden.
  • Figurenliste
    • [1] 1 ist ein Blockbild, das ein Beispiel des Aufbaus einer Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Offenbarung zeigt.
    • [2] 2 ist eine Ansicht, die ein Beispiel eines Bildes eines Insassen, der auf dem Beifahrersitz sitzt, gemäß der ersten Ausführungsform der vorliegenden Offenbarung zeigt.
    • [3] 3 ist eine Ansicht, die ein Beispiel der Gesichtsmerkmale des Insassen gemäß der ersten Ausführungsform der vorliegenden Offenbarung zeigt.
    • [4] 4 ist eine Ansicht, die ein Beispiel einer Mehrzahl von Körperteilen eines Insassen in einem Bild gemäß der ersten Ausführungsform der vorliegenden Offenbarung zeigt.
    • [5] 5 ist eine Ansicht, die ein Beispiel einer Mehrzahl von Körperteilen eines Insassen in einem Bild gemäß der ersten Ausführungsform der vorliegenden Offenbarung zeigt.
    • [6] 6 ist eine Ansicht, die ein Beispiel einer Mehrzahl von Körperteilen eines Insassen in einem Bild gemäß der ersten Ausführungsform der vorliegenden Offenbarung zeigt.
    • [7] 7 ist eine Ansicht, die ein Beispiel einer Mehrzahl von Körperteilen eines Insassen in einem Bild gemäß der ersten Ausführungsform der vorliegenden Offenbarung zeigt.
    • [8] 8 ist eine Ansicht, die ein Beispiel zeigt, bei dem die Richtung detektiert wird, in welche die Hand eines Insassen in einem Bild gemäß der ersten Ausführungsform der vorliegenden Offenbarung gestreckt ist.
    • [9] 9 ist eine Ansicht, die ein Beispiel der Gesichtsrichtung eines Insassen gemäß der ersten Ausführungsform der vorliegenden Offenbarung zeigt.
    • [10] 10 ist eine Ansicht, die ein Beispiel der Gesichtsrichtung eines Insassen unter Berücksichtigung der Blickrichtung des Insassen gemäß der ersten Ausführungsform der vorliegenden Offenbarung zeigt.
    • [11] 11 ist ein Ablaufdiagramm, das ein Beispiel des Betriebs einer Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Offenbarung zeigt.
    • [12] 12 ist ein Blockbild, das ein Beispiel des Aufbaus einer Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Offenbarung zeigt.
    • [13] 13 ist ein Ablaufdiagramm, das ein Beispiel des Betriebs einer Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Offenbarung zeigt.
    • [14] 14 ist ein Blockbild, das ein Beispiel des Hardware-Aufbaus einer Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß der ersten und zweiten Ausführungsform der vorliegenden Offenbarung zeigt.
    • [15] 15 ist ein Blockbild, das ein Beispiel des Hardware-Aufbaus einer Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß der ersten und zweiten Ausführungsform der vorliegenden Offenbarung zeigt.
  • [Formen zur Ausführung der Erfindung]
  • Im Folgenden werden zur genaueren Erläuterung der vorliegenden Offenbarung Formen zur Ausführung der vorliegenden Offenbarung anhand der beigefügten Zeichnungen erläutert. Die im Folgenden dargestellten Ausführungsformen sind Beispiele, wobei die vorliegende Offenbarung nicht auf diese Ausführungsformen beschränkt ist.
  • Erste Ausführungsform
  • 1 ist ein Blockbild, das ein Beispiel des Aufbaus einer Aufmerksamkeitsrichtung-Beurteilungsvorrichtung 100 gemäß der vorliegenden Ausführungsform zeigt. Ferner ist hierbei vorausgesetzt, dass die Aufmerksamkeitsrichtung-Beurteilungsvorrichtung 100 in ein Fahrzeug eingebaut ist.
  • Wie in 1 gezeigt, umfasst die Aufmerksamkeitsrichtung-Beurteilungsvorrichtung 100 eine Bilderwerbssektion 1, eine Gesichtsmerkmal-Folgerungssektion 2, eine Kopfposition-Folgerungssektion 3, eine Körperteil-Folgerungssektion 4, eine Physis-Folgerungssektion 5, eine Gesichtsrichtung-Detektionssektion 6, eine Aufmerksamkeitsrichtung-Beurteilungssektion 7 und eine Beurteilungsergebnis-Ausgabesektion 8. Ferner ist die Bilderwerbssektion 1 mit einer Kamera 9 verbunden. Die Kamera 9 ist in ein Fahrzeug eingebaut. Die Beurteilungsergebnis-Ausgabesektion 8 ist an eine Steuersektion 10 angeschlossen. Die Steuersektion 10 empfängt ein von der Beurteilungsergebnis-Ausgabesektion 8 ausgegebenes Beurteilungsergebnis und führt basierend auf dem Beurteilungsergebnis eine Steuerung von Onboard-Geräten usw. durch. Bei den Onboard-Geräten handelt es sich beispielsweise um ein Beleuchtungsgerät im Fahrzeuginneren, eine Navigationsvorrichtung oder ein Audiogerät usw.
  • Die Bilderwerbssektion 1 erwirbt ein durch die Kamera 9 aufgenommenes Bild von Insassen in einem Fahrzeug. Die Aufnahme durch die Kamera 9 erfolgt derart, dass die Insassen, die jeweils auf dem Fahrersitz, dem Beifahrersitz und dem Rücksitz sitzen, beinhaltet sind. 2 ist eine Ansicht, die ein Beispiel eines Bildes eines Insassen zeigt, der auf dem Beifahrersitz sitzt. Bei dem Beispiel in 2 ist der Fall dargestellt, dass ein Insasse auf dem Beifahrersitz sitzt, wobei keine Beschränkung hierauf besteht. Ein durch die Kamera 9 aufgenommenes Bild kann auch einen Insassen, der auf dem Fahrersitz sitzt, oder einen Insassen, der auf dem Rücksitz sitzt, beinhalten.
  • Die Gesichtsmerkmal-Folgerungssektion 2 folgert basierend auf dem durch die Bilderwerbssektion 1 erworbenen Bild Gesichtsmerkmale eines Insassen. Konkret vergleicht die Gesichtsmerkmal-Folgerungssektion 2 das durch die Bilderwerbssektion 1 erworbene Bild mit einem vorbereiteten Lernlexikon (nicht dargestellt), und folgert Gesichtsmerkmale, die die Position des Gesichts, der Augen, der Nase usw. des Insassen zeigen, den das durch die Bilderwerbssektion 1 erworbene Bild beinhaltet. Beispielsweise folgert die Gesichtsmerkmal-Folgerungssektion 2 als Gesichtsmerkmale die Position und Größe der Pupillen, den Abstand der beiden Augen, bei dem es sich um den Abstand zwischen den Zentren der jeweiligen Pupille der beiden Augen handelt, die Position der beiden Enden der Augenbrauen, die Position der beiden Enden der Augen, die Position der Nasenspitze, die Position der beiden Enden des Mundes usw. des Insassen, wobei hierauf keine Beschränkung besteht und auch andere Gesichtsmerkmale gefolgert werden können. In dem Lernlexikon sind die Gesichtsmerkmale einer Mehrzahl von Menschen aufgezeichnet. Beinhaltet das Bild eine Mehrzahl von Insassen, folgert die Gesichtsmerkmal-Folgerungssektion 2 die Gesichtsmerkmale der jeweiligen Insassen.
  • 3 ist eine Ansicht, die ein Beispiel der Gesichtsmerkmale eines Insassen zeigt. Der in 3 dargestellte Insasse sitzt auf dem Beifahrersitz. In 3 stellt eine das Gesicht eines Insassen viereckig umgebende Linie die Position des Gesichts des Insassen dar. Ein durch eine gestrichelte Linie dargestellter Kreis in der Mitte der Augen des Insassen stellt die Position und die Größe der Pupille des Insassen dar. Eine Mehrzahl von Punkten in dem Gesicht des Insassen stellen jeweils die Position beider Enden der Augenbrauen, die Position beider Enden der Augen, die Position der Nasenspitze und die Position beider Enden des Mundes dar. Ferner ist die Augenbreite der Abstand der beiden Augen des Insassen, konkreter der Abstand zwischen den Mittelpunkten der jeweiligen Pupillen. Bei der Gesichtsmerkmal-Folgerungssektion 2 besteht keine Beschränkung auf die in 3 gezeigten Gesichtsmerkmale, sondern es können auch andere Merkmale des Gesichts gefolgert werden.
  • Die Kopfposition-Folgerungssektion 3 folgert basierend auf den durch die Gesichtsmerkmal-Folgerungssektion 2 gefolgerten Gesichtsmerkmalen die relative Position des Kopfs des Insassen zur Kamera 9. Konkret folgert die Kopfposition-Folgerungssektion 3 basierend auf dem Abstand der beiden Augen oder der Größe der Pupillen des Insassen, die durch die Gesichtsmerkmal-Folgerungssektion 2 gefolgert wurden, die physikalische relative Position des Kopfs des Insassen zur Kamera 9. Das heißt, die Kopfposition-Folgerungssektion 3 folgert den Abstand zwischen der Kamera 9 und dem Kopf des Insassen.
  • Bei der vorliegenden Ausführungsform wird basierend auf dem Abstand der beiden Augen oder der Größe der Pupillen des Insassen, bei welchen eine Beeinflussung durch physische Unterschiede gering ist, die relative Position des Kopfs der Insassen zur Kamera 9 gefolgert. Infolgedessen kann ungeachtet der Physis der Insassen die relative Position des Kopfs der Insassen zur Kamera 9 präzise gefolgert werden. Ferner kann auch bei einer Änderung der Sitzposition, in der die Insassen sitzen, der Änderung entsprechend die relative Position des Kopfs der Insassen zur Kamera 9 präzise gefolgert werden.
  • Die Körperteil-Folgerungssektion 4 folgert basierend auf dem durch die Bilderwerbssektion 1 erworbenen Bild die Größe einer Mehrzahl von Körperteilen des Insassen in dem Bild. Konkret vergleicht die Körperteil-Folgerungssektion 4 das durch die Bilderwerbssektion 1 erworbene Bild mit einem vorbereiteten Lernlexikon (nicht dargestellt), und folgert die Größe und Position in dem Bild der jeweiligen Körperteile wie Hals, Schultern, Arme, Hände, Oberkörper usw. des Insassen, den das durch die Bilderwerbssektion 1 erworbene Bild beinhaltet. In dem Lernlexikon sind die Größe und Position in dem Bild der jeweiligen Körperteile einer Mehrzahl von Menschen aufgezeichnet. Beinhaltet das Bild eine Mehrzahl von Insassen, folgert die Körperteil-Folgerungssektion 4 die Größe einer Mehrzahl von Körperteilen der jeweiligen Insassen. Die Einheit der Größe der jeweiligen Körperteile der Insassen in dem Bild, die durch die Körperteil-Folgerungssektion 4 gefolgert wird, ist pix (Pixel).
  • 4 bis 7 sind Ansichten, die Beispiele der Größe und Position einer Mehrzahl von Körperteilen der Insassen in dem Bild zeigen, das durch die Bilderwerbssektion 1 erworben wurde. 4 bis 6 sind Ansichten, welche die Größe und die Position der jeweiligen Körperteile von Insassen mit einer unterschiedlichen Physis zeigen. In 4 bis 7 entsprechen die jeweiligen Punkte verbindenden Geraden den Körperteilen des Insassen, wobei die Einheit der Größe der jeweiligen Körperteile pix (Pixel) ist. Beispielsweise stellt der in 7 gezeigte Doppelpfeil die Schulterbreite (n-Pixel) des Insassen dar.
  • Die Physis-Folgerungssektion 5 folgert basierend auf der durch die Kopfposition-Folgerungssektion 3 gefolgerten relativen Position des Kopfs des Insassen zur Kamera 9 und der durch die Körperteil-Folgerungssektion 4 gefolgerten Größe der jeweiligen Körperteile des Insassen in dem Bild die Physis des Insassen und die Richtung, in welche die Hand des Insassen gestreckt ist. Konkret konvertiert die Physis-Folgerungssektion 5 zunächst die Größe der jeweiligen Körperteile des Insassen in dem Bild, die durch die Körperteil-Folgerungssektion 4 gefolgert wurde, in die tatsächliche Größe der jeweiligen Körperteile des Insassen. Bei einer Mehrzahl von Insassen folgert die Physis-Folgerungssektion 5 die tatsächliche Größe der jeweiligen Körperteile der jeweiligen Insassen.
  • Das Verfahren, mit dem die Physis-Folgerungssektion 5 die Schulterbreite eines Insassen in dem Bild, die durch die Körperteil-Folgerungssektion 4 gefolgert wurde, in die tatsächliche Schulterbreite konvertiert, wird nun erläutert. Die Physis-Folgerungssektion 5 berechnet eine tatsächliche Schulterbreite d mittels der folgenden Gleichung (1). d = Mn/ { 2 xtan ( θ /2 }
    Figure DE112020006670T5_0001
  • In der Gleichung (1) stellt n die Größe der Schulterbreite in dem Bild dar. M gibt die Querbreite des Bildes an und wird durch den Bildwinkel θ der Kamera 9 bestimmt. Durch x wird der Abstand zwischen der Kamera 9 und dem Kopf des Insassen dargestellt, und entspricht der durch die Kopfposition-Folgerungssektion 3 gefolgerten relativen Position des Kopfs des Insassen zur Kamera 9. Auf diese Weise konvertiert die Physis-Folgerungssektion 5 die Größe der jeweiligen Körperteile in dem Bild, die durch die Körperteil-Folgerungssektion 4 gefolgert wurde, durch eine Korrektur mittels der relativen Position des Kopfs des Insassen, die durch die Kopfposition-Folgerungssektion 3 gefolgert wurde, in die tatsächliche Größe der jeweiligen Körperteile des Insassen.
  • Wie die Gleichung (1) zeigt, berechnet die Physis-Folgerungssektion 5 mittels der durch die Kopfposition-Folgerungssektion 3 gefolgerten relativen Position des Kopfs des Insassen zur Kamera 9 die tatsächliche Größe der jeweiligen Körperteile des Insassen. Infolgedessen kann die Physis-Folgerungssektion 5 auch bei einer Änderung der Sitzposition, in der ein Insasse sitzt, die tatsächliche Größe der jeweiligen Körperteile des Insassen korrekt berechnen. Vorstehend wurde die Berechnung der Schulterbreite eines Insassen erläutert, eine gleichartige Berechnung kann jedoch auch bezüglich anderer Körperteile eines Insassen erfolgen. Beispielsweise kann durch die Physis-Folgerungssektion 5 auch die Größe des Insassen im Sitzen, die Größe des Gesichts und die Länge der Arme berechnet werden.
  • Eine Konversion der Größe der jeweiligen Körperteile eines Insassen in dem Bild in die tatsächliche Größe der jeweiligen Körperteile des Insassen ist möglich, da anzunehmen ist, dass sich an der relativen Position des Kopfs des Insassen zur Kamera 9 sämtliche Körperteile des Insassen befinden. Es ist zwar vorstellbar, dass sich Schultern, Wirbelsäule und Gesicht im Wesentlichen an derselben Stelle befinden wie die relative Position des Kopfs des Insassen zur Kamera 9, da die Arme jedoch um die Schultern herum umfangreich bewegt werden können, besteht hierauf keine Beschränkung. Bezüglich der Arme kann die Körperteil-Folgerungssektion 4 auch, wenn durch eine Änderung im chronologischen Verlauf des Bildes die Größe der Arme maximal geworden ist, die betreffende maximal gewordene Größe der Arme als Größe der Arme des Insassen folgern. In diesem Fall konvertiert die Physis-Folgerungssektion 5 die Größe der Arme des Insassen in dem Bild, die durch die Körperteil-Folgerungssektion 4 gefolgert wurde, in die tatsächliche Größe der Arme des Insassen.
  • Als Nächstes folgert die Physis-Folgerungssektion 5 basierend auf der tatsächlichen Größe der jeweiligen Körperteile des Insassen die Physis des Insassen. Konkret gibt die Physis-Folgerungssektion 5 in ein (nicht dargestelltes) Lerngerät,
    das einen Lernprozess abgeschlossen hat, bei dem ein mechanisches Lernen zur Folgerung der Physis eines Insassen erfolgt ist, die tatsächliche Größe der jeweiligen Körperteile des Insassen ein und erwirbt von dem Lerngerät durch das Ausführen einer Rechenverarbeitung des Lerngerätes ein Folgerungsergebnis der Physis des Insassen. Bei einer Mehrzahl von Insassen folgert die Physis-Folgerungssektion 5 die Physis der jeweiligen Insassen.
  • Das Lerngerät weist ein Lernlexikon (nicht dargestellt) auf, in dem die tatsächliche Größe der jeweiligen Körperteile einer Mehrzahl von Menschen mit der Physis der jeweiligen Menschen in Verbindung gesetzt aufgezeichnet ist. Wurde beispielsweise von der Physis-Folgerungssektion 5 in das Lerngerät die Sitzhöhe, die Schulterbreite, die Größe des Gesichts und die Länge der Arme eingegeben, vergleicht das Lerngerät die tatsächliche Größe der eingegebenen Körperteile mit dem Lernlexikon und folgert die Physis mit der höchsten Wahrscheinlichkeit als Physis des Insassen mit den eingegebenen jeweiligen Körperteilen. Auf diese Weise liegt eine Korrelation zwischen der tatsächlichen Größe der jeweiligen Körperteile des Insassen mit der Physis des Insassen vor. Die Physis-Folgerungssektion 5 erwirbt das Folgerungsergebnis der Physis des Insassen von dem Lerngerät.
  • Als Nächstes schätzt die Physis-Folgerungssektion anhand der gefolgerten Physis des Insassen in welche Richtung die Hand des Insassen gestreckt ist. Beispielsweise detektiert die Physis-Folgerungssektion 5 durch das Nachweisen der Hand des Insassen in einem vorab eingestellten Physis-Nachweisbereich die Richtung, in welche die Hand des Insassen gestreckt ist. 8 ist eine Ansicht, die ein Beispiel zeigt, bei dem die Richtung detektiert wird, in welche die Hand eines Insassen in dem Bild, das durch die Bilderwerbssektion 1 erworben wurde, gestreckt ist.
  • Bei dem in 8 gezeigten Beispiel sitzt der Insasse auf dem Beifahrersitz. In 8 stellen die jeweiligen durch eine gestrichelte Linie umgebenen Bereiche die jeweiligen vorab eingestellten Physis-Nachweisbereiche dar. Bei dem Beispiel in 8 handelt es sich bei den als Physis-Nachweisbereiche eingestellten Bereichen um den Nachbarsitzbereich bezogen auf den nachzuweisenden Insassen, den Rücksitzbereich bezogen auf den nachzuweisenden Insassen und einen Türgriffbereich zum Ein- und Aussteigen des nachzuweisenden Insassen. Bei dem in 8 gezeigten Beispiel handelt es sich bei den jeweiligen eingestellten Physis-Nachweisbereichen um ein Beispiel für den Fall, dass der Insasse auf dem Beifahrersitz sitzt, wobei eine der Sitzposition des nachzuweisenden Insassen entsprechende angemessene Einstellung erfolgt. Ferner ist die Größe der jeweiligen Nachweisbereiche beliebig einstellbar und wird dem nachzuweisenden Insassen entsprechend angemessen eingestellt.
  • Die Physis-Folgerungssektion 5 folgert, dass die Hand des Insassen in die Nachbarsitzrichtung gestreckt ist, wenn die Hand des Insassen in dem in 8 gezeigten Beispiel in einem Physis-Nachweisbereich A nachgewiesen wurde. Die Physis-Folgerungssektion 5 folgert, dass die Hand des Insassen in die Rücksitzrichtung gestreckt ist, wenn die Hand des Insassen in dem in 8 gezeigten Beispiel in einem Physis-Nachweisbereich B nachgewiesen wurde. Die Physis-Folgerungssektion 5 folgert, dass die Hand des Insassen zur Türgriffrichtung gestreckt ist, wenn die Hand des Insassen in dem in 8 gezeigten Beispiel in einem Physis-Nachweisbereich C nachgewiesen wurde. Wurde die Hand des Insassen in einem anderen Bereich als den vorab eingestellten Physis-Nachweisbereichen nachgewiesen, oder wurde die Hand des Insassen in einer Mehrzahl von Physis-Nachweisbereichen nachgewiesen, beurteilt die Physis-Folgerungssektion 5, dass die Richtung der Hand des Insassen nicht gefolgert werden kann. In 8 ist ein Beispiel dargestellt, bei dem der nachzuweisende Insasse auf dem Beifahrersitz sitzt, wobei der nachzuweisende Insasse nicht auf einen Insassen beschränkt ist, der auf dem Beifahrersitz sitzt.
  • Durch die Gesichtsrichtung-Detektionssektion 6 wird basierend auf der Positionsbeziehung zwischen dem Gesicht, den Augen, der Nase usw. als Gesichtsmerkmalen des Insassen, die durch die Gesichtsmerkmale-Folgerungssektion 2 gefolgert wurden, die Gesichtsrichtung detektiert. Beispielsweise extrahiert die Gesichtsrichtung-Detektionssektion 6 aus dem Porträt des Insassen die den Gesichtsteilen entsprechenden Merkmale und berechnet basierend auf der durch diese Merkmale dargestellten Positionsbeziehung der Gesichtsteile den Gesichtsrichtungswinkel des Insassen. Der Gesichtsrichtungswinkel kann beispielsweise mittels des POSIT (Pose from Orthography and Scaling with Iterations) Algorithmus, bei dem es sich um eine allgemein bekannte Technologie handelt, detektiert werden.
  • Die Gesichtsrichtung-Detektionssektion 6 detektiert anhand des detektierten Gesichtsrichtungswinkels die Gesichtsrichtung des Insassen. Beispielsweise detektiert die Gesichtsrichtungs-Detektionssektion 6 als Gesichtsrichtung des Insassen, ob der nachzuweisende Insasse in die Nachbarsitzrichtung gerichtet ist, ob der nachzuweisende Insasse zur Rücksitzrichtung gerichtet ist, oder ob der nachzuweisende Insasse zur Türgriffrichtung gerichtet ist, um ein- oder auszusteigen. 9 ist eine Ansicht, die Beispiele der Gesichtsrichtung des Insassen zeigt, wobei ein den Kopf des Insassen von oben gesehener Zustand dargestellt ist. Bei 9 zeigt eine Strichpunktlinie die Gesichtsrichtung des Insassen, wobei ein Gesichtsrichtungswinkel von 0 Grad gegeben ist, wenn die Gesichtsrichtung des Insassen mit einer Fahrtrichtung Y des Fahrzeugs übereinstimmt.
  • Als Nächstes werden anhand von 9 Detektionsbeispiele der Gesichtsrichtung des Insassen mittels der Gesichtsrichtung-Detektionssektion 6 erläutert. Bei den in 9 gezeigten Beispielen sitzt der Insasse auf dem Beifahrersitz.
    Wie in 9 (a) gezeigt, beurteilt die Gesichtsrichtung-Detektionssektion 6 für den Fall, dass die Gesichtsrichtung des Insassen von der Fahrtrichtung Y des Fahrzeugs nach rechts gedreht ist, dass der Insasse in die Nachbarsitzrichtung gerichtet ist, wenn der Gesichtsrichtungswinkel ausgehend von 0 Grad kleiner oder gleich ein bestimmter Winkel α ist.
    Wie in 9 (b) gezeigt, beurteilt die Gesichtsrichtung-Detektionssektion 6 für den Fall, dass die Gesichtsrichtung des Insassen von der Fahrtrichtung Y des Fahrzeugs nach links gedreht ist, dass der Insasse in die Türgriffrichtung gerichtet ist, wenn der Gesichtsrichtungswinkel ausgehend von 0 Grad kleiner oder gleich ein bestimmter Winkel β ist.
    Wie in 9 (c) gezeigt, beurteilt die Gesichtsrichtung-Detektionssektion 6 für den Fall, dass die Gesichtsrichtung des Insassen von der Fahrtrichtung Y des Fahrzeugs nach rechts den bestimmten Winkel α überschreitet, dass der Insasse in die Rücksitzrichtung gerichtet ist.
    Wie in 9 (d) gezeigt, beurteilt die Gesichtsrichtung-Detektionssektion 6 für den Fall, dass die Gesichtsrichtung des Insassen von der Fahrtrichtung Y des Fahrzeugs nach links den bestimmten Winkel β überschreitet, dass der Insasse in die Rücksitzrichtung gerichtet ist.
  • Als der bestimmte Winkel α und der bestimmte Winkel β werden hierbei im Prozess einer Richtung in die Rücksitzrichtung erfassbare Winkel eingestellt. Der bestimmte Winkel α und der bestimmte Winkel β werden beispielsweise auf 50 Grad eingestellt. Der bestimmte Winkel α und der bestimmte Winkel β sind beliebig einstellbar, wobei der bestimmte Winkel α und der bestimmte Winkel β auf unterschiedliche Werte eingestellt werden können. In 9 sind Beispiele dargestellt, bei denen der nachzuweisende Insasse auf dem Beifahrersitz sitzt, wobei der nachzuweisende Insasse nicht auf einen Insassen beschränkt ist, der auf dem Beifahrersitz sitzt. Ferner wird die Gesichtsrichtung des Insassen, die mittels der Gesichtsrichtung-Detektionssektion 6 beurteilt wird, entsprechend der Sitzposition des nachzuweisenden Insassen bestimmt.
  • Die Gesichtsrichtung-Detektionssektion 6 kann auch derart aufgebaut sein, dass sie anhand der durch die Gesichtsmerkmale-Folgerungssektion 2 gefolgerten Merkmale das Sichtfeld oder die Blickrichtung des Insassen detektiert. Das heißt, die Gesichtsrichtung-Detektionssektion 6 kann auch derart aufgebaut sein, dass sie basierend auf den durch die Gesichtsmerkmale-Folgerungssektion 2 gefolgerten Merkmalen des Insassen den Gesichtsrichtungswinkel des Insassen, das Sichtfeld des Insassen oder die Blickrichtung des Insassen berechnet, und basierend auf dem berechneten Gesichtsrichtungswinkel des Insassen, dem Sichtfeld oder der Blickrichtung des Insassen die Gesichtsrichtung des Insassen detektiert. Beispielsweise detektiert die Gesichtsrichtung-Detektionssektion 6 anhand der durch die Gesichtsmerkmal-Folgerungssektion 2 gefolgerten Position und Größe der Pupillen, dem Abstand der beiden Augen, bei dem es sich um den Abstand zwischen den Zentren der jeweiligen Pupille der beiden Augen handelt, der Position der beiden Enden der Augenbrauen und der Position der beiden Enden der Augen des Insassen das Sichtfeld oder die Blickrichtung. Das Sichtfeld oder die Blickrichtung kann mittels einer allgemein bekannten Blickrichtung-Detektionsverarbeitung detektiert werden.
  • Die Gesichtsrichtung-Detektionssektion 6 detektiert als Sichtfeld oder Blickrichtung einen Sichtfeldrichtungswinkel. Der Sichtfeldrichtungswinkel ist ein Winkel, der die Richtung des Sichtfeldes des Insassen zum Gesichtsrichtungswinkel des Insassen darstellt. Bei einem Aufbau, bei dem die Gesichtsrichtung-Detektionssektion 6 den Sichtfeldrichtungswinkel detektiert, erfolgt die Detektion der Gesichtsrichtung dadurch, dass die Gesichtsrichtung-Detektionssektion 6 unter Berücksichtigung des Sichtfeldrichtungswinkels des Insassen den Gesichtsrichtungswinkel berechnet. Beispielsweise berechnet die Gesichtsrichtung-Detektionssektion 6 für den Fall, dass die Drehrichtung des Gesichtsrichtungswinkels des Insassen zur Fahrtrichtung Y des Fahrzeugs mit der Drehrichtung des Sichtfeldrichtungswinkels des Insassen zum Gesichtsrichtungswinkel des Insassen übereinstimmt, einen Wert, der sich durch Addition des Sichtfeldrichtungswinkels des Insassen zum Gesichtsrichtungswinkel des Insassen ergibt, als Gesichtsrichtungswinkel unter Berücksichtigung des Sichtfeldrichtungswinkels des Insassen. Andererseits berechnet die Gesichtsrichtung-Detektionssektion 6 für den Fall, dass sich die Drehrichtung des Gesichtsrichtungswinkel des Insassen zur Fahrtrichtung Y des Fahrzeugs von der Drehrichtung des Sichtfeldrichtungswinkels des Insassen zum Gesichtsrichtungswinkel des Insassen unterscheidet, einen Wert, der sich durch Subtraktion des Sichtfeldrichtungswinkel des Insassen vom Gesichtsrichtungswinkel des Insassen ergibt, als Gesichtsrichtungswinkel unter Berücksichtigung des Sichtfeldrichtungswinkels des Insassen. Das heißt, die Gesichtsrichtung-Detektionssektion 6 detektiert die Gesichtsrichtung basierend auf dem Gesichtsrichtungswinkel, der den Sichtfeldrichtungswinkels des Insassen berücksichtigt, der zusätzlich zum Gesichtswinkel des Insassen außerdem noch unter Nutzung des Sichtfeldrichtungswinkels des Insassen berechnet wurde.
  • 10 ist dabei eine Ansicht, die ein Beispiel der Gesichtsrichtung des Insassen unter Berücksichtigung des Sichtfeldrichtungswinkels des Insassen zeigt, wobei ein den Kopf des Insassen von oben gesehener Zustand dargestellt ist. In 10 ist die Gesichtsrichtung des Insassen durch eine Strichpunktlinie gezeigt und der Sichtfeldrichtungswinkel des Insassen ist durch eine gestrichelte Linie gezeigt. Stimmt die Gesichtsrichtung des Insassen mit der Fahrtrichtung Y des Fahrzeugs überein, ist ein Gesichtsrichtungswinkel von 0 Grad gegeben. Stimmt ferner die Gesichtsrichtung des Insassen mit dem Sichtfeldrichtungswinkel des Insassen überein, ist ein Gesichtsrichtungswinkel von 0 Grad gegeben.
  • Als Nächstes wird anhand von 10 ein Detektionsbeispiel der Gesichtsrichtung des Insassen unter Berücksichtigung des Sichtfeldrichtungswinkels des Insassen mittels der Gesichtsrichtung-Detektionssektion 6 erläutert. Bei dem in 10 gezeigten Beispiel sitzt der Insasse auf dem Beifahrersitz. Bei dem in 10 gezeigten Beispiel beträgt der Gesichtsrichtungswinkel des Insassen A Grad nach rechts von der Fahrtrichtung Y des Fahrzeugs. Ferner beträgt der Sichtfeldrichtungswinkel des Insassen a Grad nach links von der Fahrtrichtung Y des Fahrzeugs. Das heißt, bei dem in 10 gezeigten Beispiel berechnet die Gesichtsrichtung-Detektionssektion 6 unter Berücksichtigung des Sichtfeldrichtungswinkels des Insassen als Gesichtsrichtungswinkel A Grad - a Grad und beurteilt für den Fall, dass der den Sichtfeldrichtungswinkel des Insassen berücksichtigende Gesichtsrichtungswinkel A Grad - a Grad von 0 Grad kleiner oder gleich dem bestimmten Winkel α ist, dass der Insasse zur Nachbarsitzrichtung gerichtet ist.
  • Das heißt, die Gesichtsrichtung-Detektionssektion 6 beurteilt für den Fall, dass der Gesichtsrichtungswinkel unter Berücksichtigung des Sichtfeldrichtungswinkels des Insassen von 0 Grad kleiner oder gleich dem bestimmten Winkel α ist, dass der Insasse zur Nachbarsitzrichtung gerichtet ist, und für den Fall, dass der Gesichtsrichtungswinkel unter Berücksichtigung des Sichtfeldrichtungswinkels des Insassen den bestimmten Winkel α überschreitet, dass der Insasse zur Rücksitzrichtung gerichtet ist. Ferner beurteilt die Gesichtsrichtung-Detektionssektion 6 für den Fall, dass der Gesichtsrichtungswinkel unter Berücksichtigung des Sichtfeldrichtungswinkels des Insassen von 0 Grad kleiner oder gleich dem bestimmten Winkel β ist, dass der Insasse zur Türgriffrichtung gerichtet ist, und für den Fall, dass der Gesichtsrichtungswinkel unter Berücksichtigung des Sichtfeldrichtungswinkels des Insassen den bestimmten Winkel β überschreitet, dass der Insasse zur Rücksitzrichtung gerichtet ist.
  • Die Aufmerksamkeitsrichtung-Beurteilungssektion 7 beurteilt basierend auf der durch die Physis-Folgerungssektion 5 gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, und der durch die Gesichtsrichtung-Detektionssektion 6 gefolgerten Gesichtsrichtung des Insassen, die Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist. Außerdem gibt die Aufmerksamkeitsrichtung-Beurteilungssektion 7 das beurteilte Beurteilungsergebnis an die Beurteilungsergebnis-Ausgabesektion 8 aus. Beispielsweise beurteilt die Aufmerksamkeitsrichtung-Beurteilungssektion 7 für den Fall, dass die durch die Physis-Folgerungssektion 5 gefolgerte Richtung, in welche die Hand des Insassen gestreckt ist, mit der durch die Gesichtsrichtung-Detektionssektion 6 gefolgerten Gesichtsrichtung des Insassen übereinstimmt, dass es sich bei der Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, um die Richtung handelt, die durch die Physis-Folgerungssektion 5 und die Gesichtsrichtung-Detektionssektion 6 gefolgert wurde. Andererseits beurteilt die Aufmerksamkeitsrichtung-Beurteilungssektion 7 für den Fall, dass die durch die Physis-Folgerungssektion 5 gefolgerte Richtung, in welche die Hand des Insassen gestreckt ist, mit der durch die Gesichtsrichtung-Detektionssektion 6 gefolgerten Gesichtsrichtung des Insassen nicht übereinstimmt, für den Fall, dass die durch die Physis-Folgerungssektion 5 gefolgerte Richtung, in welche die Hand des Insassen gestreckt ist nicht gefolgert werden kann, und für den Fall, dass die durch die Gesichtsrichtung-Detektionssektion 6 gefolgerte Gesichtsrichtung des Insassen nicht gefolgert werden kann, dass die Aufmerksamkeitsrichtung des Insassen nicht beurteilbar ist.
  • Die Beurteilungsergebnis-Ausgabesektion 8 gibt das von der Aufmerksamkeitsrichtung-Beurteilungssektion 7 beurteilte Beurteilungsergebnis an die Steuersektion 10 aus. Das von der Aufmerksamkeitsrichtung-Beurteilungssektion 7 beurteilte Beurteilungsergebnis beinhaltet auch das von der Aufmerksamkeitsrichtung-Beurteilungssektion 7 beurteilte Beurteilungsergebnis einer nicht beurteilbaren Aufmerksamkeitsrichtung.
  • Die Steuersektion 10 empfängt das von der Beurteilungsergebnis-Ausgabesektion 8 ausgegebene Beurteilungsergebnis und führt eine dem Beurteilungsergebnis entsprechende Steuerung von Onboard-Geräten usw. durch. Beispielsweise führt die Steuersektion 10 für den Fall, dass sie das Beurteilungsergebnis empfangen hat, dass es sich bei der Richtung, in welche der Insasse seine Aufmerksamkeit richtet, um die Nachbarsitzrichtung handelt, eine Steuerung durch, um eine Beleuchtung einzuschalten, die den Nachbarsitz bezogen auf den nachzuweisenden Insassen beleuchtet. Ferner führt die Steuersektion 10 für den Fall, dass sie das Beurteilungsergebnis empfangen hat, dass es sich bei der Richtung, in welche der Insasse seine Aufmerksamkeit richtet, um die Rücksitzrichtung handelt, eine Steuerung durch, um eine Beleuchtung einzuschalten, die den Rücksitz bezogen auf den nachzuweisenden Insassen beleuchtet. Ferner führt die Steuersektion 10 für den Fall, dass sie das Beurteilungsergebnis empfangen hat, dass es sich bei der Richtung, in welche der Insasse seine Aufmerksamkeit richtet, um die Türgriffrichtung handelt, eine Steuerung durch, um eine Beleuchtung einzuschalten, die den Fußraum des nachzuweisenden Insassen beleuchtet. Die Steuersektion 10 führt keine Steuerung von Onboard-Geräten usw. durch, wenn das empfangene Ergebnis eine nicht beurteilbare Aufmerksamkeitsrichtung ergibt.
  • 11 ist ein Ablaufdiagramm, das ein Beispiel der Arbeitsweise der in 1 gezeigten Aufmerksamkeitsrichtung-Beurteilungsvorrichtung 100 zeigt.
  • In Schritt S101 erwirbt die Bilderwerbssektion 1 ein Bild der Insassen eines Fahrzeugs, das durch die Kamera 9 aufgenommen wurde. In Schritt S102 folgert die Gesichtsmerkmal-Folgerungssektion 2 basierend auf dem durch die Bilderwerbssektion 1 erworbenen Bildes Gesichtsmerkmale eines Insassen.
  • In Schritt S103 folgert die Kopfposition-Folgerungssektion 3 basierend auf den durch die Gesichtsmerkmal-Folgerungssektion 2 gefolgerten Gesichtsmerkmalen die relative Position des Kopfs des Insassen zur Kamera 9. In S104 folgert die Körperteil-Folgerungssektion 4 basierend auf dem durch die Bilderwerbssektion 1 erworbenen Bild die Größe einer Mehrzahl von Körperteilen des Insassen in dem Bild.
  • In Schritt S105 folgert die Physis-Folgerungssektion 5 basierend auf der durch die Kopfposition-Folgerungssektion 3 gefolgerten relativen Position des Kopfs des Insassen und der durch die Körperteil-Folgerungssektion 4 gefolgerten Größe der jeweiligen Körperteile die Physis des Insassen. In Schritt S106 beurteilt die Physis-Folgerungssektion 5, ob die gefolgerte Physis in den Physis-Nachweisbereichen nachweisbar ist, und folgert die Richtung, in welche die Hand des Insassen gestreckt ist.
  • In Schritt S107 detektiert die Gesichtsrichtung-Detektionssektion 6 basierend auf der Positionsbeziehung zwischen dem Gesicht, den Augen, der Nase usw. als Gesichtsmerkmale des Insassen, die durch die Gesichtsmerkmal-Folgerungssektion 2 gefolgert wurden, die Gesichtsrichtung des Insassen.
  • In Schritt S108 beurteilt die Aufmerksamkeitsrichtung-Beurteilungssektion 7 basierend auf der durch die Physis-Folgerungssektion 5 gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, und der durch die Gesichtsrichtung-Detektionssektion 6 gefolgerten Gesichtsrichtung des Insassen, die Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist.
  • In Schritt S109 gibt die Beurteilungsergebnis-Ausgabesektion 8 das von der Aufmerksamkeitsrichtung-Beurteilungssektion 7 beurteilte Beurteilungsergebnis aus. Bei dem Beispiel in 1 gibt die Beurteilungsergebnis-Ausgabesektion 8 die durch die Aufmerksamkeitsrichtung-Beurteilungssektion 7 beurteilte Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, an die Steuersektion 10 aus.
  • Die Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß der vorliegenden ersten Ausführungsform umfasst eine Bilderwerbssektion zum Erwerben eines Bildes von Insassen in einem Fahrzeug, das durch eine Kamera aufgenommen wurde, eine Gesichtsmerkmal-Folgerungssektion, die basierend auf dem durch die Bilderwerbssektion erworbenen Bild Gesichtsmerkmale eines Insassen folgert, eine Physis-Folgerungssektion, die basierend auf dem durch die Bilderwerbssektion erworbenen Bild die Richtung folgert, in welche die Hand des Insassen gestreckt ist, eine Gesichtsrichtung-Detektionssektion, welche basierend auf den Gesichtsmerkmalen, die durch die Gesichtsmerkmal-Folgerungssektion gefolgert wurden, die Gesichtsrichtung des Insassen detektiert, und eine Aufmerksamkeitsrichtung-Beurteilungssektion, die basierend auf der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, und der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung des Insassen die Richtung beurteilt, in welche die Aufmerksamkeit des Insassen gerichtet ist.
  • Ferner beurteilt die Aufmerksamkeitsrichtung-Beurteilungssektion der Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß der vorliegenden ersten Ausführungsform für den Fall, dass die durch die Physis-Folgerungssektion gefolgerte Richtung, in welche die Hand des Insassen gestreckt ist, mit der durch die Gesichtsrichtungs-Detektionssektion detektierten Gesichtsrichtung des Insassen, übereinstimmt, die Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist.
  • Ferner beurteilt die Aufmerksamkeitsrichtung-Beurteilungssektion der Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß der vorliegenden ersten Ausführungsform für den Fall, dass es sich bei der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, um die Nachbarsitzrichtung handelt, und es sich bei der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung des Insassen um die Nachbarsitzrichtung handelt, dass es sich bei der Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, um die Nachbarsitzrichtung handelt.
  • Ferner beurteilt die Aufmerksamkeitsrichtung-Beurteilungssektion der Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß der vorliegenden ersten Ausführungsform für den Fall, dass es sich bei der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, um die Rücksitzrichtung handelt, und es sich bei der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung des Insassen um die Rücksitzrichtung handelt, dass es sich bei der Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, um die Rücksitzrichtung handelt.
  • Ferner beurteilt die Aufmerksamkeitsrichtung-Beurteilungssektion der Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß der vorliegenden ersten Ausführungsform für den Fall, dass es sich bei der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, um die Türgriffrichtung handelt, und es sich bei der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung des Insassen um die Türgriffrichtung handelt, dass es sich bei der Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, um die Türgriffrichtung handelt.
  • Ferner weist die Aufmerksamkeitsrichtung-Beurteilungssektion der Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß der vorliegenden ersten Ausführungsform eine Kopfposition-Folgerungssektion, die basierend auf durch die Gesichtsmerkmal-Folgerungssektion gefolgerten Gesichtsmerkmalen die relative Position des Kopfs des Insassen zur Kamera folgert, und eine Körperteil-Folgerungssektion auf, die basierend auf dem durch die Bilderwerbssektion erworbenen Bild die Größe einer Mehrzahl von Körperteilen des Insassen in dem Bild folgert, wobei die Physis-Folgerungssektion, basierend auf der durch die Kopfposition-Folgerungssektion gefolgerten relativen Position des Kopfs und der durch die Körperteil-Folgerungssektion gefolgerten Größe der jeweiligen Körperteile die Physis des Insassen folgert, und anhand des gefolgerten Physis-Folgerungsergebnisses des Insassen die Richtung folgert, in welche die Hand des Insassen gestreckt ist.
  • Ferner ist die Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß der vorliegenden ersten Ausführungsform dadurch gekennzeichnet, dass sie außerdem eine Beurteilungsergebnis-Ausgabesektion zum Ausgeben der durch die Aufmerksamkeitsrichtung-Beurteilungssektion beurteilten Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, umfasst.
  • Gemäß dem vorstehenden Aufbau kann die Aufmerksamkeitsrichtung-Beurteilungsvorrichtung 100 gemäß der ersten Ausführungsform die Richtung beurteilen, in welche die Aufmerksamkeit des Insassen gerichtet ist. Ferner detektiert die Gesichtsrichtung-Detektionssektion 6 basierend auf der Positionsbeziehung zwischen dem Gesicht, den Augen, der Nase usw. als Gesichtsmerkmale des Insassen, die durch die Gesichtsmerkmal-Folgerungssektion 2 gefolgert wurden, die Gesichtsrichtung, sodass die Aufmerksamkeitsrichtung-Beurteilungsvorrichtung 100 auch für den Fall, dass der Insasse eine Sonnenbrille trägt, die Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, beurteilen kann.
  • Das Aufmerksamkeitsrichtung-Beurteilungsverfahren gemäß der ersten Ausführungsform umfasst einen Schritt zum Erwerben eines Bildes von Insassen in einem Fahrzeug, das durch eine Kamera aufgenommen wurde, einen Schritt, in dem basierend auf dem Bild Gesichtsmerkmale eines Insassen gefolgert werden, einen Schritt, in dem basierend auf dem Bild die Richtung gefolgert wird, in welche die Hand des Insassen gestreckt ist, einen Schritt, in dem basierend auf den Gesichtsmerkmalen, die Gesichtsrichtung des Insassen detektiert wird, und einen Schritt, in dem basierend auf der Richtung, in welche die Hand des Insassen gestreckt ist, und der Gesichtsrichtung des Insassen die Richtung beurteilt wird, in welche die Aufmerksamkeit des Insassen gerichtet ist.
  • Dem vorstehenden Aufbau zufolge kann durch das Aufmerksamkeitsrichtung-Beurteilungsverfahren gemäß der ersten Ausführungsform die Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, beurteilt werden.
  • Zweite Ausführungsform
  • Der Aufbau einer Aufmerksamkeitsrichtung-Beurteilungsvorrichtung 200 gemäß einer zweiten Ausführungsform der vorliegenden Offenbarung wird erläutert. Eine Erläuterung von Strukturen, die identisch mit denen der ersten Ausführungsform sind oder diesen entsprechen, wird ausgelassen und es werden ausschließlich abweichende Teile des Aufbaus erläutert.
  • 12 ist ein Blockbild, das ein Beispiel des Aufbaus der Aufmerksamkeitsrichtung-Beurteilungsvorrichtung 200 gemäß der zweiten Ausführungsform zeigt. Wie in 12 gezeigt, umfasst die Aufmerksamkeit-Beurteilungsvorrichtung 200 eine Sitzinformationen-Erwerbssektion 21 und eine Fahrzeuginformationen-Erwerbssektion 22.
  • Die Sitzinformationen-Erwerbssektion 21 erwirbt Sitzinformationen der Insassen in dem Fahrzeug anhand eines von der Kamera 9 aufgenommenen Bildes. Bei den Sitzinformationen handelt es sich um Informationen, die zeigen, auf welchem Sitz in dem Fahrzeug ein Insasse sitzt. Der Erwerb von Sitzinformationen der Insassen in dem Fahrzeug durch die Sitzinformationen-Erwerbssektion 21 ist nicht beschränkt auf einen Aufbau, bei dem der Erwerb anhand eines Bildes der Insassen in einem Fahrzeug, das durch die Kamera 9 aufgenommen wurde, erfolgt. Ist in dem Fahrzeug beispielsweise ein Sitzplatzsensor vorgesehen, kann es sich auch um einen Aufbau handeln, bei dem die Sitzinformationen-Erwerbssektion 21 die Sitzinformationen der Insassen in dem Fahrzeug anhand des Sitzplatzsensors erwirbt.
  • Die Fahrzeuginformationen-Erwerbssektion 22 erwirbt Fahrzeuginformationen des Fahrzeugs. Bei den Fahrzeuginformationen handelt es sich beispielsweise um Informationen bezüglich eines Stoppens des Fahrzeugs. Die Fahrzeuginformationen-Erwerbssektion 22 erwirbt beispielsweise Fahrzeuginformationen anhand eines in dem Fahrzeug vorgesehenen Fahrzeugsensors (nicht dargestellt) wie eines Geschwindigkeitssensors usw.
  • Die Aufmerksamkeitsrichtung-Beurteilungssektion 7 gemäß der zweiten Ausführungsform der vorliegenden Offenbarung beurteilt basierend auf der durch die Physis-Folgerungssektion 5 gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, der durch die Gesichtsrichtung-Detektionssektion 6 gefolgerten Gesichtsrichtung des Insassen, und zumindest entweder der durch die Sitzinformationen-Erwerbssektion 21 erworbenen Sitzinformationen oder der durch die Fahrzeuginformationen-Erwerbssektion 22 erworbenen Fahrzeuginformationen die Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist.
  • Als Nächstes wird ein Beurteilungsbeispiel für den Fall erläutert, dass die Aufmerksamkeitsrichtung-Beurteilungssektion 7 basierend auf der durch die Physis-Folgerungssektion 5 gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, der durch die Gesichtsrichtung-Detektionssektion 6 gefolgerten Gesichtsrichtung des Insassen, und der durch die Sitzinformationen-Erwerbssektion 21 erworbenen Sitzinformationen die Richtung beurteilt, in welche die Aufmerksamkeit des Insassen gerichtet ist.
  • Die Aufmerksamkeitsrichtung-Beurteilungssektion 7 erwirbt für den Fall, dass es sich bei der durch die Physis-Folgerungssektion 5 gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, um die Nachbarsitzrichtung handelt, und bei der durch die Gesichtsrichtung-Detektionssektion 6 gefolgerten Gesichtsrichtung des Insassen um die Nachbarsitzrichtung handelt, außerdem Nachbarsitzinformationen anhand der von der Sitzinformationen-Erwerbssektion 21 erworbenen Sitzinformationen und beurteilt die Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist. Bei den Nachbarsitzinformationen handelt es sich um Informationen, die zeigen, ob ein Insasse auf dem Nachbarsitz bezogen auf den nachzuweisenden Insassen sitzt. Das heißt, die Aufmerksamkeitsrichtung-Beurteilungssektion 7 kann auch derart aufgebaut sein, dass sie für den Fall, dass es sich bei der durch die Physis-Folgerungssektion 5 gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, um die Nachbarsitzrichtung handelt, und es sich bei der durch die Gesichtsrichtung-Detektionssektion 6 gefolgerten Gesichtsrichtung des Insassen um die Nachbarsitzrichtung handelt, und außerdem die durch die Sitzinformationen-Erwerbssektion 21 erworbenen Sitzinformationen zeigen, dass kein Insasse auf dem Nachbarsitz bezogen auf den nachzuweisenden Insassen sitzt, beurteilt, dass es sich bei der Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, um die Nachbarsitzrichtung handelt. Andererseits beurteilt die Aufmerksamkeitsrichtung-Beurteilungssektion 7 für den Fall, dass die durch die Sitzinformationen-Erwerbssektion 21 erworbenen Sitzinformationen zeigen, dass ein Insasse auf dem Nachbarsitz bezogen auf den nachzuweisenden Insassen sitzt, dass die Aufmerksamkeitsrichtung nicht beurteilbar ist.
  • Die Aufmerksamkeitsrichtung-Beurteilungssektion 7 erwirbt für den Fall, dass es sich bei der durch die Physis-Folgerungssektion 5 gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, um die Rücksitzrichtung handelt, und bei der durch die Gesichtsrichtung-Detektionssektion 6 gefolgerten Gesichtsrichtung des Insassen um die Rücksitzrichtung handelt, außerdem Rücksitzinformationen anhand der von der Sitzinformationen-Erwerbssektion 21 erworbenen Sitzinformationen und beurteilt die Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist. Bei den Rücksitzinformationen handelt es sich um Informationen, die zeigen, ob ein Insasse auf dem Rücksitz bezogen auf den nachzuweisenden Insassen sitzt. Das heißt, die Aufmerksamkeitsrichtung-Beurteilungssektion 7 kann auch derart aufgebaut sein, dass sie für den Fall, dass es sich bei der durch die Physis-Folgerungssektion 5 gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, um die Rücksitzrichtung handelt, und es sich bei der durch die Gesichtsrichtung-Detektionssektion 6 gefolgerten Gesichtsrichtung des Insassen um die Rücksitzrichtung handelt, und außerdem die durch die Sitzinformationen-Erwerbssektion 21 erworbenen Sitzinformationen zeigen, dass kein Insasse auf dem Rücksitz bezogen auf den nachzuweisenden Insassen sitzt, beurteilt, dass es sich bei der Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, um die Rücksitzrichtung handelt. Andererseits beurteilt die Aufmerksamkeitsrichtung-Beurteilungssektion 7 für den Fall, dass die durch die Sitzinformationen-Erwerbssektion 21 erworbenen Sitzinformationen zeigen, dass ein Insasse auf dem Rücksitz bezogen auf den nachzuweisenden Insassen sitzt, dass die Aufmerksamkeitsrichtung nicht beurteilbar ist.
  • Als Nächstes wird ein Beurteilungsbeispiel für den Fall erläutert, dass die Aufmerksamkeitsrichtung-Beurteilungssektion 7 basierend auf der durch die Physis-Folgerungssektion 5 gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, der durch die Gesichtsrichtung-Detektionssektion 6 gefolgerten Gesichtsrichtung des Insassen, und der durch die Fahrzeuginformationen-Erwerbssektion 22 erworbenen Fahrzeuginformationen die Richtung beurteilt, in welche die Aufmerksamkeit des Insassen gerichtet ist.
  • Die Aufmerksamkeitsrichtung-Beurteilungssektion 7 beurteilt für den Fall, dass es sich bei der durch die Physis-Folgerungssektion 5 gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, um die Türgriffrichtung handelt, und bei der durch die Gesichtsrichtung-Detektionssektion 6 gefolgerten Gesichtsrichtung des Insassen um die Türgriffrichtung handelt, außerdem mittels der von der Fahrzeuginformationen-Erwerbssektion 22 erworbenen Fahrzeuginformationen die Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist. Bei den Fahrzeuginformationen handelt es sich hierbei um Informationen bezüglich eines Stoppens des Fahrzeugs. Das heißt, die Aufmerksamkeitsrichtung-Beurteilungssektion 7 kann auch derart aufgebaut sein, dass sie für den Fall, dass es sich bei der durch die Physis-Folgerungssektion 5 gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, um die Türgriffrichtung handelt, und es sich bei der durch die Gesichtsrichtung-Detektionssektion 6 gefolgerten Gesichtsrichtung des Insassen um die Türgriffrichtung handelt, und außerdem die durch die Fahrzeuginformationen-Erwerbssektion 22 erworbenen Fahrzeuginformationen zeigen,
    dass das Fahrzeug gestoppt hat, beurteilten, dass es sich bei der Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, um die Türgriffrichtung handelt. Andererseits beurteilt die Aufmerksamkeitsrichtung-Beurteilungssektion 7
    für den Fall, dass die durch die Fahrzeuginformationen-Erwerbssektion 22 erworbenen Fahrzeuginformationen zeigen,
    dass das Fahrzeug nicht gestoppt hat, dass die Aufmerksamkeitsrichtung nicht beurteilbar ist.
  • Ferner kann die Aufmerksamkeitsrichtung-Beurteilungssektion 7 auch derart aufgebaut sein, dass sie für den Fall, dass der nachzuweisende Insasse ein Insasse ist, der auf dem Fahrersitz sitzt, Informationen bezüglich eines Stoppens des Fahrzeugs anhand der von der Fahrzeuginformationen-Erwerbssektion 22 erworbenen Fahrzeuginformationen erwerben, und für den Fall eines Stoppens des Fahrzeugs die Richtung beurteilten, in welche die Aufmerksamkeit des Insassen gerichtet ist. Das heißt, die Aufmerksamkeitsrichtung-Beurteilungssektion 7 kann auch derart aufgebaut sein, dass sie für den Fall, dass der nachzuweisende Insasse ein Insasse ist, der auf dem Fahrersitz sitzt, und außerdem das Fahrzeug nicht gestoppt hat, beurteilt, dass die Aufmerksamkeitsrichtung nicht beurteilbar ist.
  • Ferner ist auch ein Aufbau möglich, bei dem die Gesichtsrichtung-Detektionssektion 6 den Wert eines bestimmten Winkels, der für die Detektion der Gesichtsrichtung des Insassen verwendet wird, oder die Physis-Folgerungssektion 5 die Größe der jeweiligen Physis-Nachweisbereiche, die für die Folgerung der Richtung, in welche die Hand des Insassen gestreckt ist, verwendet wird, entsprechend den durch die Sitzinformationen-Erwerbssektion 21 erworbenen Sitzinformationen oder den durch die Fahrzeuginformationen-Erwerbssektion 22 erworbenen Fahrzeuginformationen ändert. Beispielsweise kann die Physis-Folgerungssektion 5 derart aufgebaut sein, dass für den Fall, dass die durch die Fahrzeuginformationen-Erwerbssektion 22 erworbenen Fahrzeuginformationen eine Parken-Gangstellung des Fahrzeugs ergeben oder eine ausgeschaltete Zündung anzeigen, die jeweiligen Physis-Nachweisbereiche größer gebildet werden als die jeweiligen Physis-Nachweisbereiche, die bei einem Fahren des Fahrzeugs verwendet werden.
  • Dadurch, dass die Aufmerksamkeitsrichtung-Beurteilungssektion 7 durch das Erwerben von Sitzinformationen unter Berücksichtigung von Informationen, die eine Mehrzahl von Insassen betreffen, die Richtung beurteilt, in welche die Aufmerksamkeit des Insassen gerichtet ist, kann eine Fehlbeurteilung der Aufmerksamkeitsrichtung reduziert werden. Ferner kann dadurch, dass die Aufmerksamkeitsrichtung-Beurteilungssektion 7 durch das Erwerben von Fahrzeuginformationen unter Berücksichtigung des Fahrzeugzustands, die Richtung beurteilt, in welche die Aufmerksamkeit des Insassen gerichtet ist, eine Fehlbeurteilung der Aufmerksamkeitsrichtung reduziert werden.
  • Handelt es sich um einen Aufbau, bei dem die Aufmerksamkeitsrichtung-Beurteilungssektion 7 bei der Beurteilung der Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, keine Sitzinformationen und Fahrzeuginformationen verwendet, ist auch ein Aufbau möglich, bei dem die Steuersektion 10 basierend auf dem Beurteilungsergebnis, das durch die Beurteilungsergebnis-Ausgabesektion 8 ausgegeben wurde, und zumindest einer Information von entweder den durch die Sitzinformationen-Erwerbssektion 21 erworbenen Sitzinformationen oder den durch die Fahrzeuginformationen-Erwerbssektion 22 erworbenen Fahrzeuginformationen eine Steuerung von Onboard-Geräten usw. durchführt.
  • Als Nächstes wird ein Ausführungsbeispiel für den Fall erläutert, dass die Steuersektion 10 gemäß der zweiten Ausführungsform der vorliegenden Offenbarung basierend auf dem Beurteilungsergebnis, das durch die Beurteilungsergebnis-Ausgabesektion 8 ausgegeben wurde, und den Sitzinformationen, die durch die Sitzinformationen-Erwerbssektion 21 erworben wurden, eine Steuerung von Onboard-Geräten usw. durchführt.
  • Hat die Steuersektion 10 das Beurteilungsergebnis empfangen, dass die Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, die Nachbarsitzrichtung ist, erwirbt sie anhand der Sitzinformationen, die durch die Sitzinformationen-Erwerbssektion 21 erworben wurden, die Nachbarsitzinformationen. Handelt es sich bei den Sitzplatzinformationen, die von der Steuersektion 10 erworben wurden, um Informationen, die zeigen, dass auf dem Nachbarsitz bezogen auf den nachzuweisenden Insassen kein Insasse sitzt, führt die Steuersektion 10 eine Steuerung zum Einschalten einer Beleuchtung durch, die den Nachbarsitz bezogen auf den nachzuweisenden Insassen beleuchtet. Handelt es sich andererseits bei den Sitzplatzinformationen, die von der Steuersektion 10 erworben wurden, um Informationen, die zeigen, dass auf dem Nachbarsitz bezogen auf den nachzuweisenden Insassen ein Insasse sitzt, führt die Steuersektion 10 keine Steuerung zum Einschalten einer Beleuchtung durch, die den Nachbarsitz bezogen auf den nachzuweisenden Insassen beleuchtet.
  • Hat die Steuersektion 10 das Beurteilungsergebnis empfangen, dass die Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, die Rücksitzrichtung ist, erwirbt sie anhand der Sitzinformationen, die durch die Sitzinformationen-Erwerbssektion 21 erworben wurden, Rücksitzinformationen. Handelt es sich bei den Sitzplatzinformationen, die von der Steuersektion 10 erworben wurden, um Informationen, die zeigen, dass auf dem Rücksitz bezogen auf den nachzuweisenden Insassen kein Insasse sitzt, führt die Steuersektion 10 eine Steuerung zum Einschalten einer Beleuchtung durch, die den Rücksitz bezogen auf den nachzuweisenden Insassen beleuchtet. Handelt es sich andererseits bei den Sitzplatzinformationen, die von der Steuersektion 10 erworben wurden, um Informationen, die zeigen, dass auf dem Rücksitz bezogen auf den nachzuweisenden Insassen ein Insasse sitzt, führt die Steuersektion 10 keine Steuerung zum Einschalten einer Beleuchtung durch, die den Rücksitz bezogen auf den nachzuweisenden Insassen beleuchtet.
  • Als Nächstes wird ein Ausführungsbeispiel für den Fall erläutert, dass die Steuersektion 10 gemäß der zweiten Ausführungsform der vorliegenden Offenbarung basierend auf dem Beurteilungsergebnis, das durch die Beurteilungsergebnis-Ausgabesektion 8 ausgegeben wurde, und den Fahrzeuginformationen, die durch die Fahrzeuginformationen-Erwerbssektion 22 erworben wurden, eine Steuerung von Onboard-Geräten usw. durchführt.
  • Hat die Steuersektion 10 das Beurteilungsergebnis empfangen, dass die Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, die Türgriffrichtung ist, erwirbt sie Fahrzeuginformationen, die durch die Fahrzeuginformationen-Erwerbssektion 22 erworben wurden. Handelt es sich bei den Fahrzeuginformationen, die von der Steuersektion 10 erworben wurden, um Informationen, die zeigen, dass das Fahrzeug gestoppt hat, führt die Steuersektion 10 eine Steuerung zum Einschalten einer Beleuchtung durch, die den Fußraum bezogen auf den nachzuweisenden Insassen beleuchtet. Handelt es sich andererseits bei den Fahrzeuginformationen, die von der Steuersektion 10 erworben wurden, um Informationen, die zeigen, dass das Fahrzeug nicht gestoppt hat, führt die Steuersektion 10 keine Steuerung zum Einschalten einer Beleuchtung durch, die den Fußraum bezogen auf den nachzuweisenden Insassen beleuchtet.
  • Es ist ferner auch ein Aufbau möglich, bei dem für den Fall, dass es sich um einen Aufbau handelt, bei dem die Aufmerksamkeitsrichtung-Beurteilungssektion 7 beim Beurteilen der Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, keine Sitzinformationen und Fahrzeuginformationen verwendet, und es sich außerdem bei dem Insassen, für den durch die Aufmerksamkeitsrichtung-Beurteilungssektion 7 die Richtung, in welche die Aufmerksamkeit gerichtet ist, beurteilt wurde, um einen Insassen handelt, der auf dem Fahrersitz sitzt, die Steuersektion 10 eine Steuerung von Onboard-Geräten usw. entsprechend dem Beurteilungsergebnis durchführt, wenn die durch die Fahrzeuginformationen-Erwerbssektion 22 erworbenen Fahrzeuginformationen zeigen, dass das Fahrzeug gestoppt hat. Das heißt, es kann sich auch um einen Aufbau handeln, bei dem die Steuersektion 10 für den Fall, dass es sich bei dem Insassen, für den durch die Aufmerksamkeitsrichtung-Beurteilungssektion 7 die Richtung, in welche die Aufmerksamkeit gerichtet ist, beurteilt wurde, um einen Insassen handelt, der auf dem Fahrersitz sitzt, und außerdem die durch die Fahrzeuginformationen-Erwerbssektion 22 erworbenen Fahrzeuginformationen zeigen, dass das Fahrzeug nicht gestoppt hat, keine Steuerung von Onboard-Geräten usw. durchführt.
  • Dadurch, dass die Steuersektion 10 bei der Ausführung der Steuerung von Onboard-Geräten die Sitzinformationen verwendet, kann eine Steuerung von Onboard-Geräten usw. basierend auf Informationen bezüglich einer Mehrzahl von Insassen ausgeführt werden, sodass eine Fehlsteuerung von Onboard-Geräten reduziert werden kann. Ferner kann dadurch, dass die Steuersektion 10 bei der Ausführung der Steuerung von Onboard-Geräten die Fahrzeuginformationen verwendet, eine Steuerung von Onboard-Geräten usw. unter Berücksichtigung des Fahrzeugzustands ausgeführt werden, sodass eine Fehlsteuerung von Onboard-Geräten reduziert werden kann.
  • 13 ist ein Ablaufdiagramm, das ein Beispiel der Arbeitsweise der in 12 gezeigten Aufmerksamkeitsrichtung-Beurteilungsvorrichtung 200 zeigt. Schritt S201 bis Schritt S207 in 13 entsprechen Schritt S101 bis Schritt S107 in 11, und Schritt S211 in 13 entspricht Schritt S109 in 11, sodass hier eine Erläuterung ausgelassen wird. Im Folgenden werden Schritt S208 bis Schritt S210 erläutert.
  • In Schritt S208 erwirbt die Sitzinformationen-Erwerbssektion 21 Sitzinformationen der Insassen in einem Fahrzeug. In Schritt S209 erwirbt die Fahrzeuginformationen-Erwerbssektion 22 Fahrzeuginformationen.
  • In Schritt S210 beurteilt die Aufmerksamkeitsrichtung-Beurteilungssektion 7 mittels der durch die Physis-Folgerungssektion 5 gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, der durch die Gesichtsrichtung-Detektionssektion 6 detektierten Gesichtsrichtung des Insassen, und zumindest entweder der durch die Sitzinformationen-Erwerbssektion 21 erworbenen Sitzinformationen oder der durch die Fahrzeuginformationen-Erwerbssektion 22 erworbenen Fahrzeuginformationen die Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist.
  • Die Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß der vorliegenden zweiten Ausführungsform weist eine Sitzinformationen-Erwerbssektion zum Erwerben von Sitzinformationen der Insassen in einem Fahrzeug auf, und die Aufmerksamkeitsrichtung-Beurteilungssektion beurteilt basierend auf der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung des Insassen, und den durch die Sitzinformationen-Erwerbssektion erworbenen Sitzinformationen die Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist.
  • Ferner weist die Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß der vorliegenden zweiten Ausführungsform eine Fahrzeuginformationen-Erwerbssektion zum Erwerben von Fahrzeuginformationen auf, und die Aufmerksamkeitsrichtung-Beurteilungssektion beurteilt basierend auf der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand eines Insassen gestreckt ist, der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung des Insassen, und den durch die Fahrzeuginformationen-Erwerbssektion erworbenen Fahrzeuginformationen die Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist.
  • Ferner beurteilt die Aufmerksamkeitsrichtung-Beurteilungssektion der Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß der zweiten Ausführungsform für den Fall, dass es sich bei der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, um die Nachbarsitzrichtung handelt, und es sich bei der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung des Insassen um die Nachbarsitzrichtung handelt, und außerdem die durch die Sitzinformationen-Erwerbssektion erworbenen Sitzinformationen zeigen, dass kein Insasse auf dem Nachbarsitz sitzt, dass es sich bei der Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, um die Nachbarsitzrichtung handelt.
  • Ferner beurteilt die Aufmerksamkeitsrichtung-Beurteilungssektion der Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß der zweiten Ausführungsform für den Fall, dass es sich bei der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, um die Rücksitzrichtung handelt, und es sich bei der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung des Insassen um die Rücksitzrichtung handelt, und außerdem die durch die Sitzinformationen-Erwerbssektion erworbenen Sitzinformationen zeigen, dass kein Insasse auf dem Rücksitz sitzt, dass es sich bei der Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, um die Rücksitzrichtung handelt.
  • Ferner beurteilt die Aufmerksamkeitsrichtung-Beurteilungssektion der Aufmerksamkeitsrichtung-Beurteilungsvorrichtung gemäß der zweiten Ausführungsform für den Fall, dass es sich bei der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, um die Türgriffrichtung handelt, und es sich bei der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung des Insassen um die Türgriffrichtung handelt, und außerdem die durch die Fahrzeuginformationen-Erwerbssektion erworbenen Fahrzeuginformationen zeigen, dass das Fahrzeug gestoppt hat, dass es sich bei der Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, um die Türgriffrichtung handelt.
  • Durch den vorstehenden Aufbau kann die Aufmerksamkeitsrichtung-Beurteilungsvorrichtung 200 gemäß der zweiten Ausführungsform die Richtung beurteilen, in welche die Aufmerksamkeit des Insassen gerichtet ist. Ferner kann dadurch, dass bei der Aufmerksamkeitsrichtung-Beurteilungsvorrichtung 200 gemäß der zweiten Ausführungsform Sitzinformationen erworben werden und unter Berücksichtigung von Informationen bezüglich einer Mehrzahl von Insassen die Richtung beurteilt wird, in welche die Aufmerksamkeit des Insassen gerichtet ist, eine Fehlbeurteilung der Aufmerksamkeitsrichtung reduziert werden. Ferner kann dadurch, dass bei der Aufmerksamkeitsrichtung-Beurteilungsvorrichtung 200 gemäß der zweiten Ausführungsform Fahrzeuginformationen erworben werden und unter Berücksichtigung des Fahrzeugzustands, die Richtung beurteilt wird, in welche die Aufmerksamkeit des Insassen gerichtet ist, eine Fehlbeurteilung der Aufmerksamkeitsrichtung reduziert werden.
  • Die jeweiligen Funktionen der Bilderwerbssektion 1, der Gesichtsmerkmal-Folgerungssektion 2, der Kopfposition-Folgerungssektion 3, der Körperteil-Folgerungssektion 4, der Physis-Folgerungssektion 5, der Gesichtsrichtung-Detektionssektion 6, der Aufmerksamkeitsrichtung-Beurteilungssektion 7, der Beurteilungsergebnis-Ausgabesektion 8, der Sitzinformationen-Erwerbssektion 21 und der Fahrzeuginformationen-Erwerbssektion 22 bei der vorstehend erläuterten Aufmerksamkeitsrichtung-Beurteilungsvorrichtung 100, 200 werden mittels einer Verarbeitungsschaltung realisiert. Das heißt, die Aufmerksamkeitsrichtung-Beurteilungsvorrichtung 100, 200 umfasst eine Verarbeitungsschaltung zum Erwerben eines Bildes der Insassen in einem Fahrzeug, das durch eine Kamera aufgenommen wurde, zum Folgern der Gesichtsmerkmale der Insassen, zum Folgern der relativen Position des Kopfs der Insassen zur Kamera, zum Folgern der Größe einer Mehrzahl von Körperteilen der Insassen in dem Bild, zum Folgern der Physis der Insassen und der Richtung, in die eine Hand ausgestreckt ist, zum Detektieren der Gesichtsrichtung der Insassen, zur Beurteilung der Richtung, in welche die Aufmerksamkeit der Insassen gerichtet ist, und zur Ausgabe der Beurteilungsergebnisse. Die Verarbeitungsschaltung kann eine spezielle Hardware sein, sie kann jedoch auch mittels eines Prozessors (auch als CPU (Central Processing Unit), Verarbeitungsvorrichtung, Rechenvorrichtung, Mikroprozessor, Mikrocomputer, DSP (Digital Signal Processor) bezeichnet) gebildet sein, der in einem Speicher abgelegte Programme ausführt.
  • Handelt es sich bei der Verarbeitungsschaltung um eine spezielle Hardware, entspricht eine Verarbeitungsschaltung 31 wie in 14 gezeigt, z. B. einer Einfachschaltung, einer komplexen Schaltung, einem programmierten Prozessor, parallelen programmierten Prozessoren, ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array) oder deren Kombination. Die jeweiligen Funktionen der Bilderwerbssektion 1, der Gesichtsmerkmal-Folgerungssektion 2, der Kopfposition-Folgerungssektion 3, der Körperteil-Folgerungssektion 4, der Physis-Folgerungssektion 5, der Gesichtsrichtung-Detektionssektion 6, der Aufmerksamkeitsrichtung-Beurteilungssektion 7, der Beurteilungsergebnis-Ausgabesektion 8, der Sitzinformationen-Erwerbssektion 21 und der Fahrzeuginformationen-Erwerbssektion 22 können jeweils durch eine Verarbeitungsschaltung 31 realisiert werden, die jeweiligen Funktionen können aber auch insgesamt durch eine einzige Verarbeitungsschaltung 31 realisiert werden.
  • Handelt es sich bei der Verarbeitungsschaltung 31 um einen Prozessor 32, wie in 15 gezeigt, werden die jeweiligen Funktionen der Bilderwerbssektion 1, der Gesichtsmerkmal-Folgerungssektion 2, der Kopfposition-Folgerungssektion 3, der Körperteil-Folgerungssektion 4, der Physis-Folgerungssektion 5, der Gesichtsrichtung-Detektionssektion 6, der Aufmerksamkeitsrichtung-Beurteilungssektion 7, der Beurteilungsergebnis-Ausgabesektion 8, der Sitzinformationen-Erwerbssektion 21 und der Fahrzeuginformationen-Erwerbssektion 22 durch eine Software, Firmware oder eine Kombination aus Software und Firmware realisiert. Die Software oder Firmware wird als Programm dargestellt und in einem Speicher 33 abgelegt. Der Prozessor 32 liest in dem Speicher 33 aufgezeichnete Programme aus, und führt sie aus, wodurch die jeweiligen Funktionen realisiert werden. Das heißt, die Aufmerksamkeitsrichtung-Beurteilungsvorrichtung 100, 200 umfasst einen Speicher 33 zum Ablegen von Programmen, die schließlich in den jeweiligen in 11 gezeigten Schritten von Schritt S101 bis Schritt S109 oder in den jeweiligen in 13 gezeigten Schritten von Schritt S201 bis S211 ausgeführt werden. Es kann ferner gesagt werden, dass es sich bei diesen Programmen um die Reihenfolge oder das Verfahren zur Ausführung der Bilderwerbssektion 1, der Gesichtsmerkmal-Folgerungssektion 2, der Kopfposition-Folgerungssektion 3, der Körperteil-Folgerungssektion 4, der Physis-Folgerungssektion 5, der Gesichtsrichtung-Detektionssektion 6, der Aufmerksamkeitsrichtung-Beurteilungssektion 7, der Beurteilungsergebnis-Ausgabesektion 8, der Sitzinformationen-Erwerbssektion 21 und der Fahrzeuginformationen-Erwerbssektion 22 auf einem Computer handelt. Der Speicher kann ein nichtflüchtiger oder flüchtiger Halbleiterspeicher wie z. B. ein RAM (Random Access Memory), ein ROM (Read Only Memory), ein Flash-Speicher, ein EPROM (Erasable Programmable Read Only Memory), ein EEPROM (Electrically Erasable Programmable Read Only Memory) usw., eine Magnetplatte, eine Floppy-Disk, eine optische Platte, eine Compact Disc, eine DVD (Digital Versatile Disc) usw., und ferner verschiedene zukünftig verwendete Speichermedien sein.
  • Bezüglich der jeweiligen Funktionen der Bilderwerbssektion 1, der Gesichtsmerkmal-Folgerungssektion 2, der Kopfposition-Folgerungssektion 3, der Körperteil-Folgerungssektion 4, der Physis-Folgerungssektion 5, der Gesichtsrichtung-Detektionssektion 6, der Aufmerksamkeitsrichtung-Beurteilungssektion 7, der Beurteilungsergebnis-Ausgabesektion 8, der Sitzinformationen-Erwerbssektion 21 und der Fahrzeuginformationen-Erwerbssektion 22 ist es auch möglich, dass ein Teil der Funktionen mittels einer speziellen Hardware realisiert wird, und andere Funktionen durch eine Software oder Firmware realisiert werden.
  • Hierdurch kann die Verarbeitungsschaltung die vorstehend beschriebenen jeweiligen Funktionen durch eine Hardware, Software, Firmware oder deren Kombination realisieren.
  • Die vorstehend erläuterte Aufmerksamkeitsrichtung-Beurteilungsvorrichtung kann nicht nur auf eine Onboard-Navigationsvorrichtung, d. h. eine Autonavigationsvorrichtung, sondern auch auf eine Navigationsvorrichtung, die als System aufgebaut ist, bei dem eine in ein Fahrzeug einbaubares PND (Portable Navigation Device) und ein außerhalb des Fahrzeugs vorgesehener Server usw. in geeigneter Weise kombiniert sind, oder auf eine andere Vorrichtung als eine Navigationsvorrichtung angewendet werden. Hierdurch können selbst bei einem Aufbau, bei dem die jeweiligen Funktionen der Aufmerksamkeitsrichtung-Beurteilungsvorrichtung auf die jeweiligen das System bildenden Funktionen verteilt angeordnet sind, die gleichen Effekte wie bei der vorstehenden Ausführungsform erzielt werden.
  • Bei der vorliegenden Offenbarung ist innerhalb des Bereichs der Offenbarung eine beliebige Kombination der jeweiligen Ausführungsformen möglich, und die jeweiligen Ausführungsformen können auch in geeigneter Weise abgewandelt oder weggelassen werden.
  • Die vorliegende Offenbarung wurde detailliert erläutert, wobei die vorstehende Erläuterung in sämtlichen Aspekten eine beispielhafte Darstellung ist, und die vorliegende Offenbarung nicht hierauf beschränkt ist. Auch unzählige abgewandelte Beispiele, die nicht beispielhaft dargestellt sind, werden als ohne Abweichung von dem Bereich der vorliegenden Offenbarung vorstellbar aufgefasst.
  • Bezugszeichenliste
    • 100, 200
    Aufmerksamkeitsrichtung-Beurteilungsvorrichtung
    1
    Bilderwerbssektion
    2
    Gesichtsmerkmal-Folgerungssektion
    3
    Kopfposition-Folgerungssektion
    4
    Körperteil-Folgerungssektion
    5
    Physis-Folgerungssektion
    6
    Gesichtsrichtung-Detektionssektion
    7
    Aufmerksamkeitsrichtung-Beurteilungssektion
    8
    Beurteilungsergebnis-Ausgabesektion
    9
    Kamera
    10
    Steuersektion
    21
    Sitzinformationen-Erwerbssektion
    22
    Fahrzeuginformationen-Erwerbssektion
    31
    Verarbeitungsschaltung
    32
    Prozessor
    33
    Speicher
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2011123733 A [0003]

Claims (13)

  1. Aufmerksamkeitsrichtung-Beurteilungsvorrichtung umfassend eine Bilderwerbssektion zum Erwerben eines Bildes von Insassen in einem Fahrzeug, das durch eine Kamera aufgenommen wurde, eine Gesichtsmerkmal-Folgerungssektion, die basierend auf dem durch die Bilderwerbssektion erworbenen Bild Gesichtsmerkmale eines Insassen folgert, eine Physis-Folgerungssektion, die basierend auf dem durch die Bilderwerbssektion erworbenen Bild die Richtung folgert, in welche die Hand des Insassen gestreckt ist, eine Gesichtsrichtung-Detektionssektion, welche basierend auf den Gesichtsmerkmalen, die durch die Gesichtsmerkmal-Folgerungssektion gefolgert wurden, die Gesichtsrichtung des Insassen detektiert, und eine Aufmerksamkeitsrichtung-Beurteilungssektion, die basierend auf der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, und der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung des Insassen die Richtung beurteilt, in welche die Aufmerksamkeit des Insassen gerichtet ist.
  2. Aufmerksamkeitsrichtung-Beurteilungsvorrichtung nach Anspruch 1, wobei die Aufmerksamkeitsrichtung-Beurteilungssektion für den Fall, dass die durch die Physis-Folgerungssektion gefolgerte Richtung, in welche die Hand des Insassen gestreckt ist, mit der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung übereinstimmt, die Richtung beurteilt, in welche die Aufmerksamkeit des Insassen gerichtet ist.
  3. Aufmerksamkeitsrichtung-Beurteilungsvorrichtung nach Anspruch 2, wobei die Aufmerksamkeitsrichtung-Beurteilungssektion für den Fall, dass es sich bei der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand des Insassen ausgestreckt ist, um die Nachbarsitzrichtung handelt, und es sich bei der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung des Insassen um die Nachbarsitzrichtung handelt, beurteilt, dass es sich bei der Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, um die Nachbarsitzrichtung handelt.
  4. Aufmerksamkeitsrichtung-Beurteilungsvorrichtung nach Anspruch 2, wobei die Aufmerksamkeitsrichtung-Beurteilungssektion wenn es sich bei der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, um die Rücksitzrichtung handelt, und es sich bei der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung um die Rücksitzrichtung handelt, beurteilt, dass es sich bei der Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, um die Rücksitzrichtung handelt.
  5. Aufmerksamkeitsrichtung-Beurteilungsvorrichtung nach Anspruch 2, wobei die Aufmerksamkeitsrichtung-Beurteilungssektion für den Fall, dass es sich bei der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, um die Türgriffrichtung handelt, und es sich bei der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung des Insassen um die Türgriffrichtung handelt, beurteilt, dass es sich bei der Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, um die Türgriffrichtung handelt.
  6. Aufmerksamkeitsrichtung-Beurteilungsvorrichtung nach Anspruch 1, die eine Sitzinformationen-Erwerbssektion zum Erwerben von Sitzinformationen der Insassen in einem Fahrzeug aufweist, wobei die Aufmerksamkeitsrichtung-Beurteilungssektion basierend auf der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung des Insassen, und den durch die Sitzinformation-Erwerbssektion erworbenen Sitzinformationen die Richtung beurteilt, in welche die Aufmerksamkeit des Insassen gerichtet ist.
  7. Aufmerksamkeitsrichtung-Beurteilungsvorrichtung nach Anspruch 1, die eine Fahrzeuginformationen-Erwerbssektion zum Erwerben von Fahrzeuginformationen aufweist, wobei die Aufmerksamkeitsrichtung-Beurteilungssektion basierend auf der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung des Insassen, und den durch die Fahrzeuginformationen-Erwerbssektion erworbenen Fahrzeuginformationen die Richtung beurteilt, in welche die Aufmerksamkeit des Insassen gerichtet ist.
  8. Aufmerksamkeitsrichtung-Beurteilungsvorrichtung nach Anspruch 6, wobei wenn es sich bei der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, um die Nachbarsitzrichtung handelt, es sich bei der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung des Insassen um die Nachbarsitzrichtung handelt, und außerdem die durch die Sitzinformation-Erwerbssektion erworbenen Sitzinformationen zeigen, dass auf dem Nachbarsitz kein Insasse sitzt, beurteilt die Aufmerksamkeitsrichtungs-Beurteilungssektion, dass es sich bei der Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, um die Nachbarsitzrichtung handelt.
  9. Aufmerksamkeitsrichtung-Beurteilungsvorrichtung nach Anspruch 6, wobei wenn es sich bei der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, um die Rücksitzrichtung handelt, es sich bei der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung des Insassen um die Rücksitzrichtung handelt, und außerdem die durch die Sitzinformation-Erwerbssektion erworbenen Sitzinformationen zeigen, dass auf dem Rücksitz kein Insasse sitzt, beurteilt die Aufmerksamkeitsrichtungs-Beurteilungssektion, dass es sich bei der Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, um die Rücksitzrichtung handelt.
  10. Aufmerksamkeitsrichtung-Beurteilungsvorrichtung nach Anspruch 7, wobei, wenn es sich bei der durch die Physis-Folgerungssektion gefolgerten Richtung, in welche die Hand des Insassen gestreckt ist, um die Türgriffrichtung handelt, es sich bei der durch die Gesichtsrichtung-Detektionssektion detektierten Gesichtsrichtung des Insassen um die Türgriffrichtung handelt, und außerdem die durch die Fahrzeuginformationen-Erwerbssektion erworbenen Fahrzeuginformationen zeigen, dass das Fahrzeug gestoppt hat, die Aufmerksamkeitsrichtungs-Beurteilungssektion beurteilt, dass es sich bei der Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, um die Türgriffrichtung handelt.
  11. Aufmerksamkeitsrichtung-Beurteilungsvorrichtung nach einem der Ansprüche 1 bis 10, die eine Kopfposition-Folgerungssektion, die basierend auf durch die Gesichtsrichtung-Folgerungssektion gefolgerten Gesichtsmerkmalen die relative Position des Kopfs des Insassen zur Kamera folgert, und eine Körperteil-Folgerungssektion, die basierend auf dem durch die Bilderwerbssektion erworbenen Bild die Größe einer Mehrzahl von Körperteilen des Insassen in dem Bild folgert, aufweist, wobei die Physis-Folgerungssektion, basierend auf der durch die Kopfposition-Folgerungssektion gefolgerten relativen Position des Kopfs des Insassen und der durch die Körperteil-Folgerungssektion gefolgerten Größe der jeweiligen Körperteile die Physis des Insassen folgert, und anhand des gefolgerten Physis-Folgerungsergebnisses des Insassen die Richtung folgert, in welche die Hand des Insassen gestreckt ist.
  12. Aufmerksamkeitsrichtung-Beurteilungsvorrichtung nach einem der Ansprüche 1 bis 11, die außerdem eine Beurteilungsergebnis-Ausgabesektion zum Ausgeben der durch die Aufmerksamkeitsrichtung-Beurteilungssektion beurteilten Richtung, in welche die Aufmerksamkeit des Insassen gerichtet ist, umfasst.
  13. Aufmerksamkeitsrichtung-Beurteilungsverfahren, das einen Schritt zum Erwerben eines Bildes von Insassen in einem Fahrzeug, das durch eine Kamera aufgenommen wurde, einen Schritt, in dem basierend auf dem Bild Gesichtsmerkmale eines Insassen gefolgert werden, einen Schritt, in dem basierend auf dem Bild die Richtung gefolgert wird, in welche die Hand des Insassen gestreckt ist, einen Schritt, in dem basierend auf den Gesichtsmerkmalen, die Gesichtsrichtung des Insassen detektiert wird, und einen Schritt, in dem basierend auf der Richtung, in welche die Hand des Insassen gestreckt ist, und der Gesichtsrichtung des Insassen die Richtung beurteilt wird, in welche die Aufmerksamkeit des Insassen gerichtet ist.
DE112020006670.3T 2020-02-03 2020-02-03 Aufmerksamkeitsrichtung-Beurteilungsvorrichtung und Aufmerksamkeitsrichtung-Beurteilungsverfahren Pending DE112020006670T5 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/003925 WO2021156914A1 (ja) 2020-02-03 2020-02-03 注意方向判定装置および注意方向判定方法

Publications (1)

Publication Number Publication Date
DE112020006670T5 true DE112020006670T5 (de) 2022-11-24

Family

ID=77199953

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020006670.3T Pending DE112020006670T5 (de) 2020-02-03 2020-02-03 Aufmerksamkeitsrichtung-Beurteilungsvorrichtung und Aufmerksamkeitsrichtung-Beurteilungsverfahren

Country Status (3)

Country Link
JP (1) JP7267467B2 (de)
DE (1) DE112020006670T5 (de)
WO (1) WO2021156914A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11628789B2 (en) * 2020-03-30 2023-04-18 Toyota Jidosha Kabushiki Kaisha Occupant position detection system
WO2023242886A1 (ja) * 2022-06-13 2023-12-21 三菱電機株式会社 顔向き推定装置、脇見判断システム、及び顔向き推定方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123733A (ja) 2009-12-11 2011-06-23 Denso Corp 乗員姿勢推定装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2674913B1 (de) 2012-06-14 2014-07-23 Softkinetic Software Modellierungsanpassung und -verfolgung für dreidimensionales Objekt
WO2017040519A1 (en) 2015-08-31 2017-03-09 Sri International Method and system for monitoring driving behaviors
JP2018092489A (ja) 2016-12-06 2018-06-14 オムロン株式会社 分類装置、分類方法およびプログラム
JP2018150694A (ja) 2017-03-10 2018-09-27 株式会社オートネットワーク技術研究所 駆動制御装置及びコンピュータプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123733A (ja) 2009-12-11 2011-06-23 Denso Corp 乗員姿勢推定装置

Also Published As

Publication number Publication date
WO2021156914A1 (ja) 2021-08-12
JP7267467B2 (ja) 2023-05-01
JPWO2021156914A1 (de) 2021-08-12

Similar Documents

Publication Publication Date Title
DE102017214353B4 (de) Fahrerzustands-erfassungssystem, fahrerzustands-erfassungsverfahren und diese enthaltendes fahrzeug
DE102010044449B4 (de) Erkennen des Grades der Fahrfähigkeit des Fahrers eines Kraftfahrzeugs
DE102018102431B4 (de) Fahrerzustandserkennungssystem
DE19721095A1 (de) Scheinwerferanordnung für ein Fahrzeug
DE102014011264A1 (de) Verfahren zur Berechnung einer Rückholzeit
DE102018105169A1 (de) Anzeigesystem für Fahrzeug und Steuerungsverfahren dafür
DE112020006670T5 (de) Aufmerksamkeitsrichtung-Beurteilungsvorrichtung und Aufmerksamkeitsrichtung-Beurteilungsverfahren
DE102014226858A1 (de) Verfahren zum Betreiben einer aktivierbaren Sperrvorrichtung für eine Tür und/oder ein Fenster, Sicherungsvorrichtung für ein Fahrzeug, Fahrzeug
DE102014201036A1 (de) Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens
DE102019122907A1 (de) Betriebsassistenzverfahren für ein Fahrzeug, Steuereinheit und Fahrzeug
DE102020126953B3 (de) System und Verfahren zum Erfassen einer räumlichen Orientierung einer tragbaren Vorrichtung
DE112018007158T5 (de) Dreidimensional-Positionsabschätzungsvorrichtung und Dreidimensional-Positionsabschätzungsverfahren
DE102020117555A1 (de) Verfahren und vorrichtung zur insassenklassifizierung
DE112019007569T5 (de) Bediener-Beurteilungsvorrichtung und Bediener-Beurteilungsverfahren
DE112019006823T5 (de) Emotionsschätzvorrichtung und Emotionsschätzverfahren
DE112020007803T5 (de) Schlafdetektionsvorrichtung und Schlafdetektionsverfahren
DE102016009239A1 (de) Verfahren und Vorrichtung zur automatischen Spiegeleinstellung in oder an einem Fahrzeug
DE102020110417A1 (de) Verfahren und System zur Assistenz eines Fahrers
DE102016223794A1 (de) Verfahren und System zum Bewerten einer Akzeptanz mindestens eines Fahrerassistenzsystems eines autonom fahrenden Kraftfahrzeugs
DE112022005813T5 (de) Automatisches kalibrierungsverfahren und -vorrichtung für den ablenkungsbereich, personenkraftwagen und elektronische geräte
DE102022112019A1 (de) System zur Optimierung der Positionierung eines Fahrzeugsitzes
DE102017212031A1 (de) Verfahren zur Reduktion von kinetosebedingten Symptomen eines Insassen in einem Fahrzeug
DE102022115531A1 (de) Verfahren zum Bestimmen einer Aufmerksamkeit eines Nutzers eines Kraftfahrzeugs, Computerprogramm, Datenverarbeitungsvorrichtung und Kraftfahrzeug
DE102016011246A1 (de) Verfahren zur Überwachung eines Zustandes zumindest eines Insassen eines Fahrzeuges
DE112020006447T5 (de) Pupillenerkennungsvorrichtung, Sichtlinienerkennungsvorrichtung, Insassenüberwachungssystem und Pupillenerkennungsverfahren

Legal Events

Date Code Title Description
R012 Request for examination validly filed