DE112017007237T5 - Fahrerzustandsabschätzungsvorrichtung und fahrerzustandsabschätzungsverfahren - Google Patents

Abstract

Eine Fahrerzustandsabschätzungsvorrichtung, die eine Kopfposition eines Fahrers in der realen Welt aus einem Bild präzise abschätzen kann, ohne von unterschiedlichen Sitzpositionen oder Gesichtsrichtungen des Fahrers beeinflusst zu werden, umfasst eine monokulare Kamera 11 zum Aufnehmen eines Bildes, das ein Gesicht eines Fahrers beinhaltet, der auf einem Fahrersitz sitzt, und eine CPU 12, die einen Kopfmittelpositionsabschätzungsabschnitt 23 zum Abschätzen einer Kopfmittelposition x des Fahrers in dem Bild unter Verwendung eines dreidimensionalen Gesichtsformenmodells umfasst, das dem Gesicht des Fahrers in dem von der monokularen Kamera 11 aufgenommenen Bild angepasst wurde, und einen Abstandsabschätzungsabschnitt 28 zum Abschätzen eines Abstands B zwischen einem Ursprungspunkt O, der sich in einer Frontrichtung des Fahrersitzes befindet, und einer Kopfmittelposition H des Fahrers in der realen Welt, auf der Grundlage der durch den Kopfmittelpositionsabschätzungsabschnitt 23 abgeschätzten Kopfmittelposition x des Fahrers in dem Bild und Informationen, die eine Spezifikation und eine Positionshaltung der monokularen Kamera 11 beinhalten.

Description

• TECHNISCHES GEBIET
• Die vorliegende Erfindung bezieht sich auf eine Fahrerzustandsabschätzungsvorrichtung und ein Fahrerzustandsabschätzungsverfahren, und insbesondere auf eine Fahrerzustandsabschätzungsvorrichtung und ein Fahrerzustandsabschätzungsverfahren, wodurch ein Zustand eines Fahrers, wie beispielsweise eine Kopfposition des Fahrers und eine Gesichtsrichtung davon in Bezug auf die Front eines Fahrzeugs, abgeschätzt werden kann.
• STAND DER TECHNIK
• Im Laufe der Jahre wurden Techniken zum Ermitteln eines Zustands der Bewegung oder Blickrichtung eines Fahrers aus Bildern des Fahrers entwickelt, die von einer bordeigenen Kamera aufgenommen wurden, um die von dem Fahrer geforderten Informationen zu präsentieren oder einen Alarm auszulösen.
• Bei einem automatischen Fahrzeugbetriebssystem, dessen Entwicklung in jüngster Zeit gefördert wurde, wird davon ausgegangen, dass eine Technik zum kontinuierlichen Abschätzen, ob sich ein Fahrer in einem Zustand befindet, in dem er einen Fahrbetrieb durchführen kann, auch während eines automatischen Fahrzeugbetriebs notwendig ist, um ein reibungsloses Umschalten von dem automatischen Fahrzeugbetrieb zu einem manuellen Fahrzeugbetrieb zu ermöglichen. Die Entwicklung von Techniken zur Analyse von Bildern, die von einer bordeigenen Kamera aufgenommen wurden, um den Zustand eines Fahrers abzuschätzen, schreitet voran.
• Um den Zustand des Fahrers abzuschätzen, sind Techniken zum Ermitteln einer Kopfposition und einer Gesichtsrichtung des Fahrers erforderlich. So wird beispielsweise in Patentdokument 1 eine Technik offenbart, bei der ein Gesichtsbereich eines Fahrers in einem von einer bordeigenen Kamera aufgenommenen Bild ermittelt wird und auf der Grundlage des ermittelten Gesichtsbereichs eine Kopfposition des Fahrers abgeschätzt wird.
• Bei dem vorstehenden Verfahren zum Abschätzen der Kopfposition des Fahrers wird insbesondere ein Winkel der Kopfposition in Bezug auf die bordeigene Kamera ermittelt. Als Verfahren zum Ermitteln des Winkels der Kopfposition wird eine Mittelposition des Gesichtsbereichs auf dem Bild ermittelt. Bezogen auf die ermittelte Mittelposition des Gesichtsbereichs als Kopfposition (eine Mittelposition des Kopfes) wird eine Kopfpositionslinie, die durch die Mittelposition des Gesichtsbereichs verläuft, erhalten und ein Winkel der Kopfpositionslinie (der Winkel der Kopfposition in Bezug auf die bordeigene Kamera) bestimmt.
• Danach wird eine Kopfposition auf der Kopfpositionslinie ermittelt. Als Verfahren zum Ermitteln der Kopfposition auf der Kopfpositionslinie wird zuvor eine Standardgröße des Gesichtsbereichs im Falle eines vorgeschriebenen Abstandes von der bordeigenen Kamera gespeichert. Durch den Vergleich dieser Standardgröße mit der Größe des tatsächlich ermittelten Gesichtsbereichs wird ein Abstand von der bordeigenen Kamera zur Kopfposition erhalten. Eine Position auf der Kopfpositionslinie, die um den erhaltenen Abstand von der bordeigenen Kamera entfernt ist, wird als Kopfposition abgeschätzt.
• In einem Verfahren zum Abschätzen einer Gesichtsrichtung eines Fahrers, das in Patentdokument 1 beschrieben ist, werden Merkmalspunkte (jeder Teil des Gesichts) in einem Gesichtsbild ermittelt, und auf der Grundlage von Verschiebungen zwischen diesen tatsächlich ermittelten Merkmalspunkten und Merkmalspunkten bei Ausrichtung nach vorne wird die Gesichtsrichtung des Fahrers abgeschätzt.
• [Durch die Erfindung zu lösende Probleme]
• Bei dem in Patentdokument 1 beschriebenen Verfahren zum Abschätzen der Kopfposition wird die Kopfposition (die Mittelposition des Kopfes) auf dem Bild in Bezug auf die Mittelposition des Gesichtsbereichs ermittelt. Die Mittelposition des Gesichtsbereichs variiert jedoch je nach Gesichtsrichtung. Daher wird auch in Fällen, in denen sich die Mittelposition des Kopfes an der gleichen Position befindet, mit unterschiedlichen Gesichtsrichtungen, die auf jedem Bild ermittelte Mittelposition des Gesichtsbereichs (die Kopfposition) an einer anderen Position ermittelt. Dadurch wird die auf dem Bild ermittelte Kopfposition an einer anderen Position als die Kopfposition in der realen Welt ermittelt, d. h. die Kopfposition in der realen Welt kann nicht genau abgeschätzt werden.
• Was den Fahrersitz eines Fahrzeugs betrifft, so ist seine Position im Allgemeinen nach hinten und nach vorne verstellbar. Wenn beispielsweise eine bordeigene Kamera diagonal zur Vorderseite des Fahrersitzes montiert ist werden, auch wenn der Fahrer nach vorne ausgerichtet ist, mit unterschiedlichen Längspositionen des Fahrersitzes, d. h. mit unterschiedlichen Kopfpositionen des Fahrers, die Gesichtsrichtungen (Winkel) des von der bordeigenen Kamera aufgenommenen Fahrers unterschiedlich ermittelt. Insbesondere wenn der Fahrersitz etwas nach vorne positioniert ist, wird die Gesichtsrichtung (Winkel) des von der bordeigenen Kamera aufgenommene Fahrers als größer ermittelt als wenn der Fahrersitz etwas nach hinten positioniert ist. So ist es nach dem in Patentdokument 1 beschriebenen Verfahren zur Abschätzung der Gesichtsrichtung unmöglich, mit unterschiedlichen Gesichtsrichtungen (Winkeln) des von der bordeigenen Kamera aufgenommenen Fahrers, die sich mit unterschiedlichen Längspositionen des Fahrersitzes (unterschiedliche Kopfpositionen des Fahrers) ändern, umzugehen. Selbst die Gesichtsrichtung des Fahrers in Bezug auf die Front des Fahrzeugs kann nicht korrekt ermittelt werden.
• DOKUMENT ZUM STAND DER TECHNIK
• Patentdokument
• Patentdokument 1: offengelegte Japanische Patentanmeldung mit der Veröffentlichungsnummer 2014-218140
• KURZDARSTELLUNG DER ERFINDUNG
• Mittel zur Lösung des Problems und Auswirkung
• Die vorliegende Erfindung wurde entwickelt, um die vorstehend genannten Probleme zu lösen, und es ist eine Aufgabe der vorliegenden Erfindung, eine Fahrerzustandsabschätzungsvorrichtung und ein Fahrerzustandsabschätzungsverfahren bereitzustellen, wodurch eine Kopfposition eines Fahrers in der realen Welt aus einem Bild präzise abgeschätzt werden kann, ohne durch unterschiedliche Gesichtsrichtungen des Fahrers oder unterschiedliche Positionen eines Fahrersitzes beeinflusst zu werden.
• Um die vorstehende Aufgabe zu erfüllen, ist eine Fahrerzustandsabschätzungsvorrichtung gemäß einem ersten Aspekt der vorliegenden Erfindung gekennzeichnet durch das Abschätzen eines Zustands eines Fahrers aus einem aufgenommenen Bild, wobei die Fahrerzustandsabschätzungsvorrichtung Folgendes umfasst:
• einen monokularen Abbildungsabschnitt zum Aufnehmen eines Bildes, das ein Gesicht eines Fahrers beinhaltet, der auf einem Fahrersitz sitzt; und
• mindestens einen Hardwareprozessor,
• wobei der mindestens eine Hardwareprozessor umfasst:
  • einen Kopfmittelpositionsabschätzungsabschnitt zum Abschätzen einer Kopfmittelposition des Fahrers in dem Bild unter Verwendung eines dreidimensionalen Gesichtsformenmodells, das dem Gesicht des Fahrers in dem von dem Abbildungsabschnitt aufgenommenen Bild angepasst wurde, und
  • einen Abstandsabschätzungsabschnitt zum Abschätzen eines Abstands zwischen einem Ursprungspunkt, der sich in einer Frontrichtung des Fahrersitzes befindet, und einer Kopfmittelposition des Fahrers in der realen Welt auf der Grundlage der durch den Kopfmittelpositionsabschätzungsabschnitt abgeschätzten Kopfmittelposition des Fahrers in dem Bild und Informationen, die eine Spezifikation und eine Positionshaltung des Abbildungsabschnitts beinhalten.
• Unter Verwendung der Fahrerzustandsabschätzungsvorrichtung gemäß dem ersten Aspekt der vorliegenden Erfindung kann, da die Kopfmittelposition des Fahrers in dem Bild unter Verwendung eines dreidimensionalen Gesichtsformenmodells, das dem Gesicht des Fahrers in dem Bild angepasst wurde, abgeschätzt wird, die Kopfmittelposition des Fahrers im Bild präzise abgeschätzt werden, unabhängig von unterschiedlichen Gesichtsrichtungen des Fahrers. Da die Kopfmittelposition des Fahrers in dem Bild auf der Grundlage der Kopfmittelposition und der Informationen, die die Spezifikation (einen Blickwinkel, eine Auflösung usw.) und die Positionshaltung (einen Winkel, einen Abstand von dem Ursprungspunkt usw.) des Abbildungsabschnitts beinhalten, präzise abgeschätzt werden kann, kann der Abstand zwischen dem in der Frontrichtung des Fahrersitzes liegenden Ursprungspunkt und der Kopfmittelposition des Fahrers in der realen Welt präzise abgeschätzt werden.
• Die Fahrerzustandsabschätzungsvorrichtung gemäß einem zweiten Aspekt der vorliegenden Erfindung ist gekennzeichnet durch den mindestens einen Hardwareprozessor, in der Fahrerzustandsabschätzungsvorrichtung gemäß dem ersten Aspekt der vorliegenden Erfindung, der
  einen Fahrbetriebsmöglichkeitsentscheidungsabschnitt zum Entscheiden darüber umfasst, ob sich der Fahrer in einem Zustand befindet, in dem er einen Fahrbetrieb durchführen kann, unter Verwendung des durch den Abstandsabschätzungsabschnitt abgeschätzten Abstands.
• Unter Verwendung der Fahrerzustandsabschätzungsvorrichtung gemäß dem zweiten Aspekt der vorliegenden Erfindung kann auf der Grundlage des durch den Abstandsabschätzungsabschnitt abgeschätzten Abstands entschieden werden, ob sich der Fahrer in dem Zustand befindet, in dem er einen Fahrbetrieb durchführen kann. Wenn beispielsweise der Ursprungspunkt auf eine Lenkradposition eingestellt ist, kann auf der Grundlage des Abstands entschieden werden, ob sich der Fahrer in einem Bereich befindet, in dem er das Lenkrad erreicht, was zu einer angemessenen Überwachung des Fahrers führt.
• Die Fahrerzustandsabschätzungsvorrichtung gemäß einem dritten Aspekt der vorliegenden Erfindung ist gekennzeichnet durch den mindestens einen Hardwareprozessor, in der Fahrerzustandsabschätzungsvorrichtung gemäß dem ersten oder zweiten Aspekt der vorliegenden Erfindung, der umfasst:
• einen Gesichtsrichtungsermittlungsabschnitt zum Ermitteln einer Gesichtsrichtung des Fahrers in Bezug auf den Abbildungsabschnitt aus dem von dem Abbildungsabschnitt aufgenommenen Bild,
• einen Winkelabschätzungsabschnitt zum Abschätzen eines Winkels, der zwischen einer Richtung des Abbildungsabschnitts von der Kopfmittelposition des Fahrers in der realen Welt und der Frontrichtung des Fahrersitzes gebildet wird, auf der Grundlage der durch den Kopfmittelpositionsabschätzungsabschnitt abgeschätzten Kopfmittelposition des Fahrers in dem Bild und der Informationen, die die Spezifikation und die Positionshaltung des Abbildungsabschnitts beinhalten, und
• einen Gesichtsrichtungsabschätzungsabschnitt zum Abschätzen einer Gesichtsrichtung des Fahrers in Bezug auf die Frontrichtung des Fahrersitzes auf der Grundlage der durch den Gesichtsrichtungsermittlungsabschnitt ermittelten Gesichtsrichtung des Fahrers und des durch den Winkelabschätzungsabschnitt abgeschätzten Winkels.
• Unter Verwendung der Fahrerzustandsabschätzungsvorrichtung gemäß dem dritten Aspekt der vorliegenden Erfindung kann auf der Grundlage der genau abgeschätzten Kopfmittelposition des Fahrers in dem Bild und der Informationen, die die Spezifikation (den Blickwinkel, Auflösung usw.) und der Positionshaltung (den Winkel) des Abbildungsabschnitts beinhalten, der Winkel, der zwischen der Richtung des Abbildungsabschnitts von der Kopfmittelposition des Fahrers in der realen Welt und der Frontrichtung des Fahrersitzes gebildet wird, präzise abgeschätzt werden. Unter Verwendung des abgeschätzten Winkels kann die Gesichtsrichtung des Fahrers in Bezug auf die Frontrichtung des Fahrersitzes aus der Gesichtsrichtung des Fahrers in Bezug auf den Abbildungsabschnitt präzise abgeschätzt werden, ohne durch unterschiedliche Positionen des Fahrersitzes (unterschiedliche Kopfpositionen des Fahrers) oder unterschiedliche Gesichtsrichtungen des Fahrers beeinflusst zu werden.
• Die Fahrerzustandsabschätzungsvorrichtung gemäß einem vierten Aspekt der vorliegenden Erfindung ist gekennzeichnet durch den mindestens einen Hardwareprozessor in der Fahrerzustandsabschätzungsvorrichtung gemäß dem dritten Aspekt der vorliegenden Erfindung, der einen Fahrerzustandsentscheidungsabschnitt zum Entscheiden über einen Zustand des Fahrers auf der Grundlage der durch den Gesichtsbereichsabschätzungsabschnitt abgeschätzten Gesichtsrichtung des Fahrers umfasst.
• Unter Verwendung der Fahrerzustandsabschätzungsvorrichtung gemäß dem vierten Aspekt der vorliegenden Erfindung kann auf der Grundlage der durch den Gesichtsrichtungsabschätzungsabschnitt abgeschätzten Gesichtsrichtung des Fahrers der Zustand des Fahrers, beispielsweise der Zustand eines Blicks zur Seite davon, präzise bestimmt werden, was zu einer angemessenen Überwachung des Fahrers führt.
• Ein Fahrerzustandsabschätzungsverfahren gemäß einem ersten Aspekt der vorliegenden Erfindung ist gekennzeichnet durch die Verwendung einer Vorrichtung, die einen monokularen Abbildungsabschnitt zum Aufnehmen eines Bildes, das ein Gesicht eines Fahrers beinhaltet, der auf einem Fahrersitz sitzt, und
  mindestens einen Hardwareprozessor umfasst,
  der einen Zustand des Fahrers unter Verwendung des von dem Abbildungsabschnitt aufgenommenen Bildes abschätzt,
  wobei der mindestens eine Hardwareprozessor die Schritte durchführt, die umfassen:
• Abschätzen einer Kopfmittelposition des Fahrers in dem Bild unter Verwendung eines dreidimensionalen Gesichtsformenmodells, das dem Gesicht des Fahrers in dem von dem Abbildungsabschnitt aufgenommenen Bild angepasst wurde; und
• Abschätzen eines Abstands zwischen einem Ursprungspunkt, der sich in einer Frontrichtung des Fahrersitzes befindet, und einer Kopfmittelposition des Fahrers in der realen Welt auf der Grundlage der in dem Schritt des Abschätzens der Kopfmittelposition abgeschätzten Kopfmittelposition des Fahrers in dem Bild und Informationen, die eine Spezifikation und eine Positionshaltung des Abbildungsabschnitts beinhalten.
• Unter Verwendung des Fahrerzustandsabschätzungsverfahrens nach dem ersten Aspekt der vorliegenden Erfindung kann, ohne von unterschiedlichen Positionen des Fahrersitzes (unterschiedliche Kopfpositionen des Fahrers) oder unterschiedlichen Gesichtsrichtungen des Fahrers beeinflusst zu werden, der Abstand zwischen dem Ursprungspunkt in der Frontrichtung des Fahrersitzes und der Kopfmittelposition des Fahrers in der realen Welt abgeschätzt werden. Es wird möglich, den abgeschätzten Abstand zum Entscheiden darüber zu verwenden, ob sich der Fahrer in einem Zustand befindet, in dem er einen Fahrbetrieb durchführen kann.
• Das Fahrerzustandsabschätzungsverfahren gemäß einem zweiten Aspekt der vorliegenden Erfindung ist gekennzeichnet durch den mindestens einen Hardwareprozessor, der im Fahrerzustandsabschätzungsverfahren gemäß dem ersten Aspekt der vorliegenden Erfindung die Schritte durchführt, die umfassen:
• Ermitteln einer Gesichtsrichtung des Fahrers in Bezug auf den Abbildungsabschnitt aus dem aufgenommenen Bild;
• Abschätzen eines Winkels, der zwischen einer Richtung des Abbildungsabschnitts von der Kopfmittelposition des Fahrers in der realen Welt und der Frontrichtung des Fahrersitzes gebildet wird, auf der Grundlage der durch den Kopfmittelpositionsabschätzungsabschnitt abgeschätzten Kopfmittelposition des Fahrers in dem Bild und der Informationen, die die Spezifikation und die Positionshaltung des Abbildungsabschnitts beinhalten; und
• Abschätzen einer Gesichtsrichtung des Fahrers in Bezug auf die Frontrichtung des Fahrersitzes auf der Grundlage der in dem Schritt des Ermittelns der Gesichtsrichtung ermittelten Gesichtsrichtung des Fahrers und des in dem Schritt des Abschätzens des Winkels abgeschätzten Winkels.
• Unter Verwendung des Fahrerzustandsabschätzungsverfahrens gemäß dem zweiten Aspekt der vorliegenden Erfindung kann die Gesichtsrichtung des Fahrers in Bezug auf die Frontrichtung des Fahrersitzes aus der Gesichtsrichtung des Fahrers in Bezug auf den Abbildungsabschnitt präzise abgeschätzt werden, ohne durch unterschiedliche Positionen des Fahrersitzes (unterschiedliche Kopfpositionen des Fahrers) oder unterschiedliche Gesichtsrichtungen des Fahrers beeinflusst zu werden.
• Figurenliste
• 1 ist ein Blockdiagramm, das schematisch den Hauptteil eines automatischen Fahrzeugbetriebssystems zeigt, das eine Fahrerzustandsabschätzungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung beinhaltet.
• 2 ist ein Blockdiagramm, das eine Konstruktion der Fahrerzustandsabschätzungsvorrichtung gemäß der Ausführungsform zeigt;
• 3 ist eine Draufsicht auf einen Fahrzeugraum zur Veranschaulichung eines Fahrerzustandsabschätzungsverfahrens gemäß einer Ausführungsform;
• 4 besteht aus Abbildungen zum Erläutern des Zusammenhangs zwischen einer von der Fahrerzustandsabschätzungsvorrichtung gemäß der Ausführungsform abgeschätzten Mittelposition eines Kopfes in einem Bild und einer Position eines Fahrersitzes;
• 5 besteht aus Abbildungen zum Erläutern des Zusammenhangs zwischen der von der Fahrerzustandsabschätzungsvorrichtung gemäß der Ausführungsform abgeschätzten Mittelposition des Kopfes in dem Bild und einer Gesichtsrichtung des Fahrers, und dergleichen; und
• 6 ist ein Flussdiagramm, das Verarbeitungsvorgänge zeigt, die von einem Prozessor in der Fahrerzustandsabschätzungsvorrichtung gemäß der Ausführungsform durchgeführt werden.
• MODUS FÜR DIE DURCHFÜHRUNG DER ERFINDUNG
• Die Ausführungsformen der Fahrerzustandsabschätzungsvorrichtung und des Fahrerzustandsabschätzungsverfahrens gemäß der vorliegenden Erfindung werden nachstehend unter Bezugnahme auf die Figuren beschrieben. Die nachstehend beschriebenen Ausführungsformen sind bevorzugte Ausführungsformen der vorliegenden Erfindung, und es sind verschiedene technische Einschränkungen enthalten. Der Anwendungsbereich der vorliegenden Erfindung ist jedoch nicht auf diese Modi beschränkt, soweit es in den folgenden Erläuterungen keine Beschreibung gibt, die die vorliegende Erfindung besonders einschränkt.
• 1 ist ein Blockdiagramm, das schematisch den Hauptteil eines automatischen Fahrzeugbetriebssystems zeigt, das eine Fahrerzustandsabschätzungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung beinhaltet. 2 ist ein Blockdiagramm, das eine Konstruktion der Fahrerzustandsabschätzungsvorrichtung gemäß der Ausführungsform zeigt.
• Ein automatisches Fahrzeugbetriebssystem 1 ist ein System, das es einem Fahrzeug ermöglicht, automatisch entlang einer Straße zu fahren, umfassend eine Fahrerzustandsabschätzungsvorrichtung 10, eine HMI (Human Machine Interface - Mensch-Maschinen-Schnittstelle) 40 und eine automatische Fahrzeugbetriebssteuervorrichtung 50, die jeweils über einen Kommunikationsbus 60 verbunden sind. Mit dem Kommunikationsbus 60 sind auch verschiedene Arten von Sensoren und Steuervorrichtungen (nicht dargestellt) verbunden, die zum Steuern eines automatischen Fahrzeugbetriebs und eines manuellen Fahrzeugbetriebs durch einen Fahrer erforderlich sind.
• Die Fahrerzustandsabschätzungsvorrichtung 10 führt die Verarbeitung des Abschätzens eines Zustands eines Fahrers, insbesondere einer Gesichtsrichtung des Fahrers in Bezug auf eine Frontrichtung eines Fahrersitzes aus einem aufgenommenen Bild und die Verarbeitung des Abschätzens eines Abstands von einer Lenkradposition zu einer Kopfmittelposition des Fahrers durch, und führt danach die Verarbeitung des Entscheidens über den Zustand der Position und Körperhaltung des Fahrers basierend auf diesen Abschätzungsergebnissen durch, um diese Entscheidungsergebnisse auszugeben, und dergleichen.
• Die Fahrerzustandsabschätzungsvorrichtung 10 umfasst eine monokulare Kamera 11, eine CPU 12, ein ROM 13, ein RAM 14, einen Speicherabschnitt 15 und eine Ein-/Ausgabeschnittstelle (I/F) 16, die jeweils über einen Kommunikationsbus 17 verbunden sind.
• Die monokulare Kamera 11 als Abbildungsabschnitt kann periodisch (z. B. 30-60 Mal/Sekunde) Bilder aufnehmen, die ein Gesicht des auf dem Fahrersitz sitzenden Fahrers beinhalten, und umfasst ein Monokularobjektivsystem, ein Abbildungselement wie beispielsweise ein CCD oder einen CMOS, eine Infrarot-Bestrahlungseinheit wie beispielsweise eine Nahinfrarot-LED, die nahes Infrarotlicht bestrahlt, (keines davon ist dargestellt) und zugehörige Teile.
• Die CPU 12 ist ein Hardware-Prozessor, der ein im ROM 13 gespeichertes Programm ausliest und basierend auf diesem Programm verschiedene Arten der Verarbeitung mit Bilddaten durchführt, die von der monokularen Kamera 11 erfasst wurden. Es kann eine Vielzahl von CPUs 12 montiert sein.
• Im ROM 13 sind Programme gespeichert, die es der CPU 12 ermöglichen, die Verarbeitung als Gesichtsermittlungsabschnitt 22, Kopfmittelpositionsabschätzungsabschnitt 23, Winkelabschätzungsabschnitt 25, Gesichtsrichtungsabschätzungsabschnitt 26, Seitenblickentscheidungsabschnitt 27, Abstandsabschätzungsabschnitt 28 und einen in 2 dargestellten Fahrbetriebsmöglichkeitsentscheidungsabschnitt 29, dreidimensionalen (3D) Gesichtsformenmodell-Anpassungsalgorithmus 24 und dergleichen durchzuführen. Alle oder ein Teil der von der CPU 12 ausgeführten Programme kann im Speicherabschnitt 15 oder auf einem anderen Speichermedium (nicht dargestellt) als dem ROM 13 gespeichert werden.
• Im RAM 14 werden die für verschiedene Arten der durch die CPU 12 durchgeführten Verarbeitung erforderlichen Daten, aus dem ROM 13 ausgelesene Programme und dergleichen zwischengespeichert.
• Der Speicherabschnitt 15 umfasst einen Bildspeicherteil 15a zum Speichern von Bilddaten, die von der monokularen Kamera 11 aufgenommen wurden, und einen Informationsspeicherteil 15b zum Speichern von Spezifikationsinformationen, wie beispielsweise eines Blickwinkels und der Anzahl von Pixeln (Breite × Länge) der monokularen Kamera 11, und Positionshaltungsinformationen, wie beispielsweise einer Montageposition und eines Montagewinkels der monokularen Kamera 11. Die CPU 12 kann eine Verarbeitung, die es dem Bildspeicherteil 15a, der ein Teil des Speicherabschnitts 15 ist, ermöglicht, Bilddaten zu speichern, die von der monokularen Kamera 11 aufgenommen wurden (Speicherbefehl), und eine Verarbeitung zum Lesen des Bildes aus dem Bildspeicherteil 15a (Lesebefehl) durchführen. Hinsichtlich der Positionshaltungsinformationen, wie beispielsweise der Montageposition und des Montagewinkels der monokularen Kamera 11, kann ein Einstellmenü der monokularen Kamera 11 zum Beispiel so aufgebaut sein, dass es von der HMI 40 ausgelesen werden kann, so dass bei der Montage der monokularen Kamera 11 deren Einstellung zuvor im Einstellmenü ausgewählt werden kann. Der Speicherabschnitt 15 umfasst einen oder mehrere nichtflüchtige Halbleiterspeicher, wie beispielsweise ein EEPROM oder einen Flash-Speicher. Die Ein-/Ausgangsschnittstelle (I/F) 16 dient zum Datenaustausch mit verschiedenen Arten von externen Geräten über den Kommunikationsbus 60.
• Basierend auf Signalen, die von der Fahrerzustandsabschätzungsvorrichtung 10 gesendet werden, führt die HMI 40 eine Verarbeitung zum Informieren des Fahrers über dessen Zustand durch, wie beispielsweise einen Zustand, in dem er zur Seite blickt, oder eine Fahrkörperhaltung, eine Verarbeitung zum Informieren des Fahrers über eine Betriebssituation des automatischen Fahrzeugbetriebssystems 1 oder eine Freigabeinformation des automatischen Fahrzeugbetriebs, eine Verarbeitung zum Ausgeben eines sich auf die automatische Fahrzeugbetriebssteuerung beziehenden Betriebssignals an die automatische Fahrzeugbetriebssteuervorrichtung 50 und dergleichen. Die HMI 40 umfasst beispielsweise einen Anzeigeabschnitt 41, der an einer für den Fahrer leicht einsehbaren Position montiert ist, einen Sprachausgabeabschnitt 42 sowie einen Bedienabschnitt und einen Spracheingabeabschnitt, die jeweils nicht dargestellt sind.
• Die automatische Fahrzeugbetriebssteuervorrichtung 50 ist auch mit einer Stromquellensteuereinheit, einer Lenksteuereinheit, einer Bremssteuereinheit, einem Peripherieüberwachungssensor, einem Navigationssystem, einer Kommunikationseinheit zur Kommunikation mit der Außenwelt und dergleichen verbunden, von denen keines dargestellt ist. Basierend auf den von jeder dieser Einheiten erfassten Informationen werden Steuersignale für die Durchführung des automatischen Fahrzeugbetriebs an jede Steuereinheit ausgegeben, um eine automatische Geschwindigkeitsregelung (wie beispielsweise eine automatische Lenksteuerung und eine automatische Geschwindigkeitsregelung) des Fahrzeugs durchzuführen.
• Bevor jeder Abschnitt der in 2 dargestellten Fahrerzustandsabschätzungsvorrichtung 10 erläutert wird, wird nachstehend ein Fahrerzustandsabschätzungsverfahren unter Verwendung der Fahrerzustandsabschätzungsvorrichtung 10 unter Bezugnahme auf die 3-5 beschrieben.
• 3 ist eine Draufsicht auf einen Fahrzeugraum zum Erläutern eines Fahrerzustandsabschätzungsverfahrens unter Verwendung der Fahrerzustandsabschätzungsvorrichtung 10. 4 besteht aus Abbildungen zum Erläutern des Zusammenhangs zwischen einer von der Fahrerzustandsabschätzungsvorrichtung 10 abgeschätzten Kopfmittelposition in einem Bild und einer Position eines Fahrersitzes, und dergleichen. 5 besteht aus Abbildungen zum Erläutern des Zusammenhangs zwischen der von der Fahrerzustandsabschätzungsvorrichtung 10 abgeschätzten Kopfmittelposition in dem Bild und einer Gesichtsrichtung des Fahrers, und dergleichen.
• Wie in 3 dargestellt, handelt es sich um eine Situation, in der ein Fahrer 30 auf einem Fahrersitz 31 sitzt. Vor dem Fahrersitz 31 befindet sich ein Lenkrad 32, und die Position des Fahrersitzes 31 kann nach hinten und vorne verstellt werden. Die monokulare Kamera 11 ist diagonal zur linken Vorderseite des Fahrersitzes 31 so montiert, dass Bilder aufgenommen werden können, die ein Gesicht des Fahrers enthalten. Die Montageposition der monokularen Kamera 11 ist nicht auf diese Ausführungsform beschränkt.
• In dieser Ausführungsform wird, wenn eine Mittelposition des Lenkrads 32 durch einen Ursprungspunkt O dargestellt, ein Liniensegment, das zwischen dem Ursprungspunkt O und einer Sitzmitte S verbindet, durch L1 dargestellt, und ein Liniensegment, das das Liniensegment 1 rechtwinklig im Ursprungspunkt O schneidet, wird durch L2 dargestellt, ein Montagewinkel der monokularen Kamera 11 wird auf einen Winkel θ in Bezug auf das Liniensegment L2 eingestellt, und ein Abstand zwischen einem Abbildungsoberflächenmittelpunkt I der monokularen Kamera 11 und dem Ursprungspunkt O wird auf A eingestellt. Eine Kopfmittelposition H des Fahrers 30 in der realen Welt gilt als auf dem Liniensegment L1 liegend. Der Ursprungspunkt O ist der Scheitelpunkt eines rechten Winkels eines rechtwinkligen Dreiecks mit einem Liniensegments L3, das als Hypotenuse die monokulare Kamera 11 und die Kopfmittelposition H des Fahrers 30 in der realen Welt verbindet. Die Position des Ursprungspunkts O kann von der Mittelposition des Lenkrads 32 abweichen.
• Ein Blickwinkel der monokularen Kamera 11 wird durch α dargestellt, während die Anzahl der Pixel in Breitenrichtung eines Bildes 11a durch Breite dargestellt wird. Eine Kopfmittelposition (die Anzahl der Pixel in Breitenrichtung) eines Fahrers 30A in dem Bild 11a wird durch x dargestellt, und ein Liniensegment (eine senkrechte Linie), das die Kopfmittelposition x des Fahrers 30A im Bild 11a anzeigt, wird durch Lx dargestellt.
• In den folgenden Beschreibungen wird eine Gesichtsrichtung (Winkel) des Fahrers 30 in der realen Welt in Bezug auf die monokulare Kamera 11 durch φ1 dargestellt, ein Winkel, der zwischen einer Richtung der monokularen Kamera 11 von der Kopfmittelposition H des Fahrers 30 (Liniensegment L3) und eine Frontrichtung des Fahrersitzes 31 (Liniensegment L1) gebildet wird, wird durch φ2 dargestellt, und eine Gesichtsrichtung (Winkel) des Fahrers 30 in Bezug auf die Frontrichtung des Fahrersitzes 31 (Liniensegment L1) wird durch φ3 dargestellt.
• In der Fahrerzustandsabschätzungsvorrichtung 10 wird die Kopfmittelposition x des Fahrers 30A im aufgenommenen Bild 11a durch die Durchführung einer Anpassungsverarbeitung eines nachfolgend beschriebenen dreidimensionalen Gesichtsformenmodells abgeschätzt.
• Wenn die Kopfmittelposition x des Fahrers 30A unter Verwendung der bekannten Informationen abgeschätzt werden kann, d. h. der Spezifikation (Blickwinkel α, Pixelzahl in Breitenrichtung Breite) der monokularen Kamera 11 und deren Positionshaltung (Montagewinkel θ, Abstand A von dem Ursprungspunkt O), kann der Winkel φ2 (der durch die Liniensegmente L3 und L1 gebildete Winkel) durch die nachstehend beschriebene Gleichung 1 erhalten werden. Bei strikter Berücksichtigung der Objektivverzeichnung der monokularen Kamera 11 und dergleichen wird die Kalibrierung unter Verwendung von internen Parametern durchgeführt.
  $$\begin{array}{c}\mathrm{\phi }2=90°-\left(\left(90°-\mathrm{\theta }\right)-\mathrm{\alpha }/2+\mathrm{\alpha }\times \text{x}/\text{Breite}\right)\\ =\mathrm{\theta }+\mathrm{\alpha }/2-\mathrm{\alpha }\times \text{x}/\text{Breite}\end{array}$$

  
• Unter Verwendung der Gesichtsrichtung (Winkel φ1) des Fahrers 30 in Bezug auf die monokulare Kamera 11, die durch die nachfolgend beschriebene Anpassungsverarbeitung des dreidimensionalen Gesichtsformenmodells erhalten wurde, kann durch Berechnung von Gleichung 2: Winkel φ1- Winkel φ2, die Gesichtsrichtung (Winkel) φ3 des Fahrers 30 in Bezug auf die Frontrichtung des Fahrersitzes 31 (Liniensegment L1) erhalten werden.
• Durch das Erhalten des Winkels φ2, der je nach Position (der Längsposition) des Fahrersitzes 31, d. h. der Kopfposition des Fahrers 30, variiert, und das Korrigieren des Winkels φ1 (der Gesichtsrichtung in Bezug auf die monokulare Kamera 11) unter Verwendung dieses Winkels φ2 wird es möglich, eine genaue Gesichtsrichtung (Winkel) φ3 des Fahrers 30 in Bezug auf die Frontrichtung des Fahrersitzes 31 (Liniensegment L1) zu erhalten, unabhängig von der Position des Fahrersitzes 31.
• Wenn der Winkel φ2 erhalten werden kann, da ein Dreieck, das durch das Verbinden des Ursprungspunkts O, des Abbildungsoberflächenmittelpunkts I und der Kopfmittelposition H gebildet wird, zu einem rechtwinkligen Dreieck wird, dessen Scheitelpunkt des rechten Winkels der Ursprungspunkt O ist, kann ein Abstand B von der Kopfmittelposition H des Fahrers 30 zum Ursprungspunkt O (dem Lenkrad 32) durch die folgende Gleichung 3 unter Verwendung des bekannten Abstandes A von dem Ursprungspunkt O zum Abbildungsoberflächenmittelpunkt I und des Winkels φ2 abgeschätzt werden. Unter Verwendung des abgeschätzten Abstandes B wird es möglich zu entscheiden, ob sich der Fahrer 30 in einem Zustand befindet, in dem er das Lenkrad bedienen kann (sich innerhalb eines Bereichs befindet, in dem er/sie das Lenkrad bedienen kann).
  $$\begin{array}{c}\text{B}=\text{A}/\text{Tan}\mathrm{\phi }2\\ \left(\text{hier }\mathrm{\phi }2=\mathrm{\theta }+\mathrm{\alpha }/2-\mathrm{\alpha }\times \text{x}/\text{Breite}\right)\\ \left(wobei\mathrm{\theta }+\mathrm{\alpha }/2>\mathrm{\alpha }\times \text{x}/\text{Breite}\right)\end{array}$$

  
• 4(a)-4(d) zeigen den Zusammenhang zwischen den Draufsichten des Fahrzeugraums, wenn die Position des Fahrersitzes 31 in Stufen nach vorne bewegt wird, und den von der monokularen Kamera 11 aufgenommenen Bildern 11a. In jeder Abbildung ist der Fahrer 30 zur Vorderseite des Fahrzeugs ausgerichtet. In jedem der Bilder 11a wird die Kopfmittelposition x des Fahrers 30A im Bild 11a durch das Liniensegment Lx dargestellt.
• Wenn der Fahrersitz 31 nach vorne bewegt wird, wird die Gesichtsrichtung (Winkel) φ1 des Fahrers 30 in Bezug auf die monokulare Kamera 11 immer größer. Daher kann nur mit dem Winkel φ1 nicht korrekt erfasst werden, ob der Fahrer 30 zur Vorderseite des Fahrzeugs ausgerichtet ist.
• Andererseits, wenn der Fahrersitz 31 nach vorne bewegt wird, bewegt sich die Kopfmittelposition H des Fahrers 30 in der realen Welt ebenfalls nach vorne, und das Liniensegment Lx, das die Kopfmittelposition x des Fahrers 30A in dem Bild 11a anzeigt, bewegt sich in dem Bild 11a nach links. Da sich das Liniensegment Lx, das die Kopfmittelposition x im Bild 11a angibt, nach links bewegt, wird der Winkel φ2 (der Winkel, der durch die Liniensegmente L3 und L1 gebildet wird) größer.
• Dementsprechend beträgt bei der Erhaltung der Gesichtsrichtung (Winkel) φ3 des Fahrers 30 in Bezug auf die Frontrichtung des Fahrersitzes 31 (Liniensegment L1) durch Berechnung der vorstehenden Gleichung 2: Winkel φ1 - Winkel φ2, der Wert des Winkels φ3=φ1-φ2 in diesem Fall etwa 0°. Es wird möglich, in jeder Sitzposition abzuschätzen, dass der Fahrer 30 zur Vorderseite des Fahrzeugs ausgerichtet ist.
• Und durch die vorstehende Gleichung 3 wird es unter Verwendung des bekannten Abstandes A von dem Ursprungspunkt O zum Abbildungsoberflächenmittelpunkt I und des Winkels φ2 auch möglich, den Abstand B von der Kopfmittelposition H des Fahrers 30 zu dem Ursprungspunkt O (dem Lenkrad) abzuschätzen.
• 5(a)-5(c) zeigen Draufsichten des Fahrzeugraums in Fällen, in denen sich der Fahrersitz 31 in derselben Position befindet, während die Gesichtsrichtung des Fahrers 30 variiert, Bilder 11a, die von der monokularen Kamera 11 aufgenommen wurden, dreidimensionale Gesichtsformenmodelle 33, die an die Bilder 11a angepasst werden sollen, und die Liniensegmente Lx, die die Kopfmittelposition x anzeigen, und Bilder, die die Kopfmittelposition x des Fahrers 30A zeigen, die durch die Anpassungsverarbeitung des dreidimensionalen Gesichtsformenmodells 33 an das Bild 11a unter Verwendung des Liniensegments Lx abgeschätzt wurde.
• 5(a) zeigt einen Fall, in dem die Gesichtsrichtung des Fahrers 30 in Bezug auf die Frontrichtung des Fahrzeugs nach rechts ist. 5(b) zeigt einen Fall, bei dem die Gesichtsrichtung des Fahrers 30 die Frontrichtung des Fahrzeugs ist. 5(c) zeigt einen Fall, in dem die Gesichtsrichtung des Fahrers 30 in Bezug auf die Frontrichtung des Fahrzeugs nach links ist.
• Wie in den Bildern 11a der 5(a)-5(c) dargestellt, ändern sich die Positionen von Organpunkten wie Augen, Nase und Mund auf dem Gesicht des Fahrers 30A je nach der Gesichtsrichtung, während sich die Kopfmittelposition x (Liniensegment Lx) nicht je nach der Gesichtsrichtung ändert. Hier ist in Fällen, in denen sich der Fahrersitz 31 in derselben Position befindet, die Kopfmittelposition x (Liniensegment Lx) nahezu gleich, ohne dass es zu einer Differenz (Abweichung) kommt, die durch die Unterscheidung von Geschlecht (männlich oder weiblich) oder körperlichen Merkmalen des Fahrers 30 verursacht wird.
• Wenn der Fahrer 30 sein/ihr Gesicht dreht, ändert sich die Gesichtsrichtung (Winkel) φ1 des Fahrers 30 in Bezug auf die monokulare Kamera 11. Daher kann mit nur dem Winkel φ1 nicht korrekt erfasst werden, in welche Richtung der Fahrer 30 ausgerichtet ist.
• Andererseits ändern sich die Kopfmittelposition H des Fahrers 30 in der realen Welt und die Position des Liniensegments Lx, das die Kopfmittelposition x des Fahrers 30A in dem Bild 11a anzeigt, kaum, selbst wenn der Fahrer 30 sein/ihr Gesicht dreht. Folglich ist der Winkel φ2 (der Winkel, der von den Liniensegmenten L3 und L1 gebildet wird), der aus der vorstehenden Gleichung 1 erhalten wird, nahezu gleich groß, auch wenn der Fahrer 30 sein/ihr Gesicht dreht.
• Infolgedessen wird es durch die Berechnung der vorstehenden Gleichung 2: Winkel φ1- Winkel φ2 zum Erhalten der Gesichtsrichtung (Winkel) φ3 des Fahrers 30 in Bezug auf die Frontrichtung des Fahrersitzes 31 (Liniensegment L1) möglich, die Gesichtsrichtung (Winkel) des Fahrers 30 in Bezug auf die Frontrichtung des Fahrersitzes 31 nahezu genau abzuschätzen. Und durch die vorstehende Gleichung 3 wird es unter Verwendung des bekannten Abstandes A von dem Ursprungspunkt O zum Abbildungsoberflächenmittelpunkt I und des Winkels φ2 auch möglich, den Abstand B von der Kopfmittelposition H des Fahrers 30 zu dem Ursprungspunkt O (dem Lenkrad) abzuschätzen.
• Eine spezifische Konstruktion der Fahrerzustandsabschätzungsvorrichtung 10 wird nachstehend unter Bezugnahme auf das in 2 dargestellte Blockdiagramm beschrieben.
• Die Fahrerzustandsabschätzungsvorrichtung 10 ist als eine Vorrichtung eingerichtet, bei der verschiedene Arten von im ROM 13 gespeicherten Programmen in das RAM 14 eingelesen und von der CPU 12 ausgeführt werden, um die Verarbeitung als Bildeingabeabschnitt 21, Gesichtsermittlungsabschnitt 22, Kopfmittelpositionsabschätzungsabschnitt 23, dreidimensionaler (3D) Gesichtsformenmodell-Anpassungsalgorithmus 24, Winkelabschätzungsabschnitt 25, Gesichtsrichtungsabschätzungsabschnitt 26, Seitenblickentscheidungsabschnitt 27, Abstandsabschätzungsabschnitt 28 und die Fahrbetriebsmöglichkeitsentscheidungsabschnitt 29 durchzuführen.
• Der Bildeingabeabschnitt 21 liest von der monokularen Kamera 11 aufgenommene Bilddaten, die das Gesicht des Fahrers beinhalten, aus dem Bildspeicherteil 15a und nimmt es im RAM 14 auf.
• Der Gesichtsermittlungsabschnitt 22 ermittelt das Gesicht des Fahrers aus dem von der monokularen Kamera 11 aufgenommenen Bild. Das Verfahren zum Ermitteln des Gesichts aus dem Bild ist nicht besonders begrenzt, aber es sollte ein Verfahren zum Ermitteln des Gesichts mit hoher Geschwindigkeit und hoher Präzision eingesetzt werden. So wird beispielsweise durch Betrachten einer Kontrastdifferenz (eine Luminanzdifferenz) oder Kantenintensität von lokalen Gesichtsbereichen und die Relevanz (das gleichzeitige Auftreten) zwischen diesen lokalen Regionen als Merkmalsgrößen, um durch die Kombination dieser Merkmalsgrößen in großer Zahl zu lernen, ein Detektor vorbereitet. Und ein solcher Detektor mit einer hierarchischen Struktur (eine hierarchische Struktur von einer Hierarchie, in der das Gesicht grob aufgenommen wird, bis zu einer Hierarchie, in der die winzigen Abschnitte des Gesichts aufgenommen werden) ermöglicht es, die Bereiche des Gesichts mit einer hohen Geschwindigkeit zu ermitteln. Um mit der Gesichtsrichtung oder -neigung umzugehen, kann eine Vielzahl von Detektoren montiert werden, die je nach Gesichtsrichtung oder -neigung separat lernen können.
• Der Kopfmittelpositionsabschätzungsabschnitt 23 ermöglicht es dem dreidimensionalen Gesichtsformenmodell 33 (siehe 5), sich an das Gesicht des Fahrers 30A in dem Bild 11a anzupassen (Anpassung), und schätzt die Kopfmittelposition x des Fahrers 30A in dem Bild 11a unter Verwendung des angepassten dreidimensionalen Gesichtsformenmodells 33 ab. Als Technik zum Anpassen eines dreidimensionalen Gesichtsformenmodells an ein Gesicht einer Person in einem Bild können vorzugsweise die in der offengelegten japanischen Patentanmeldung mit der Veröffentlichungsnummer 2007-249280, der japanischen Patentveröffentlichung Nr. 4501937 und dergleichen beschriebenen Techniken verwendet werden, ohne auf diese Techniken beschränkt zu sein.
• Ein Beispiel für die Technik der Anpassung eines dreidimensionalen Gesichtsformenmodells an ein Gesicht eines Fahrers in einem Bild ist in der nachstehenden Übersicht beschrieben.
• In der bisherigen Lernverarbeitung werden das Erfassen eines dreidimensionalen Gesichtsformenmodells, das Abtasten durch eine Retinastruktur und das Erfassen einer Fehlerabschätzmatrix durch eine kanonische Korrelationsanalyse durchgeführt, und die Lernergebnisse aus diesen Lernoperationen (die Fehlerabschätzmatrix, Normierungsparameter usw.) werden zuvor im dreidimensionalen Gesichtsformenmodell-Anpassungsalgorithmus 24 im ROM 13 gespeichert.
• Das dreidimensionale Gesichtsformenmodell wird durch die Eingabe von Merkmalsorganpunkten von Gesichtsorganen wie beispielsweise den äußeren Augenwinkeln, den inneren Augenwinkeln, beiden Enden der Nasenlöcher und beiden Enden der Lippen an Gesichtsbilder einer großen Anzahl von Personen und durch die Verbindung zwischen den mittleren dreidimensionalen Koordinaten dieser Punkte erzeugt. An jedem Merkmalsorganpunkt wird zur Erhöhung der Ermittlungsgenauigkeit des Merkmalsorganpunktes das Abtasten durch die Retinastruktur durchgeführt. Die Retinastruktur ist eine Mesh-Sampling-Struktur, die strahlförmig und diskret (wie eine Reihe von Punkten, die enger sind, wenn sie sich dem Zentrum davon nähern, während sie mit Abstand zum Zentrum davon lockerer sind) um den Organpunkt des Zielmerkmals angeordnet ist.
• In Fällen, in denen eine horizontale Achse durch eine X-Achse, eine vertikale Achse durch eine Y-Achse und eine Tiefen-(Längs)-Achse durch eine Z-Achse dargestellt wird, wenn das Gesicht von vorne gesehen wird, kann das dreidimensionale Gesichtsformenmodell unter Verwendung einer Vielzahl von Parametern wie beispielsweise einer Drehung um die X-Achse (Neigen), einer Drehung um die Y-Achse (Gieren), einer Drehung um die Z-Achse (Wanken), und Skalierung frei transformiert werden,
• Die Fehlerabschätzmatrix ist ein Lernergebnis über eine Korrelation, die angibt, in welche Richtung die Position jedes sich an einer falschen Position (einer anderen Position als der Position des zu ermittelnden Merkmalsorganpunkts) befindenden Merkmalsorganpunkts des dreidimensionalen Gesichtsformenmodells korrigiert werden sollte (eine Transformationsmatrix aus Merkmalsgrößen an den Merkmalsorganpunkten, um Größen der Parameter von der korrekten Position zu ändern).
• Als Verfahren zum Erfassen der Fehlerabschätzmatrix werden Verformungsparameter (korrekte Modellparameter) eines dreidimensionalen Gesichtsformenmodells an einer korrekten Position (ein korrektes Modell) erstellt, und es wird ein Verschiebungsmodell erzeugt, das durch Verschieben der korrekten Modellparameter unter Verwendung von Zufallszahlen und dergleichen innerhalb eines festen Bereichs hergestellt wird. Durch die Behandlung von Stichprobenmerkmalsgrößen, die basierend auf dem Verschiebungsmodell und Unterschieden zwischen dem Verschiebungsmodell und dem richtigen Modell (Änderungsgrößen der Parameter) als ein Satz erfasst wurden, wird die Fehlerabschätzmatrix als Lernergebnis über die Korrelation erfasst.
• Es wird die Anpassungsverarbeitung des dreidimensionalen Gesichtsformenmodells 33 an das Gesicht des Fahrers 30A in dem Bild 11a beschrieben. Auf der Grundlage des Ergebnisses der Gesichtsermittlung durch den Gesichtsermittlungsabschnitt 22 wird das dreidimensionale Gesichtsformenmodell 33 zunächst an einer geeigneten Position für die Position, Richtung und Größe des Gesichts platziert. Die Positionen der Merkmalsorganpunkte an ihrer Ausgangsposition werden ermittelt und die Merkmalsgrößen an den Merkmalsorganpunkten berechnet. Die Merkmalsgrößen werden in die Fehlerabschätzmatrix eingegeben und es werden Änderungsgrößen von Verformungsparametern in die Umgebung der richtigen Position berechnet. Zu den Verformungsparametern des dreidimensionalen Gesichtsformenmodells 33 an der aktuellen Position werden die vorstehend berechneten Änderungsgrößen der Verformungsparameter in die Umgebung der richtigen Position addiert. Durch diese Operationen wird das dreidimensionale Gesichtsformenmodell 33 mit hoher Geschwindigkeit der Umgebung der korrekten Position auf dem Bild angepasst. Das vorstehende Verfahren zum Steuern eines dreidimensionalen Gesichtsformenmodells wird als Active Structured Appearance Model (ASAM) bezeichnet.
• Die Verwendung des dreidimensionalen Gesichtsformenmodells 33 ermöglicht es, nicht nur die Positionen und Formen der Gesichtsorgane zu erhalten, sondern auch direkt die Körperhaltung des Gesichts in Bezug auf die monokulare Kamera 11 zu erhalten, d. h. in welcher Richtung das Gesicht ausgerichtet ist und den Winkel φ1.
• Aus dem dreidimensionalen Gesichtsformenmodell 33 wird die Kopfmittelposition in drei Dimensionen, z. B. eine Mittelposition (eine Mittelachse) einer Kugel, wenn der Kopf die Kugel darstellen soll, abgeschätzt, und durch Projizieren auf das zweidimensionale Bild 11a wird die Kopfmittelposition x des Fahrers 30A in dem Bild 11a abgeschätzt. Als Verfahren zum Projizieren einer Kopfmittelposition in drei Dimensionen auf einer zweidimensionalen Ebene können verschiedene Arten von Verfahren, wie beispielsweise ein Parallelprojektionsverfahren, oder perspektivische Projektionsverfahren, wie beispielsweise die perspektivische Einpunkt-Projektion, eingesetzt werden.
• Der Winkelabschätzungsabschnitt 25 schätzt auf der Grundlage der durch den Kopfmittelpositionsabschätzungsabschnitt 23 abgeschätzten Kopfmittelposition x des Fahrers 30A in dem Bild 11a und der im Informationsspeicherabschnitt 15b gespeicherten Informationen, einschließlich der Spezifikation (Blickwinkel α und Pixelzahl in der Breitenrichtung Breite) und der Positionshaltung (Winkel θ) der monokularen Kamera 11, den Winkel φ2, der zwischen der Richtung der monokularen Kamera 11 von der Kopfmittelposition H des Fahrers 30 in der realen Welt (Liniensegment L3) und der Frontrichtung des Fahrersitzes 31 (Liniensegment L1) gebildet wird, unter Verwendung der vorstehenden Gleichung 1 (φ2=θ+α/2-α×x/Breite) ab.
• Der Gesichtsrichtungsabschätzungsabschnitt 26 schätzt auf der Grundlage der in der Ermittlungsverarbeitung durch den Gesichtsermittlungsabschnitt 22 ermittelten Gesichtsrichtung (Winkel φ1) des Fahrers oder der dreidimensionalen Gesichtsformenmodell-Anpassungsverarbeitung durch den Kopfmittelpositionsabschätzungsabschnitt 23 und dem durch den Winkelabschätzungsabschnitt 25 abgeschätzten Winkel φ2 die Gesichtsrichtung (Winkel φ3= φ1-φ2) des Fahrers 30 in Bezug auf die Frontrichtung des Fahrersitzes 31 (Liniensegment L1, das durch den Ursprungspunkt O verläuft) ab.
• Der Seitenblickentscheidungsabschnitt 27 liest beispielsweise auf der Grundlage der durch den Gesichtsrichtungsabschätzungsabschnitt 26 abgeschätzten Gesichtsrichtung (Winkel φ3) des Fahrers 30 einen im ROM 13 oder dem Informationsspeicherteil 15b gespeicherten Winkelbereich in das RAM 14 aus und führt eine Vergleichsoperation durch, um zu entscheiden, ob sich der Fahrer in einem Zustands eines Blicks zur Seite befindet. Ein Signal, das das Entscheidungsergebnis anzeigt, wird an die HMI 40 und die automatische Fahrzeugbetriebssteuervorrichtung 50 ausgegeben.
• Der Abstandsabschätzungsabschnitt 28 schätzt auf der Grundlage der durch den Kopfmittelpositionsabschätzungsabschnitt 23 abgeschätzten Kopfmittelposition x des Fahrers 30A in dem Bild 11a, und der im Informationsspeicherteil 15b gespeicherten Informationen, die die Spezifikation (Blickwinkel α und Pixelzahl in der Breitenrichtung Breite) und der Positionshaltung (Winkel θ und Abstand A) der monokularen Kamera 11 (mit anderen Worten Winkel φ2 und Abstand A) beinhalten, den Abstand B zwischen dem Ursprungspunkt O in der Frontrichtung des Fahrersitzes 31 und der Kopfmittelposition H des Fahrers 30 in der realen Welt unter Verwendung der vorstehenden Gleichung 3 (B=A/tanφ2) ab.
• Der Fahrbetriebsmöglichkeitsentscheidungsabschnitt 29 entscheidet auf der Grundlage des durch den Abstandsabschätzungsabschnitt 28 abgeschätzten Abstands B, ob sich der Fahrer 30 in einem Zustand befindet, in dem er einen Fahrbetrieb durchführen kann. So liest er beispielsweise einen im ROM 13 oder Informationsspeicherteil 15b gespeicherten Bereich, in dem das Lenkrad richtig bedient werden kann, in das RAM 14 aus und führt eine Vergleichsoperation durch, um zu entscheiden, ob sich der Fahrer 30 in einem Bereich befindet, in dem er das Lenkrad 32 erreicht. Ein Signal, das das Entscheidungsergebnis anzeigt, wird an die HMI 40 und die automatische Fahrzeugbetriebssteuervorrichtung 50 ausgegeben.
• 6 ist ein Flussdiagramm, das Verarbeitungsvorgänge darstellt, die die CPU 12 in der Fahrerzustandsabschätzungsvorrichtung 10 gemäß der Ausführungsform durchführt. Die monokulare Kamera 11 nimmt beispielsweise 30-60 Einzelbilder des Bildes pro Sekunde auf, und diese Verarbeitung wird bei jedem Einzelbild oder Einzelbildern in regelmäßigen Abständen durchgeführt.
• In Schritt S1 werden die Daten des von der monokularen Kamera 11 aufgenommenen Bildes 11a (das das Gesicht des Fahrers enthält) aus dem Bildspeicherteil 15a erfasst, und in Schritt S2 wird aus dem erfassten Bild 11a das Gesicht (der Gesichtsbereich, die Gesichtsrichtung usw.) des Fahrers 30A ermittelt.
• In Schritt S3 wird an einer geeigneten Position (einer Ausgangsposition) zur ermittelten Position des Gesichts in dem Bild 11a das dreidimensionale Gesichtsformenmodell 33 platziert. In Schritt S4 wird die Position jedes Merkmalsorganpunktes an der Ausgangsposition erhalten und basierend auf der Retinakonstruktion die Merkmalsgröße jedes Merkmalsorganpunktes erfasst.
• In Schritt S5 werden die erfassten Merkmalsgrößen in die Fehlerabschätzmatrix eingegeben und Fehlerabschätzungen zwischen dem dreidimensionalen Gesichtsformenmodell 33 und den korrekten Modellparametern erfasst. In Schritt S6 werden zu den Verformungsparametern des dreidimensionalen Gesichtsformenmodells 33 an der aktuellen Position die vorstehenden Fehlerabschätzungen hinzugefügt, um Abschätzwerte der korrekten Modellparameter zu erfassen.
• In Schritt S7 wird festgestellt, ob die erfassten korrekten Modellparameter innerhalb eines normalen Bereichs liegen und die Verarbeitung konvergierte. Wenn festgestellt wird, dass die Verarbeitung in Schritt S7 nicht konvergierte, kehrt der Vorgang zu Schritt S4 zurück, wobei die Merkmalsgröße jedes Merkmalsorganpunkts eines neuen dreidimensionalen Gesichtsformenmodells 33, das basierend auf den erfassten korrekten Modellparametern erstellt wurde, erfasst wird. Wenn andererseits festgestellt wird, dass die Verarbeitung in Schritt S7 konvergierte, geht der Vorgang zu Schritt S8 über, in dem die Platzierung des dreidimensionalen Gesichtsformenmodells 33 in der Umgebung der korrekten Position abgeschlossen wird.
• In Schritt S9 wird aus der Ähnlichkeitskonvertierung (Parallelverschiebung, Drehung) von in den Parametern des in der Umgebung der korrekten Position platzierten dreidimensionalen Gesichtsformenmodells 33 enthaltenen Parametern die Gesichtsrichtung (Winkel φ1) des Fahrers 30 in Bezug auf die monokulare Kamera 11 erhalten. Ein rechter Winkel in Bezug auf die monokulare Kamera 11 wird mit einem Zeichen + (plus) angezeigt, ein linker Winkel wird mit einem Zeichen - (minus) angezeigt.
• In Schritt S10 wird unter Verwendung des dreidimensionalen Gesichtsformenmodells 33 die Kopfmittelposition x des Fahrers 30A in dem Bild 11a erhalten. So wird beispielsweise aus dem dreidimensionalen Gesichtsformenmodell 33 die Kopfmittelposition in drei Dimensionen (vorausgesetzt, dass der Kopf eine Kugel ist, eine Mittelposition der Kugel) abgeschätzt und auf das zweidimensionale Bild 11a projiziert, um die Kopfmittelposition x des Fahrers 30A in dem Bild 11a abzuschätzen.
• In Schritt S11 wird auf der Grundlage der in Schritt S9 abgeschätzten Kopfmittelposition x des Fahrers 30A in dem Bild 11a und der Informationen, die die Spezifikation (Blickwinkel α und Pixelzahl in Breitenrichtung Breite) und die Positionshaltung (Winkel θ) der monokularen Kamera 11 enthalten, der Winkel φ2, der zwischen der Richtung der monokularen Kamera 11 von der Kopfmittelposition H des Fahrers 30 in der realen Welt (Liniensegment L3) und der Frontrichtung des Fahrersitzes 31 (Liniensegment L1) gebildet wird, unter Verwendung der vorstehenden Gleichung 1 abgeschätzt.
• In Schritt S12 wird die Gesichtsrichtung (Winkel φ3) des Fahrers 30 in Bezug auf die Frontrichtung des Fahrersitzes 31 (der Ursprungspunkt O) abgeschätzt. Insbesondere wird eine Differenz zwischen der in Schritt S9 erhaltenen Gesichtsrichtung (Winkel φ1) des Fahrers 30 in Bezug auf die monokulare Kamera 11 und dem Winkel φ2 (dem durch die Liniensegmente L3 und L1 gebildeten Winkel), der in Schritt S11 abgeschätzt wurde (φ1-φ2), erhalten. Ein rechter Winkel in Bezug auf die Frontrichtung des Fahrersitzes 31 (der Ursprungspunkt O) wird mit einem Zeichen + (plus) angezeigt, während ein linker Winkel mit einem Zeichen - (minus) angezeigt wird.
• In Schritt S13 wird durch Auslesen eines in dem RAM 13 oder dem Informationsspeicherteil 15 b gespeicherten Winkelbereichs eines Zustandes des Nicht-zur-Seite-Blickens zur Durchführung einer Vergleichsoperation entschieden, ob der Winkel φ3 innerhalb des Winkelbereichs des Zustandes des Nicht-zur-Seite-Blickens (-φ_A<φ3<+(φ_B) liegt. Die Winkel -φ_A und +φ_B sind Winkel, die es ermöglichen, zu entscheiden, dass sich der Fahrer im Zustand des Zur-Seite-Blickens befindet. Wenn in Schritt S13 entschieden wird, dass sich der Fahrer nicht im Zustand des Zur-Seite-Blickens befindet (der Winkel liegt innerhalb des Bereichs -φ_A<φ3<+φ_B), geht der Vorgang zu Schritt S15 über. Wenn hingegen entschieden wird, dass sich der Fahrer im Zustand des Zur-Seite-Blickens befindet (der Winkel liegt nicht innerhalb des Bereichs -φ_A<φ3<+φ_B), geht der Vorgang zu Schritt S14 über.
• In Schritt S14 wird ein Signal des Zustands des Zur-Seite-Blickens an die HMI 40 und die automatische Fahrzeugbetriebssteuervorrichtung 50 ausgegeben.
• Die HMI 40 führt, wenn darin das Signal des Zustands des Zur-Seite-Blickens eingegeben wird, beispielsweise eine Seitenblick-Alarmanzeige auf dem Anzeigeabschnitt 41 und eine Seitenblick-Alarmansage durch den Sprachausgabeabschnitt 42 durch. Die automatische Fahrzeugbetriebssteuervorrichtung 50 führt beispielsweise eine Geschwindigkeitsreduzierungssteuerung durch, wenn darin das Signal des Zustands des Zur-Seite-Blickens eingegeben wird.
• In Schritt S15 wird der Abstand B zwischen dem Ursprungspunkt O, der sich in Frontrichtung des Fahrersitzes 31 befindet, und der Kopfmittelposition H des Fahrers 30 in der realen Welt unter Verwendung der vorstehenden Gleichung 3 (B=A/tanφ2) abgeschätzt.
• In Schritt S16 wird durch Auslesen eines im RAM 13 oder im Informationsspeicherteil 15b gespeicherten Bereichs, in dem das Lenkrad angemessen bedient werden kann, um einen Vergleichsvorgang durchzuführen, entschieden, ob der Abstand B innerhalb des Bereichs liegt, in dem das Lenkrad angemessen bedient werden kann (Abstand D₁ < Abstand B < Abstand D₂). So können beispielsweise die Abstände D₁ und D₂ auf ca. 40 cm bzw. 70 cm eingestellt werden. In Schritt S16, wenn entschieden wird, dass der Abstand B innerhalb des Bereichs liegt, in dem das Lenkrad angemessen bedient werden kann, wird die Verarbeitung beendet. Wenn hingegen entschieden wird, dass der Abstand B nicht innerhalb des Bereichs liegt, in dem das Lenkrad angemessen bedient werden kann, geht der Vorgang zu Schritt S17 über.
• In Schritt S17 wird ein Signal, dass ein Fahrbetrieb unmöglich sei, an die HMI 40 und die automatische Fahrzeugbetriebssteuervorrichtung 50 ausgegeben, und danach wird die Verarbeitung beendet. Wenn das Signal, dass ein Fahrbetrieb unmöglich sei, eingegeben wird, führt die HMI 40 beispielsweise eine Anzeige durch, die einen Alarm über die Fahrkörperhaltung oder Sitzposition auf dem Anzeigeabschnitt 41 und eine Ansage, die einen Alarm über die Fahrkörperhaltung oder Sitzposition durch den Sprachausgabeabschnitt 42 meldet, auslöst. Wenn das Signal, dass ein Fahrbetrieb unmöglich sei, eingegeben wird, führt die automatische Fahrzeugbetriebssteuervorrichtung 50 beispielsweise eine Geschwindigkeitsreduzierungssteuerung durch. Hier kann die Reihenfolge der Vorgänge in den Schritten S12-S14 und der Vorgänge in den Schritten S15-S17 geändert werden. Oder zu unterschiedlichen Zeitpunkten im Laufe der Zeit können die Vorgänge in den Schritten S12-S14 und die Vorgänge in den Schritten S15-S17 separat ausgeführt werden.
• Da die Fahrerzustandsabschätzungsvorrichtung 10 gemäß der Ausführungsform die Kopfmittelposition x des Fahrers 30A im Bild 11a unter Verwendung des dreidimensionalen Gesichtsformenmodells 33, das an das Gesicht des Fahrers 30A in dem Bild 11a angepasst wurde, wie unter Bezugnahme auf 5 beschrieben, abschätzt, kann die Kopfmittelposition x des Fahrers 30A in dem Bild 11a unabhängig von unterschiedlichen Gesichtsrichtungen des Fahrers 30 genau abgeschätzt werden.
• Da die Kopfmittelposition x des Fahrers 30A in dem Bild 11a auf der Grundlage der Kopfmittelposition x und der bekannten Informationen über die Spezifikation (Blickwinkel α und Pixelzahl in Breitenrichtung Breite) und die Positionshaltung (Winkel θ) der monokularen Kamera 11 genau abgeschätzt werden kann, kann der Winkel φ2, der zwischen der Richtung der monokularen Kamera 11 aus der Kopfmittelposition H des Fahrers 30 in der realen Welt (Liniensegment L3) und der Frontrichtung des Fahrersitzes 31 (Liniensegment L1, das durch den Ursprungspunkt O verläuft) gebildet wird, genau abgeschätzt werden.
• Und unter Verwendung des Winkels φ2 kann, ohne von unterschiedlichen Positionen des Fahrersitzes 31 (unterschiedliche Kopfpositionen des Fahrers 30) und unterschiedlichen Gesichtsausrichtungen des Fahrers 30 beeinflusst zu werden, aus der Gesichtsausrichtung des Fahrers 30 in Bezug auf die monokulare Kamera 11 (Winkel φ1) die Gesichtsausrichtung des Fahrers 30 (Winkel φ3) in Bezug auf die Frontrichtung des Fahrersitzes 31 (den Ursprungspunkt O) genau abgeschätzt werden.
• Auf der Grundlage der durch den Abschnitt 26 der Gesichtsrichtungsabschätzung abgeschätzten Gesichtsrichtung des Fahrers 30 (Winkel φ3) kann beispielsweise der Zustand des Fahrers 30 in der realen Welt genau bestimmt werden.
• Auf der Grundlage der durch den Kopfmittelpositionsabschätzungsabschnitt 23 abgeschätzten Kopfmittelposition x des Fahrers 30A in dem Bild 11a und den bekannten Informationen über die Spezifikation (Blickwinkel α und Pixelzahl in Breitenrichtung ,Breite‘) und die Positionshaltung (Winkel θ, Abstand A von dem Ursprungspunkt O usw.) der monokularen Kamera 11 kann der Abstand B zwischen dem in Frontrichtung des Fahrersitzes 31 liegenden Ursprungspunkt O und der Kopfmittelposition H des Fahrers 30 in der realen Welt genau abgeschätzt werden. Und auf der Grundlage des durch den Abstandsabschätzungsabschnitt 28 abgeschätzten Abstandes B kann entschieden werden, ob sich der Fahrer 30 innerhalb des Bereichs befindet, in dem er/sie das Lenkrad angemessen bedienen kann.
• Unter Verwendung der Fahrerzustandsabschätzungsvorrichtung 10 kann ohne Montage eines weiteren Sensors zusätzlich zur monokularen Kamera 11 der vorstehend beschriebene Abstand B zum Fahrer und dessen Gesichtsrichtung (Winkel φ3) genau abgeschätzt werden, was zu einer Vereinfachung der Vorrichtungskonstruktion führt. Und da wie vorstehend beschrieben kein weiterer Sensor montiert werden muss, sind keine zusätzlichen Arbeiten erforderlich, die mit dessen Montage einhergehen, was zu einer Reduzierung der Belastung der CPU 12, Minimierung der Vorrichtung und Kostenreduzierung führt.
• Durch die Montage der Fahrerzustandsabschätzungsvorrichtung 10 am automatischen Fahrzeugbetriebssystem 1 wird es möglich, dass der Fahrer den automatischen Fahrzeugbetrieb angemessen überwachen kann. Selbst wenn eine Situation eintritt, in der die Geschwindigkeitsregelung durch automatischen Fahrzeugbetrieb schwierig ist, kann die Umschaltung auf manuellen Fahrzeugbetrieb schnell und sicher durchgeführt werden, was zu einer Erhöhung der Sicherheit des automatischen Fahrzeugbetriebssystems 1 führt.
• (Ergänzung 1)
• Fahrerzustandsabschätzungsvorrichtung zum Abschätzen eines Zustands eines Fahrers aus einem aufgenommenen Bild, umfassend:
• einen monokularen Abbildungsabschnitt zum Aufnehmen eines Bildes, das ein Gesicht eines Fahrers beinhaltet, der auf einem Fahrersitz sitzt;
• mindestens einen Speicherabschnitt; und
• mindestens einen Hardwareprozessor,
• wobei der mindestens eine Speicherabschnitt umfasst:
  • einen Bildspeicherteil zum Speichern des von dem Abbildungsabschnitt aufgenommenen Bildes, und
  • einen Informationsspeicherteil zum Speichern von Informationen, die eine Spezifikation und eine Positionshaltung des Abbildungsabschnitts beinhalten, und
• wobei der mindestens eine Hardwareprozessor umfasst:
  • einen Speicherbefehlerteilungsabschnitt, um es dem Bildspeicherteil zu ermöglichen, das von dem Abbildungsabschnitt aufgenommene Bild zu speichern,
  • einen Lesebefehlerteilungsabschnitt zum Auslesen des Bildes aus dem Bildspeicherteil,
  • einen Kopfmittelpositionsabschätzungsabschnitt zum Abschätzen einer Kopfmittelposition des Fahrers in dem Bild unter Verwendung eines dreidimensionalen Gesichtsformenmodells, das dem Gesicht des Fahrers in dem aus dem Bildspeicherteil ausgelesenen Bild angepasst wurde, und
  • einen Abstandsabschätzungsabschnitt zum Abschätzen eines Abstands zwischen einem Ursprungspunkt, der sich in einer Frontrichtung des Fahrersitzes befindet, und einer Kopfmittelposition des Fahrers in der realen Welt auf der Grundlage der durch den Kopfmittelpositionsabschätzungsabschnitt abgeschätzten Kopfmittelposition des Fahrers in dem Bild und der Informationen, die die aus dem Informationsspeicherteil ausgelesene Spezifikation und die Positionshaltung des Abbildungsabschnitts beinhalten.
• (Ergänzung 2)
• Fahrerzustandsabschätzungsverfahren unter Verwendung einer Vorrichtung, die umfasst:
• einen monokularen Abbildungsabschnitt zum Aufnehmen eines Bildes, der ein Gesicht eines Fahrers beinhaltet, der auf einem Fahrersitz sitzt,
• mindestens einen Speicherabschnitt und
• mindestens einen Hardwareprozessor,
• der einen Zustand des Fahrers unter Verwendung des von dem Abbildungsabschnitt aufgenommenen Bildes abschätzt,
• wobei der mindestens eine Speicherabschnitt umfasst:
  • einen Bildspeicherteil zum Speichern des von dem Abbildungsabschnitt aufgenommenen Bildes; und
  • einen Informationsspeicherteil zum Speichern von Informationen, die eine Spezifikation und eine Positionshaltung des Abbildungsabschnitts beinhalten, und
• wobei der mindestens eine Hardwareprozessor die Schritte durchführt, umfassend:
  • Erteilen eines Speicherbefehls, um es dem Bildspeicherteil zu ermöglichen, die das von dem Abbildungsabschnitt aufgenommene Bild zu speichern;
  • Auslesen des Bildes aus dem Bildspeicherteil;
  • Abschätzen einer Kopfmittelposition des Fahrers im Bild unter Verwendung eines dreidimensionalen Gesichtsformenmodells, das dem Gesicht des Fahrers in dem aus dem Bildspeicherteil ausgelesenen Bild angepasst wurde; und
  • Abschätzen eines Abstands zwischen einem Ursprungspunkt, der sich in einer Frontrichtung des Fahrersitzes befindet, und einer Kopfmittelposition des Fahrers in der realen Welt auf der Grundlage der in dem Schritt des Abschätzens der Kopfmittelposition abgeschätzten Kopfmittelposition des Fahrers in dem Bild und der aus dem Informationsspeicherteil ausgelesen Informationen, die die Spezifikation und die Positionshaltung des Abbildungsabschnitts beinhalten.
• INDUSTRIELLE ANWENDBARKEIT
• Die vorliegende Erfindung kann auf ein automatisches Fahrzeugbetriebssystem, in dem ein Zustand eines Fahrers überwacht werden muss, und dergleichen, hauptsächlich im Bereich der Automobilindustrie, weitestgehend angewendet werden.
• Bezugszeichenliste

10:

Fahrerzustandsabschätzungsvorrichtung

11:

Monokulare Kamera

11a:

Bild

12:

CPU

13:

ROM

14:

RAM

15:

Speicherabschnitt

15a:

Bildspeicherteil

15b:

Informationsspeicherteil

21:

Bildeingabeabschnitt

22:

Gesichtsermittlungsabschnitt

23:

Abschätzungsabschnitt für Kopfmittelposition

24:

Dreidimensionaler Gesichtsformenmodellanpassungsalgorithmus

25:

Winkelabschätzungsabschnitt

26:

Gesichtsrichtungsabschätzungsabschnitt

27:

Seitenblickentscheidungsabschnitt

28:

Abstandsabschätzungsabschnitt

29:

Fahrbetriebsmöglichkeitentscheidungsabschnitt

30:

Fahrer in der realen Welt

30A:

Fahrer in dem Bild

31:

Fahrersitz

32:

Lenkrad

Lx:

Liniensegment (mit Angabe der Kopfmittelposition x im Bild)

O:

Ursprungspunkt

S:

Sitzmitte

H:

Kopfmittelposition des Fahrers in der realen Welt

I:

Abbildungsoberflächenmittelpunkt

L1, L2, L3:

Liniensegment

α:

Blickwinkel

θ:

Montagewinkel der monokularen Kamera

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• JP 2014218140 [0010]

Claims (6)

1. Fahrerzustandsabschätzungsvorrichtung zum Abschätzen eines Zustands eines Fahrers aus einem aufgenommenen Bild, umfassend: einen monokularen Abbildungsabschnitt zum Aufnehmen eines Bildes, das ein Gesicht eines Fahrers beinhaltet, der auf einem Fahrersitz sitzt; und mindestens einen Hardwareprozessor, wobei der mindestens eine Hardwareprozessor umfasst: einen Kopfmittelpositionsabschätzungsabschnitt zum Abschätzen einer Kopfmittelposition des Fahrers in dem Bild unter Verwendung eines dreidimensionalen Gesichtsformenmodells, das dem Gesicht des Fahrers in dem von dem Abbildungsabschnitt aufgenommenen Bild angepasst wurde, und einen Abstandsabschätzungsabschnitt zum Abschätzen eines Abstands zwischen einem Ursprungspunkt, der sich in einer Frontrichtung des Fahrersitzes befindet, und einer Kopfmittelposition des Fahrers in der realen Welt auf der Grundlage der durch den Kopfmittelpositionsabschätzungsabschnitt abgeschätzten Kopfmittelposition des Fahrers in dem Bild und Informationen, die eine Spezifikation und eine Positionshaltung des Abbildungsabschnitts beinhalten.
2. Fahrerzustandsabschätzungsvorrichtung nach Anspruch 1, wobei der mindestens eine Hardwareprozessor umfasst: einen Fahrbetriebsmöglichkeitsentscheidungsabschnitt zum Entscheiden darüber, ob sich der Fahrer in einem Zustand befindet, in dem er einen Fahrbetrieb durchführen kann, unter Verwendung des durch den Abstandsabschätzungsabschnitt abgeschätzten Abstands.
3. Fahrerzustandsabschätzungsvorrichtung nach Anspruch 1 oder 2, wobei der mindestens eine Hardwareprozessor umfasst: einen Gesichtsrichtungsermittlungsabschnitt zum Ermitteln einer Gesichtsrichtung des Fahrers in Bezug auf den Abbildungsabschnitt aus dem von dem Abbildungsabschnitt aufgenommenen Bild, einen Winkelabschätzungsabschnitt zum Abschätzen eines Winkels, der zwischen einer Richtung des Abbildungsabschnitts von der Kopfmittelposition des Fahrers in der realen Welt und der Frontrichtung des Fahrersitzes gebildet wird, auf der Grundlage der durch den Kopfmittelpositionsabschätzungsabschnitt abgeschätzten Kopfmittelposition des Fahrers in dem Bild und der Informationen, die die Spezifikation und die Positionshaltung des Abbildungsabschnitts beinhalten, und einen Gesichtsrichtungsabschätzungsabschnitt zum Abschätzen einer Gesichtsrichtung des Fahrers in Bezug auf die Frontrichtung des Fahrersitzes auf der Grundlage der durch den Gesichtsrichtungsermittlungsabschnitt ermittelten Gesichtsrichtung des Fahrers und des durch den Winkelabschätzungsabschnitt abgeschätzten Winkels.
4. Fahrerzustandsabschätzungsvorrichtung nach Anspruch 3, wobei der mindestens eine Hardwareprozessor umfasst: einen Fahrerzustandsentscheidungsabschnitt zum Entscheiden über einen Zustand des Fahrers auf der Grundlage der durch den Gesichtsrichtungsabschätzungsabschnitt abgeschätzten Gesichtsrichtung des Fahrers.
5. Fahrerzustandsabschätzungsverfahren unter Verwendung einer Vorrichtung, die umfasst: einen monokularen Abbildungsabschnitt zum Aufnehmen eines Bildes, das ein Gesicht eines Fahrers beinhaltet, der auf einem Fahrersitz sitzt, und mindestens einen Hardwareprozessor, der einen Zustand des Fahrers unter Verwendung des von dem Abbildungsabschnitt aufgenommenen Bildes abschätzt, wobei der mindestens eine Hardwareprozessor die Schritte ausführt, die umfassen: Abschätzen einer Kopfmittelposition des Fahrers in dem Bild unter Verwendung eines dreidimensionalen Gesichtsformenmodells, das dem Gesicht des Fahrers in dem von dem Abbildungsabschnitt aufgenommenen Bild angepasst wurde; und Abschätzen eines Abstands zwischen einem Ursprungspunkt, der sich in einer Frontrichtung des Fahrersitzes befindet, und einer Kopfmittelposition des Fahrers in der realen Welt auf der Grundlage der in dem Schritt des Abschätzens der Kopfmittelposition abgeschätzten Kopfmittelposition des Fahrers in dem Bild und Informationen, die eine Spezifikation und eine Positionshaltung des Abbildungsabschnitts beinhalten.
6. Fahrerzustandsabschätzungsverfahren nach Anspruch 5, wobei der mindestens eine Hardwareprozessor die Schritte durchführt, die umfassen: Ermitteln einer Gesichtsrichtung des Fahrers in Bezug auf den Abbildungsabschnitt aus dem aufgenommenen Bild; Abschätzen eines Winkels, der zwischen einer Richtung des Abbildungsabschnitts von der Kopfmittelposition des Fahrers in der realen Welt und der Frontrichtung des Fahrersitzes gebildet wird, auf der Grundlage der durch den Kopfmittelpositionsabschätzungsabschnitt abgeschätzten Kopfmittelposition des Fahrers in dem Bild und der Informationen, die die Spezifikation und die Positionshaltung des Abbildungsabschnitts beinhalten; und Abschätzen einer Gesichtsrichtung des Fahrers in Bezug auf die Frontrichtung des Fahrersitzes auf der Grundlage der in dem Schritt des Ermittelns der Gesichtsrichtung ermittelten Gesichtsrichtung des Fahrers und des in dem Schritt des Abschätzens des Winkels abgeschätzten Winkels.

Images