DE102019103197A1

DE102019103197A1 - Insassenüberwachungsvorrichtung

Info

Publication number: DE102019103197A1
Application number: DE102019103197.4A
Authority: DE
Inventors: Yoshio Matsuura
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2018-02-27
Filing date: 2019-02-08
Publication date: 2019-08-29
Anticipated expiration: 2039-02-09
Also published as: CN110194173A; US20190266743A1; JP6669182B2; JP2019148491A; DE102019103197B4; CN110194173B

Abstract

Eine Insassenüberwachungsvorrichtung (100) zum Messen der räumlichen Position einer vorbestimmten Stelle eines Insassen mit einer Kamera beinhaltet eine Kamera (1), die ein Bild eines Fahrzeuginsassen aufnimmt, einen Bildprozessor (2), der das aufgenommene Bild verarbeitet, und einen Positionsrechner (3), der die räumliche Position der vorbestimmten Stelle (Gesicht) eines Insassen unter Verwendung des verarbeiteten Bildes berechnet. Die Kamera (1) ist auf einem Lenkrad des Fahrzeugs von einer Drehwelle entfernt installiert, um zusammen mit dem Lenkrad drehbar zu sein. Der Bildprozessor (2) dreht zwei Bilder (G1, G2), die an zwei Positionen von der Kamera (1), die zusammen mit dem Lenkrad gedreht wird, aufgenommen werden, um gedrehte Bilder (H1, H2) zu erzeugen. Der Positionsrechner (3) berechnet die räumliche Position der vorbestimmten Stelle eines Insassen unter Verwendung eines linearen Abstands (Grundlinienlänge) zwischen den zwei Positionen, einer Parallaxe, die von den gedrehten Bildern (H1, H2) erhalten wird, und einer Brennweite der Kamera (1).

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNG
Diese Anmeldung beansprucht Priorität zu der japanischen Patentanmeldung, Nr. 2018-033132 , eingereicht am 27. Februar 2018, deren gesamte Offenbarung hierin durch Bezugnahme aufgenommen ist.
GEBIET
Die vorliegende Erfindung betrifft eine Insassenüberwachungsvorrichtung zum Überwachen eines Insassen mit einer Kamera, die in einem Fahrzeug installiert ist, und insbesondere eine Technik zum Messen der räumlichen Position einer vorbestimmten Stelle des Insassen.
STAND DER TECHNIK
Die räumliche Position des Gesichts wird in dem Fahrzeug erfasst, um eine vorbestimmte Fahrzeugsteuerung in Übereinstimmung mit einer Position eines Gesichts eines Fahrers durchzuführen. Beispielsweise kann sich der Abstand einer Referenzposition (z. B. einer Kameraposition) zu dem Gesicht des Fahrers unterscheiden, wenn der Fahrer wach ist und geradeaus schaut, und wenn der Fahrer dabei ist, einzuschlafen und sein Kopf nach unten zeigt. Dieser Abstand kann als die Gesichtsposition des Fahrers erfasst werden, um zu bestimmen, ob der Fahrer wach ist oder dabei ist, einzuschlafen. Ein Fahrzeug, das ein Head-up-Display(HUD)-System enthält, kann die Gesichtsposition (insbesondere die Augenposition) des Fahrers erfassen, um ein Bild an der Augenposition vor dem Fahrersitz optimal anzuzeigen.
Ein Fahrerüberwachungsgerät ist für das Erfassen des Gesichts eines Fahrers bekannt. Das Fahrerüberwachungsgerät überwacht einen Zustand des Fahrers auf Grundlage eines Bildes des Gesichts des Fahrers, das durch eine Kamera aufgenommen wird, und führt eine vorbestimmte Steuerung durch, wie etwa das Erzeugen einer Warnung, falls der Fahrer dabei ist, einzuschlafen oder abgelenkt fährt. Das Gesichtsbild, das durch das Fahrerüberwachungsgerät erhalten wird, stellt Informationen über die Gesichtsausrichtung oder Blickrichtung bereit, enthält jedoch keine Informationen über die räumliche Position des Gesichts (den Abstand von einer Referenzposition).
Die räumliche Position des Gesichts kann beispielsweise durch zwei Kameras (oder eine Stereokamera), eine Kamera in Kombination mit einem gemusterten Licht, das ein Subjekt beleuchtet, oder einen Ultraschallsensor gemessen werden. Die Stereokamera umfasst mehrere Kameras und vergrößert die Kosten. Das Verfahren, das gemustertes Licht verwendet, umfasst eine einzelne Kamera, benutzt jedoch ein dediziertes optisches System. Der Ultraschallsensor vergrößert die Anzahl an Komponenten und vergrößert die Kosten und kann ferner den Abstand mit einem Endpunkt ergeben, der in dem Subjekt nicht bestimmt ist, was sehr wahrscheinlich von dem Erfassungsergebnis des Fahrerüberwachungsgeräts abweicht.
Patentliteratur 1 beschreibt ein Fahrerüberwachungssystem, das eine Kamera umfasst, die auf einem Lenkrad eines Fahrzeugs installiert ist, um ein Bild eines Fahrers, das durch eine Kamera aufgenommen wird, auf Grundlage des Lenkwinkels in ein aufrechtes Bild zu korrigieren. Patentliteratur 2 beschreibt eine Erfassungseinrichtung für eine Gesichtsausrichtung, um die Gesichtsausrichtung eines Fahrers unter Verwendung von zwei Kameras, die auf dem Armaturenbrett eines Fahrzeugs installiert sind, zu erfassen. Weder Literatur 1 noch 2 beschreibt allerdings Techniken zum Messen der Gesichtsposition mit der/den Kamera(s) und reagiert auf das obige Problem.
QUELLENLISTE
PATENTLITERATUR

Patentliteratur 1: Japanische ungeprüfte Patentanmeldung mit der Veröffentlichungsnr. 2007-72774
Patentliteratur 2: Japanische ungeprüfte Patentanmeldung mit der Veröffentlichungsnr. 2007-257333

KURZDARSTELLUNG
TECHNISCHE AUFGABE
Einer oder mehrere Aspekte der vorliegenden Erfindung sind auf eine Insassenüberwachungsvorrichtung gerichtet, die die räumliche Position einer vorbestimmten Stelle eines Insassen mit einer einzelnen Kamera misst.
LÖSUNG DER AUFGABE
Die Insassenüberwachungsvorrichtung gemäß einem Aspekt der vorliegenden Erfindung umfasst eine Kamera, die ein Bild eines Insassen eines Fahrzeugs aufnimmt, einen Bildprozessor, der das Bild des Insassen, das von der Kamera aufgenommen wird, verarbeitet, und einen Positionsrechner, der eine räumliche Position einer vorbestimmten Stelle des Insassen auf Grundlage des Bildes, das durch den Bildprozessor verarbeitet wird, berechnet. Die Kamera ist an dem Lenkrad des Fahrzeugs von einer Drehwelle entfernt installiert, um zusammen mit dem Lenkrad drehbar zu sein. Der Bildprozessor verarbeitet zwei Bilder, die von der Kamera an zwei unterschiedlichen Positionen aufgenommen werden, indem die Kamera zusammen mit dem Lenkrad gedreht wird. Der Positionsrechner berechnet die räumliche Position der vorbestimmten Stelle des Insassen auf Grundlage der zwei Bilder, die durch den Bildprozessor verarbeitet werden.
Die Insassenüberwachungsvorrichtung gemäß dem obigen Aspekt umfasst die Kamera, die auf dem Lenkrad von der Drehwelle entfernt installiert ist, um ein Bild des Insassen aufzunehmen. Die Kamera, die zusammen mit dem Lenkrad drehbar ist, kann zwei Bilder, die an zwei unterschiedlichen Positionen aufgenommen werden, bereitstellen. Die zwei aufgenommenen Bilder werden durch den Bildprozessor verarbeitet, um zum Berechnen der räumlichen Position der vorbestimmten Stelle des Insassen verwendet zu werden. Die Insassenüberwachungsvorrichtung eliminiert somit die Verwendung von mehreren Kameras oder eines dedizierten optischen Systems, ist einfach und kosteneffektiv.
In der Vorrichtung gemäß dem obigen Aspekt kann der Bildprozessor eine Gesichtserfassungseinrichtung beinhalten, die ein Gesicht des Insassen aus den Bildern, die von der Kamera aufgenommen werden, erfasst, und der Positionsrechner kann einen Abstand von der Kamera zu einem spezifischen Teil des Gesichts als eine räumliche Position des Gesichts berechnen.
In der Vorrichtung gemäß dem obigen Aspekt sind die zwei Bilder beispielsweise ein erstes aufgenommenes Bild, das von der Kamera aufgenommen wird, die um einen ersten Drehwinkel auf eine erste Position gedreht wird, und ein zweites aufgenommenes Bild, das von der Kamera aufgenommen wird, die um einen zweiten Drehwinkel auf eine zweite Position gedreht wird. In diesem Fall erzeugt der Bildprozessor ein erstes gedrehtes Bild, indem das erste aufgenommene Bild um einen vorbestimmten Winkel gedreht wird, und ein zweites gedrehtes Bild, indem das zweite aufgenommene Bild um einen vorbestimmten Winkel gedreht wird. Der Positionsrechner berechnet die räumliche Position der vorbestimmten Stelle auf Grundlage einer Grundlinienlänge, die ein linearer Abstand zwischen der ersten Position und der zweiten Position ist, einer Parallaxe, die von dem ersten gedrehten Bild und dem zweiten gedrehten Bild erhalten wird, und einer Brennweite der Kamera.
Genauer gesagt, kann die räumliche Position der vorbestimmten Stelle beispielsweise in der nachfolgend beschriebenen Weise berechnet werden. Der Bildprozessor erzeugt das erste gedrehte Bild, indem das erste aufgenommene Bild in eine erste Richtung um einen Winkel |θ₂ - θ₁|/2 gedreht wird, und erzeugt das zweite gedrehte Bild, indem das zweite aufgenommene Bild in eine zweite Richtung, die der ersten Richtung entgegengesetzt ist, um einen Winkel |θ₂ - θ₁|/2 gedreht wird. Der Positionsrechner berechnet die Grundlinienlänge als B = 2·L·sin (|θ₂ - θ1|/2) und berechnet die räumliche Position der vorbestimmten Stelle als D = B·(f/δ). In den obigen Ausdrücken und Formeln ist L ein Abstand von der Drehwelle des Lenkrads zu der Kamera, ist θ₁ der erste Drehwinkel, ist θ₂ der zweite Drehwinkel, ist B die Grundlinienlänge, ist δ die Parallaxe, ist f die Brennweite und ist D ein Abstand von der Kamera zu der vorbestimmten Stelle, um die räumliche Position der vorbestimmten Stelle zu definieren.
Die Vorrichtung gemäß dem obigen Aspekt kann ferner eine Drehwinkelerfassungseinrichtung beinhalten, die einen Drehwinkel der Kamera erfasst. Die Drehwinkelerfassungseinrichtung kann den ersten Drehwinkel und den zweiten Drehwinkel auf Grundlage des ersten aufgenommenen Bildes und des zweiten aufgenommenen Bildes, die von der Kamera erhalten werden, erfassen.
In einigen Ausführungsformen kann die Drehwinkelerfassungseinrichtung den ersten Drehwinkel und den zweiten Drehwinkel auf Grundlage einer Ausgabe eines Stellungssensors erfassen, der eine Stellung der Kamera erfasst.
In einigen Ausführungsformen kann die Drehwinkelerfassungseinrichtung den ersten Drehwinkel und den zweiten Drehwinkel auf Grundlage einer Ausgabe eines Lenkwinkelsensors erfassen, der einen Lenkwinkel des Lenkrads erfasst.
In der Vorrichtung gemäß dem obigen Aspekt kann der Positionsrechner die räumliche Position der vorbestimmten Stelle auf Grundlage der zwei Bilder berechnen, wenn die Kamera um wenigstens einen vorbestimmten Winkel innerhalb einer vorbestimmten Zeitspanne zwischen zwei unterschiedlichen Positionen gedreht wird.
VORTEILHAFTE AUSWIRKUNGEN
Die Insassenüberwachungsvorrichtung gemäß dem obigen Aspekt der vorliegenden Erfindung erfasst die räumliche Position einer vorbestimmten Stelle eines Insassen mit einer einzelnen Kamera.
Figurenliste

1 ist ein Blockdiagramm einer Insassenüberwachungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung.
2 ist eine Draufsicht eines Lenkrads, auf dem eine Kamera installiert ist.
3 ist ein Diagramm, das das Überwachen eines Fahrers durch die Kamera beschreibt.
4A bis 4C sind Diagramme, die Veränderungen in der Kameraposition beschreiben, während sich das Lenkrad dreht.
5A bis 5C sind Diagramme von Bildern, die von der Kamera aufgenommen werden.
6A und 6B sind Diagramme eines ersten gedrehten Bildes und eines zweiten gedrehten Bildes.
7 ist ein Diagramm eines aufgenommenen Bildes, das einen Augenbereich zeigt.
8 ist ein Diagramm, das das Prinzip zum Berechnen einer Grundlinienlänge beschreibt.
9 ist ein Diagramm, das das Prinzip zum Bestimmen eines Abstands auf Grundlage von stereoskopischem Sehen beschreibt.
10 ist ein Ablaufdiagramm, das einen Prozess, der durch die Insassenüberwachungsvorrichtung durchgeführt wird, beschreibt.
11 ist ein Blockdiagramm einer Insassenüberwachungsvorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung.
12 ist ein Blockdiagramm einer Insassenüberwachungsvorrichtung gemäß einer dritten Ausführungsform der vorliegenden Erfindung.
13 ist ein Blockdiagramm einer Insassenüberwachungsvorrichtung gemäß einer vierten Ausführungsform der vorliegenden Erfindung.

AUSFÜHRLICHE BESCHREIBUNG
Eine Insassenüberwachungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung wird nun unter Bezugnahme auf die Zeichnungen beschrieben. Der Aufbau der Insassenüberwachungsvorrichtung wird zuerst unter Bezugnahme auf 1 beschrieben. In 1 umfasst eine Insassenüberwachungsvorrichtung 100, die an einem Fahrzeug montiert ist, eine Kamera 1, einen Bildprozessor 2, einen Positionsrechner 3, eine Fahrerzustandsbestimmungseinrichtung 4, eine Steuereinheit 5 und eine Speichereinheit 6.
Wie in 2 gezeigt ist, ist die Kamera 1 auf einem Lenkrad 51 des Fahrzeugs in einer Weise installiert, dass sie zusammen mit dem Lenkrad 51 drehbar ist. Die Kamera 1 ist von einer Drehwelle 52 des Lenkrads 51 entfernt installiert. Die Kamera 1 wird in die Richtung des Pfeils um die Drehwelle 52 gedreht, während sich das Lenkrad 51 dreht. Wie in 1 gezeigt ist, umfasst die Kamera 1 einen Bildsensor 11, wie etwa einen komplementären Metalloxid-Halbleiter (engl.: „complementary metal-oxide semiconductor“ - CMOS)-Bildsensor, und optische Komponenten 12 einschließlich einer Linse.
Wie in 3 gezeigt, nimmt die Kamera 1 ein Bild eines Gesichts 41 eines Insassen (Fahrers) 40 auf, der auf einem Fahrersitz 53 eines Fahrzeugs 50 sitzt. Die unterbrochenen Linien zeigen einen Abbildungsbereich der Kamera 1 an. Ein Abstand D ist von der Kamera 1 zu dem Gesicht 41. Wie später beschrieben wird, kann die räumliche Position des Gesichts 41 unter Verwendung des Abstands D bestimmt werden. Das Fahrzeug 50 ist beispielsweise ein Automobil.
Der Bildprozessor 2 umfasst einen Bildspeicher 21, eine Gesichtserfassungseinrichtung 22, eine erste Bilddreheinrichtung 23, eine zweite Bilddreheinrichtung 24 und eine Drehwinkelerfassungseinrichtung 25. Der Bildspeicher 21 speichert Bilder, die von der Kamera 1 aufgenommen werden, vorübergehend. Die Gesichtserfassungseinrichtung 22 erfasst das Gesicht des Fahrers von dem Bild, das von der Kamera 1 aufgenommen wird, und extrahiert Merkmalspunkte in dem Gesicht (z. B. Augen). Verfahren zur Gesichtserfassung und Merkmalspunktextraktion sind bekannt und werden nicht im Detail beschrieben.
Die erste Bilddreheinrichtung 23 und die zweite Bilddreheinrichtung 24 lesen Bilder G1 und G2 (später beschrieben), die von der Kamera 1 aufgenommen werden, aus dem Bildspeicher 21 aus und drehen die aufgenommenen Bilder G1 und G2. Die Drehwinkelerfassungseinrichtung 25 erfasst Drehwinkel θ₁ und θ₂ (später beschrieben) der Kamera 1 auf Grundlage der von der Kamera 1 aufgenommenen Bilder, die von dem Bildspeicher 21 erhalten werden. Die Drehwinkel θ₁ und θ₂ , die durch die Drehwinkelerfassungseinrichtung 25 erfasst werden, werden an die erste Bilddreheinrichtung 23 und die zweite Bilddreheinrichtung 24 geliefert, und die erste und die zweite Bilddreheinrichtung 23 und 24 drehen dann die aufgenommenen Bilder G1 und G2 um vorbestimmte Winkel auf Grundlage der Drehwinkel θ₁ und θ₂ . Diese Drehung der Bilder wird später im Detail beschrieben.
Der Positionsrechner 3 berechnet den Abstand D von der Kamera 1 zu dem in 3 gezeigten Gesicht 41 oder insbesondere die räumliche Position des Gesichts 41 auf Grundlage der gedrehten Bilder H1 und H2 (später beschrieben), die durch die erste Bilddreheinrichtung 23 und die zweite Bilddreheinrichtung 24 erzeugt werden, und Gesichtsinformationen (z. B. eine Gesichtsfläche und Merkmalspunkte), die durch die Gesichtserfassungseinrichtung 22 erfasst werden. Dies wird ebenso später im Detail beschrieben. Die Ausgabe des Positionsrechners 3 wird einer elektronischen Steuereinheit (engl.: „electronic control unit“ - ECU, nicht gezeigt), die in dem Fahrzeug enthalten ist, durch ein Controller Area Network (CAN) bereitgestellt.
Die Fahrerzustandsbestimmungseinrichtung 4 erfasst beispielsweise Augenlidbewegungen und eine Blickrichtung auf Grundlage der Gesichtsinformationen, die von der Gesichtserfassungseinrichtung 22 erhalten werden, und bestimmt den Zustand des Fahrers 40 gemäß dem Erfassungsergebnis. Wenn beispielsweise erfasst wird, dass die Augenlider länger als eine vorbestimmte Dauer geschlossen sind, wird bestimmt, dass der Fahrer 40 dabei ist, einzuschlafen. Wenn erfasst wird, dass der Blick zur Seite gerichtet ist, wird bestimmt, dass der Fahrer 40 abgelenkt fährt. Die Ausgabe der Fahrerzustandsbestimmungseinrichtung 4 wird der ECU durch das CAN bereitgestellt.
Die Steuereinheit 5, die eine Zentralrecheneinheit (engl.: „central processing unit“ - CPU) umfasst, steuert den Betrieb der Insassenüberwachungsvorrichtung 100 zentral. Die Steuereinheit 5 ist demnach mit jeder Einheit, die in der Insassenüberwachungsvorrichtung 100 enthalten ist, über Signalleitungen (nicht gezeigt) kommunikativ verbunden. Die Steuereinheit 5 kommuniziert ebenso mit der ECU über das CAN.
Die Speichereinheit 6, die einen Halbleiterspeicher beinhaltet, speichert beispielsweise Programme zum Implementieren der Steuereinheit 5 und verknüpfter Steuerparameter. Die Speichereinheit 6 umfasst ebenso einen Speicherbereich zum vorübergehenden Speichern verschiedener Datenelemente.
Die Gesichtserfassungseinrichtung 22, die erste Bilddreheinrichtung 23, die zweite Bilddreheinrichtung 24, die Drehwinkelerfassungseinrichtung 25, der Positionsrechner 3 und die Fahrerzustandsbestimmungseinrichtung 4 sind jeweils durch Software implementiert, obwohl sie in 1 zur Vereinfachung der Erklärung als Blöcke gezeigt sind.
Das Prinzip zum Messen der räumlichen Position des Gesichts mit der Insassenüberwachungsvorrichtung 100 wird nun beschrieben.
4A bis 4C sind Diagramme, die Veränderungen in der Position der Kamera 1 beschreiben, die gedreht wird, während sich das Lenkrad 51 dreht. In 4A befindet sich das Lenkrad 51 in einer Referenzposition. In 4B dreht sich das Lenkrad 51 um einen Winkel θ₁ von der Referenzposition. In 4C dreht sich das Lenkrad 51 weiter um einen Winkel θ₂ von der Referenzposition. Die Position der Kamera 1 in 4B entspricht der ersten Position der beanspruchten Erfindung und die Position der Kamera 1 in 4C entspricht der zweiten Position der beanspruchten Erfindung.
5A bis 5C sind Diagramme von beispielhaften Bildern, die von der Kamera 1 an den Positionen, die in 4A bis 4C gezeigt sind, aufgenommen werden. Zur Vereinfachung der Erklärung werden die Bilder des Gesichts einfach ohne die Hintergrundbilder gezeigt.
5A, die 4A entspricht, zeigt ein Bild, das von der Kamera 1 an der Referenzposition aufgenommen wird. Dies ist ein aufrechtes Bild ohne Neigung. 5B, die 4B entspricht, zeigt das von der Kamera 1, die von der Referenzposition um den Winkel θ₁ gedreht ist, aufgenommene Bild G1, indem sich das Lenkrad 51 um den Winkel θ₁ dreht. Der Winkel θ₁ entspricht dem ersten Drehwinkel der beanspruchten Erfindung und das aufgenommene Bild G1 entspricht dem ersten aufgenommenen Bild der beanspruchten Erfindung. 5C, die 4C entspricht, ist das von der Kamera 1, die von der Referenzposition um den Winkel θ₂ gedreht ist, aufgenommene Bild G2, indem sich das Lenkrad 51 um den Winkel θ₂ dreht. Der Winkel θ₂ entspricht dem zweiten Drehwinkel der beanspruchten Erfindung, und das aufgenommene Bild G2 entspricht dem zweiten aufgenommenen Bild der beanspruchten Erfindung.
Wie in 5A bis 5C gezeigt, nimmt die Kamera 1, die zusammen mit dem Lenkrad 51 drehbar ist, Bilder an verschiedenen Positionen (Drehwinkel) auf. Die aufgenommenen Bilder weisen unterschiedliche Neigungen auf und zeigen demnach unterschiedliche Positionen auf einem Bildschirm.
Die Vorrichtung gemäß einer oder mehreren Ausführungsformen der vorliegenden Erfindung verwendet zwei Bilder, die von der Kamera 1 an zwei unterschiedlichen Positionen aufgenommen werden, um den Abstand, der in 3 gezeigt ist, zu berechnen. Die einzelne Kamera 1 wird bewegt (gedreht), um zwei Bilder an verschiedenen Positionen aufzunehmen. Der Abstand D wird somit auf Grundlage des gleichen Prinzips gemessen wie ein Abstand, der auf Grundlage von stereoskopischem Sehen unter Verwendung von zwei Kameras (im Detail später beschrieben) gemessen wird. Die Abstandsmessung unter Verwendung von pseudo-stereoskopischem Sehen, das durch das Bewegen einer einzelnen Kamera gebildet wird, wird als stereoskopische Bewegung bezeichnet.
Die Vorgehensweise zum Messen eines Abstands auf Grundlage von stereoskopischer Bewegung durch die Vorrichtung gemäß einer oder mehrerer Ausführungsformen der vorliegenden Erfindung wird nun beschrieben. Wie oben beschrieben, nimmt die Kamera 1 zuerst zwei Bilder an zwei verschiedenen Positionen auf. Die zwei Bilder umfassen das in 5B gezeigte Bild G1, das von der Kamera 1 in dem Drehwinkel θ₁ , der in 4B gezeigt ist, aufgenommen wird, und das in 5C gezeigte Bild G2, das in dem Drehwinkel θ₂ , der in 4C gezeigt ist, aufgenommen wird.
Die zwei aufgenommenen Bilder G1 und G2 werden dann jeweils um einen entsprechenden vorbestimmten Winkel gedreht. Genauer gesagt, wie in 6A gezeigt, wird das aufgenommene Bild G1 im Uhrzeigersinn um einen Winkel |θ₂ - θ₁|/2 gedreht, um das gedrehte Bild H1 zu erzeugen, das durch die durchgezogenen Linien angezeigt wird. Wie in 6B gezeigt, wird das aufgenommene Bild G2 gegen den Uhrzeigersinn um einen Winkel |θ₂ - θ₁|/2 gedreht, um das gedrehte Bild H2 zu erzeugen, das durch die durchgezogenen Linien angezeigt wird. Das gedrehte Bild H1 entspricht dem ersten gedrehten Bild der beanspruchten Erfindung und das gedrehte Bild H2 entspricht dem zweiten gedrehten Bild der beanspruchten Erfindung. Die Richtung im Uhrzeigersinn entspricht der ersten Richtung der beanspruchten Erfindung und die Richtung gegen den Uhrzeigersinn entspricht der zweiten Richtung der beanspruchten Erfindung.
Das gedrehte Bild H1 ist das aufgenommene Bild G1, das bis zu dem Mittelwinkel der Drehwinkel zwischen den Bildern G1 und G2 gedreht ist. Das gedrehte Bild H2 ist ebenso das aufgenommene Bild G2, das bis zu dem Mittelwinkel der Drehwinkel zwischen den Bildern G1 und G2 gedreht ist. Die gedrehten Bilder H1 und H2 weisen demnach auf einem Bildschirm die gleiche Neigung auf. Wie oben beschrieben, werden die aufgenommenen Bilder G1 und G2 in entgegengesetzten Richtungen um den Winkel |θ₂ - θ₁|/2 gedreht, um die beiden Bilder H1 und H2 mit derselben Stellung zu erzeugen, die ebenso von einer typischen Stereokamera aufgenommen werden kann.
In der vorliegenden Ausführungsform werden die aufgenommenen Bilder G1 und G2 direkt gedreht, um die gedrehten Bilder H1 und H2 zu erzeugen. In einigen Ausführungsformen kann, wie in 7 gezeigt, ein Augenbereich Z oder ein anderer Bereich, der aus dem aufgenommenen Bild G1 herausgeschnitten wird, selektiv gedreht werden, um ein gedrehtes Bild zu erzeugen. Das aufgenommene Bild G2 kann auf dieselbe Weise verarbeitet werden.
Die erhaltenen gedrehten Bilder H1 und H2 werden nun verwendet, um den Abstand auf Grundlage von stereoskopischem Sehen zu bestimmen. Für die Abstandsbestimmung wird zunächst eine Grundlinienlänge erhalten, die der lineare Abstand zwischen zwei Positionen der Kamera ist. Die Grundlinienlänge wird unter Bezugnahme auf 8 beschrieben.
In 8 zeigt O die Position der Drehwelle 52 des Lenkrads 51 (2) an, zeigt X1 die Position der Kamera 1 an, die in 4B gezeigt ist, zeigt X2 die Position der Kamera 1 an, die in 4C gezeigt ist, und zeigt L den Abstand von der Drehwelle 52 zu der Kameraposition X1 oder X2 an. B zeigt den linearen Abstand zwischen den Kamerapositionen X1 und X2 an, was die Grundlinienlänge ist. Die Grundlinienlänge B wird geometrisch mit der nachstehenden Formel unter Bezugnahme auf 8 berechnet. $B = 2 \cdot L \cdot sin (| θ_{2} - θ_{1} | / 2)$
Der Abstand L ist bekannt und somit wird die Grundlinienlänge B durch das Erfassen der Winkel θ₁ und θ₂ erhalten. Die Winkel θ₁ und θ₂ werden aus den aufgenommenen Bildern G1 und G2 in der 5B und der 5C erfasst.
Nach dem Erhalten der Grundlinienlänge B wird der Abstand von der Kamera 1 zu einem Objekt gemäß einer typischen Abstandsmessung auf Grundlage von stereoskopischem Sehen bestimmt. Die Abstandsbestimmung wird im Detail unter Bezugnahme auf 9 beschrieben.
9 ist ein Diagramm, das das Prinzip zum Bestimmen eines Abstands auf Grundlage von stereoskopischem Sehen beschreibt. Die Bestimmung basiert auf dem Prinzip der Triangulation. In 9 umfasst eine Stereokamera eine erste Kamera 1a, einschließlich eines Bildsensors 11a und einer Linse 12a, und eine zweite Kamera 1b einschließlich eines Bildsensors 11b und einer Linse 12b. Die erste Kamera 1a entspricht der Kamera 1 an der Position X1 in 8. Die zweite Kamera 1b entspricht der Kamera 1 an der Position X2 in 8. 9 zeigt die Kamerapositionen X1 und X2 in 8 als optische Zentren (Zentren der Linsen 12a und 12b) der Kameras 1a und 1b. Der Abstand B zwischen den optischen Zentren X1 und X2 ist die Grundlinienlänge.
Bilder eines Subjekts Y, die von den Kameras 1a und 1b aufgenommen werden, werden auf den Abbildungsoberflächen der Bildsensoren 11a und 11b ausgebildet. Die Bilder des Subjekts Y umfassen Bilder eines bestimmten Teils des Subjekts Y, die an einer Position P1 auf der Abbildungsoberfläche der ersten Kamera 1a und an einer Position P2 auf der Abbildungsoberfläche der zweiten Kamera 1b ausgebildet werden. Die Position P2 ist um eine Parallaxe δ von einer Position P1' verschoben, die der Position P1 der ersten Kamera 1a entspricht. Geometrisch ist f/δ = D/B, wobei f die Brennweite jeder der Kameras 1a und 1b anzeigt und D den Abstand von der Kamera 1a oder 1b zu dem Subjekt Y anzeigt. Der Abstand D wird demnach mit der nachstehenden Formel berechnet. $D = B \cdot f/ δ$
In der Formel (2) wird die Grundlinienlänge B mit der Formel (1) berechnet. Die Brennweite f ist bekannt. Demnach kann der Abstand D berechnet werden, indem die Parallaxe δ erhalten wird. Die Parallaxe δ kann durch bekanntes stereoskopisches Anpassen erhalten werden. Beispielsweise wird das Bild, das durch die zweite Kamera 1b aufgenommen wird, nach einem Bereich durchsucht, der die gleiche Luminanzverteilung wie ein bestimmter Bereich in dem Bild aufweist, das von der ersten Kamera 1a aufgenommen wird, und die Differenz zwischen diesen beiden Bereichen wird als Parallaxe erhalten.
Die Vorrichtung gemäß einer oder mehreren Ausführungsformen der vorliegenden Erfindung erfasst die Parallaxe δ zwischen den gedrehten Bildern H1 und H2 in der 6A und der 6B auf Grundlage des unter Bezugnahme auf 9 beschriebenen Prinzips. In diesem Fall durchlaufen die zwei gedrehten Bilder H1 und H2, die die gleiche Neigung (Stellung) wie oben beschrieben aufweisen, leicht ein stereoskopisches Anpassen. Ein Bereich, der ein Anpassen durchlaufen soll, kann ein spezifischer Teil des Gesichts 41 sein (z. B. die Augen). Unter Verwendung der Parallaxe δ für den spezifischen Teil wird der Abstand D zwischen der Kamera 1 und dem spezifischen Teil des Gesichts 41 mit der Formel (2) berechnet. Die räumliche Position der Kamera 1 hängt von dem Drehwinkel des Lenkrads 51 ab. Demnach wird der Abstand D, der als der Abstand von der Kamera 1 zum Gesicht 41 definiert ist, verwendet, um die räumliche Position des Gesichts 41 zu spezifizieren.
10 ist ein Ablaufdiagramm, das einen Prozess, der durch die Insassenüberwachungsvorrichtung 100 durchgeführt wird, beschreibt. Die Schritte in dem Ablaufdiagramm werden gemäß den in der Speichereinheit 6 gespeicherten Programmen unter Steuerung durch die Steuereinheit 5 durchgeführt.
In Schritt S1 nimmt die Kamera 1 Bilder auf. Die Bilder, die von der Kamera 1 aufgenommen werden, werden in den Bildspeicher 21 abgespeichert. In Schritt S2 erfasst die Drehwinkelerfassungseinrichtung 25 den Drehwinkel der Kamera 1, die zusammen mit dem Lenkrad 51 gedreht wird, von den Bildern G1 und G2 (5B und 5C), die von der Kamera 1 aufgenommen werden. In Schritt S3 erfasst die Gesichtserfassungseinrichtung 22 ein Gesicht von den Bildern, die von der Kamera 1 aufgenommen werden. In Schritt S4 extrahiert die Gesichtserfassungseinrichtung 22 Merkmalspunkte (z. B. Augen) aus dem erfassten Gesicht. In Schritt S5 werden Daten, die den Drehwinkel, die Gesichtsbilder oder die in den Schritten S2 bis S4 erhaltenen Merkmalspunkte beinhalten, in die Speichereinheit 6 abgespeichert. Die Gesichtsbilder und die Merkmalspunkte werden in Verbindung mit dem Drehwinkel gespeichert.
In Schritt S6 bestimmt die Steuereinheit 5, ob eine Abstandsmessung auf Grundlage von stereoskopischer Bewegung unter Verwendung der in Schritt S5 gespeicherten Daten möglich ist. Das Messen des Abstands zu einem Subjekt auf Grundlage von stereoskopischer Bewegung verwendet Bilder, die von der Kamera 1 an zwei Positionen aufgenommen werden, welche um wenigstens einen vorbestimmten Abstand voneinander entfernt sind. Zusätzlich verwendet stereoskopische Bewegung zwei Bilder, die ein Subjekt ohne Bewegung aufnehmen. Demnach können zwei Bilder, die in einem langen Zeitintervall aufgenommen werden und ein sich bewegendes Subjekt erfassen können, eine ungenaue Abstandsmessung bewirken. In Schritt S6 bestimmt die Steuereinheit 5 demnach, dass eine Abstandsmessung auf Grundlage von stereoskopischer Bewegung möglich ist, wenn die Kamera 1 um wenigstens einen vorbestimmten Winkel (z. B. wenigstens einen Winkel von 10°) innerhalb einer vorbestimmten Zeitspanne (z. B. fünf Sekunden) zwischen zwei verschiedenen Positionen gedreht wird. Wenn die Kamera 1 nicht um wenigstens den vorbestimmten Winkel innerhalb der vorbestimmten Zeitspanne gedreht wird, bestimmt die Steuereinheit 5, dass eine Abstandsmessung auf Grundlage von stereoskopischer Bewegung nicht möglich ist.
Wenn die Abstandsmessung in Schritt S6 als möglich bestimmt wird (Ja in Schritt S6), schreitet die Verarbeitung zu Schritt S7 voran. In Schritt S7 drehen die Bilddreheinrichtungen 23 und 24 das neuste Bild und das dem neusten Bild um N Sekunden (N ≤ 5) vorangehende Bild um den Winkel |θ₂ - θ₁|/2, wobei |θ₂ - θ₁| ≥ 10° ist. Beispielsweise ist das aufgenommene Bild G1 in 5B das dem neusten Bild um N Sekunden vorangehende Bild und wird durch die erste Bilddreheinrichtung 23 im Uhrzeigersinn um den Winkel |θ₂ - θ₁|/2 gedreht, wie in 6A gezeigt. Das aufgenommene Bild G2 in 5C ist das neuste Bild und wird durch die zweite Bilddreheinrichtung 24 gegen den Uhrzeigersinn um den Winkel |θ₂ - θ₁|/2 gedreht, wie in 6B gezeigt.
In Schritt S8 berechnet der Positionsrechner 3 die Grundlinienlänge B mit der Formel (1) auf Grundlage der Drehwinkel θ₁ und θ₂ , die von der Speichereinheit 6 erhalten werden. In Schritt S9 berechnet der Positionsrechner 3 die Parallaxe δ auf Grundlage der gedrehten Bilder H1 und H2 (6A und 6B), die von den Bilddreheinrichtungen 23 und 24 erzeugt werden. In Schritt S10 berechnet der Positionsrechner 3 den Abstand D von der Kamera 1 zu dem Gesicht 41 mit der Formel (2) unter Verwendung der in Schritt S8 berechneten Grundlinienlänge B, der in Schritt S9 berechneten Parallaxe δ und der bekannten Brennweite f der Kamera 1. In Schritt S11 werden die in Schritt S10 berechneten Abstandsdaten durch das CAN an die ECU ausgegeben. Die ECU verwendet diese Abstandsdaten, um beispielsweise das oben beschriebene HUD zu steuern.
Wenn in Schritt S6 die Abstandsmessung auf Grundlage von stereoskopischer Bewegung als nicht möglich bestimmt wird (Nein in Schritt S6), schreitet die Verarbeitung zu Schritt S12 voran. In Schritt S12 wird der Abstand D zu dem Gesicht auf Grundlage der Veränderung in der Größe des Gesichts in den aufgenommenen Bildern korrigiert. Genauer gesagt, wird der Abstand in dem Bild (die Anzahl von Pixeln) zwischen zwei beliebigen Merkmalspunkten in dem Gesicht zusammen mit dem in Schritt S10 berechneten Abstand D gespeichert, wenn die Abstandsmessung auf Grundlage von stereoskopischer Bewegung möglich ist (Ja in Schritt S6). Die zwei Merkmalspunkte sind beispielsweise die Mittelpunkte der zwei Augen. In Schritt S12 wird der zuvor in Schritt S10 berechnete Abstand gemäß dem Umfang der Änderung des Abstands zwischen den zwei Merkmalspunkten von dem vorherigen Bild zu dem aktuellen Bild korrigiert. Genauer gesagt, wenn m der Abstand (die Anzahl von Pixeln) zwischen den Merkmalspunkten und Dx der berechnete Abstand zu dem Gesicht in dem vorherigen Schritt S10 ist und n der Abstand (die Anzahl von Pixeln) zwischen den Merkmalspunkten in dem aktuellen Schritt S12 ist, wird der aktuelle Abstand Dy zu dem Gesicht als Dy = Dx (m/n) berechnet, der der korrigierte Wert für den Abstand zu dem Gesicht ist. Wenn m beispielsweise 100 Pixel ist, Dx 40 cm ist und n 95 Pixel ist, beträgt der korrigierte Wert für den Abstand Dy = 40 (cm) x 100/95 = 42,1 (cm). Während sich das Gesicht von der Kamera 1 weg bewegt, um die Größe des Gesichts in dem Bild zu verringern, wird der Abstand zwischen den Merkmalspunkten in dem Bild verringert (n < m). Dadurch wird der berechnete Wert für den Abstand von der Kamera 1 zu dem Gesicht erhöht (Dy > Dx).
Die Insassenüberwachungsvorrichtung gemäß der obigen Ausführungsform umfasst die Kamera 1, die am Lenkrad 51 entfernt von der Drehwelle 52 installiert ist. Die Kamera 1, die zusammen mit dem Lenkrad 51 drehbar ist, kann demnach zwei Bilder G1 und G2 bereitstellen, die an zwei verschiedenen Positionen aufgenommen werden. Die Vorrichtung dreht dann die aufgenommenen Bilder G1 und G2, um die gedrehten Bilder H1 und H2 zu erzeugen, und verwendet die aus den gedrehten Bildern H1 und H2 erhaltene Parallaxe δ, um den Abstand D von der Kamera 1 zu einem spezifischen Teil des Gesichts 41 zu berechnen (die Augen in dem obigen Beispiel). Die Insassenüberwachungsvorrichtung gemäß der obigen Ausführungsform misst die räumliche Position des Gesichts mit einem einfachen Aufbau ohne mehrere Kameras oder ein dezidiertes optisches System.
11 ist ein Blockdiagramm einer Insassenüberwachungsvorrichtung 200 gemäß einer zweiten Ausführungsform der vorliegenden Erfindung. In 11 sind die gleichen Komponenten wie in 1 mit den gleichen Bezugzeichen versehen.
In der Insassenüberwachungsvorrichtung 100 in 1 erfasst die Drehwinkelerfassungseinrichtung 25 die Drehwinkel θ₁ und θ₂ der Kamera 1 auf Grundlage von von der Kamera 1 aufgenommener Bilder (einschließlich Bildern des Hintergrunds zusätzlich zu Bildern des Gesichts), die aus dem Bildspeicher 21 erhalten werden. In der Insassenüberwachungsvorrichtung 200 in 11 erfasst die Drehwinkelerfassungseinrichtung 25 die Drehwinkel θ₁ und θ₂ der Kamera 1 auf Grundlage von Bildern des Gesichts, die von der Gesichtserfassungseinrichtung 22 erfasst werden. Ebenso drehen die Bilddreheinrichtungen 23 und 24 die Bilder des Gesichts, das von der Gesichtserfassungseinrichtung 22 erfasst wird, um die gedrehten Bilder H1 und H2 zu erzeugen. In diesem Fall beinhalten die gedrehten Bilder H1 und H2 Gesichtsinformationen, die den Betrieb des Positionsrechners 3, um derartige Informationen von der Gesichtserfassungseinrichtung 22 zu erhalten, eliminieren.
Die Insassenüberwachungsvorrichtung 200 in 11 berechnet den Abstand D von der Kamera 1 zu dem Gesicht 41 auf Grundlage des gleichen Prinzips, das in der in 1 gezeigten Vorrichtung verwendet wird.
12 ist ein Blockdiagramm einer Insassenüberwachungsvorrichtung 300 gemäß einer dritten Ausführungsform der vorliegenden Erfindung. In 12 sind die gleichen Komponenten wie in 1 mit den gleichen Bezugszeichen versehen.
In der Insassenüberwachungsvorrichtung 100 in 1 erfasst die Drehwinkelerfassungseinrichtung 25 die Drehwinkel θ₁ und θ₂ der Kamera 1 auf Grundlage von Bildern, die von der Kamera 1 aufgenommen werden. In der Insassenüberwachungsvorrichtung 300 in 12 erfasst die Drehwinkelerfassungseinrichtung 25 die Drehwinkel θ₁ und θ₂ der Kamera 1 auf Grundlage der Ausgabe von einem Stellungssensor 13, der in der Kamera 1 enthalten ist. Der Stellungssensor 13 kann beispielsweise ein Gyrosensor sein.
13 ist ein Blockdiagramm einer Insassenüberwachungsvorrichtung 400 gemäß einer vierten Ausführungsform der vorliegenden Erfindung. In 13 sind die gleichen Komponenten wie in 1 mit den gleichen Bezugszeichen versehen.
In der Insassenüberwachungsvorrichtung 300 in 12 erfasst die Drehwinkelerfassungseinrichtung 25 die Drehwinkel θ₁ und θ₂ der Kamera 1 auf Grundlage der Ausgabe von dem Stellungssensor 13. In der Insassenüberwachungsvorrichtung 400 in 13 erfasst die Drehwinkelerfassungseinrichtung 25 die Drehwinkel θ₁ und θ₂ der Kamera 1 auf Grundlage der Ausgabe eines Lenkwinkelsensors 30, der den Lenkwinkel des Lenkrads 51 erfasst. Der Lenkwinkelsensor 30 kann beispielsweise ein Drehgeber sein.
Die Insassenüberwachungsvorrichtungen 300 und 400 in 12 und 13 berechnen den Abstand D von der Kamera 1 zu dem Gesicht 41 auf Grundlage des gleichen Prinzips, das in der in 1 gezeigten Vorrichtung verwendet wird.
Wie in der Vorrichtung in 11 können die Bilddreheinrichtungen 23 und 24 in den in den 12 und 13 gezeigten Vorrichtungen die Bilder, die von der Gesichtserfassungseinrichtung 22 erhalten werden, drehen, um die gedrehten Bilder H1 und H2 zu erzeugen.
Zusätzlich zu den obigen Ausführungsformen kann die vorliegende Erfindung in der nachstehend beschriebenen Weise verschieden verkörpert werden.
In den obigen Ausführungsformen ist die Kamera 1 an der in 2 gezeigten Position auf dem Lenkrad 51 installiert. In einigen Ausführungsformen kann die Kamera 1 an einer beliebigen Position an dem Lenkrad 51 entfernt von der Drehwelle 52 anstelle der in 2 gezeigten Position installiert sein.
In den obigen Ausführungsformen wird das aufgenommene Bild G1 im Uhrzeigersinn um den Winkel |θ₂ - θ₁|/2 gedreht, und das aufgenommene Bild G2 wird gegen den Uhrzeigersinn um den Winkel |θ₂ - θ₁|/2 gedreht (6A und 6B). In einigen Ausführungsformen können die Bilder auf unterschiedliche Weise gedreht werden. Beispielsweise kann das aufgenommene Bild G1 im Uhrzeigersinn um einen Winkel |θ₂ - θ₁| gedreht werden, um ein Bild zu erzeugen, das die gleiche Neigung wie das aufgenommene Bild G2 aufweist. In einigen anderen Ausführungsformen kann das aufgenommene Bild G2 gegen den Uhrzeigersinn um einen Winkel |θ₂ - θ₁| gedreht werden, um ein Bild zu erzeugen, das die gleiche Neigung wie das aufgenommene Bild G1 aufweist.
In den obigen Ausführungsformen wird der Abstand D von der Kamera 1 zu dem Gesicht 41 auf Grundlage der Augen als der spezifische Teil des Gesichts 41 berechnet. In einigen Ausführungsformen kann der spezifische Teil ein anderer als die Augen sein und kann die Nase, der Mund, die Ohren oder die Augenbrauen sein. Der spezifische Teil ist nicht auf einen Merkmalspunkt in dem Gesicht wie etwa die Augen, die Nase, der Mund, die Ohren oder die Augenbrauen beschränkt und kann jeder andere Punkt sein. Die Stelle, die das Subjekt der Abstandsmessung gemäß einer oder mehrerer Ausführungsformen der vorliegenden Erfindung sein soll, ist nicht auf das Gesicht beschränkt und kann andere Teile, wie etwa der Kopf oder der Nacken, sein.
In den obigen Ausführungsformen ist der Abstand D von der Kamera 1 zu dem Gesicht 41 als die räumliche Position des Gesichts 41 definiert. In einigen Ausführungsformen kann die räumliche Position durch Koordinaten anstelle von dem Abstand definiert werden.
In den obigen Ausführungsformen beinhalten die Insassenüberwachungsvorrichtungen 100 bis 400 jeweils die Fahrerzustandsbestimmungseinrichtung 4. In einigen Ausführungsformen kann sich die Fahrerzustandsbestimmungseinrichtung 4 außerhalb der Insassenüberwachungsvorrichtungen 100 bis 400 befinden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2018033132 [0001]

Claims

Insassenüberwachungsvorrichtung, umfassend: eine Kamera, die dazu eingerichtet ist, ein Bild eines Insassen eines Fahrzeugs aufzunehmen; einen Bildprozessor, der dazu eingerichtet ist, das Bild des Insassen, das von der Kamera aufgenommen wird, zu verarbeiten; und einen Positionsrechner, der dazu eingerichtet ist, eine räumliche Position einer vorbestimmten Stelle des Insassen auf Grundlage des Bildes, das von dem Bildprozessor verarbeitet wird, zu berechnen, wobei die Kamera an einem Lenkrad des Fahrzeugs von einer Drehwelle entfernt installiert ist, um zusammen mit dem Lenkrad drehbar zu sein, wobei der Bildprozessor zwei Bilder verarbeitet, die von der Kamera an zwei unterschiedlichen Positionen aufgenommen werden, indem die Kamera zusammen mit dem Lenkrad gedreht wird, und wobei der Positionsrechner die räumliche Position der vorbestimmten Stelle auf Grundlage der zwei Bilder, die von dem Bildprozessor verarbeitet werden, berechnet.
Insassenüberwachungsvorrichtung nach Anspruch 1, wobei der Bildprozessor eine Gesichtserfassungseinrichtung beinhaltet, die dazu eingerichtet ist, ein Gesicht des Insassen aus den Bildern, die von der Kamera aufgenommen werden, zu erfassen, und der Positionsrechner einen Abstand von der Kamera zu einem spezifischen Teil des Gesichts als eine räumliche Position des Gesichts berechnet.
Insassenüberwachungsvorrichtung nach Anspruch 1 oder 2, wobei die zwei Bilder ein erstes aufgenommenes Bild, das von der Kamera aufgenommen wird, die um einen ersten Drehwinkel auf eine erste Position gedreht wird, und ein zweites aufgenommenes Bild, das von der Kamera aufgenommen wird, die um einen zweiten Drehwinkel auf eine zweite Position gedreht wird, beinhalten, der Bildprozessor ein erstes gedrehtes Bild, indem das erste aufgenommene Bild um einen ersten vorbestimmten Winkel gedreht wird, und ein zweites gedrehtes Bild erzeugt, indem das zweite aufgenommene Bild um einen vorbestimmten Winkel gedreht wird, und der Positionsrechner die räumliche Position der vorbestimmten Stelle auf Grundlage einer Grundlinienlänge, die ein linearer Abstand zwischen der ersten Position und der zweiten Position ist, einer Parallaxe, die von dem ersten gedrehten Bild und von dem zweiten gedrehten Bild erhalten wird, und einer Brennweite der Kamera berechnet.
Insassenüberwachungsvorrichtung nach Anspruch 3, wobei der Bildprozessor das erste gedrehte Bild erzeugt, indem das erste aufgenommene Bild in einer ersten Richtung um einen Winkel |θ₂ - θ₁|/2 gedreht wird, und das zweite gedrehte Bild erzeugt, indem das zweite aufgenommene Bild in einer zweiten Richtung, die der ersten Richtung entgegengesetzt ist, um einen Winkel |θ₂ - θ₁|/2 gedreht wird, und der Positionsrechner die Grundlinienlänge als B = 2·L·sin (|θ₂ - θ₁|/2) berechnet und die räumliche Position der vorbestimmten Stelle als D = B·(f/δ) berechnet, wobei L ein Abstand von der Drehwelle des Lenkrads zu der Kamera ist, θ₁ der erste Drehwinkel ist, θ₂ der zweite Drehwinkel ist, B die Grundlinienlänge ist, δ die Parallaxe ist, f die Brennweite ist und D ein Abstand von der Kamera zu der vorbestimmten Stelle ist, um die räumliche Position der vorbestimmten Stelle zu definieren.
Insassenüberwachungsvorrichtung nach Anspruch 3 oder 4, ferner umfassend: eine Drehwinkelerfassungseinrichtung, die dazu eingerichtet ist, einen Drehwinkel der Kamera zu erfassen, wobei die Drehwinkelerfassungseinrichtung den ersten Drehwinkel und den zweiten Drehwinkel auf Grundlage des ersten aufgenommenen Bildes und des zweiten aufgenommenen Bildes, die von der Kamera erhalten werden, erfasst.
Insassenüberwachungsvorrichtung nach Anspruch 3 oder 4, ferner umfassend: eine Drehwinkelerfassungseinrichtung, die dazu eingerichtet ist, einen Drehwinkel der Kamera zu erfassen, wobei die Drehwinkelerfassungseinrichtung den ersten Drehwinkel und den zweiten Drehwinkel auf Grundlage einer Ausgabe eines Stellungssensors erfasst, der dazu eingerichtet ist, eine Stellung der Kamera zu erfassen.
Insassenüberwachungsvorrichtung nach Anspruch 3 oder 4, ferner umfassend: eine Drehwinkelerfassungseinrichtung, die dazu eingerichtet ist, einen Drehwinkel der Kamera zu erfassen, wobei die Drehwinkelerfassungseinrichtung den ersten Drehwinkel und den zweiten Drehwinkel auf Grundlage einer Ausgabe von einem Lenkwinkelsensor erfasst, der dazu eingerichtet ist, einen Lenkwinkel des Lenkrads zu erfassen.
Insassenüberwachungsvorrichtung nach einem der Ansprüche 1 bis 7, wobei der Positionsrechner die räumliche Position der vorbestimmten Stelle auf Grundlage der zwei Bilder berechnet, wenn die Kamera um wenigstens einen vorbestimmten Winkel innerhalb einer vorbestimmten Zeitspanne zwischen zwei unterschiedlichen Positionen gedreht wird.