DE112021006607T5

DE112021006607T5 - Zustandsüberwachungsvorrichtung und zustandsüberwachungsprogramm

Info

Publication number: DE112021006607T5
Application number: DE112021006607.2T
Authority: DE
Inventors: Yosuke Sakai
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2020-12-23
Filing date: 2021-11-24
Publication date: 2023-11-09
Also published as: US20230334878A1; JP2022099726A; JP7363758B2; CN116686004A; WO2022137955A1

Abstract

Eine Zustandsüberwachungsvorrichtung (1) enthält eine Bildverarbeitungseinheit (5), die ein von einer In-Vehicle-Kamera aufgenommenes Bild eines Insassen in einem Fahrzeug verarbeitet; eine Erkennungszustandsinformations-Erfassungseinheit (6), die Erkennungszustandsinformation erfasst, die für ein Fahrzeug oder einen bestimmten Insassen spezifiziert ist; und eine Insassenerfassungseinheit (10), die einen Bilderkennungszustand unter Verwendung der Erkennungszustandsinformation festlegt, ein von der Bildverarbeitungseinheit verarbeitetes Bild unter dem Bilderkennungszustand erkennt und den bestimmten Insassen erfasst.

Description

[Querverweis auf in Beziehung stehende Anmeldung]
Die vorliegende Anmeldung basiert auf der am 23. Dezember 2020 eingereichten japanischen Patentanmeldung Nr. 2020-213695 , auf deren Offenbarung hiermit vollinhaltlich Bezug genommen ist.
[Technisches Gebiet]
Die vorliegende Offenbarung betrifft eine Zustandsüberwachungsvorrichtung und ein Zustandsüberwachungsprogramm.
[Stand der Technik]
Bekannt ist eine Konfiguration, bei der eine In-Vehicle-Kamera zur Aufnahme eines Bildes des Innenraums eines Fahrzeugs vorgesehen ist und Insassen anhand eines Unterschieds zwischen Bildern erkannt werden, die von der In-Vehicle-Kamera aufgenommen werden, bevor Türen geöffnet oder geschlossen werden, und nachdem die Türen geöffnet oder geschlossen wurden, um einen Fahrer zu erfassen. (PD 1)
[Literaturverzeichnis]
[Patentliteratur]
[PD 1] JP 2012- 44 404 A
[Kurzdarstellung der Erfindung]
Allerdings können auch andere Insassen als der Fahrer innerhalb des Sichtwinkels der In-Vehicle-Kamera sichtbar sein, je nach Position der In-Vehicle-Kamera und einer Fahrzeugumgebung. So können beispielsweise, im Falle eines Kraftfahrzeugs, außer dem Fahrer auch Insassen auf dem Beifahrersitz und den Rücksitzen sichtbar sein. Im Falle eines Busses können außer dem Fahrer auch Insassen auf den Kundensitzen sichtbar sein. In diesen Fällen kann es, wenn von der In-Vehicle-Kamera aufgenommene Bilder verarbeitet werden, dann, wenn mehrere Gesichter in den verarbeiteten Bildern erfasst werden, vorkommen, dass der Fahrer nicht unter den mehreren Fahrgästen erfasst werden kann. Wenn, wie oben beschrieben, mehrere Gesichter in den verarbeiteten Bildern erfasst werden, weil mehrere Fahrgäste im Sichtwinkel der In-Vehicle-Kamera sichtbar sind, kann ein bestimmter Fahrgast unter den mehreren Fahrgästen nicht erfasst werden.
Es ist Aufgabe der vorliegenden Offenbarung, einen bestimmten Insassen unter mehreren Insassen angemessen zu erfassen, selbst wenn mehrere Gesichter in einem verarbeiteten Bild erfasst werden, da mehrere Insassen innerhalb eines Sichtwinkels einer In-Vehicle-Kamera sichtbar sind.
Gemäß einem Aspekt der vorliegenden Offenbarung verarbeitet die Bildverarbeitungseinheit ein Bild, das von einer In-Vehicle-Kamera aufgenommen wurde, die ein Bild eines Insassen in einem Fahrzeug aufnimmt. Eine Erkennungszustandsinformations-Erfassungseinheit erfasst Erkennungszustandsinformation, die für ein Fahrzeug oder einen bestimmten Insassen spezifiziert ist. Eine Insassenerfassungseinheit legt einen Bilderkennungszustand unter Verwendung der Erkennungszustandsinformation fest, erkennt ein von der Bildverarbeitungseinheit verarbeitetes Bild unter dem Bilderkennungszustand und erfasst den bestimmten Insassen.
Ein Bilderkennungszustand wird unter Verwendung der Erkennungszustandsinformation festgelegt, ein verarbeitetes Bild wird unter dem Bilderkennungszustand erkannt, und ein bestimmter Insasse wird erfasst. Wenn Information, die für ein Fahrzeug oder einen bestimmten Insassen charakteristisch ist, als Erkennungszustandsinformation festgelegt wird, kann das verarbeitete Bild auf der Grundlage der Information erkannt werden, die für das Fahrzeug oder einen bestimmten Insassen charakteristisch ist, wodurch der bestimmte Insasse in geeigneter Weise erfasst werden kann. Selbst wenn in den verarbeiteten Bildern aufgrund der Sichtbarkeit von mehreren Fahrgästen im Sichtwinkel der In-Vehicle-Kamera 2 mehrere Gesichter erfasst werden, kann somit ein bestimmter Fahrgast in geeigneter Weise aus den mehreren Fahrgästen erfasst werden.
[Kurze Beschreibung der Zeichnungen]
Die Aufgaben, Merkmale und Vorteile der vorliegenden Offenbarung sind aus der nachfolgenden Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen näher ersichtlich. In den Zeichnungen zeigt:

1 ein Funktionsblockdiagramm zur Veranschaulichung einer Ausführungsform;
2 ein Ablaufdiagramm (Teil 1);
3 eine Abbildung zur Veranschaulichung charakteristischer Information, wenn ein bestimmter Insasse ein Fahrer ist (Teil 1);
4 eine Abbildung zur Veranschaulichung charakteristischer Information, wenn ein bestimmter Insasse ein Fahrer ist (Teil 2);
5 eine Abbildung zur Veranschaulichung charakteristischer Information, wenn ein bestimmter Insasse ein Fahrer ist (Teil 3); und
6 ein Ablaufdiagramm (Teil 2).

[Beschreibung von Ausführungsformen]
Nachstehend ist eine Ausführungsform unter Bezugnahme auf die Zeichnungen beschrieben. Wie in 1 dargestellt, erfasst eine Zustandsüberwachungsvorrichtung 1 einen bestimmten Insassen in einem Fahrzeug, wie beispielsweise ein Automobil und ein Bus, und überwacht einen Zustand des erfassten bestimmten Insassen. Die Vorrichtung überwacht zum Beispiel einen Zustand eines Fahrers als der bestimmte Insasse und erfasst einen Augenöffnungsgrad, einen Gesichtsausdruck und dergleichen des Fahrers, um zu bestimmen, ob ein Fahrbetrieb normal durchgeführt werden kann, oder um bei Bedarf eine Bitte um bzw. einen Aufruf zur Aufmerksamkeit auszugeben.
Die Zustandsüberwachungsvorrichtung 1 weist eine Bildeingabeeinheit 3, die Bilder von einer In-Vehicle-Kamera 2 empfängt, und eine Steuereinheit 4 auf. Die In-Vehicle-Kamera 2 ist an einer Stelle angebracht, an der Bilder des gesamten Fahrzeuginnenraums aufgenommen werden können, und gibt die aufgenommenen Bilder an die Zustandsüberwachungsvorrichtung 1 aus. Da die In-Vehicle-Kamera 2 an einer Stelle angebracht ist, an der Bilder des gesamten Fahrzeuginnenraums aufgenommen werden können, können die von der In-Vehicle-Kamera 2 aufgenommenen Bilder Gesichter mehrerer Insassen enthalten. Die In-Vehicle-Kamera 2 muss nicht unbedingt an der Stelle angebracht sein, an der Bilder des gesamten Fahrzeuginnenraums aufgenommen werden können. Selbst wenn der gesamte Fahrzeuginnenraum erfasst bzw. aufgenommen werden kann, können die von der In-Vehicle-Kamera 2 aufgenommenen Bilder Gesichter mehrerer Insassen enthalten.
Wenn die Bildeingabeeinheit 3 Bilder von der In-Vehicle-Kamera 2 empfängt, gibt sie diese an die Steuereinheit 4 aus. Die Steuereinheit 4 ist hauptsächlich durch einen Mikrocomputer konfiguriert und enthält eine CPU, ein ROM, ein RAM und eine E/A und führt verschiedene Prozesse auf der Grundlage eines im ROM gespeicherten Programms aus. Die Steuereinheit 4 enthält als Konfigurationen, die die Prozesse durchführen, eine Bildverarbeitungseinheit 5, eine Erkennungszustandsinformations-Erfassungseinheit 6 und eine Insassenerfassungseinheit 10. Die durch die Steuereinheit 4 bereitgestellten Funktionen können durch Software, die im ROM, einem greifbaren Speicher, gespeichert ist, und einen Computer, der die Software ausführt, nur durch Software, nur durch Hardware oder eine Kombination davon bereitgestellt werden. Das von der Steuereinheit 4 ausgeführte Programm umfasst ein Zustandsüberwachungsprogramm.
Wenn ein von der Bildeingabeeinheit 3 ausgegebenes Bild empfangen wird, verarbeitet die Bildverarbeitungseinheit 5 das empfangene Bild und gibt das verarbeitete Bild an eine Personenidentifikationseinheit 9 und eine Insassenerfassungseinheit 10 aus.
Die Erkennungszustandsinformations-Erfassungseinheit 6 erfasst Erkennungszustandsinformation, die für ein Fahrzeug oder einen bestimmten Insassen spezifiziert ist. Die Erkennungszustandsinformations-Erfassungseinheit 6 enthält eine Fahrzeugbetriebsinformations-Erfassungseinheit 7, eine Fahrzeugsensorinformations-Erfassungseinheit 8 und die Personenidentifikationseinheit 9.
Die Fahrzeugbetriebsinformations-Erfassungseinheit 7 erfasst Fahrzeugbetriebsinformation und gibt die erfasste Fahrzeugbetriebsinformation an die Insassenerfassungseinheit 10 aus. Die Fahrzeugbetriebsinformation umfasst Information, die eine Position angibt, an der die In-Vehicle-Kamera 2 angeordnet ist, z. B. Information, die eine Position angibt, an der sich Vorrichtungen für den Fahrbetrieb, wie ein Lenkrad und ein Schalthebel, befinden, Information über Kleidung, Information, die Bewegungen angibt, und dergleichen. Der Aspekt der Erfassung der Fahrzeugbetriebsinformation ist nicht beschränkt und kann beispielsweise durch Auslesen aus einem Speichermedium, auf dem die Fahrzeugbetriebsinformation gespeichert ist, oder durch manuelle Eingabe durch einen Benutzer erfolgen.
Die Fahrzeugsensorinformations-Erfassungseinheit 8 erfasst Fahrzeugsensorinformation von einem Fahrzeugsensor, einer elektronischen Steuervorrichtung oder dergleichen, die am Fahrzeug befestigt sind, und gibt die erfasste Fahrzeugsensorinformation an die Insassenerfassungseinheit 10 aus. Die Fahrzeugsensorinformation umfasst Information, die eine Fahrzeuggeschwindigkeit angibt, Information, die eine Schaltposition angibt, Information, die eine Sitzposition angibt, Information, die einen Betriebszustand eines Startknopfes und einen Befestigungszustand eines Sicherheitsgurtes angibt, und dergleichen.
Wenn ein verarbeitetes Bild von der Bildverarbeitungseinheit 5 empfangen wird, führt die Personenidentifikationseinheit 9 eine Personenidentifizierung unter Verwendung des empfangenen verarbeiteten Bildes durch und gibt ein Personenidentifikationsergebnis, das das Ergebnis der Personenidentifizierung anzeigt, an die Insassenerfassungseinheit 10 aus.
Die Insassenerfassungseinheit 10 empfängt Fahrzeugbetriebsinformation, die von der Fahrzeugbetriebsinformations-Erfassungseinheit 7 ausgegeben wird, Fahrzeugsensorinformation, die vom Fahrzeug ausgegeben wird, und ein Personenidentifikationsergebnis, das von der Personenidentifikationseinheit 9 ausgegeben wird, und legt einen Bilderkennungszustand fest, indem sie die empfangene Fahrzeugbetriebsinformation, die empfangene Fahrzeugsensorinformation und das empfangene Personenidentifikationsergebnis verwendet. In diesem Fall kann die Insassenerfassungseinheit 10 die Fahrzeugbetriebsinformation, die Fahrzeugsensorinformation und das Personenidentifikationsergebnis insgesamt oder auch nur einzeln verwenden, um den Bilderkennungszustand festzulegen. D. h., die Insassenerfassungseinheit 10 kann den Bilderkennungszustand festlegen, indem sie z. B. nur die Fahrzeugbetriebsinformation oder nur das Personenidentifikationsergebnis verwendet. Die Insassenerfassungseinheit 10 kann den Bilderkennungszustand beispielsweise anhand der Fahrzeugbetriebsinformation und des Personenidentifikationsergebnisses festlegen.
Bei Empfang des verarbeiteten Bildes von der Bildverarbeitungseinheit 5 in einem Zustand, in dem der Bilderkennungszustand festgelegt ist, erfasst die Insassenerfassungseinheit 10 das empfangene verarbeitete Bild unter dem festgelegten Bilderkennungszustand, um einen bestimmten Insassen zu erfassen. D. h., wenn ein Fahrer eines Busses als ein bestimmter Insasse erfasst wird, legt die Insassenerfassungseinheit 10 einen Bilderkennungszustand für einen Bus oder einen Fahrer unter Verwendung charakteristischer Information fest, durch die der Fahrer des Busses erfasst werden kann.
Nachfolgend sind Effekte der obigen Konfiguration unter Bezugnahme auf die 2 bis 6 beschrieben.
Die Steuereinheit 4 wartet auf die Feststellung eines Startereignisses eines Zustandsüberwachungsprozesses. Wenn das Startereignis des Zustandsüberwachungsprozesses festgestellt wird, startet die Steuereinheit 4 den Zustandsüberwachungsprozess. Das Timing, zu dem der Zustandsüberwachungsprozess gestartet wird, ist beliebig. Wenn ein Fahrer als ein bestimmter Insasse erfasst wird und es notwendig ist, den Fahrer die ganze Zeit zu überwachen, kann das Startereignis des Zustandsüberwachungsprozesses in vorbestimmten Intervallen während einer Fahrt des Fahrzeugs festgestellt werden.
Wenn der Zustandsüberwachungsprozess gestartet wird, verarbeitet die Steuereinheit 4 von der In-Vehicle-Kamera 2 über die Bildeingabeeinheit 3 empfangene Bilder (Schritt S1). Schritt S1 entspricht einem Bildverarbeitungsschritt. Die Steuereinheit 4 erfasst Fahrzeugbetriebsinformation (Schritt S2), erfasst Fahrzeugsensorinformation (Schritt S3) und erfasst das Ergebnis der Personenidentifikation (Schritt S4). Die Schritte S2 bis S4 entsprechen einem Erkennungszustandsinformations-Erfassungsschritt. Die Steuereinheit 4 verwendet wenigstens entweder die Fahrzeugbetriebsinformation, die Fahrzeugsensorinformation oder das Ergebnis der Personenidentifikation, um einen Bilderkennungszustand festzulegen (Schritt S5). Die Steuereinheit 4 kann wenigstens entweder die Fahrzeugbetriebsinformation, die Fahrzeugsensorinformation oder das Ergebnis der Personenidentifikation erfassen, um den Bilderkennungszustand unter Verwendung der erfassten Information festzulegen. Die Steuereinheit 4 kann Bilder verarbeiten, erfasst Fahrzeugbetriebsinformation und erfasst Fahrzeugsensorinformation.
Die Steuereinheit 4 empfängt das verarbeitete Bild von der Bildverarbeitungseinheit, erkennt das empfangene verarbeitete Bild unter den Bilderkennungszuständen, die unter Verwendung der Fahrzeugbetriebsinformation, der Fahrzeugsensorinformation und des Personenidentifikationsergebnisses festgelegt werden (Schritt S6), erfasst einen bestimmten Insassen (Schritt S7, entsprechend einem Insassenerfassungsschritt) und beendet den Zustandsüberwachungsprozess.
Nachstehend ist der Bilderkennungszustand beschrieben. In einem Fahrzeug ist das Positionsverhältnis zwischen den Sitzen in der Regel festgelegt. D. h., das Positionsverhältnis zwischen einem Fahrersitz, einem Beifahrersitz und den Rücksitzen ist festgelegt, der Fahrersitz und der Beifahrersitz sind in Fahrzeugquerrichtung angeordnet, und die Rücksitze befinden sich hinter dem Fahrersitz und dem Beifahrersitz. Im Bus ist das Positionsverhältnis zwischen dem Fahrersitz und den Kundensitzen festgelegt, und die Kundensitze befinden sich hinter dem Fahrersitz. Im Fahrzeug sind Positionen, an denen Vorrichtungen in Bezug auf einen Fahrbetrieb, wie z. B. ein Lenkrad und ein Schalthebel, angeordnet sind, festgelegt. D. h., die Positionen, an denen Vorrichtungen in Bezug auf einen Fahrbetrieb angeordnet sind, befinden sich rund um den Fahrersitz. Bei Nutzfahrzeugen wie einem Bus und einem Lastkraftwagen ist Kleidung von Fahrern oft vorgesehen. Eine Bewegung von Fahrern vor und während der Fahrt ist geläufig. So stellt der Fahrer beispielsweise vor der Fahrt häufig einen Rückspiegel und Positionen eines Sitzes ein und bedient ein Navigationsgerät, um ein Ziel festzulegen. Während der Fahrt hält der Fahrer das Lenkrad und den Schalthebel. Der Bilderkennungszustand wird unter Verwendung der Fahrzeugbetriebsinformation festgelegt, deren Schwerpunkt auf solchen Merkmalen liegt.
Nachstehend sind Techniken, die angewandt werden, wenn es sich bei dem zu erfassenden Insassen um einen Fahrer handelt und der Fahrer als ein bestimmter Insasse erfasst wird, unter Bezugnahme auf die 3 bis 5 beschrieben. Die Inhalte der 3 bis 5 sind Beispiele für Merkmale eines zu erfassenden Fahrers und stellen keine Einschränkungen dar. Die Steuereinheit 4 kategorisiert das Timing, zu dem der Fahrer erfasst wird, als große Klassifizierung ein. Zu dem Timing, zu dem der Fahrer erfasst wird, wird der Fahrer auf der Grundlage von Ist-Information oder akkumulierter Information erfasst.
Wenn der Fahrer auf der Grundlage von Ist-Information erfasst wird, legt die Steuereinheit 4 den Bilderkennungszustand unter Verwendung der Fahrzeugbetriebsinformation, der Fahrzeugsensorinformation und des Personenidentifikationsergebnisses als mittlere Klassifizierung fest. In diesem Fall legt die Steuereinheit 4, als die Fahrzeugbetriebsinformation, Information über Positionen, an denen die In-Vehicle-Kamera 2 und die den Fahrbetrieb betreffenden Vorrichtungen festgelegt sind, sowie über Kleidung fest. Wenn beispielsweise die Position, an der die In-Vehicle-Kamera 2 angeordnet ist, die Säule A ist, und der Fahrer Merkmale dahingehend aufweist, dass er sich an der Position befindet, die der In-Vehicle-Kamera 2 am nächsten ist, legt die Steuereinheit 4 den Bilderkennungszustand fest, um eine Person, die der In-Vehicle-Kamera 2 am nächsten ist, als Fahrer zu erfassen. Im Falle eines Nutzfahrzeugs, wie z. B. eines Busses oder eines Lastkraftwagens, legt die Steuereinheit 4 beispielsweise, da der Fahrer Merkmale dahingehend aufweist, dass er vorgesehene Kleidung wie eine vorgeschriebene Kappe und eine Uniform trägt, den Bilderkennungszustand fest, um eine Person, die die vorgesehene Kleidung trägt, als Fahrer zu erfassen. Für andere Merkmale wird der Bilderkennungszustand festgelegt, um die den Merkmalen entsprechende Person als Fahrer zu erfassen.
Wenn der Fahrer auf der Grundlage der akkumulierten Information erfasst wird, legt die Steuereinheit 4 den Bilderkennungszustand unter Verwendung der Fahrzeugbetriebsinformation und der Fahrzeugsensorinformation als mittlere Klassifizierung fest. In diesem Fall legt die Steuereinheit 4, als die Fahrzeugbetriebsinformation, Information über Bewegungen fest. Da beispielsweise ein Fahrer durch eine Tür des Fahrersitzes in das Fahrzeug einsteigt, legt die Steuereinheit 4 bei einem Fahrzeug mit Rechtslenkung den Bilderkennungszustand fest, um eine Person, die von links außerhalb des Bildes einsteigt, nachdem die Tür des Fahrersitzes geöffnet wurde, als Fahrer zu erfassen. Da der Fahrer beispielsweise den Startknopf, den Schalthebel und den Sicherheitsgurt betätigt, legt die Steuereinheit 4 bei Betätigung des Startknopfes, des Schalthebels oder des Sicherheitsgurtes den Bilderkennungszustand fest, um eine Person, die den Startknopf, den Schalthebel oder den Sicherheitsgurt betätigt hat, als Fahrer zu erfassen. Für andere Merkmale wird der Bilderkennungszustand festgelegt, um die den Merkmalen entsprechende Person als Fahrer zu erfassen.
Insbesondere ist ein Prozess zur Erkennung des verarbeiteten Bildes unter dem Bilderkennungszustand zur Erfassung eines Fahrers unter Bezugnahme auf 6 beschrieben. Hierin ist, als der Bilderkennungszustand, ein Fall beschrieben, in dem die Position, an der das Lenkrad angeordnet ist, ein Fahrzeugzustand und ein Personenidentifikationszustand festgelegt sind.
Die Steuereinheit 4 bestimmt, ob in dem verarbeiteten Bild ein oder mehrere Gesichter erkannt wurden (Schritt S11, Schritt S12). Wenn bestimmt wird, dass in dem verarbeiteten Bild mehrere Gesichter erkannt wurden (Schritt S11: JA), bestimmt die Steuereinheit 4, ob es sich bei dem Fahrzeug um ein Fahrzeug mit Rechtslenkung oder um ein Fahrzeug mit Linkslenkung handelt (Schritt S13, Schritt S14)._Wenn bestimmt wird, dass es sich bei dem Fahrzeug um ein Fahrzeug mit Rechtslenkung handelt (Schritt S13:_JA), erkennt die Steuereinheit 4 ein Gesicht auf der linken Seite im Bild (Schritt S15). Wenn bestimmt wird, dass das Fahrzeug ein Fahrzeug mit Linkslenkung ist (Schritt S14:_JA), erkennt die Steuereinheit 4 ein Gesicht auf der rechten Seite im Bild (Schritt S16). Die Steuereinheit 4 bestimmt, ob das Fahrzeug fährt (Schritt S17). Wenn bestimmt wird, dass das Fahrzeug fährt (Schritt S17: JA), bestimmt die Steuereinheit 4, ob eine Personenidentifikation registriert wurde (Schritt S18). Wenn bestimmt wird, dass die Person in der Vergangenheit registriert oder identifiziert wurde, und die Personenidentifikation registriert wurde (Schritt S18: JA), erfasst die Steuereinheit 4 einen Fahrer (Schritt S19).
Vorstehend ist ein Fall beschrieben, in dem, als die Bilderkennungszustände, die Position, an der das Lenkrad angeordnet ist, der Fahrzeugzustand und der Personenidentifikationszustand festgelegt sind. Da es jedoch, wie in den 3 bis 5 dargestellt, verschiedene Merkmale von Fahrern gibt, können beliebige Merkmale zur Erfassung eines Fahrers verwendet werden. Wenn die Anzahl der verwendeten Merkmale steigt, kann die Zuverlässigkeit erhöht werden. Da jedoch eine lange Verarbeitungszeit erforderlich ist, können die Elemente und die Anzahl der Merkmale, die zur Erfassung eines Fahrers verwendet werden, in Abhängigkeit von der erforderlichen Zuverlässigkeit und Verarbeitungszeit bestimmt werden.
Vorstehend ist ein Fall veranschaulicht, in dem, wenn die Erfassung auf der Grundlage von Momentan- bzw. Ist-Information erfolgt, der Bilderkennungszustand unter Verwendung der Fahrzeugbetriebsinformation, der Fahrzeugsensorinformation und des Personenidentifikationsergebnisses festgelegt wird. Der Bilderkennungszustand kann jedoch anhand wenigstens einer der Positionen Fahrzeugbetriebsinformation, Fahrzeugsensorinformation und Personenidentifikationsergebnis festgelegt werden. In einem Fall, in dem die Erfassung auf der Grundlage gesammelter Information erfolgt, wird der Bilderkennungszustand unter Verwendung der Fahrzeugbetriebsinformation und der Fahrzeugsensorinformation festgelegt. Der Bilderkennungszustand kann jedoch unter Verwendung wenigstens entweder der Fahrzeugbetriebsinformation oder der Fahrzeugsensorinformation festgelegt werden.
Vorstehend ist ein Fall veranschaulicht, in dem ein Fahrer als ein bestimmter Insasse erfasst wird. Es kann jedoch ein Insasse auf einem Beifahrersitz, den Rücksitzen oder den Kundensitzen erfasst werden. Wenn zum Beispiel ein Insasse auf dem Beifahrersitz als spezifischer Insasse erfasst wird, hat der Insasse auf dem Beifahrersitz im Falle eines Fahrzeugs mit Rechtslenkung ein Merkmal dahingehend, dass er auf der rechten Seite im Bild präsent ist. Daher kann die Steuereinheit 4 den Bilderkennungszustand festlegen, um die Person auf der rechten Seite im Bild als den Insassen auf dem Beifahrersitz zu erfassen. Wenn zum Beispiel der Insasse auf dem Beifahrersitz als ein bestimmter Insasse erfasst wird, neigt der Insasse dazu, sein Gesicht zur Seite zu drehen, wenn er mit dem Fahrer spricht. Daher kann der Bilderkennungszustand festgelegt werden, um eine Person, die dazu neigt, ihr Gesicht zur Seite zu drehen, als den Insassen auf dem Beifahrersitz zu erfassen. D. h., durch Festlegen des Bilderkennungszustands entsprechend den Merkmalen eines zu erfassenden Insassen kann jeder beliebige Insasse erfasst werden.
Gemäß der vorliegenden Ausführungsform können, wie vorstehend beschrieben, die folgenden Effekte erzielt werden. Die Zustandsüberwachungsvorrichtung 1 legt den Bilderkennungszustand unter Verwendung der Erkennungszustandsinformation fest, erkennt verarbeitete Bilder unter dem Bilderkennungszustand und erfasst einen bestimmten Insassen. Durch Festlegen von Information, die für ein Fahrzeug oder einen bestimmten Insassen charakteristisch ist, als Erkennungszustandsinformation kann das verarbeitete Bild auf der Grundlage der Information erkannt werden, die für das Fahrzeug oder einen bestimmten Insassen charakteristisch ist, wodurch der bestimmte Insasse in geeigneter Weise erfasst werden kann. Selbst wenn in den verarbeiteten Bildern aufgrund der Sichtbarkeit von mehreren Fahrgästen im Sichtwinkel der In-Vehicle-Kamera 2 mehrere Gesichter erfasst werden, kann somit ein bestimmter Fahrgast in geeigneter Weise aus den mehreren Fahrgästen erfasst werden.
Die Zustandsüberwachungsvorrichtung 1 legt den Bilderkennungszustand unter Verwendung der Fahrzeugbetriebsinformation fest. Ein bestimmter Insasse kann anhand der Fahrzeugbetriebsinformation erfasst werden. Das Festlegen des Bilderkennungszustands unter Verwendung von Information, die eine Position angibt, an der die In-Vehicle-Kamera 2 angeordnet ist, von Information, die Positionen angibt, an denen ein Lenkrad und ein Schalthebel angeordnet sind, von Information in Bezug auf Kleidung und von Information, die Bewegungen angibt, kann die Information, die eine Position angibt, an der die In-Vehicle-Kamera 2 angeordnet ist, die Information, die Positionen angibt, an denen das Lenkrad und der Schalthebel angeordnet sind, die Information, die Kleidung betrifft, und die Information, die Bewegungen angibt, als die Informationscharakteristik bzw. das Merkmal des bestimmten Insassen anwenden.
Die Zustandsüberwachungsvorrichtung 1 legt den Bilderkennungszustand unter Verwendung der Fahrzeugsensorinformation fest. Ein bestimmter Insasse kann anhand der Fahrzeugsensorinformation erfasst werden. Das Festlegen von Information, die eine Fahrzeuggeschwindigkeit angibt, von Information, die eine Schaltposition angibt, von Information, die eine Sitzposition angibt, von Information, die einen Betätigungszustand eines Startknopfes angibt, und von Information, die einen Anlegezustand eines Sicherheitsgurtes angibt, als die Fahrzeugsensorinformation kann die Information, die eine Fahrzeuggeschwindigkeit angibt, die Information, die eine Schaltposition angibt, die Information, die eine Sitzposition angibt, die Information, die einen Betätigungszustand des Startknopfes angibt, und die Information, die einen Anlegezustand des Sicherheitsgurtes angibt, als Informationscharakteristik bzw. Merkmal des bestimmten Insassen anwenden.
Die Zustandsüberwachungsvorrichtung 1 legt den Bilderkennungszustand unter Verwendung eines persönlichen bzw. Personenidentifikationsergebnisses fest. Ein bestimmter Insasse kann anhand des Personenidentifikationsergebnisses erfasst werden.
Die Zustandsüberwachungsvorrichtung 1 legt den Bilderkennungszustand auf der Grundlage von Momentan- bzw. Ist-Information fest, wodurch ein bestimmter Insasse schnell erfasst werden kann. Das Festlegen des Bilderkennungszustands auf der Grundlage akkumulierter Information kann die Menge an Information zur Erfassung eines bestimmten Fahrgastes erhöhen, wodurch die Erfassungsgenauigkeit gesteigert werden kann.
Die vorliegende Offenbarung ist vorstehend anhand einiger Ausführungsformen erfolgt. Die vorliegende Offenbarung sollte jedoch nicht so ausgelegt werden, dass sie auf diese Ausführungsformen oder Strukturen beschränkt ist. Die vorliegende Offenbarung sollte verschiedene Modifikationen oder Modifikationen im Äquivalenzbereich umfassen. Darüber hinaus sollten verschiedene Kombinationen und Modi sowie andere Kombinationen und Modi, einschließlich solcher, die ein oder mehrere zusätzliche Elemente enthalten, oder solche, die weniger Elemente enthalten, als innerhalb des Umfangs und des Geistes der vorliegenden Offenbarung liegend angesehen werden.
Die Steuereinheit und das von der Steuereinheit ausgeführte Verfahren in der vorliegenden Offenbarung sind durch einen speziellen Computer mit einem Prozessor und einem Speicher realisierbar, der programmiert ist, um eine oder mehrere Funktionen auszuführen, die durch Computerprogramme verkörpert sind. Alternativ sind die Steuereinheit und das von der Steuereinheit ausgeführte Verfahren, wie sie in der vorliegenden Offenbarung beschrieben sind, durch einen speziellen Computer mit einem Prozessor realisierbar, der aus einer oder mehreren speziellen Hardware-Logikschaltungen aufgebaut ist. Die Steuereinheit und das von der Steuereinheit ausgeführte Verfahren, die in der vorliegenden Offenbarung beschrieben sind, sind durch einen oder mehrere spezielle Computer realisierbar, die eine Kombination aus einem Prozessor und einem Speicher, programmiert, um eine oder mehrere Funktionen auszuführen, und einem Prozessor mit einer oder mehreren Hardware-Logikschaltungen enthalten. Die Computerprogramme können als von einem Computer auszuführende Befehle auf einem computerlesbaren, nichtflüchtigen, materiellen Speichermedium gespeichert sein.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2020213695 [0001]
JP 201244404 A [0004]

Claims

Zustandsüberwachungsvorrichtung, aufweisend: - eine Bildverarbeitungseinheit (5), die ein Bild verarbeitet, das von einer In-Vehicle-Kamera aufgenommen wurde, die ein Bild eines Insassen in einem Fahrzeug aufnimmt; - eine Erkennungszustandsinformations-Erfassungseinheit (6), die Erkennungszustandsinformation erfasst, die für ein Fahrzeug oder einen bestimmten Insassen spezifiziert ist; und - eine Insassenerfassungseinheit (10), die einen Bilderkennungszustand unter Verwendung der Erkennungszustandsinformation festlegt, ein von der Bildverarbeitungseinheit verarbeitetes Bild unter dem Bilderkennungszustand erkennt und den bestimmten Insassen erfasst.
Zustandsüberwachungsvorrichtung nach Anspruch 1, wobei - die Erkennungszustandsinformations-Erfassungseinheit eine Fahrzeugbetriebsinformations-Erfassungseinheit (7) aufweist, die Fahrzeugbetriebsinformation erfasst, und - die Insassenerfassungseinheit einen Bilderkennungszustand unter Verwendung der Fahrzeugbetriebsinformation festlegt.
Zustandsüberwachungsvorrichtung nach Anspruch 2, wobei die Insassenerfassungseinheit einen Bilderkennungszustand festlegt, indem sie wenigstens entweder Information, die eine Position angibt, an der die In-Vehicle-Kamera angeordnet ist, Information, die eine Position angibt, an der eine Vorrichtung für einen Fahrbetrieb angeordnet ist, Information über Kleidung oder Information über eine Bewegung verwendet.
Zustandsüberwachungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei - die Erkennungszustandsinformations-Erfassungseinheit eine Fahrzeugsensorinformations-Erfassungseinheit (8) aufweist, die Fahrzeugsensorinformation erfasst, und - die Insassenerfassungseinheit einen Bilderkennungszustand unter Verwendung der Fahrzeugsensorinformation festlegt.
Zustandsüberwachungsvorrichtung nach Anspruch 4, wobei die Insassenerfassungseinheit einen Bilderkennungszustand festlegt, indem sie als die Fahrzeugsensorinformation wenigstens entweder Information, die eine Fahrzeuggeschwindigkeit angibt, Information, die eine Schaltposition angibt, Information, die eine Sitzposition angibt, Information über einen Betriebszustand eines Startknopfes oder Information über einen Anlegezustand eines Sicherheitsgurtes angibt, verwendet.
Zustandsüberwachungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei - die Erkennungszustandsinformations-Erfassungseinheit eine Personenidentifikationseinheit (9) aufweist, die eine Personenidentifikation unter Verwendung eines von der Bildverarbeitungseinheit verarbeiteten Bildes vornimmt, und - die Insassenerfassungseinheit den Bilderkennungszustand unter Verwendung eines Personenidentifikationsergebnisses der Personenidentifikationseinheit festlegt.
Zustandsüberwachungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei die Insassenerfassungseinheit den Bilderkennungszustand auf der Grundlage von Ist-Information festlegt.
Zustandsüberwachungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei die Insassenerfassungseinheit den Bilderkennungszustand auf der Grundlage von akkumulierter Information festlegt.
Zustandsüberwachungsprogramm, das es einer Steuereinheit (4) einer Zustandsüberwachungsvorrichtung ermöglicht, die folgenden Schritte auszuführen: - einen Bildverarbeitungsschritt zum Verarbeiten eines Bildes, das von einer In-Vehicle-Kamera aufgenommen wurde, die ein Bild eines Insassen in einem Fahrzeug aufnimmt; - einen Erkennungszustandsinformations-Erfassungsschritt zum Erfassen von Erkennungszustandsinformation, die für ein Fahrzeug oder einen bestimmten Insassen spezifiziert ist; und - einen Insassenerfassungsschritt zum Festlegen eines Bilderkennungszustands unter Verwendung der Erkennungszustandsinformation, zum Erkennen des durch den Bildverarbeitungsschritt verarbeiteten Bildes unter dem Bilderkennungszustand und zum Erfassen eines bestimmten Insassen.