DE102018216026A1 - Überwachungssystem - Google Patents

Überwachungssystem Download PDF

Info

Publication number
DE102018216026A1
DE102018216026A1 DE102018216026.0A DE102018216026A DE102018216026A1 DE 102018216026 A1 DE102018216026 A1 DE 102018216026A1 DE 102018216026 A DE102018216026 A DE 102018216026A DE 102018216026 A1 DE102018216026 A1 DE 102018216026A1
Authority
DE
Germany
Prior art keywords
monitoring
unit
image
display
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102018216026.0A
Other languages
English (en)
Inventor
Kenichi Katsumata
Kiyoshi NASU
Hidekazu Ohashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Hitachi Industry and Control Solutions Co Ltd
Original Assignee
Yazaki Corp
Hitachi Industry and Control Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp, Hitachi Industry and Control Solutions Co Ltd filed Critical Yazaki Corp
Publication of DE102018216026A1 publication Critical patent/DE102018216026A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Ein Überwachungssystem (1), umfasst eine Abbildungseinheit (3), die konfiguriert ist, um ein Bild aufzunehmen, das eine Überwachungszielperson (OB) in einem Innenabteil (101) eines Fahrzeugs (100) enthält, eine Überwachungseinheit (83) zum Erfassen eines Überwachungszielteils der Überwachungszielperson basierend auf dem von der Abbildungseinheit (3) erfassten Bild und Überwachen eines Zustands der Überwachungszielperson basierend auf einer erfassten Zielteilposition, die als eine Position des erfassten Überwachungszielteils dient, und eine Anzeigeeinheit (41), die in dem Innenabteil (101) des Fahrzeugs (100) vorgesehen und konfiguriert ist, um visuelle Informationen anzuzeigen, die eine relative Position der erfassten Zielteilposition in Bezug auf eine voreingestellte geeignete Überwachungsposition darstellt.

Description

  • Hintergrund der Erfindung
  • Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft ein Überwachungssystem.
  • Beschreibung der verwandten Technik
  • Beispielsweise offenbart die japanische Patentanmeldungsoffenlegungsschrift Nr. 2016-038793 als ein herkömmliches Überwachungssystem, das an einem Fahrzeug angebracht ist, ein Fahrerüberwachungssystem, das eine Erfassungseinheit, eine Bestimmungseinheit, eine Benachrichtigungseinheit und eine Fahrzeugstoppeinheit umfasst. Die Erfassungseinheit erfasst einen Haltungszusammenbruch eines Fahrers basierend auf einem Bild des Fahrersitzes des Fahrzeugs, das von einer Kamera aufgenommen wurde. Die Bestimmungseinheit bestimmt, ob der von der Erfassungseinheit erfasste Haltungszusammenbruch des Fahrers durch eine Gewohnheit des Fahrers verursacht wird. Die Benachrichtigungseinheit benachrichtigt den Fahrer über den Haltungszusammenbruch basierend auf einem Zustand, der sich zwischen einem Fall unterscheidet, in dem der Haltungszusammenbruch durch die Gewohnheit des Fahrers durch die Bestimmungseinheit verursacht wird, und einem Fall, bei dem festgestellt wird, dass der Haltungszusammenbruch durch andere Faktoren als die Gewohnheit des Fahrers verursacht wird. Nachdem die Benachrichtigungseinheit dem Fahrer einen Überblick gegeben hat, gibt die Fahrzeugstoppeinheit ein Signal aus, um das Fahrzeug sicher an einer Fahrzeugsteuervorrichtung zu stoppen, wenn die Haltung des Fahrers nicht verbessert wird und eine vorbestimmte Bedingung erfüllt ist.
  • Um beispielsweise eine geeignete Überwachung zu gewährleisten, soll das in der japanischen Patentanmeldungsoffenlegungsschrift Nr. 2016-038793 beschriebene Fahrerüberwachungssystem eine Konfiguration aufweisen, die es beispielsweise einer Überwachungszielperson ermöglichen kann, den aktuellen Betriebszustand des Systems angemessen zu verstehen.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Die vorliegende Erfindung wurde im Hinblick auf die oben beschriebenen Umstände gemacht, und eine Aufgabe davon ist es, ein Überwachungssystem bereitzustellen, das zum Beispiel der Überwachungszielperson erlauben kann, den Betriebszustand zu verstehen.
  • Um die oben erwähnte Aufgabe zu lösen, umfasst ein Überwachungssystem gemäß einem Aspekt der vorliegenden Erfindung eine Bildgebungseinheit, die konfiguriert ist, um ein Bild aufzunehmen, das eine Überwachungszielperson in einem Innenabteil eines Fahrzeugs enthält; eine Überwachungseinheit zum Erfassen eines Überwachungszielteils der Überwachungszielperson basierend auf dem von der Abbildungseinheit erfassten Bild und Überwachen eines Zustands der Überwachungszielperson basierend auf einer erfassten Zielteilposition, die als eine Position des erfassten Überwachungszielteils dient; und eine Anzeigeeinheit, die in dem Innenabteil des Fahrzeugs vorgesehen und konfiguriert ist, um visuelle Informationen anzuzeigen, die eine relative Position der erfassten Zielteilposition in Bezug auf eine voreingestellte geeignete Überwachungsposition darstellt.
  • Gemäß einem anderen Aspekt der vorliegenden Erfindung ist es in dem Überwachungssystem möglich, zu konfigurieren, dass die Anzeigeeinheit konfiguriert ist, um als visuelle Informationen ein Zustandsanzeigebild anzuzeigen, das sich in der Anzeigefarbe gemäß einer relativen Position der erfassten Zielteilposition in Bezug auf die entsprechende Überwachungsposition ändert.
  • Gemäß noch einem weiteren Aspekt der vorliegenden Erfindung ist es in dem Überwachungssystem möglich, zu konfigurieren, dass die Anzeigeeinheit konfiguriert ist, um als die visuellen Informationen ein geeignetes Positionsbild anzuzeigen, das die geeignete Überwachungsposition in Kombination mit einem erfassten Positionsbild darstellt, das die erfassten Zielteilposition darstellt.
  • Gemäß noch einem weiteren Aspekt der vorliegenden Erfindung ist es möglich, zu konfigurieren, um ein Gehäuse zu umfassen, das an einer Fläche an der Innenabteil-Seite einer Decke des Fahrzeugs vorgesehen ist, und an die die Abbildungseinheit, die Überwachungseinheit, und die Anzeigeeinheit zusammengebaut sind.
  • Die obigen und andere Aufgaben, Merkmale, Vorteile und technische und industrielle Bedeutung dieser Erfindung werden durch Lesen der folgenden detaillierten Beschreibung gegenwärtig bevorzugter Ausführungsformen der Erfindung besser verstanden, wenn sie in Verbindung mit den begleitenden Zeichnungen betrachtet werden.
  • Figurenliste
    • 1 ist ein schematisches Diagramm, das eine schematische Konfiguration eines Innenraums eines Fahrzeugs zeigt, auf das ein Überwachungssystem gemäß einer Ausführungsform der vorliegenden Erfindung angewendet wird;
    • 2 ist ein Blockdiagramm, das eine schematische Konfiguration des Überwachungssystems gemäß der Ausführungsform darstellt;
    • 3 ist eine perspektivische Ansicht, die ein äußeres Erscheinungsbild des Überwachungssystems gemäß der Ausführungsform darstellt;
    • 4 ist ein schematisches Diagramm, das ein Beispiel eines Anzeigemodus auf einer Anzeigeeinheit des Überwachungssystems gemäß der Ausführungsform veranschaulicht;
    • 5 ist ein schematisches Diagramm, das ein Beispiel einer Änderung der Anzeigefarbe auf der Anzeigeeinheit des Überwachungssystems gemäß der Ausführungsform veranschaulicht;
    • 6 ist ein schematisches Diagramm, das ein Beispiel eines Benachrichtigungsbildes auf der Anzeigeeinheit des Überwachungssystems gemäß der Ausführungsform darstellt;
    • 7 ist ein schematisches Diagramm, das ein Beispiel des Benachrichtigungsbildes auf der Anzeigeeinheit des Überwachungssystems gemäß der Ausführungsform darstellt;
    • 8 ist ein schematisches Diagramm, das ein Beispiel eines Anzeigemodus auf der Anzeigeeinheit des Überwachungssystems gemäß der Ausführungsform veranschaulicht; und
    • 9 ist ein schematisches Diagramm, das ein Beispiel eines Anzeigemodus auf der Anzeigeeinheit des Überwachungssystems gemäß der Ausführungsform veranschaulicht.
  • DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
  • Das Folgende beschreibt im Detail eine Ausführungsform der vorliegenden Erfindung basierend auf den Zeichnungen. Die Ausführungsform beschränkt die vorliegende Erfindung nicht. Komponenten in der folgenden Ausführungsform umfassen diejenigen, die für den Fachmann austauschbar und leicht zu handhaben sind, oder diejenigen, die im Wesentlichen mit solchen Komponenten identisch sind.
  • Ausführungsform
  • Ein Überwachungssystem 1 gemäß der vorliegenden Ausführungsform, die gezeigt sind In 1, 2 und 3 ist ein fahrzeuginternes System (Fahrzeuginnenraumüberwachungssystem), das an einem Fahrzeug 100 montiert ist und das eine Überwachungszielperson OB in einem Innenabteil 101 des Fahrzeugs 100 überwacht und verschiedene Arten von Verarbeitung durchführt, wenn die Überwachungszielperson OB sich in einem abnormalen Zustand befindet. Die Überwachungszielperson OB ist eine vom Überwachungssystem 1 überwachte Person. Die Überwachungszielperson OB ist ein Insasse an Bord des Innenraums 101 des Fahrzeugs 100 und umfasst den Fahrer oder einen anderen Passagier als den Fahrer des Fahrzeugs 100. Die Beschreibung erfolgt unter der Annahme, dass die Überwachungszielperson OB der vorliegenden Ausführungsform beispielsweise der Fahrer ist. Das Überwachungssystem 1 der vorliegenden Ausführungsform ist auf einer Oberfläche auf der Seite des Innenraums 101 einer Decke 102 des Fahrzeugs 100 vorgesehen und bildet ein Überkopfmodul („overhead module“, OHM), das verschiedene Arten von Funktionen integriert. Das Folgende beschreibt detailliert die Konfiguration des Überwachungssystems 1 mit Bezug auf die Zeichnungen.
  • Insbesondere umfasst das Überwachungssystem 1 ein Gehäuse 2, eine Abbildungseinheit 3, eine Ausgabeeinheit 4, eine Beleuchtungseinrichtung 5, eine Betriebseinheit 6, eine externe Verbindungseinheit 7 und eine Steuerung 8. Das Überwachungssystem 1, das das Überkopfmodul bildet, kann zusätzlich zum Beispiel eine drahtlose Kommunikationseinheit, eine Antenne und eine Stromverteilungseinheit umfassen.
  • Das Gehäuse 2 nimmt die Komponenten des Überwachungssystems 1 auf. Das Gehäuse 2 ist insgesamt zu einer hohlen Kastenform ausgebildet, indem eine Vielzahl von Elementen kombiniert wird. Das Gehäuse 2 ist aus einem Kunstharz mit einer isolierenden Eigenschaft gebildet. Hierin sind die Abbildungseinheit 3, die Ausgabeeinheit 4, die Beleuchtungseinrichtung 5, die Betriebseinheit 6, die externe Verbindungseinheit 7 und die Steuerung 8 zusammengebaut und in dem Gehäuse 2 aufgenommen und sind als das Überkopfmodul vereint. Die Abbildungseinheit 3, die Ausgabeeinheit 4, die Beleuchtungseinrichtung 5, die Betriebseinheit 6 und die externe Verbindungseinheit 7, die in dem Gehäuse 2 aufgenommen sind, sind teilweise von einer äußeren Oberfläche davon freigelegt. Das Gehäuse 2 der vorliegenden Ausführungsform ist auf der Oberfläche auf der Seite des Innenabteils 101 der Decke (Dachplatte) 102 des Fahrzeugs 100 vorgesehen. Die Decke 102 ist eine Struktur, die mit einem Fahrzeughauptkörper beispielsweise durch Säulen verbunden ist und auf einer oberen Seite in der vertikalen Richtung des Fahrzeughauptkörpers gestützt ist. Das Fahrzeug 100 ist in das Innenabteil 101 und das Äußere durch die Decke 102 unterteilt, die als eine Begrenzung auf der oberen Seite in der vertikalen Richtung dient. Hier ist das Gehäuse 2 beispielsweise an einem Abschnitt vorgesehen, der an einem Schnittbereich zwischen der Decke 102 und einer Windschutzscheibe 103 angeordnet ist, und ist in einer im Wesentlichen zentralen Position in der Fahrzeugbreitenrichtung des Fahrzeugs 100 angeordnet. Die Windschutzscheibe 103 ist an einem vorderen Abschnitt des Fahrzeugs 100 vorgesehen und dient als eine Grenze zwischen dem Innenraum 101 und dem Äußeren, und die Windschutzscheibe 103 wird auch als Frontglas bezeichnet. Typischerweise ist das Gehäuse 2 an einer Position in Reichweite einer Hand des Fahrers vorgesehen, der als die Überwachungszielperson OB dient, die auf einem Fahrersitz 105 sitzt und einem Lenkrad 104 gegenüberliegt, das als ein Lenkelement zum Lenken des Fahrzeugs 100 dient.
  • Die Abbildungseinheit 3 erfasst ein Bild, das den Fahrer enthält, der als die Überwachungszielperson OB in dem Innenraum 101 des Fahrzeugs 100 dient. Die Abbildungseinheit 3 der vorliegenden Ausführungsform hat eine Funktion zum Erfassen eines dreidimensionalen Bildes des Fahrers, der auf dem Fahrersitz 105 sitzt, als den Zustand der Überwachungszielperson OB, was ermöglicht, dass die dreidimensionale Position des Fahrers messbar ist. Die Abbildungseinheit 3 besteht aus einer Abbildungsvorrichtung, beispielsweise einer Stereokamera. Die Abbildungseinheit 3 ist in dem Gehäuse 2 derart vorgesehen, dass Linsen der Stereokamera von der Außenfläche des Gehäuses 2 freigelegt sind und ihre optischen Achsen in Richtung auf den Fahrersitz 105 in dem Innenraum 101 gerichtet sind. Die Abbildungseinheit 3 ist elektrisch mit der Steuerung 8 verbunden und kann elektrische Signale dorthin und von dieser senden und empfangen, und die Steuerung 8 steuert die Operationen der Komponenten der Abbildungseinheit 3. Zum Beispiel gibt die Abbildungseinheit 3 das aufgenommene Bild an die Steuerung 8 aus. Die Abbildungseinheit 3 kann anstelle der Stereokamera eine Flugzeitkamera (ToF-Kamera) oder eine andere Einlinsenkamera umfassen, die die Funktion hat, das dreidimensionale Bild zu erfassen.
  • Die Ausgabeeinheit 4 gibt verschiedene Arten von Informationen zu dem Innenraum 101 des Fahrzeugs 100 aus. Hierin umfasst die Ausgabeeinheit 4 eine Anzeigeeinheit 41 und einen Lautsprecher 42. Die Anzeigeeinheit 41 ist eine visuelle Informationsanzeigevorrichtung, die visuelle Information (Grafikinformation und Textinformation) ausgibt und beispielsweise aus einer Flüssigkristallanzeige, einer Plasmaanzeige oder einer organischen Elektrolumineszenz (EL) -Anzeige mit einer geringen Dicke besteht. Die Anzeigeeinheit 41 ist in dem Gehäuse 2 derart vorgesehen, dass eine Anzeigefläche zum Anzeigen der visuellen Information von der Außenfläche des Gehäuses 2 freigelegt ist und zu dem Fahrersitz 105 in dem Innenraum 101 gerichtet ist. Die Anzeigeeinheit 41 ist typischerweise an einer Position vorgesehen, die von der Überwachungszielperson OB sichtbar ist. Dieser Lautsprecher 42 ist eine Hörinformationsausgabevorrichtung, die Hörinformation (Sprachinformation und Toninformation) ausgibt. Sowohl die Anzeigeeinheit 41 als auch der Lautsprecher 42, die in der Ausgabeeinheit 4 enthalten sind, sind elektrisch mit der Steuerung 8 verbunden und können elektrische Signale dorthin und von dort senden und empfangen, und die Steuerung 8 steuert die Operationen der Komponenten der Anzeigeeinheit 41 und 42 des Lautsprechers 42. Zum Beispiel zeigt die Anzeigeeinheit 41 die visuellen Informationen an, wie beispielsweise das Bild, das von der Abbildungseinheit 3 über die Steuerung 8 ausgegeben wird. Die Ausgabeeinheit 4 kann zusätzlich zu der Anzeigeeinheit 41 und dem Lautsprecher 42 beispielsweise eine taktile Informationsausgabevorrichtung umfassen, die beispielsweise taktile Informationen ausgibt, wie eine Lenkradvibration, eine Sitzvibration und eine Pedal-Reaktionskraft des Fahrzeugs 100.
  • Die Beleuchtungseinrichtung 5 beleuchtet das Innenabteil 101 des Fahrzeugs 100 und ist beispielsweise eine Kartenlampe. Die Beleuchtungseinrichtung 5 umfasst beispielsweise Lichtquellen, wie z.B. Leuchtdiodenelemente (LED-Elemente), die Licht mit verschiedenen Lumineszenzfarben, wie z.B. weißes Licht, rotes Licht, blaues Licht und grünes Licht, emittieren. Die Beleuchtungseinrichtung 5 ist derart in dem Gehäuse 2 vorgesehen, dass eine emittierende Oberfläche zum Emittieren des Beleuchtungslichts von der äußeren Oberfläche des Gehäuses 2 freiliegt und zu dem inneren Kompartiment 101 gerichtet ist. Die Beleuchtungseinrichtung 5 ist elektrisch mit der Steuerung 8 verbunden und kann elektrische Signale zu diesem und von diesem senden und empfangen, und die Steuerung 8 steuert die Operationen der Komponenten der Beleuchtungseinrichtung 5. Zum Beispiel wird die Beleuchtungseinrichtung 5 durch die Steuerung 8 gesteuert, um ansprechend auf eine Betriebseingabe an die Betriebseinheit 6 ein- oder ausgeschaltet zu werden.
  • Die Betriebseinheit 6 ist ein Betriebsmedium, durch das verschiedene Operationen von der Seite des Innenraums 101 des Fahrzeugs 100 aus durchgeführt werden können. Die Bedieneinheit 6 besteht beispielsweise aus Drucktasten oder berührungslosen Sensoren, wie kapazitiven Berührungssensoren und Infrarotsensoren. Die Betriebseinheit 6 ist in dem Gehäuse 2 derart vorgesehen, dass Teile davon zum Aufnehmen der Betätigungen an einer Position innerhalb der Reichweite einer Hand des Insassen auf der äußeren Oberfläche des Gehäuses 2 freigelegt sind und zu der Seite des Innenraums 101 gerichtet sind. Als Beispiel umfasst die Bedieneinheit 6 hier beispielsweise eine Beleuchtungsbedienungseinheit 61 zum Ein- und Ausschalten der Beleuchtungseinrichtung 5, eine Anzeigeoperationseinheit 62 zum Umschalten des von der Anzeigeeinheit 41 angezeigten Anzeigeinhalts und eine Einstelloperationseinheit 63 zum Durchführen verschiedener Einstellungen des Überwachungssystems 1. Jede der Beleuchtungsoperationseinheit 61, der Anzeigeoperationseinheit 62 und der Einstelloperationseinheit 63, die in der Operationseinheit 6 enthalten sind, ist elektrisch mit der Steuerung 8 verbunden und kann elektrische Signale zu und von dieser senden und empfangen, und die Steuerung 8 steuert die Operationen der Komponenten dieser Operationseinheiten 61, 62 und 63. Zum Beispiel gibt die Betriebseinheit 6 ein Betriebssignal als Reaktion auf eine Betriebseingabe an die Steuerung 8 aus.
  • Die externe Verbindungseinheit 7 ist ein Teil, der elektrisch mit einer elektrischen Ausrüstung außerhalb des Gehäuses 2 verbunden ist. Die externe Verbindungseinheit 7 besteht aus verschiedenen Arten von Verbindern und Schnittstelleneinheiten. Hierbei ist die externe Verbindungseinheit 7 elektrisch beispielsweise mit einer elektronischen Fahrzeugsteuereinheit (ECU) verbunden, die die Komponenten des Fahrzeugs 100 integral steuert, und einem hinteren Modul, das an einer Position auf der Rücksitzseite der Oberfläche auf der Seite der Innenkammer 101 der Decke 102 des Fahrzeugs 100 vorgesehen ist. Die externe Verbindungseinheit 7 ist elektrisch mit der Steuerung 8 und der elektrischen Ausrüstung außerhalb des Gehäuses 2 verbunden und kann elektrische Signale dorthin und von dort senden und empfangen.
  • Die Steuerung 8 ist ein Teil, der die Komponenten des Überwachungssystems 1 integral steuert. Die Steuerung 8 führt verschiedene Arten der arithmetischen Verarbeitung in Bezug auf die Überwachung des Zustands der Überwachungszielperson OB und verschiedene Hilfestellungen durch. Die Steuerung 8 umfasst eine elektronische Schaltung, die hauptsächlich einen bekannten Mikrocomputer umfasst, der eine zentrale arithmetische Verarbeitungsvorrichtung wie etwa eine zentrale Verarbeitungseinheit (CPU), eine Mikroprozessoreinheit (MPU), eine anwendungsspezifische integrierte Schaltung (ASIC) und eine feldspezifische Programmable Gate Array (FPGA) und einen Nur-Lese-Speicher (ROM), einen Speicher mit wahlfreiem Zugriff (RAM) und eine Schnittstelle umfasst. Die Steuerung 8 ist elektrisch mit der Abbildungseinheit 3, der Ausgabeeinheit 4, der Beleuchtungseinrichtung 5, der Betriebseinheit 6 und der externen Verbindungseinheit 7 verbunden. Die Steuerung 8 kann verschiedene elektrische Signale, wie zum Beispiel ein Bildsignal, das dem aufgenommenen Bild entspricht, und Ansteuersignale zum Ansteuern der Komponenten der Bildaufnahmeeinheit 3, der Ausgabeeinheit 4, der Beleuchtungseinrichtung 5, der Bedieneinheit 6 und der externen Verbindungseinheit 7, zu und von diesen Einheiten 3, 4, 5, 6 und 7 übertragen.
  • Insbesondere umfasst die Steuerung 8 eine Speichereinheit 81 und einen Prozessor 82 vom Standpunkt einer funktionalen Konzeption. Die Speichereinheit 81 und der Prozessor 82 können verschiedene Arten von Informationen zu und von verschiedenen Vorrichtungen, die elektrisch damit verbunden sind, senden und empfangen. Die Speichereinheit 81 ist eine Speichervorrichtung wie etwa ein Speicher. Die Speichereinheit 81 speichert darin beispielsweise Bedingungen und Informationen, die für die verschiedenen Arten der Verarbeitung in der Steuerung 8 erforderlich sind, und verschiedene Programme, die von der Steuerung 8 ausgeführt werden. Die Speichereinheit 81 speichert auch die visuellen Informationen, wie etwa einige der Bilder, die auf der Anzeigeeinheit 41 angezeigt werden sollen, und die Hörinformationen, wie z.B. von dem Lautsprecher 42 auszugebende Stimmen. Die Speichereinheit 81 kann auch vorübergehend Informationen über das von der Abbildungseinheit 3 aufgenommene Bild und verschiedene Arten von Informationen speichern, die über die externe Verbindungseinheit 7 erfasst werden. Zum Beispiel liest der Prozessor 82 (eine Überwachungseinheit 83 (ein Detektor 83a und eine Bestimmungseinheit 83b) und eine Betriebssteuerung 84, die später beschrieben werden) diese Informationsstücke aus der Speichereinheit 81 wie benötigt. Der Prozessor 82 führt die verschiedenen Programme aus, die in der Speichereinheit 81 gespeichert sind, zum Beispiel basierend auf verschiedenen Eingangssignalen, und die Programme laufen, um Ausgangssignale an die Komponenten auszugeben, um verschiedene Arten von Verarbeitung zum Ausführen der verschiedenen Arten von Funktionen auszuführen. Der Prozessor 82 umfasst im Detail die Überwachungseinheit 83 und die Betriebssteuerung 84 vom Standpunkt der funktionalen Konzeption.
  • Die Überwachungseinheit 83 ist ein Teil, der eine Überwachungsverarbeitung ausführen kann. Die Überwachungsverarbeitung wird verarbeitet, um den Zustand der Überwachungszielperson OB basierend auf dem von der Bildgebungseinheit 3 aufgenommenen Bild zu überwachen. Die Überwachungseinheit 83 erfasst basierend auf dem von der Abbildungseinheit 3 erfassten Bild einen Überwachungszielteil TG der überwachenden Zielperson OB. Die Überwachungseinheit 83 überwacht den Zustand der Überwachungszielperson OB basierend auf einer detektierten Zielteilposition, die als eine Position des detektierten Überwachungszielteils TG dient. Der von der Überwachungseinheit 83 erfasste Überwachungszielteil TG ist ein Teil der zu überwachenden Überwachungszielperson OB und ist beispielsweise der Kopf der Überwachungszielperson OB, ist jedoch nicht darauf beschränkt.
  • Insbesondere umfasst die Überwachungseinheit 83 den Detektor 83a und die Bestimmungseinheit 83b vom Standpunkt der funktionalen Konzeption. Der Detektor 83a und die Bestimmungseinheit 83b sind elektrisch miteinander verbunden und auch elektrisch mit der Speichereinheit 81 und der Betriebssteuerung 84 verbunden. Außerdem ist der Detektor 83a elektrisch mit der Bildaufnahmeeinheit 3 verbunden. Der Detektor 83a ist ein Teil, der die dreidimensionale Position (Positionskoordinaten) des Überwachungszielteils TG, das heißt den Kopf der Überwachungszielperson OB, basierend auf dem von der Bildaufnahmeeinheit 3 erfassten Bild erfasst. Unter Verwendung verschiedener bekannter Bildverarbeitungstechniken und Bilderkennungstechniken erfasst der Detektor 83a den Kopf der Überwachungszielperson OB als Überwachungszielteil TG und erfasst deren dreidimensionale Position. Der Detektor 83a erfasst die dreidimensionale Position des Kopfes als Überwachungszielteil TG der Überwachungszielperson OB in Echtzeit basierend auf dem von der Abbildungseinheit 3 aufgenommenen Bild. Die Bestimmungseinheit 83b ist ein Teil, der den Zustand der Überwachungszielperson OB basierend auf der erfassten Zielteilposition bestimmt, die als die dreidimensionale Position des Überwachungszielteils TG dient, die durch den Detektor 83a erfasst wird. Unter Verwendung verschiedener bekannter Verfahren bestimmt die Bestimmungseinheit 83b den Zustand der Überwachungszielperson OB basierend auf der detektierten Zielteilposition des Überwachungszielteils TG, die durch den Detektor 83a erfasst wird, und der Bewegung der detektierten Zielteilposition. Die Ermittlungseinheit 83b unterscheidet beispielsweise zwischen einem Normalzustand und einem abnormalen Zustand und ermittelt das Ergebnis als den Zustand der Überwachungszielperson OB. Mit anderen Worten, die Bestimmungseinheit 83b unterscheidet und bestimmt, ob sich die Überwachungszielperson OB in dem normalen Zustand oder dem abnormalen Zustand befindet, beispielsweise basierend auf der Position und der Bewegung des Kopfes der Überwachungszielperson OB. Die Bestimmungseinheit 83b bestimmt, dass sich die Überwachungszielperson OB in dem abnormalen Zustand befindet, wenn beispielsweise die erfasste Zielteilposition (mit anderen Worten die Position des Kopfes) eine abnormale Bewegung ausführt.
  • Die Betriebssteuerung 84 ist ein Teil, der eine Betriebssteuerverarbeitung ausführen kann. Die Betriebssteuerungsverarbeitung ist eine Verarbeitung zum Steuern der Betriebsvorgänge der Komponenten des Überwachungssystems 1, beispielsweise derjenigen der Abbildungseinheit 3, der Ausgabeeinheit 4, der Beleuchtungseinrichtung 5 und der Betriebseinheit 6. Die Betriebssteuerung 84 ist elektrisch mit der Abbildungseinheit 3, der Ausgabeeinheit 4 (der Anzeigeeinheit 41 und dem Lautsprecher 42), der Beleuchtungseinrichtung 5, der Betriebseinheit 6 (der Beleuchtungsbetriebseinheit 61, der Anzeigeoperationseinheit 62 und der Einstelloperationseinheit 63), der externen Verbindungseinheit 7, der Speichereinheit 81 und der Überwachungseinheit 83 (dem Detektor 83a und der Bestimmungseinheit 83b) verbunden. Die Betriebssteuerung 84 kann den Betrieb der Abbildungseinheit 3 durch Ausgeben eines Antriebssignals an die Abbildungseinheit 3 steuern und kann das Erfassen des Bildes einschließlich der Überwachungszielperson OB beginnen und beenden. Die Betriebssteuerung 84 kann den Betrieb der Ausgabeeinheit 4 durch Ausgeben eines Treibersignals an die Ausgabeeinheit 4 (die Anzeigeeinheit 41 und den Lautsprecher 42) steuern und kann die visuelle Information auf der Anzeigeeinheit 41 anzeigen und die Hörinformationen von dem Lautsprecher 42 ausgeben. Die Betriebssteuerung 84 kann den Betrieb der Beleuchtungseinrichtung 5 durch Ausgeben eines Treibersignals an die Beleuchtungseinrichtung 5 steuern und kann die Beleuchtungseinrichtung 5 ein- und ausschalten. Zusätzlich kann die Betriebssteuerung 84 die Betriebseingabe an die Betriebseinheit 6 basierend auf dem von der Betriebseinheit 6 (die Beleuchtungsoperationseinheit 61, die Displayoperationseinheit 62 oder die Einstellungsoperationseinheit 63) empfangenen Betriebssignal empfangen und kann zwischen dem Ein- und Ausschalten der Beleuchtungseinrichtung 5 umschalten, den durch die Anzeigeeinheit angezeigten Anzeigeinhalt 41 umschalten, oder die verschiedenen Einstellungen vornehmen. Die Betriebssteuerung 84 kann auch die Operationen der Komponenten von beispielsweise der Ausgabeeinheit 4 beispielsweise basierend auf dem Bestimmungsergebnis bezüglich des Zustands der Überwachungszielperson OB, die durch die Bestimmungseinheit 83b durchgeführt wird, steuern. In diesem Fall kann die Betriebssteuerung 84 die Ausgabeeinheit 4 steuern, um verschiedene Arten von Informationen auszugeben, einschließlich eines Heads-Ups und einer Warnung, basierend auf dem Bestimmungsergebnis für den Zustand der Überwachungszielperson OB, der von der Bestimmungseinheit 83b gemacht wird. Zum Beispiel kann die Betriebssteuerung 84 die Ausgabeeinheit 4 so steuern, dass sie keine Informationen über die Überwachung ausgibt, wenn die Bestimmungseinheit 83b bestimmt hat, dass der Zustand der Überwachungszielperson OB der Normalzustand ist. Wenn stattdessen die Bestimmungseinheit 83b bestimmt hat, dass der Zustand der Überwachungszielperson OB der abnormale Zustand ist, kann die Betriebssteuerung 84 die Ausgabeeinheit 4 so steuern, dass sie die Informationen, die den Heads-up oder die Warnung darstellen, an die Überwachungszielperson OB ausgibt. Nach dem Steuern der Ausgabeeinheit 4 zum Ausgeben der Warnung kann die Betriebssteuerung 84 ein Hilfsanforderungssignal an die Fahrzeug-ECU über die externe Verbindungseinheit 7 ausgeben, wenn eine vorbestimmte Unterstützungsstartbedingung erfüllt ist (wie beispielsweise ein Ablauf einer vorbestimmten Zeit), um zu bewirken, dass die Fahrzeug-ECU irgendeines von verschiedenen bereitstellt Arten von Unterstützungen, wie z.B. automatische Verzögerung und automatisches Stoppen des Fahrzeugs 100 und eine Benachrichtigung an einen Notfallkontakt.
  • Die Betriebssteuerung 84 der vorliegenden Ausführungsform steuert die Anzeigeeinheit 41 und kann eine Betriebszustandsanzeigeverarbeitung ausführen. Die Betriebszustandsanzeigeverarbeitung ist eine Verarbeitung, um die visuelle Information anzuzeigen, die eine relative Position der erfassten Zielteilposition in Bezug auf eine voreingestellte geeignete Überwachungsposition (im Folgenden in einigen Fällen „Betriebszustandsvisualisierungsinformation“ genannt) auf der Anzeigeeinheit 41 darstellt. Da die Betriebssteuerung 84 die Betriebszustandsanzeigeverarbeitung ausführt, zeigt die Anzeigeeinheit 41 die Betriebszustandsvisualisierungsinformation an, die eine relative Position der erfassten Zielteilposition in Bezug auf die geeignete Überwachungsposition darstellt, wie dargestellt in 4, 8 und 9. Die entsprechende Überwachungsposition ist eine in dem Innenraum 101 des Fahrzeugs 100 gemäß einer Sitzposition der Überwachungszielperson OB eingestellte virtuelle Position als eine Position, an der der Zustand der Überwachungszielperson OB von der Überwachungseinheit 83 entsprechend überwacht werden kann und ist eine räumliche Region mit einem vorbestimmten Bereich. Die geeignete Überwachungsposition wird im Voraus festgelegt, beispielsweise gemäß einer tatsächlichen Fahrzeugbewertung. Zum Beispiel wird in dem Zustand, in dem der Fahrer als die Überwachungszielperson OB auf dem Fahrersitz 105 sitzt und das Fahrzeug 100 normal fährt, eine Verteilung der Position des Kopfes statistisch erhalten, und die geeignete Überwachungsposition wird im Voraus basierend auf der Verteilung festgelegt. Wie oben beschrieben, ist die erfasste Zielteilposition die dreidimensionale Position des Überwachungszielteils TG, das heißt, der Kopf, der durch den Detektor 83a basierend auf dem Bild erfasst wird, das die Überwachungszielperson OB enthält, die durch die Abbildungseinheit 3 erfasst wird. Die Betriebssteuerung 84 kann immer die Betriebszustandsvisualisierungsinformationen auf der Anzeigeeinheit 41 anzeigen oder kann die Betriebszustandsvisualisierungsinformationen In Reaktion auf eine Anforderung gemäß der Betriebseingabe an die Betriebseinheit 6 geeignet anzeigen.
  • Zum Beispiel, wie in 4 gezeigt, kann die Anzeigeeinheit 41 als die Betriebszustands-Sichtinformation ein Zustandsanzeigebild I1 anzeigen, das sich in der Anzeigefarbe gemäß einer relativen Position der erfassten Zielteilposition in Bezug auf die geeignete Überwachungsposition ändert. Das Zustandsanzeigebild I1 ist ein Bild, das in einer im Wesentlichen rechteckigen Bandform auf der Anzeigeoberfläche der Anzeigeeinheit 41 angezeigt wird. Zum Beispiel, wie in 5 gezeigt, wird das Zustandsanzeigebild I1 in einer tieferen Anzeigefarbe (Anzeigefarbe auf der „guten“ Seite in 5) angezeigt, da die erfasste Zielteilposition relativ näher an der geeigneten Überwachungsposition ist. Im Gegensatz dazu wird das Zustandsanzeigebild I1 in einer helleren Anzeigefarbe (Anzeigefarbe auf der „schlechten“ Seite in 5) angezeigt, wenn die erfasste Zielteilposition relativ weiter von der geeigneten Überwachungsposition entfernt Ist. Mit anderen Worten wird das Zustandsanzeigebild I1 in der tieferen Anzeigefarbe angezeigt, um darzustellen, dass die erfasste Zielteilposition relativ näher an der geeigneten Überwachungsposition ist, und in der helleren Anzeigefarbe angezeigt, um darzustellen, dass die erfasste Zielteilposition relativ weiter von der geeigneten Überwachungsposition entfernt ist. Die Betriebssteuerung 84 liest das Zustandsanzeigebild I1, das in der Speichereinheit 81 gespeichert ist, und zeigt das Zustandsanzeigebild I1 auf der Anzeigeeinheit 41 in einer Anzeigefarbe gemäß der relativen Positionsbeziehung zwischen der im Voraus eingestellten geeigneten Überwachungsposition und der durch den Detektor 83a erfassten Zielteilposition des Überwachungszielteils TG an. Die Betriebssteuerung 84 ändert die Anzeigefarbe des Zustandsanzeigebilds I1 in Echtzeit entsprechend der Änderung der erfassten Zielteilposition des Überwachungszielteils TG, die von der Abbildungseinheit 3 erfasst und von dem Detektor 83a erfasst wurde, und zeigt das Zustandsanzeigebild I1 auf der Anzeigeeinheit 41 an.
  • Zusätzlich, zum Beispiel, wie gezeigt in 6 und 7, kann die Anzeigeeinheit 41 ein Benachrichtigungsbild I1a zusätzlich zu dem oben beschriebenen Zustandsanzeigebild I1 als die Betriebszustandsvisualisierungsinformationen anzeigen. Das Benachrichtigungsbild I1a ist ein Bild, das eine Benachrichtigungsfigur zum Benachrichtigen des Insassen bildet, dass die detektierte Zielteilposition relativ weiter von der voreingestellten geeigneten Überwachungsposition entfernt ist. Das Benachrichtigungsbild I1a ist vorzugsweise zum Beispiel eine Figur mit einer relativ einfachen Form, die beispielsweise vom Fahrer leicht intuitiv erkennbar ist, und ist eine Figur, die die Form von „x“ im Beispiel von 7, ist aber nicht darauf beschränkt. In diesem Beispiel liest die Betriebssteuerung 84 beispielsweise das Benachrichtigungsbild I1a, das in der Speichereinheit 81 gespeichert ist, und zeigt das Benachrichtigungsbild I1a auf der Anzeigeeinheit 41 in der tieferen Anzeigefarbe (Anzeigefarbe auf der „guten“ Seite in 5) an, die in dem Fall verwendet wird, in dem die erfasste Zielteilposition relativ näher an der geeigneten Überwachungsposition ist. In diesem Fall, wie in 6 gezeigt, wenn das Zustandsanzeigebild I1 in der tieferen Anzeigefarbe angezeigt wird, das heißt, wenn die erfasste Zielteilposition relativ näher an der geeigneten Überwachungsposition ist, wird das Benachrichtigungsbild I1a in einer dem Zustandsanzeigebild I1 assimilierten Weise angezeigt, und wird in einen fast unsichtbaren Zustand gebracht. Im Gegensatz dazu, wie in 7 gezeigt, wenn das Zustandsanzeigebild I1 in der helleren Anzeigefarbe angezeigt wird, das heißt, wenn die detektierte Zielteilposition relativ weiter von der geeigneten Überwachungsposition entfernt ist, wird das Benachrichtigungsbild I1a in einer Weise angezeigt, die das Zustandsanzeigebild I1 überlappt und sich aus dem Zustandsanzeigebild I1 abhebt und wird in einen relativ leichter sichtbaren Zustand gebracht. Wie oben beschrieben, kann die Anzeigeeinheit 41 die Betriebszustandsvisualisierungsinformationen, die eine relative Position der erfassten Zielteilposition in Bezug auf die geeignete Überwachungsposition darstellt, in einer intuitiveren, schnelleren und leichter erkennbaren Weise anzeigen, indem das Benachrichtigungsbild I1a in Kombination mit dem Zustandsanzeigebild I1 angezeigt wird.
  • Zum Beispiel, wie in 8 gezeigt, kann die Anzeigeeinheit 41 als die visuelle Information über den Betriebszustand ein geeignetes Positionsbild I21 anzeigen, das die geeignete Überwachungsposition in Kombination mit einem erfassten Positionsbild I22 darstellt, das die detektierte Zielteilposition darstellt. Das entsprechende Positionsbild I21, das in 8 angezeigt ist, ist ein rahmenartiges Bild, das die geeignete Überwachungsposition umgibt. Das erfasste Positionsbild I22 ist ein Bild, das den Kopf nachahmt, der als Überwachungszielteil TG der Überwachungszielperson OB dient, und in diesem Beispiel ist es ein Bild mit einer im Wesentlichen elliptischen Form. Das entsprechende Positionsbild I21 ist ein Standbild an einer im Wesentlichen festen Position. Im Gegensatz dazu ist das erfasste Positionsbild I22 ein dynamisches Bild, das sich in einer Anzeigeposition gemäß der Änderung in der erfassten Zielteilposition des Überwachungszielteils TG ändert, die durch die Abbildungseinheit 3 erfasst und durch den Detektor 83a erfasst wird. Die Anzeigeeinheit 41 zeigt zweidimensional eine relative Position der erfassten Zielteilposition in Bezug auf die geeignete Überwachungsposition gemäß der relativen Positionsbeziehung zwischen dem geeigneten Positionsbild I21 und dem erfassten Positionsbild I22 an. In diesem Beispiel zeigt die Anzeigeeinheit 41 auch ein Lenkradbild I23 an, das das Lenkrad 104 nachahmt, und ein Sitzbild I24, das den Fahrersitz 105 nachahmt, In Kombination mit dem geeigneten Positionsbild I21 und dem erfassten Positionsbild I22. Diese Anzeige ermöglicht es dem Überwachungssystem 1, eine relative Position der erfassten Zielteilposition in Bezug auf die geeignete Überwachungsposition leichter und sinnvoll zu verstehen. Das erfasste Positionsbild I22 zeigt an, dass die detektierte Zielteilposition in der geeigneten Überwachungsposition ist, indem es in dem geeigneten Positionsbild I21 angezeigt wird, und zeigt an, dass die erfasste Zielteilposition außerhalb der geeigneten Überwachungsposition ist, indem sie außerhalb des geeigneten Positionsbildes I21 angezeigt wird. Die Betriebssteuerung 84 liest das Bild für die geeignete Position I21, das Bild für die erfasste Position I22, das Lenkradbild I23 und das Sitzbild I24, die in der Speichereinheit 81 gespeichert sind, und zeigt sie auf der Anzeigeeinheit 41 gemäß der relativen Positionsbeziehung zwischen der im Voraus eingestellten geeigneten Überwachungsposition und der durch den Detektor 83a erfassten Position des erfassten Zielteils des Überwachungszielteils TG an. Die Betriebssteuerung 84 ändert die Anzeigeposition des erfassten Positionsbilds I22 in einer Echtzeitweise entsprechend der Änderung der erfassten Zielteilposition des Überwachungszielteils TG, die von der Abbildungseinheit 3 erfasst und von dem Detektor 83a erfasst wird, und zeigt das detektierte Positionsbild I22 auf der Anzeigeeinheit 41 an.
  • Zum Beispiel, wie in 9 gezeigt, kann die Anzeigeeinheit 41 als die visuelle Information über den Betriebszustand ein geeignetes Positionsbild I31 anzeigen, das die geeignete Überwachungsposition in Kombination mit einem erfassten Positionsbild I32 darstellt, das die detektierte Zielteilposition darstellt. Das entsprechende Positionsbild I31, das in 9 angezeigt Ist, ist ein rahmenartiges Bild, das die geeignete Überwachungsposition umgibt. Das erfasste Positionsbild I32 ist ein Zeigerbild, das die Position des Kopfes darstellt, der als Überwachungszielteil TG der Überwachungszielperson OB dient. In der gleichen Weise wie das geeignete Positionsbild I21 ist das geeignete Positionsbild I31 ein Standbild an einer im Wesentlichen festen Position. Im Gegensatz dazu ist das erfasste Positionsbild I32 auf die gleiche Weise wie das erfasste Positionsbild I22 ein dynamisches Bild, das sich in der Anzeigeposition gemäß der Änderung der erfassten Zielteilposition des Überwachungszielteils TG, die durch die Abbildungseinheit 3 erfasst wird, ändert und von dem Detektor 83a detektiert. In diesem Beispiel zeigt die Anzeigeeinheit 41 dreidimensional eine relative Position der erfassten Zielteilposition in Bezug auf die geeignete Überwachungsposition gemäß der relativen Positionsbeziehung zwischen dem geeigneten Positionsbild I31 und dem erfassten Positionsbild I32 an. In diesem Beispiel zeigt die Anzeigeeinheit 41 auch ein Bild (dynamisches Bild) an, das selbst von der Abbildungseinheit 3 in Kombination mit dem geeigneten Positionsbild I31 und dem erfassten Positionsbild I32 erfasst wird. Diese Anzeige ermöglicht es dem Überwachungssystem 1, eine relative Position der erfassten Zielteilposition in Bezug auf die geeignete Überwachungsposition leichter und sinnvoll zu verstehen. Das erfasste Positionsbild I32 zeigt an, dass die detektierte Zielteilposition in der geeigneten Überwachungsposition ist, indem es in dem geeigneten Positionsbild I31 angezeigt wird, und zeigt an, dass die erfasste Zielteilposition außerhalb der geeigneten Überwachungsposition ist, indem sie außerhalb des geeigneten Positionsbildes I31 angezeigt wird. Die Betriebssteuereinrichtung 84 liest das Bild einer geeigneten Position I31, das Bild einer erfassten Position I32 und das Bild, das von der Bildgebungseinheit 3 erfasst wird, die in der Speichereinheit 81 gespeichert sind, und zeigt sie auf der Anzeigeeinheit 41 gemäß der relativen Positionsbeziehung zwischen der im Voraus eingestellten geeigneten Überwachungsposition und der durch den Detektor 83a erfassten Position des erfassten Zielteils des Überwachungszielteils TG an. In diesem Fall kann die Betriebssteuerung 84 das von der Abbildungseinheit 3 auf der Anzeigeeinheit 41 aufgenommene Bild anzeigen, wenn es erfasst wird. Die Betriebssteuerung 84 ändert die Anzeigeposition des erfassten Positionsbilds I32 in einer Echtzeitweise entsprechend der Änderung der erfassten Zielteilposition des Überwachungszielteils TG, die von der Abbildungseinheit 3 erfasst und von dem Detektor 83a erfasst wird, und zeigt das detektierte Positionsbild I32 auf der Anzeigeeinheit 41 an.
  • In dem oben beschriebenen Überwachungssystem 1 erfasst die Überwachungseinheit 83 den Überwachungszielteil TG der Überwachungszielperson OB basierend auf dem von der Abbildungseinheit 3 erfassten Bild und überwacht den Zustand der Überwachungszielperson OB basierend auf der erfassten Zielteilposition des detektierten Überwachungszielteils TG. In dem Überwachungssystem 1 zeigt die Anzeigeeinheit 41 die visuelle Information an, die eine relative Position der erfassten Zielteilposition in Bezug auf die voreingestellte geeignete Überwachungsposition darstellt. Dadurch kann das Überwachungssystem 1 beispielsweise ermöglichen, dass die Überwachungszielperson OB durch die visuelle Information erkennt, ob die Überwachungseinheit 83 den Überwachungszielteil TG der Überwachungszielperson OB entsprechend erfasst. Wenn sich beispielsweise die Betriebszustandsvisualisierungsinformationen in Reaktion auf eine absichtliche Bewegung des Überwachungszielteils TG durch die Überwachungszielperson OB ändert, kann das Überwachungssystem 1 der Überwachungszielperson OB ermöglichen, zu verstehen, dass die Überwachungseinheit 83 das Überwachungszielteil TG der Überwachungszielperson OB geeigneter Welse erfasst Wenn sich stattdessen die Betriebszustandsvisualisierungsinformationen in Reaktion auf eine absichtliche Bewegung des Überwachungszielteils TG durch die Überwachungszielperson OB nicht ändert, kann das Überwachungssystem 1 der Überwachungszielperson OB ermöglichen, zu verstehen, dass die Überwachungseinheit 83 das Überwachungszielteil TG der Überwachungszielperson OB nicht geeigneter Weise erfasst. Dadurch kann das Überwachungssystem 1 der Überwachungszielperson OB ermöglichen, den Betriebszustand zu verstehen. Wenn beispielsweise die Überwachungszielperson OB etwas trägt (wie beispielsweise einen Hut mit breiter Krempe, eine Maske oder eine große Sonnenbrille), was verhindert, dass der Detektor 83a den Überwachungszielteil TG erfasst, kann das Überwachungssystem 1 die Überwachungszielperson OB das zu veranlassen, dies zu entfernen. Das Überwachungssystem 1 kann auch die überwachende Zielperson OB auffordern, beispielsweise den Überwachungszielteil TG in der entsprechenden Überwachungsposition anzuordnen. Dementsprechend kann das Überwachungssystem 1 der Überwachungseinheit 83 ermöglichen, den Zustand der Überwachungszielperson OB geeigneter zu überwachen.
  • Zum Beispiel zeigt in dem oben beschriebenen Überwachungssystem 1 die Anzeigeeinheit 41 als die visuellen Informationen das Zustandsanzeigebild I1, das sich in der Anzeigefarbe gemäß einer relativen Position der erfassten Zielteilposition in Bezug auf die geeignete Überwachungsposition ändert. Dementsprechend kann das Überwachungssystem 1 die Änderung einer relativen Position der erfassten Zielteilposition in Bezug auf die geeignete Überwachungsposition auf vereinfachte Weise unter Verwendung der Anzeigefarbe des Zustandsanzeigebilds I1 ausdrücken. Mit anderen Worten kann das Überwachungssystem 1 in vereinfachter Form ausdrücken, ob sich die von der Abbildungseinheit 3 erfasste und vom Detektor 83a detektierte Zielteilposition des Überwachungszielteils TG mit der Bewegung des Überwachungszielteils TG entsprechend ändert, damit die Überwachungszielperson OB das geäußerte Ergebnis erkennen kann. Dadurch kann das Überwachungssystem 1 der Überwachungszielperson OB ermöglichen, den Betriebszustand vereinfacht zu verstehen.
  • Zum Beispiel kann in dem oben beschriebenen Überwachungssystem 1 die Anzeigeeinheit 41 als die visuelle Information das geeignete Positionsbild I21 oder I31 anzeigen, das die geeignete Überwachungsposition in Kombination mit dem erfassten Positionsbild I22 oder I32 darstellt, das den erfassten Zielteil darstellt Position. In diesem Fall kann das Überwachungssystem 1 eine relative Position der erfassten Zielteilposition in Bezug auf die geeignete Überwachungsposition auf eine leicht verständliche Art und Weise ausdrücken, unter Verwendung der relativen Positionsbeziehung zwischen dem geeigneten Positionsbild I21 oder I31 und dem erfassten Positionsbild I22 oder I32. Mit anderen Worten kann das Überwachungssystem 1 in vereinfachter Form ausdrücken, ob sich die von der Abbildungseinheit 3 erfasste und vom Detektor 83a detektierte Zielteilposition des Überwachungszielteils TG mit der Bewegung des Überwachungszielteils TG entsprechend ändert, damit die Überwachungszielperson OB das geäußerte Ergebnis erkennen kann. Dadurch kann das Überwachungssystem 1 der überwachenden Zielperson OB den Betriebszustand leichter verständlich machen.
  • Zusätzlich sind in dem Überwachungssystem 1, das oben beschrieben wurde, die Komponenten, die die Abbildungseinheit 3, die Ausgabeeinheit 4, die Beleuchtungseinrichtung 5, die Betriebseinheit 6, die externe Verbindungseinheit 7 und die Steuerung 8 enthalten, in dem Gehäuse 2 vorgesehen, das gesamte Überwachungssystem 1 kann als Überkopfmodul vereinheitlicht werden. Diese Konfiguration ermöglicht es dem Überwachungssystem 1, die Montage an dem Fahrzeug 100 zu erleichtern.
  • Das Überwachungssystem gemäß der oben beschriebenen Ausführungsform der vorliegenden Erfindung ist nicht auf die oben beschriebene Ausführungsform beschränkt und kann im Rahmen der in den Ansprüchen beschriebenen Erfindung auf verschiedene Weise modifiziert werden.
  • Obwohl die obige Beschreibung erläutert hat, dass als Beispiel der Überwachungszielperson OB in dem Innenraum 101 des Fahrzeugs 100 die Überwachungseinheit 83 den Zustand des Fahrers überwacht, der auf dem Fahrersitz 105 sitzt, ist die Überwachungszielperson OB nicht auf dieses Beispiel beschränkt. Die Überwachungszielperson OB kann ein anderer Passagier als der Fahrer des Fahrzeugs 100 sein. Der Überwachungszielteil TG wurde als der Kopf der Überwachungszielperson OB beschrieben, ist jedoch nicht darauf beschränkt und kann beispielsweise ein Arm sein.
  • Obwohl die obige Beschreibung erklärt hat, dass das gesamte Überwachungssystem 1 auf der Oberfläche auf der Seite des Innenraums 101 der Decke 102 des Fahrzeugs 100 vorgesehen ist und das Überkopfmodul bildet, ist das Überwachungssystem 1 nicht auf diese Erklärung beschränkt. Das Überwachungssystem 1 kann zum Beispiel eine Konfiguration aufweisen, in der die Steuerung 8 außerhalb des Gehäuses 2 vorgesehen ist und elektrisch mit den Komponenten über Verdrahtungsmaterial verbunden ist, oder kann beispielsweise eine Konfiguration aufweisen, in der die Fahrzeug-ECU zum integralen Steuern der Komponenten des Fahrzeugs 100 auch als die Steuerung 8 verwendet wird. Zum Beispiel können eine Anzeige, ein Lautsprecher und dergleichen eines Navigationssystems, das an dem Fahrzeug 100 montiert ist, auch als die Anzeigeeinheit 41 und der Lautsprecher 42 verwendet werden.
  • In dem Überwachungssystem der vorliegenden Ausführungsform erfasst die Überwachungseinheit den Überwachungszielteil der Überwachungszielperson basierend auf dem von der Bildgebungseinheit erfassten Bild und überwacht den Zustand der überwachten Zielperson basierend auf der erkannten Zielteilposition der erfassten Überwachung des Zielteils. Die Anzeigeeinheit des Überwachungssystems zeigt die visuellen Informationen an, die eine relative Position der erkannten Zielteilposition in Bezug auf die voreingestellte geeignete Überwachungsposition darstellen. Als Ergebnis kann das Überwachungssystem der überwachenden Zielperson ermöglichen, durch die visuellen Informationen zu verstehen, ob die Überwachungseinheit den Überwachungszielteil der überwachenden Zielperson in geeigneter Weise erfasst. Dementsprechend stellt das Überwachungssystem einen Effekt bereit, der es der überwachenden Zielperson ermöglicht, den Betriebszustand zu verstehen.
  • Obwohl die Erfindung in Bezug auf spezielle Ausführungsformen für eine vollständige und klare Offenbarung beschrieben wurde, sind die beigefügten Ansprüche nicht auf diese beschränkt, sondern sollen so ausgelegt werden, dass sie alle Modifikationen und alternativen Konstruktionen verkörpern, die einem Fachmann auf diesem Gebiet gerecht werden können fallen unter die hier dargelegte grundlegende Lehre.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2016038793 [0002]

Claims (4)

  1. Überwachungssystem (1), umfassend: eine Abbildungseinheit (3), die konfiguriert ist, um ein Bild aufzunehmen, das eine Überwachungszielperson (OB) in einem Innenabteil (101) eines Fahrzeugs (100) enthält; eine Überwachungseinheit (83) zum Erfassen eines Überwachungszielteils (TG) der Überwachungszielperson (OB) basierend auf dem von der Abbildungseinheit (3) erfassten Bild und Überwachen eines Zustands der Überwachungszielperson (OB) basierend auf einer erfassten Zielteilposition, die als eine Position des erfassten Überwachungszielteils (TG) dient; und eine Anzeigeeinheit (41), die in dem Innenabteil (101) des Fahrzeugs (100) vorgesehen und konfiguriert ist, um visuelle Informationen anzuzeigen, die eine relative Position der erfassten Zielteilposition in Bezug auf eine voreingestellte geeignete Überwachungsposition darstellt.
  2. Überwachungssystem (1) nach Anspruch 1, wobei die Anzeigeeinheit (41) konfiguriert ist, um als visuelle Informationen ein Zustandsanzeigebild (I1) anzuzeigen, das sich in der Anzeigefarbe gemäß einer relativen Position der erfassten Zielteilposition in Bezug auf die geeignete Überwachungsposition ändert.
  3. Überwachungssystem (1) nach Anspruch 1 oder 2, wobei die Anzeigeeinheit (41) konfiguriert ist, um als die visuellen Informationen ein geeignetes Positionsbild (I21, I31) anzuzeigen, das die geeignete Überwachungsposition in Kombination mit einem erfassten Positionsbild (I22, I32) darstellt, das die erfassten Zielteilposition darstellt.
  4. Überwachungssystem (1) nach einem der Ansprüche 1 bis 3, ferner umfassend: ein Gehäuse (2), das an einer Fläche an der Innenabteil (101) -Seite einer Decke (102) des Fahrzeugs (100) vorgesehen ist, und an die die Abbildungseinheit (3), die Überwachungseinheit (83), und die Anzeigeeinheit (41) zusammengebaut sind.
DE102018216026.0A 2017-09-25 2018-09-20 Überwachungssystem Withdrawn DE102018216026A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-183383 2017-09-25
JP2017183383A JP6804416B2 (ja) 2017-09-25 2017-09-25 監視システム

Publications (1)

Publication Number Publication Date
DE102018216026A1 true DE102018216026A1 (de) 2019-03-28

Family

ID=65638866

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018216026.0A Withdrawn DE102018216026A1 (de) 2017-09-25 2018-09-20 Überwachungssystem

Country Status (4)

Country Link
US (1) US10949688B2 (de)
JP (1) JP6804416B2 (de)
CN (1) CN109561277B (de)
DE (1) DE102018216026A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6969493B2 (ja) * 2018-05-16 2021-11-24 株式会社Jvcケンウッド 映像出力装置、映像出力方法、及びコンピュータプログラム
JP6782283B2 (ja) * 2018-07-03 2020-11-11 矢崎総業株式会社 監視システム
JP6881401B2 (ja) * 2018-07-09 2021-06-02 株式会社デンソー 異常判定装置
US11345298B2 (en) * 2019-12-26 2022-05-31 Panasonic Intellectual Property Management Co., Ltd. Driver monitoring device and driver monitoring method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016038793A (ja) 2014-08-08 2016-03-22 株式会社デンソー 運転者監視装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6792342B2 (en) * 1995-06-07 2004-09-14 Automotive Technologies International, Inc. Apparatus and method for controlling a vehicular component
US6575902B1 (en) * 1999-01-27 2003-06-10 Compumedics Limited Vigilance monitoring system
JP4270881B2 (ja) * 2001-05-28 2009-06-03 三菱電機株式会社 移動体用機器配設装置
JP4232462B2 (ja) * 2001-05-28 2009-03-04 三菱電機株式会社 移動体用表示装置
US6947071B2 (en) * 2002-11-13 2005-09-20 Kirstin Eichmann Vehicle compartment monitor
JP3947726B2 (ja) * 2003-05-22 2007-07-25 クラリオン株式会社 車載用表示制御装置、車載用表示装置、表示制御方法、制御プログラムおよび記録媒体
WO2004108466A1 (en) * 2003-06-06 2004-12-16 Volvo Technology Corporation Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
JP2007111247A (ja) * 2005-10-20 2007-05-10 Nissan Motor Co Ltd 運転者状態表示装置、および運転者状態表示方法
JP4832321B2 (ja) * 2007-01-26 2011-12-07 三洋電機株式会社 カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
JP2009113621A (ja) * 2007-11-06 2009-05-28 Toyota Motor Corp 乗員画像撮像装置、運転支援装置
US8116528B2 (en) * 2008-10-08 2012-02-14 Honda Motor Company, Ltd. Illumination source for an image based occupant classification system and vehicle using same
US8947219B2 (en) * 2011-04-22 2015-02-03 Honda Motors Co., Ltd. Warning system with heads up display
US8872640B2 (en) 2011-07-05 2014-10-28 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring health and ergonomic status of drivers of vehicles
US9602779B2 (en) * 2012-07-10 2017-03-21 Christopher DeJuliis System for passenger monitoring
WO2014027489A1 (ja) * 2012-08-17 2014-02-20 本田技研工業株式会社 運転支援装置
JP6364702B2 (ja) * 2013-03-29 2018-08-01 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
JP6170757B2 (ja) * 2013-06-26 2017-07-26 富士通テン株式会社 表示制御装置、表示システム、情報提供方法及びプログラム
CN103770733B (zh) * 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
FR3021912B1 (fr) * 2014-06-10 2017-11-24 Renault Sas Systeme de detection pour vehicule automobile pour signaler a l'aide d'une scene sonore un defaut de vigilance du conducteur
JP6372388B2 (ja) 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
EP3683623B1 (de) * 2014-06-23 2021-09-29 Honda Motor Co., Ltd. System und verfahren zur reaktion auf einen fahrerzustand
KR101619651B1 (ko) * 2014-11-26 2016-05-10 현대자동차주식회사 운전자 감시장치 및 그의 조명제어방법
JP6154411B2 (ja) * 2015-02-27 2017-06-28 本田技研工業株式会社 車両の注意喚起装置
JP6507015B2 (ja) * 2015-04-08 2019-04-24 日野自動車株式会社 運転者状態判定装置
WO2018013968A1 (en) * 2016-07-14 2018-01-18 Brightday Technologies, Inc. Posture analysis systems and methods
CN106230853A (zh) * 2016-08-29 2016-12-14 陕西西北铁道电子有限公司 一种轨道车安全防护系统
US10732420B2 (en) * 2016-09-20 2020-08-04 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Head up display with symbols positioned to augment reality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016038793A (ja) 2014-08-08 2016-03-22 株式会社デンソー 運転者監視装置

Also Published As

Publication number Publication date
US20190095734A1 (en) 2019-03-28
JP6804416B2 (ja) 2020-12-23
CN109561277B (zh) 2021-07-02
US10949688B2 (en) 2021-03-16
JP2019061329A (ja) 2019-04-18
CN109561277A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
DE102018216026A1 (de) Überwachungssystem
DE102017216006B4 (de) Kamera-Überwachungssystem
DE102017130414A1 (de) Fahrzeug-systeme zur kontextabhängigen beurteilung
DE102015219111B4 (de) Fahrerassistenzsystem und Verfahren zur Anpassung der Beleuchtung von Bedienelementen bei Kraftfahrzeugen
DE102009010614A1 (de) Fahrzeug-Anzeigevorrichtung
DE102015118092A1 (de) System und Verfahren zum Benachrichtigen eines Fahrers über mögliche Passagiere oder Objekte auf den Rücksitzen
DE102018208490B4 (de) Fahrzeugwarnvorrichtung
DE102018118600A1 (de) Überwachen und alarmieren von fahrzeuginsassen hinsichtlich zündsystemen
DE112014001607T5 (de) Situationswahrnehmungssystem und -verfahren
DE102018210160B4 (de) Am Fahrzeugdach montiertes System
WO2013152930A1 (de) Verfahren, vorrichtung und computerprogrammprodukt zum steuern zumindest einer funktion zumindest eines anzeigegerätes für einen innenraum eines fahrzeugs
DE102017118577A1 (de) Erkennung von ausfällen in einer led-leuchtenbaugruppe
DE102018207731A1 (de) Überwachungssystem
DE102020104032A1 (de) Vorrichtung zum überwachen eines fahrers, system mit derselben und verfahren davon
DE102020105566A1 (de) Überwachung des lenkradeingriffs für autonome fahrzeuge
DE102015218588A1 (de) Bordeigenes Warnsystem
DE102017204529A1 (de) Anordnung zur Aufmerksamkeitssteuerung des Fahrers eines Fahrzeugs und Verfahren zur Ansteuerung einer Anordnung zur Aufmerksamkeitssteuerung des Fahrers eines Fahrzeugs
DE102018217989A1 (de) Fahrzeuginterne Fotografiervorrichtung
DE102016205797A1 (de) Verfahren und Vorrichtung zum Zuordnen von Steuerbefehlen in einem Fahrzeug sowie Fahrzeug
DE102012016258A1 (de) Verfahren zum Betreiben eines Kraftfahrzeugs und Kraftfahrzeug
DE102016211034A1 (de) Informationsbereitstellungsvorrichtung für ein Fahrzeug
DE102020125661A1 (de) Fahrzeuginsassenüberwachungsvorrichtung und fahrzeuginsassenschutzsystem
DE102019116836A1 (de) Einblendschnittstellen für rückspiegelanzeigen
DE102020102671A1 (de) Geschwindigkeitsabhängiger dunkelmodus für polizeifahrzeuge
DE102013016879A1 (de) Verfahren zum Bedienen von Fahrzeugfunktionen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee