DE112019007358T5 - Onboard image processing device and onboard image processing method - Google Patents

Onboard image processing device and onboard image processing method Download PDF

Info

Publication number
DE112019007358T5
DE112019007358T5 DE112019007358.3T DE112019007358T DE112019007358T5 DE 112019007358 T5 DE112019007358 T5 DE 112019007358T5 DE 112019007358 T DE112019007358 T DE 112019007358T DE 112019007358 T5 DE112019007358 T5 DE 112019007358T5
Authority
DE
Germany
Prior art keywords
face
section
driver
area
misdetection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112019007358.3T
Other languages
German (de)
Inventor
Taro Yasuda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of DE112019007358T5 publication Critical patent/DE112019007358T5/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Abstract

Umfassen einer Bilderwerbssektion (101), die ein Bild erwirbt, in dem ein Bereich im Inneren eines Fahrzeugs aufgenommen ist, eine Gesichtsdetektionssektion (102), die basierend auf dem von der Bilderwerbssektion (101) erworbenen Bild das Gesicht des Fahrers und den Gesichtsbereich des Fahrers in diesem Bild detektiert, eine Luminanz-Berechnungssektion (104), die die durchschnittliche Luminanz der Bildelemente in dem Gesichtsbereich des Fahrers berechnet, eine Luminanz-Beurteilungssektion (105), die beurteilt, ob die von der Luminanz-Berechnungssektion (104) berechnete durchschnittliche Luminanz größer oder gleich einem Schwellenwert für die Luminanz-Beurteilung ist oder nicht, eine optische Einstellung-Steuerungssektion (106), die für den Fall, dass die Luminanz-Beurteilungssektion (105) beurteilt hat, dass die durchschnittliche Luminanz unterhalb des Schwellenwerts für die Luminanz-Beurteilung ist, eine Steuerung der optischen Einstellung der Abbildungsvorrichtung (20) durchführt, eine Fehldetektion-Beurteilungssektion (107), die basierend auf dem Ergebnis der Steuerung, die durch die optische Einstellung-Steuerungssektion (106) erfolgt ist, beurteilt, ob das Gesicht des Fahrers fehldetektiert wurde oder nicht, und eine Neusteuerung-Anordnungssektion (108), die für den Fall, dass eine Fehldetektion des Gesichts des Fahrers beurteilt wurde, eine Neusteuerungsanordnung ausgibt, durch die eine die optische Einstellung der Abbildungsvorrichtung (20) auf einen angemessenen Wert zurücksetzende Steuerung durchgeführt wird.Comprising an image acquisition section (101) that acquires an image in which an area inside a vehicle is captured, a face detection section (102) that detects the driver's face and the driver's face area based on the image acquired by the image acquisition section (101). detected in this image, a luminance calculation section (104) which calculates the average luminance of the picture elements in the driver's face area, a luminance judgment section (105) which judges whether the average luminance calculated by the luminance calculation section (104). is greater than or equal to a threshold value for the luminance judgment or not, an optical adjustment control section (106) which, when the luminance judgment section (105) has judged that the average luminance is below the threshold value for the luminance assessment is to control the optical adjustment of the imaging device (20), ei a misdetection judging section (107) which judges whether or not the driver's face has been misdetected based on the result of the control made by the optical adjustment control section (106), and a re-control arranging section (108), which, in the event that misdetection of the driver's face has been judged, issues a re-control arrangement by which control is performed to reset the optical adjustment of the imaging device (20) to an appropriate value.

Description

Technisches Gebiettechnical field

Die Erfindung betrifft eine Onboard-Bildverarbeitungsvorrichtung und ein Onboard-Bildverarbeitungsverfahren, um basierend auf einem Bild das Gesicht eines Fahrers festzustellen.The invention relates to an onboard image processing device and an onboard image processing method for detecting a driver's face based on an image.

Hintergrundtechnologiebackground technology

Herkömmlich ist eine Technik bekannt, bei der das Gesicht eines Fahrers basierend auf einem von einer Abbildungsvorrichtung erworbenen Bild, das den Fahrer abbildet, festgestellt wird, und basierend auf diesem Feststellungsergebnis die optische Einstellung der Abbildungsvorrichtung derart eingestellt wird, dass sich das Bild besser für die Feststellung des Gesichts des Fahrers eignet. Die optische Einstellung der Abbildungsvorrichtung beinhaltet eine Belichtungssteuerung, eine Verstärkungseinstellung usw. Beispielsweise ist im Patentdokument 1 eine Onboard-Bildverarbeitungsvorrichtung mit der Funktion offenbart, eine CCD-Steuerung anzuweisen, anhand eines von einer Kamera empfangenen Bildes den Gesichtsbereich des Fahrers festzustellen und eine Belichtungszeit zu berechnen, durch die sich in dem festgestellten Gesichtsbereich eine optimale Helligkeit des Bildes ergibt.Conventionally, a technique is known in which a driver's face is detected based on an image depicting the driver acquired from an imaging device, and based on this detection result, optical adjustment of the imaging device is adjusted so that the image is better for the driver Detection of the driver's face is suitable. Optical adjustment of the imaging device includes exposure control, gain adjustment, etc. For example, Patent Document 1 discloses an onboard image processing device having a function of instructing a CCD controller to detect the driver's face area based on an image received from a camera and to calculate an exposure time , which results in an optimal brightness of the image in the detected face area.

Dokumente des Standes der TechnikPrior Art Documents

Patentdokumentepatent documents

Patentdokument 1: JP Patentveröffentlichung Nr. 2009-116742 APatent Document 1: JP Patent Publication No. 2009-116742 A

Übersicht über die ErfindungOverview of the invention

Durch die Erfindung zu lösende AufgabeProblem to be solved by the invention

Bei einer herkömmlichen Onboard-Bildverarbeitungsvorrichtung wie derjenigen, die im Patentdokument 1 offenbart ist, besteht das Problem, dass die Möglichkeit der Abbildung des Gesichts eines anderen Insassen als das des Fahrers in dem Bild nicht berücksichtigt werden kann. Ist in dem Bild das Gesicht eines anderen Insassen als das des Fahrers abgebildet, kann es daher bei der herkömmlichen Onboard-Bildverarbeitungsvorrichtung dazu kommen, dass das Gesicht eines Insassen als Gesicht des Fahrers fehldetektiert wird. Eine Steuerung der optischen Einstellung, die basierend auf einem fehldetektierten Gesicht des Fahrers durchgeführt wird, ergibt keine geeignete Steuerung.In a conventional onboard image processing device such as that disclosed in Patent Document 1, there is a problem that the possibility of imaging the face of an occupant other than the driver in the image cannot be taken into account. Therefore, in the conventional onboard image processing apparatus, when the face of an occupant other than that of the driver is formed in the image, the face of an occupant may be misdetected as the face of the driver. Optical adjustment control performed based on a misdetected driver's face does not provide appropriate control.

Die Erfindung erfolgte zur Lösung des vorstehenden Problems und beabsichtigt, die Steuerung einer ungeeigneten optischen Einstellung basierend auf einem fehldetektierten Gesicht des Fahrers zu verhindern.The invention has been made to solve the above problem and intends to prevent the control of improper optical adjustment based on a misdetected driver's face.

Mittel zum Lösen der Aufgabemeans of solving the task

Die Onboard-Bildverarbeitungsvorrichtung gemäß dieser Erfindung umfasst eine Bilderwerbssektion, die von einer Abbildungsvorrichtung ein Bild erwirbt, in dem ein Bereich im Inneren eines Fahrzeugs aufgenommen ist, der einen Bereich umfasst, in dem sich das Gesicht eines Fahrers befinden sollte, der auf dem Fahrersitz sitzt, eine Gesichtsdetektionssektion, die basierend auf dem von der Bilderwerbssektion erworbenen Bild das Gesicht des Fahrers und den Gesichtsbereich des Fahrers auf diesem Bild detektiert, eine Luminanz-Berechnungssektion, die die durchschnittliche Luminanz der Bildelemente in dem Gesichtsbereich des Fahrers, der von der Gesichtsdetektionssektion detektiert wurde, berechnet, eine Luminanz-Beurteilungssektion, die beurteilt, ob die von der Luminanz-Berechnungssektion berechnete durchschnittliche Luminanz größer oder gleich einem Luminanz-Beurteilungs-Schwellenwert ist oder nicht, eine optische Einstellung-Steuerungssektion, die für den Fall, dass die Luminanz-Beurteilungssektion beurteilt hat, dass die durchschnittliche Luminanz unterhalb des Luminanz-Beurteilungs-Schwellenwerts ist, entsprechend der durchschnittlichen Luminanz eine Steuerung der optischen Einstellung der Abbildungsvorrichtung durchführt, eine Fehldetektion-Beurteilungssektion, die basierend auf dem Ergebnis der Steuerung, die durch die optische Einstellung-Steuerungssektion erfolgt ist, beurteilt, ob die Gesichtsdetektionssektion das Gesicht des Fahrers fehldetektiert hat oder nicht, und eine Neusteuerung-Anordnungssektion, die für den Fall, dass die Fehldetektion-Beurteilungssektion detektiert hat, dass die Gesichtsdetektionssektion das Gesicht des Fahrers fehldetektiert hat, an die optische Einstellung-Steuerungssektion eine Neusteuerungs-Anordnung ausgibt, durch die eine die optische Einstellung der Abbildungsvorrichtung auf einen angemessenen Wert zurücksetzende Steuerung durchgeführt wird.The onboard image processing device according to this invention includes an image acquisition section that acquires, from an imaging device, an image in which an area inside a vehicle including an area where the face of a driver sitting on the driver's seat should be is captured a face detection section which, based on the image acquired by the image acquisition section, detects the driver's face and the driver's face area on this image, a luminance calculation section which calculates the average luminance of the picture elements in the driver's face area detected by the face detection section , calculated, a luminance judgment section that judges whether or not the average luminance calculated by the luminance calculation section is greater than or equal to a luminance judgment threshold value, an optical adjustment control section that in the case that the luminance judgment section has judged that the average luminance is below the luminance judgment threshold value, according to the average luminance performs optical adjustment control of the imaging device, a misdetection judgment section based on the result of the control performed by the optical adjustment control section has been made, judges whether or not the face detection section has misdetected the driver's face, and a re-control arrangement section which, when the misdetection judging section has detected that the face detection section has misdetected the driver's face, to the optical adjustment - control section outputs a re-control order by which control resetting the optical adjustment of the imaging device to an appropriate value is performed.

Wirkungen der ErfindungEffects of the invention

Der Erfindung zufolge kann die Steuerung einer ungeeigneten optischen Einstellung basierend auf einem fehldetektierten Gesicht des Fahrers verhindert werden.According to the invention, the control of improper optical adjustment based on a misdetected driver's face can be prevented.

Figurenlistecharacter list

  • [1] 1 ist eine Ansicht, die ein Strukturbeispiel einer Onboard-Bildverarbeitungsvorrichtung gemäß einer ersten Ausführungsform zeigt.[ 1 ] 1 12 is a view showing a structural example of an onboard image processing device according to a first embodiment.
  • [2] 2A und 2B sind Ansichten, die Beispiele von bildlichen Darstellungen der Installationsposition und des Aufnahmebereichs einer Abbildungsvorrichtung bei der ersten Ausführungsform erläutern.[ 2 ] 2A and 2 B are views that are examples of pictorial representations of the Explain installation position and pickup range of an imaging device in the first embodiment.
  • [3] 3 ist eine Ansicht zur Erläuterung einer bildlichen Darstellung des Verfahrens, durch das in der ersten Ausführungsform eine Gesichtsdetektionssektion das Gesicht des Fahrers bestimmt.[ 3 ] 3 12 is a view for explaining a pictorial representation of the method by which a face detection section determines the driver's face in the first embodiment.
  • [4] 4 ist eine Ansicht zur Erläuterung einer bildlichen Darstellung eines Beispiels des Zustands in einem Fahrzeug, wenn in der ersten Ausführungsform durch die Gesichtsdetektionssektion das Gesicht des Fahrers fehldetektiert wird.[ 4 ] 4 12 is a view for explaining a pictorial representation of an example of the state in a vehicle when the driver's face is misdetected by the face detection section in the first embodiment.
  • [5] 5 ist eine Ansicht, die eine bildliche Darstellung zeigt, bei der in der ersten Ausführungsform in der ersten Ausführungsform in dem Bild in der Umgebung des Gesichtsbereichs des Fahrers eine Überbelichtung aufgetreten ist.[ 5 ] 5 14 is a view showing an image display where overexposure has occurred in the image in the vicinity of the driver's face area in the first embodiment.
  • [6] 6 ist eine Ansicht zur Erläuterung einer bildlichen Darstellung eines Gesichtspräsenz-Vermutungsbereichs bei der ersten Ausführungsform.[ 6 ] 6 Fig. 14 is a view for explaining a pictorial representation of a face presence presuming area in the first embodiment.
  • [7] 7A und 7B sind Ansichten zur Erläuterung von bildlichen Darstellungen eines Beispiels des Bereichs für die Gesichtsdetektion, der in der ersten Ausführungsform durch eine Bereichsverkleinerungssektion verkleinert wurde.[ 7 ] 7A and 7B 12 are views for explaining pictorial representations of an example of the area for face detection reduced by an area reduction section in the first embodiment.
  • [8] 8 ist ein Ablaufdiagramm zur Erläuterung des Betriebs der Onboard-Bildverarbeitungsvorrichtung gemäß der ersten Ausführungsform.[ 8th ] 8th 14 is a flowchart for explaining the operation of the onboard image processing device according to the first embodiment.
  • [9] 9 ist ein Ablaufdiagramm, um bei der ersten Ausführungsform den Betrieb in den Schritten ST804 bis ST807 in 8 detaillierter zu erläutern.[ 9 ] 9 Fig. 12 is a flowchart to explain the operation in steps ST804 to ST807 in Fig. 1 in the first embodiment 8th to explain in more detail.
  • [10] 10 ist ein Ablaufdiagramm, um bei der Onboard-Bildverarbeitungsvorrichtung gemäß einer zweiten Ausführungsform den Betrieb der Schritte ST804 bis ST807 in 8 detaillierter zu erläutern.[ 10 ] 10 12 is a flowchart for explaining the operation of steps ST804 to ST807 in FIG 8th to explain in more detail.
  • [11] 11 ist eine Ansicht, die ein Strukturbeispiel einer Onboard-Bildverarbeitungsvorrichtung gemäß einer dritten Ausführungsform zeigt.[ 11 ] 11 14 is a view showing a structural example of an onboard image processing device according to a third embodiment.
  • [12] 12 ist ein Ablaufdiagramm, um bei der Onboard-Bildverarbeitungsvorrichtung gemäß der dritten Ausführungsform den Betrieb der Schritte ST804 bis ST807 in 8 detaillierter zu erläutern.[ 12 ] 12 FIG. 14 is a flowchart for explaining the operation of steps ST804 to ST807 in FIG 8th to explain in more detail.
  • [13] 13A und 13B sind Ansichten, die Beispiele der Hardwarestruktur einer Onboard-Bildverarbeitungsvorrichtung gemäß der ersten bis dritten Ausführungsform zeigen.[ 13 ] 13A and 13B 12 are views showing examples of the hardware structure of an onboard image processing device according to the first to third embodiments.

Formen zur Ausführung der ErfindungForms for carrying out the invention

Im Folgenden werden Formen zur Ausführung der Erfindung anhand der Figuren konkret erläutert.In the following, forms for implementing the invention are specifically explained with reference to the figures.

Erste AusführungsformFirst embodiment

1 ist eine Ansicht, die ein Strukturbeispiel einer Onboard-Bildverarbeitungsvorrichtung 10 gemäß einer ersten Ausführungsform zeigt. 1 14 is a view showing a structural example of an onboard image processing device 10 according to a first embodiment.

Die Onboard-Bildverarbeitungsvorrichtung 10 ist in einem (nicht dargestellten) Fahrzeug eingebaut.The onboard image processing device 10 is installed in a vehicle (not shown).

Die Onboard-Bildverarbeitungsvorrichtung 10 ist mit einer Abbildungsvorrichtung 20 und einer Beleuchtungsvorrichtung 30 verbunden. Bei der ersten Ausführungsform wird davon ausgegangen, dass die Abbildungsvorrichtung 20 gemeinsam mit einer Abbildungsvorrichtung verwendet wird, die ein sogenanntes „Fahrerüberwachungssystem (Driver Monitoring System)“ aufweist und in einem Fahrzeug eingebaut ist, um den Zustand des Fahrers im Inneren eines Fahrzeugs zu beobachten. Hierbei handelt es sich lediglich um ein Beispiel, wobei die Abbildungsvorrichtung 20 eine Kamera usw. sein kann, die zum Zweck der Überwachung des Fahrzeuginneren installiert ist, und zumindest derart installiert ist, dass ein Bereich im Inneren des Fahrzeugs, der den Bereich einschließt, in dem sich das Gesicht eines auf dem Fahrersitz sitzenden Fahrers befinden sollte, aufnehmbar ist. Bei dem Bereich, in dem sich das Gesicht eines auf dem Fahrersitz sitzenden Fahrers befinden sollte, handelt es sich beispielsweise um einen Bereich, der dem Raum in der vorderen Umgebung der Kopfstütze des Fahrersitzes entspricht. Die Abbildungsvorrichtung 20 kann beispielsweise auch eine Kamera für sichtbares Licht oder eine Infrarotkamera sein. 2A und 2B sind Ansichten, die Beispiele von bildlichen Darstellungen der Installationsposition und des Aufnahmebereichs der Abbildungsvorrichtung 20 bei der ersten Ausführungsform erläutern. 2A und 2B sind Ansichten, die von oben betrachtete bildliche Darstellungen des Fahrzeuginneren eines Fahrzeugs zeigen. Wie in 2A und 2B gezeigt, ist bei der ersten Ausführungsform vorgegeben, dass sich im Fahrzeuginneren auch andere Insassen als der Fahrer befinden, wobei in 2A und 2B ein Fahrer mit 21a, ein Insasse auf dem Rücksitz mit 21b und ein Insasse auf dem Beifahrersitz mit 21c dargestellt ist.The onboard image processing device 10 is connected to an imaging device 20 and a lighting device 30 . In the first embodiment, it is assumed that the imaging device 20 is used together with an imaging device that has a so-called “Driver Monitoring System” and is installed in a vehicle to monitor the state of the driver inside a vehicle. This is just an example, and the imaging device 20 may be a camera, etc. that is installed for the purpose of monitoring the vehicle interior and is installed at least so that an area inside the vehicle including the area in where the face of a driver sitting in the driver's seat should be. The area where the face of a driver sitting on the driver's seat should be is, for example, an area corresponding to the space in the front vicinity of the headrest of the driver's seat. The imaging device 20 can also be, for example, a visible light camera or an infrared camera. 2A and 2 B 12 are views explaining examples of pictorial representations of the installation position and the shooting range of the imaging device 20 in the first embodiment. 2A and 2 B 12 are views showing pictorial representations of vehicle interiors of a vehicle viewed from above. As in 2A and 2 B shown, in the first embodiment, it is specified that there are occupants other than the driver in the vehicle interior, with FIG 2A and 2 B a driver is shown at 21a, a rear seat occupant at 21b, and a front passenger seat occupant at 21c.

Bei der ersten Ausführungsform wird beispielsweise angenommen, dass die Abbildungsvorrichtung 20, wie in 2A gezeigt, in der Mitte des Armaturenbretts des Fahrzeugs (im Folgenden „Armaturenbrett“ genannt) installiert ist und die Seite des Fahrersitzes von der Mitte des Armaturenbretts aus abbildet. For example, in the first embodiment, it is assumed that the mapping before direction 20, as in 2A shown installed in the center of the vehicle's dashboard (hereinafter referred to as "dashboard") and depicting the side of the driver's seat from the center of the dashboard.

Ferner wird bei der ersten Ausführungsform angenommen, dass die Abbildungsvorrichtung 20, wie in 2B gezeigt, in der Mitte des Armaturenbretts des Fahrzeugs installiert ist und den Fahrersitz und den Beifahrersitz von der Mitte des Armaturenbretts aus abbildet. Bei der folgenden Erläuterung ist vorgegeben, dass die Abbildungsvorrichtung 20 derart installiert ist, dass sich die Installationsposition und der Abbildungsbereich wie in 2A gezeigt ergeben.Furthermore, in the first embodiment, it is assumed that the imaging device 20 as shown in FIG 2 B shown installed in the center of the vehicle's dashboard and depicting the driver's seat and passenger's seat from the center of the dashboard. In the following explanation, it is assumed that the imaging device 20 is installed such that the installation position and the imaging area are as shown in FIG 2A shown result.

Die Beleuchtungsvorrichtung 30 ist ein Beleuchtungslicht emittierendes Leuchtgerät, wie eine LED (Light Emitting Diode) usw. Die Beleuchtungsvorrichtung 30 wird in der Nähe der Abbildungsvorrichtung 20 installiert. In der ersten Ausführungsform ist vorgegeben, dass die Abbildungsvorrichtung 20 mit der Beleuchtungsvorrichtung 30 ausgestattet ist. In 2A und 2B wird die Darstellung der Beleuchtungsvorrichtung 30 ausgelassen.The lighting device 30 is a lighting device emitting illumination light, such as an LED (Light Emitting Diode), etc. The lighting device 30 is installed in the vicinity of the imaging device 20 . In the first embodiment, it is predetermined that the imaging device 20 is equipped with the lighting device 30 . In 2A and 2 B illustration of the lighting device 30 is omitted.

Die Onboard-Bildverarbeitungsvorrichtung 10 erwirbt von der Abbildungsvorrichtung 20 ein Bild und detektiert das Gesicht des Fahrers und den Gesichtsbereich des Fahrers in diesem Bild, und führt entsprechend der durchschnittlichen Luminanz der Bildelemente in dem Gesichtsbereich eine Steuerung der optischen Einstellung der Abbildungsvorrichtung 20 durch. Der Gesichtsbereich ist ein bestimmter Bereich in dem Bild, der basierend auf der detektierten Position von Teilen des Gesichts des Fahrers in dem Bild eingestellt wird. Details des Gesichtsbereichs werden im Folgenden erläutert. Erfolgt eine Steuerung der optischen Einstellung der Abbildungsvorrichtung 20, beurteilt die Onboard-Bildverarbeitungsvorrichtung 10 basierend auf dem Ergebnis der erfolgten Steuerung, ob das Gesicht des Fahrers fehldetektiert wurde oder nicht (im Folgenden als „Fehldetektionsbeurteilung“ bezeichnet). Die Onboard-Bildverarbeitungsvorrichtung 10 führt eine Steuerung der optischen Einstellung der Abbildungsvorrichtung 20 auf einen angemessenen Wert durch, wenn bei der Fehldetektionsbeurteilung beurteilt wurde, dass das Gesicht des Fahrers fehldetektiert worden ist. Bei der Steuerung der optischen Einstellung der Abbildungsvorrichtung 20 auf einen angemessenen Wert wird beispielsweise die optische Einstellung der Abbildungsvorrichtung 20 in einen Voreinstellungszustand gesteuert. Bei der ersten Ausführungsform ist vorgegeben, dass die Onboard-Bildverarbeitungsvorrichtung 10 eine Steuerung der optischen Einstellung der Abbildungsvorrichtung 20 in einen Voreinstellungszustand durchführt, wenn beurteilt wurde, dass das Gesicht des Fahrers fehldetektiert worden ist. Die Onboard-Bildverarbeitungsvorrichtung 10 führt anschließend basierend auf einem Bild, das von der Abbildungsvorrichtung 20, deren optische Einstellung in den Anfangszustand gebracht wurde, erworben wurde, eine Neudetektion des Gesichts des Fahrers durch. Bei der ersten Ausführungsform handelt es sich bei der optischen Einstellung der Abbildungsvorrichtung 20 beispielsweise um die Belichtungszeit der Abbildungsvorrichtung 20, die Einschaltzeit der Beleuchtungsvorrichtung 30 oder den Verstärkungswert der Abbildungsvorrichtung 20. Bei dem Verbringen in den Voreinstellungszustand der optischen Einstellung handelt es sich um das Einstellen des Anfangswerts, auf den die Belichtungszeit voreingestellt ist, das Einstellen des Anfangswerts, auf den die Einschaltzeit voreingestellt ist, oder das Einstellen des Anfangswerts, auf den der Verstärkungswert voreingestellt ist. Als die jeweiligen Anfangswerte sind Werte eingestellt, bei denen angenommen wird, dass sie ausreichend sind, um unter bestimmten Bedingungen das Gesicht des Fahrers deutlich abzubilden. Wurde ferner bei der Fehldetektionsbeurteilung beurteilt, dass das Gesicht des Fahrers nicht fehldetektiert worden ist, führt die Onboard-Bildverarbeitungsvorrichtung 10 eine Verarbeitung durch, bei der basierend auf dem detektierten Gesicht des Fahrers der Zustand des Fahrers überwacht wird, entsprechend dem Zustand des Fahrers eine Warnung ausgegeben wird, usw. Hierdurch wird verhindert, dass durch die Onboard-Bildverarbeitungsvorrichtung 10 eine Steuerung der optischen Einstellung der Abbildungsvorrichtung 20 entsprechend der durchschnittlichen Luminanz der Bildelemente eines Gesichtsbereichs erfolgt, der das Gesicht eines anderen Insassen als das des Fahrers beinhaltet. Ferner wird verhindert, dass es durch die Onboard-Bildverarbeitungsvorrichtung 10 zur Ausgabe einer Warnung usw. kommt, die nicht auf dem Zustand des Fahrers beruht.The onboard image processing device 10 acquires an image from the imaging device 20 and detects the driver's face and the driver's face area in this image, and performs optical adjustment control of the imaging device 20 according to the average luminance of the pixels in the face area. The face area is a specific area in the image that is adjusted based on the detected position of parts of the driver's face in the image. Details of the face area are explained below. When the optical adjustment of the imaging device 20 is controlled, the onboard image processing device 10 judges whether or not the driver's face has been misdetected (hereinafter referred to as “misdetection judgment”) based on the result of the performed control. The onboard image processing device 10 performs optical adjustment control of the imaging device 20 to an appropriate value when it has been judged in the misdetection judgment that the driver's face has been misdetected. In controlling the optical adjustment of the imaging device 20 to an appropriate value, for example, the optical adjustment of the imaging device 20 is controlled to a default state. In the first embodiment, it is predetermined that the onboard image processing device 10 performs optical adjustment control of the imaging device 20 in a default state when it is judged that the driver's face has been misdetected. The onboard image processing device 10 then re-detects the driver's face based on an image acquired from the imaging device 20 whose optical adjustment has been brought to the initial state. In the first embodiment, the optical adjustment of the imaging device 20 is, for example, the exposure time of the imaging device 20, the on-time of the lighting device 30, or the gain value of the imaging device 20. Bringing the optical adjustment to the preset state is adjusting the setting the initial value to which the exposure time is preset, setting the initial value to which the on-time is preset, or setting the initial value to which the gain value is preset. As the respective initial values, values which are assumed to be sufficient to clearly image the driver's face under certain conditions are set. Further, when it has been judged in the misdetection judgment that the driver's face has not been misdetected, the onboard image processing device 10 performs processing of monitoring the driver's condition based on the detected driver's face, warning according to the driver's condition is output, etc. This prevents the onboard image processing device 10 from controlling the optical adjustment of the imaging device 20 in accordance with the average luminance of picture elements of a face region including the face of an occupant other than the driver. Further, the onboard image processing device 10 is prevented from issuing a warning, etc., which is not based on the driver's condition.

Die Onboard-Bildverarbeitungsvorrichtung 10 umfasst, wie in 1 gezeigt, eine Bild-Erwerbssektion 101, eine Gesichtsdetektionssektion 102, eine Fahrer-Überwachungssektion 103, eine Luminanz-Berechnungssektion 104, eine Luminanz-Beurteilungssektion 105, eine optische Einstellung-Steuerungssektion 106, eine Fehldetektion-Beurteilungssektion 107, eine Neusteuerung-Anordnungssektion 108, eine Bereichsverkleinerungssektion 109 und eine Neudetektion-Anordnungssektion 110. Die optische Einstellung-Steuerungssektion 106 umfasst eine Belichtungssteuerungssektion 1061 und eine Bildverarbeitungssektion 1062.The onboard image processing device 10 comprises, as in 1 1, an image acquisition section 101, a face detection section 102, a driver monitoring section 103, a luminance calculation section 104, a luminance judgment section 105, an optical adjustment control section 106, a misdetection judgment section 107, a re-control arrangement section 108, a area reduction section 109; and a re-detection arrangement section 110. The optical adjustment control section 106 includes an exposure control section 1061 and an image processing section 1062.

Die Bild-Erwerbssektion 101 erwirbt von der Abbildungsvorrichtung 20 ein Bild, in dem ein Bereich im Inneren des Fahrzeugs abgebildet ist, der den Bereich einschließt, in dem sich das Gesicht eines auf dem Fahrersitz sitzenden Fahrers befinden sollte. Die Abbildungsvorrichtung 20 wandelt aus dem Inneren des Fahrzeugs erworbenes Licht in elektrische Signale um und erzeugt basierend auf den elektrischen Signalen Bilddaten. Die Abbildungsvorrichtung 20 gibt die erzeugten Bilddaten an die Bild-Erwerbssektion 101 aus. Die Bild-Erwerbssektion 101 erwirbt die von der Abbildungsvorrichtung 20 ausgegebenen Bilddaten. Die Abbildungsvorrichtung 20 kann auch aus dem Inneren des Fahrzeugs erworbenes Licht in elektrische Signale umwandeln und an die Bild-Erwerbssektion 101 ausgeben. In diesem Fall erwirbt die Bild-Erwerbssektion 101 die Bilddaten durch Umwandlung der von der Abbildungsvorrichtung 20 ausgegebenen elektrischen Signale.The image acquisition section 101 acquires, from the imaging device 20, an image in which an area inside the vehicle including the area where the face of a driver seated on the driver's seat is located is imaged should. The imaging device 20 converts light acquired from inside the vehicle into electrical signals and generates image data based on the electrical signals. The imaging device 20 outputs the generated image data to the image acquisition section 101 . The image acquisition section 101 acquires the image data output from the imaging device 20 . The imaging device 20 can also convert light acquired from inside the vehicle into electric signals and output it to the image acquisition section 101 . In this case, the image acquisition section 101 acquires the image data by converting the electrical signals output from the imaging device 20 .

Hierbei schließt die Angabe, dass die Bild-Erwerbssektion 101 „ein Bild von der Abbildungsvorrichtung 20 erwirbt“ beispielsweise ein, wenn die Bild-Erwerbssektion 101, wie vorstehend angegeben, von der Abbildungsvorrichtung 20 ausgegebene Bilddaten erwirbt, oder die Bild-Erwerbssektion 101 durch das Umwandeln der von der Abbildungsvorrichtung 20 ausgegebenen elektrischen Signale Bilddaten erwirbt. Die Bild-Erwerbssektion 101 gibt das erworbene Bild an die Gesichtsdetektionssektion 102 und die Luminanz-Berechnungssektion 104 aus.Here, the indication that the image acquisition section 101 "acquires an image from the imaging device 20" includes, for example, when the image acquisition section 101 acquires image data output from the imaging device 20 as stated above, or the image acquisition section 101 by the Converting the electrical signals output from the imaging device 20 acquires image data. The image acquisition section 101 outputs the acquired image to the face detection section 102 and the luminance calculation section 104 .

Die Gesichtsdetektionssektion 102 detektiert basierend auf dem von der Bild-Erwerbssektion 101 erworbenen Bild das Gesicht des Fahrers und einen Gesichtsbereich des Fahrers in dem Bild. Konkret detektiert die Gesichtsdetektionssektion 102 beispielsweise durch die Detektion von Teilen des Gesichts in einem Bereich für die Gesichtsdetektion, der in dem Bild eingestellt wurde, das Gesicht des Fahrers. Die Gesichtsdetektionssektion 102 kann die Teile des Gesichts mittels einer bekannten Bilderkennungstechnologie detektieren. Der Bereich für die Gesichtsdetektion ist ein Bereich in dem Bild, der als Gegenstand der Detektion des Gesichts des Fahrers durch die Gesichtsdetektionssektion 102 vorgegeben ist, wobei der Anfangswert des Bereichs für die Gesichtsdetektion vorab z. B. durch einen Benutzer eingestellt wird. Dann werden Daten bezüglich des Bereichs für die Gesichtsdetektion in einer Speichersektion (Darstellung ausgelassen) gespeichert. Durch die Daten bezüglich des Bereichs für die Gesichtsdetektion wird der Bereich für die Gesichtsdetektion definiert, wobei die Daten bezüglich des Bereichs für die Gesichtsdetektion Daten einschließen, durch die der Bereich für die Gesichtsdetektion in dem Bild spezifiziert werden kann, z. B. Koordinaten usw. zur Spezifizierung eines Rahmens, der den Bereich für die Gesichtsdetektion anzeigt. Die Gesichtsdetektionssektion 102 spezifiziert mit Referenz auf die Speichersektion den Bereich für die Gesichtsdetektion und detektiert das Gesicht des Fahrers. Die Gesichtsdetektionssektion 102 detektiert auch den Gesichtsbereich des Fahrers. In der ersten Ausführungsform ist der Gesichtsbereich beispielsweise als Rechteck eingestellt, das ein oberes Ende des Gesichts, ein unteres Ende des Gesichts, ein linkes Ende des Gesichts und ein rechtes Ende des Gesichts passiert, wobei von den Teilen des Gesichts die Position der Augenbrauen das obere Ende, die Position des Mundes das untere Ende, die Enden der Seite des äußeren Augenwinkels des linken und rechten Auges jeweils das linke Ende und das rechte Ende vorgeben. Der Gesichtsbereich kann ferner als Rechteck eingestellt werden, bei dem das vorstehende Rechteck, das ein oberes Ende des Gesichts, ein unteres Ende des Gesichts, ein linkes Ende des Gesichts und ein rechtes Ende des Gesichts passiert, in einem vorab eingestellten Verhältnis usw. vergrößert wurde.The face detection section 102 detects the driver's face and a face area of the driver in the image based on the image acquired by the image acquisition section 101 . Concretely, the face detection section 102 detects the driver's face by detecting parts of the face in a face detection area set in the image, for example. The face detection section 102 can detect the parts of the face using a known image recognition technology. The area for face detection is an area in the image that is set as an object of detection of the driver's face by the face detection section 102, and the initial value of the area for face detection is previously set e.g. B. is set by a user. Then, data on the area for face detection is stored in a storage section (illustration omitted). The face detection area data defines the face detection area, the face detection area data including data by which the face detection area in the image can be specified, e.g. B. coordinates, etc. to specify a frame showing the area for face detection. The face detection section 102 specifies the area for face detection with reference to the storage section, and detects the driver's face. The face detection section 102 also detects the driver's face area. For example, in the first embodiment, the face area is set as a rectangle passing an upper end of the face, a lower end of the face, a left end of the face and a right end of the face, of the parts of the face where the position of the eyebrows is the upper end, the position of the mouth the bottom end, the ends of the side of the outer corner of the left and right eyes specify the left end and the right end, respectively. The face area can also be set as a rectangle in which the protruding rectangle passing a top end of the face, a bottom end of the face, a left end of the face and a right end of the face has been enlarged at a preset ratio, etc .

Wenn bei der folgenden Erläuterung davon die Rede ist, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers detektiert, ist von der Detektion des Gesichts des Fahrers auch die Detektion des Gesichtsbereichs des Fahrers umfasst.In the following explanation, when it is said that the face detection section 102 detects the driver's face, the detection of the driver's face includes the detection of the driver's face area.

Wurden in dem Bereich für die Gesichtsdetektion eine Mehrzahl von Gesichtern detektiert, bestimmt die Gesichtsdetektionssektion 102 basierend auf dem Zuverlässigkeitsgrad der detektierten Gesichter das Gesicht mit dem höchsten Zuverlässigkeitsgrad als Gesicht des Fahrers.
In der ersten Ausführungsform betrachtet die Gesichtsdetektionssektion 102 beispielsweise das größte Gesicht in dem Gesichtsbereich als Gesicht des höchsten Zuverlässigkeitsgrades.When a plurality of faces have been detected in the area for face detection, the face detection section 102 determines the face with the highest degree of reliability as the driver's face based on the degree of reliability of the detected faces.
For example, in the first embodiment, the face detection section 102 regards the largest face in the face area as the face of the highest degree of reliability.

Hierbei ist 3 eine Ansicht zur Erläuterung einer bildlichen Darstellung des Verfahrens, durch das in der ersten Ausführungsform die Gesichtsdetektionssektion 102 das Gesicht des Fahrers bestimmt.
In 3 ist ein von der Bild-Erwerbssektion 101 erworbenes Bild mit 200 und ein Bereich für die Gesichtsdetektion in dem Bild 200 mit 201 dargestellt.here is 3 14 is a view for explaining a pictorial representation of the method by which the face detection section 102 determines the driver's face in the first embodiment.
In 3 an image acquired by the image acquiring section 101 is shown at 200 and an area for face detection in the image 200 is shown at 201 .

Nun wird angenommen, dass die Gesichtsdetektionssektion 102 in dem Bereich für die Gesichtsdetektion 201 in dem Bild 200 zwei Gesichter, nämlich ein erstes Gesicht 202a und ein zweites Gesicht 202b detektiert hat. Ferner wird angenommen, dass die Gesichtsdetektionssektion 102 einen Gesichtsbereich des ersten Gesichts 202a (im Folgenden als „erster Gesichtsbereich 203a“ bezeichnet) und einen Gesichtsbereich des zweiten Gesichts 202b (im Folgenden als „zweiter Gesichtsbereich 203b“ bezeichnet) detektiert hat .
In diesem Fall beurteilt die Gesichtsdetektionssektion 102 von dem ersten Gesichtsbereich 203a und dem zweiten Gesichtsbereich 203b das größere erste Gesicht 202a, das dem ersten Gesichtsbereich 203a entspricht, als Gesicht mit dem höchsten Zuverlässigkeitsgrad, und bestimmt dieses als Gesicht des Fahrers. Das heißt, die Gesichtsdetektionssektion 102 detektiert von dem detektierten ersten Gesicht 202a und zweiten Gesicht 202b das erste Gesicht 202a als Gesicht des Fahrers.It is now assumed that the face detection section 102 has detected two faces, namely a first face 202a and a second face 202b in the area for face detection 201 in the image 200. Further, it is assumed that the face detection section 102 has detected a face area of the first face 202a (hereinafter referred to as “first face area 203a”) and a face area of the second face 202b (hereinafter referred to as “second face area 203b”).
In this case, of the first face area 203a and the second face area 203b, the face detection section 102 judges the larger first face 202a corresponding to the first face area 203a as the face having the tallest degree of reliability, and designates this as the driver's face. That is, the face detection section 102 detects the first face 202a as the face of the driver out of the detected first face 202a and second face 202b.

Wird beispielsweise der Bereich für die Gesichtsdetektion derart umfangreich eingestellt, dass das Gesicht des Fahrers auch dann detektiert werden kann, wenn das Gesicht des Fahrers sich an verschiedene Positionen bewegt, kann es vorkommen, dass der Bereich für die Gesichtsdetektion, wie z. B. in 3 gezeigt, auch das Gesicht eines auf dem Rücksitz sitzenden Insassen beinhaltet. Ist in dem Bereich für die Gesichtsdetektion das Gesicht eines auf dem Rücksitz sitzenden Insassen beinhaltet, kann es vorkommen, dass die Gesichtsdetektionssektion 102 das zweite Gesicht 202b, bei dem es sich um das Gesicht dieses Insassen handelt, zusammen mit dem ersten Gesicht 202a, bei dem es sich um das Gesicht des Fahrers handelt, detektiert. Normalerweise sitzt der Fahrer näher an der Abbildungsvorrichtung 20, sodass das Gesicht des Fahrers in dem Bild größer aufgenommen wird. Infolgedessen beurteilt die Gesichtsdetektionssektion 102, selbst wenn von der Gesichtsdetektionssektion 102 beide, das zweite Gesicht 202b, bei dem es sich um das Gesicht des Insassen handelt, und das erste Gesicht 202a, bei dem es sich um das Gesicht des Fahrers handelt, detektiert wurden, das erste Gesicht 202a mit dem größeren Gesichtsbereich als Gesicht mit dem höchsten Zuverlässigkeitsgrad und bestimmt das erste Gesicht 202a als Gesicht des Fahrers.For example, if the face detection area is set so wide that the driver's face can be detected even if the driver's face moves to different positions, the face detection area such as Am 3 shown also includes the face of a rear seat occupant. When the face of an occupant seated in the rear seat is included in the area for face detection, the face detection section 102 may detect the second face 202b, which is the face of that occupant, together with the first face 202a, which is the face of that occupant it is the face of the driver is detected. Normally, the driver sits closer to the imaging device 20, so the driver's face is captured larger in the image. As a result, even when both the second face 202b, which is the occupant's face, and the first face 202a, which is the driver's face, have been detected by the face detection section 102, the face detection section 102 judges the first face 202a with the larger face area as the face with the highest degree of reliability, and determines the first face 202a as the driver's face.

Als ein Beispiel wurde hier davon ausgegangen, dass die Gesichtsdetektionssektion 102 basierend auf der Größe des Gesichtsbereichs den Zuverlässigkeitsgrad des detektierten Gesichts beurteilt, wobei es sich hierbei lediglich um ein Beispiel handelt. Die Gesichtsdetektionssektion 102 kann beispielsweise auch entsprechend der Höhe des Zuverlässigkeitsgrades der detektierten Teile eines Gesichts den Zuverlässigkeitsgrad des Gesichts beurteilen. Der Zuverlässigkeitsgrad der Teile eines Gesichts bezeichnet zum Beispiel das Ausmaß, in dem die Augen augentypisch sind oder die Nase nasentypisch ist. Die Gesichtsdetektionssektion 102 kann den Zuverlässigkeitsgrad der Teile des Gesichts mittels einer bekannten Bilderkennungstechnologie wie einem Mustervergleich usw. detektieren.As an example, it is assumed here that the face detection section 102 judges the degree of reliability of the detected face based on the size of the face area, which is just an example. The face detection section 102 can also judge the reliability degree of the face according to the level of the reliability degree of the detected parts of a face, for example. For example, the confidence level of the parts of a face indicates the extent to which the eyes are eye-typical or the nose is nose-typical. The face detection section 102 can detect the degree of reliability of the parts of the face using a known image recognition technology such as pattern matching and so on.

Die Gesichtsdetektionssektion 102 gibt Daten bezüglich des detektierten Gesichts des Fahrers (im Folgenden „Gesichtsdaten“ genannt) an die Fahrer-Überwachungssektion 103, die Luminanz-Berechnungssektion 104 und die Fehldetektion-Beurteilungssektion 107 aus. Die Gesichtsdaten des Fahrers beinhalten Daten bezüglich der Teile des Gesichts des Fahrers und Daten bezüglich des Gesichtsbereichs des Fahrers. Konkreter handelt es sich bei den Daten bezüglich der Teile des Gesichts des Fahrers beispielsweise um Daten, die Teile des Gesichts des Fahrers darstellen, die Position der Teile zeigen und mit Koordinaten in dem Bild in Beziehung gesetzt sind. Ferner handelt es sich bei den Daten bezüglich des Gesichtsbereichs des Fahrers beispielsweise um Koordinaten in dem Bild, zum Spezifizieren eines den Gesichtsbereich des Fahrers zeigenden Rahmens. Bei der Gesichtsdetektionssektion 102 kann es sich auch um eine solche handeln, bei der zusammen mit dem von der Bild-Erwerbssektion 101 ausgegebenen Bild eine Ausgabe an die Fahrer-Überwachungssektion 103, die Luminanz-Berechnungssektion 104 und die Fehldetektion-Beurteilungssektion 107 erfolgt. Ferner lässt die Gesichtsdetektionssektion 102 die detektierten Gesichtsdaten des Fahrers in der Speichersektion speichern.The face detection section 102 outputs data on the driver's detected face (hereinafter referred to as “face data”) to the driver monitoring section 103 , the luminance calculation section 104 , and the misdetection judging section 107 . The driver's face data includes data on the parts of the driver's face and data on the driver's face area. More specifically, the data on the parts of the driver's face is, for example, data representing parts of the driver's face, showing the positions of the parts, and relating coordinates in the image. Further, the data on the driver's face area is, for example, coordinates in the image for specifying a frame showing the driver's face area. The face detection section 102 may also be one that outputs to the driver monitor section 103, the luminance calculation section 104, and the misdetection judgment section 107 together with the image output from the image acquisition section 101. Further, the face detection section 102 has the detected face data of the driver stored in the storage section.

Zurück zur Erläuterung von 1. Die Fahrer-Überwachungssektion 103 überwacht den Zustand des Fahrers basierend auf den von der Gesichtsdetektionssektion 102 ausgegebenen Gesichtsdaten, wenn von der Fehldetektion-Beurteilungssektion 107 Gesichtsdetektion-Vorhanden-Daten ausgegeben werden. Bei der ersten Ausführungsform wird als Zustand des Fahrers, der von der Fahrer-Überwachungssektion 103 überwacht wird, ein Zustand des Fahrers bezeichnet, in dem keine Konzentration auf das Autofahren vorliegt, wie ein Sekundenschlaf, ein Wegsehen usw. und dadurch das Autofahren beeinträchtigt sein kann. Die Fehldetektion-Beurteilungssektion 107 wird im Folgenden beschrieben.Back to the explanation of 1 . The driver monitoring section 103 monitors the state of the driver based on the face data output from the face detection section 102 when face detection presence data is output from the misdetection judging section 107 . In the first embodiment, the state of the driver monitored by the driver monitoring section 103 is a state of the driver in which there is no concentration on driving, such as microsleep, looking away, etc., and thereby driving may be impaired . The misdetection judging section 107 will be described below.

Die Fahrer-Überwachungssektion 103 überwacht beispielsweise basierend auf dem Augenöffnungsgrad oder dem Winkel des Nasenrückens des Fahrers, ob kein Sekundenschlaf, ein Wegsehen usw. des Fahrers vorliegt. Die Technologie, bei der basierend auf Daten bezüglich der Teile des Gesichts der Augenöffnungsgrad, der Winkel des Nasenrückens usw. berechnet wird, ist allgemein bekannt, sodass eine detaillierte Erläuterung ausgelassen wird. Es genügt, wenn durch die Fahrer-Überwachungssektion 103 überwacht wird, ob sich der Fahrer in einem Zustand befindet, in dem das Autofahren beeinträchtigt sein kann.
Beurteilt die Fahrer-Überwachungssektion 103, dass sich der Fahrer in einem Zustand befindet, in dem das Autofahren beeinträchtigt sein kann, gibt sie Warnausgabe-Befehlsdaten an eine Warnausgabe-Steuerungssektion (nicht dargestellt) aus.
Werden von der Fahrer-Überwachungssektion 103 Warnausgabe-Befehlsdaten ausgegeben, lässt die Warnausgabe-Steuerungssektion durch eine Ausgabevorrichtung (nicht dargestellt) eine Warnung ausgeben. Die Ausgabevorrichtung ist beispielsweise eine Audioausgabevorrichtung, mit der ein Fahrzeug ausgestattet ist, und ist mit der Onboard-Bildverarbeitungsvorrichtung 10 verbunden. Die Warnausgabe-Steuerungssektion veranlasst die Ausgabevorrichtung z. B. zur Ausgabe eines Warntons.The driver monitoring section 103 monitors whether there is no microsleep, looking away, etc. of the driver based on, for example, the degree of eye opening or the angle of the bridge of the nose of the driver. The technology in which the degree of eye opening, the angle of the bridge of the nose, etc. is calculated based on data on the parts of the face is well known, so a detailed explanation is omitted. It suffices if it is monitored by the driver monitoring section 103 whether the driver is in a state where driving may be impaired.
When the driver monitoring section 103 judges that the driver is in a state where driving may be impaired, it outputs warning output command data to a warning output control section (not shown).
When warning output command data is output from the driver monitoring section 103, the warning output control section issues a warning by an output device (not shown). The output device is for example an audio output device equipped in a vehicle and is connected to the onboard image processing device 10 . The warning output control section causes the output device to e.g. B. to output a warning tone.

Die Luminanz-Berechnungssektion 104 berechnet in dem von der Bild-Erwerbssektion 101 erworbenen Bild die durchschnittliche Luminanz der Bildelemente in dem Gesichtsbereich des Fahrers (im Folgenden als „Fahrer-Gesichtsbereich-Bildelemente“ bezeichnet), der von der Gesichtsdetektionssektion 102 detektiert wurde. Die Luminanz-Berechnungssektion 104 gibt Daten bezüglich der berechneten durchschnittlichen Luminanz der Fahrer-Gesichtsbereich-Bildelemente (im Folgenden als „Gesichtsbereich-Luminanz-Daten“ bezeichnet) an die Luminanz-Beurteilungssektion 105 aus.The luminance calculation section 104 calculates the average luminance of the pixels in the driver's face area (hereinafter referred to as “driver's face area pixels”) detected by the face detection section 102 in the image acquired by the image acquisition section 101 . The luminance calculation section 104 outputs data on the calculated average luminance of the driver's face area pixels (hereinafter referred to as “face area luminance data”) to the luminance judgment section 105 .

Die Luminanz-Beurteilungssektion 105 beurteilt basierend auf den von der Luminanz-Berechnungssektion 104 ausgegebenen Gesichtsbereich-Luminanz-Daten, ob die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente größer oder gleich einem Schwellenwert (im Folgenden als „Schwellenwert für die Luminanz-Beurteilung“ bezeichnet) ist oder nicht. Als Schwellenwert für die Luminanz-Beurteilung wird beispielsweise zum Zeitpunkt der Produktlieferung usw. anhand eines Bildes, das vorab bei einem Standardlicht aufgenommen wurde, auf der Basis der durchschnittlichen Luminanz der Bildelemente des Gesichtsbereichs des Fahrers, die vorstellbar ist, wenn das Gesicht des Fahrers angemessen detektiert wurde, beispielsweise der niedrigste durchschnittliche Luminanzwert eingestellt, der als durchschnittliche Luminanz der Bildelemente des Gesichtsbereichs des Fahrers vorstellbar ist. Die Luminanz-Beurteilungssektion 105 gibt für den Fall, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente unterhalb des Schwellenwerts für die Luminanz-Beurteilung ist, Daten darüber, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente unterhalb des Schwellenwerts für die Luminanz-Beurteilung ist, an die Belichtungssteuerungssektion 1061 der optischen Einstellung-Steuerungssektion 106 oder an die Bildverarbeitungssektion 1062 der optischen Einstellung-Steuerungssektion 106 aus. Konkret gibt die Luminanz-Beurteilungssektion 105 zunächst Daten darüber, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente unterhalb des Schwellenwerts für die Luminanz-Beurteilung ist, an die Belichtungssteuerungssektion 1061 aus. Die Belichtungssteuerungssektion 1061, die diese empfängt, führt dann eine Belichtungssteuerung durch. Die Belichtungssteuerungssektion 1061 wird im Folgenden detailliert beschrieben. Führt die Belichtungssteuerungssektion 1061 eine Belichtungssteuerung durch, beurteilt die Luminanz-Beurteilungssektion 105, ob die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente nach der Belichtungssteuerung größer oder gleich dem Schwellenwert für die Luminanz-Beurteilung ist. Dabei kann die Luminanz-Beurteilungssektion 105 die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente nach der Belichtungssteuerung dadurch erwerben, dass sie die Luminanz-Berechnungssektion 104 zu deren Berechnung veranlasst.The luminance judgment section 105 judges, based on the face area luminance data output from the luminance calculation section 104, whether the average luminance of the driver's face area pixels is greater than or equal to a threshold value (hereinafter referred to as “luminance judgment threshold value”) ) is or not. As a threshold for the luminance judgment, for example, at the time of product delivery, etc., from an image previously taken under a standard light, based on the average luminance of the picture elements of the driver's face area that can be imagined when the driver's face is appropriate has been detected, for example the lowest average luminance value imaginable as the average luminance of the picture elements of the driver's face area is set. The luminance judging section 105, when the average luminance of the driver's face area pixels is below the luminance judgment threshold value, outputs data that the average luminance of the driver's face area pixels is below the luminance judgment threshold value. Judgment is made to the exposure control section 1061 of the optical adjustment control section 106 or to the image processing section 1062 of the optical adjustment control section 106. Concretely, the luminance judgment section 105 first outputs data that the average luminance of the driver's face area pixels is below the luminance judgment threshold to the exposure control section 1061 . The exposure control section 1061 receiving this then performs exposure control. The exposure control section 1061 will be described in detail below. When the exposure control section 1061 performs exposure control, the luminance judgment section 105 judges whether the average luminance of the driver's face area picture elements after the exposure control is equal to or higher than the luminance judgment threshold. At this time, the luminance judgment section 105 can acquire the average luminance of the driver's face area pixels after the exposure control by causing the luminance calculation section 104 to calculate it.

Die Luminanz-Beurteilungssektion 105 gibt für den Fall, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente nach der Belichtungssteuerung unterhalb des Schwellenwerts für die Luminanz-Beurteilung ist, Daten darüber, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente unterhalb des Schwellenwerts für die Luminanz-Beurteilung ist, an die Bildverarbeitungssektion 1062 aus. Die Bildverarbeitungssektion 1062 führt eine Verstärkungseinstellung durch. Die Bildverarbeitungssektion 1062 wird im Folgenden detailliert beschrieben. Führt die Bildverarbeitungssektion 1062 eine Verstärkungseinstellung durch, beurteilt die Luminanz-Beurteilungssektion 105, ob die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente nach der Verstärkungseinstellung größer oder gleich dem Schwellenwert für die Luminanz-Beurteilung ist. Dabei kann die Luminanz-Beurteilungssektion 105 die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente nach nach der Verstärkungseinstellung dadurch erwerben, dass sie die Luminanz-Berechnungssektion 104 zu deren Berechnung veranlasst. Auf diese Weise sorgt die Luminanz-Beurteilungssektion 105 dafür, dass Änderungen der optischen Einstellung in der Reihenfolge der Belichtungssteuerungssektion 1061 und der Bildverarbeitungssektion 1062 erfolgen.The luminance judgment section 105 outputs data that the average luminance of the driver's face area pixels is below the threshold value for luminance when the average luminance of the driver's face area pixels after the exposure control is below the threshold value for the luminance judgment the luminance judgment is, to the image processing section 1062 out. The image processing section 1062 performs gain adjustment. The image processing section 1062 will be described in detail below. When the image processing section 1062 performs gain adjustment, the luminance judgment section 105 judges whether the average luminance of the driver's face area pixels after the gain adjustment is greater than or equal to the luminance judgment threshold. Here, the luminance judgment section 105 can acquire the average luminance of the driver's face area pixels after gain adjustment by causing the luminance calculation section 104 to calculate it. In this way, the luminance judgment section 105 makes optical adjustment changes in the order of the exposure control section 1061 and the image processing section 1062 .

Für den Fall, dass beurteilt wurde, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente nach der Belichtungssteuerung größer oder gleich dem Schwellenwert für die Luminanz-Beurteilung ist, gibt die Luminanz-Beurteilungssektion 105 an die optische Einstellung-Steuerungssektion 106 keine Daten darüber aus, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente unterhalb des Schwellenwerts für die Luminanz-Beurteilung ist.In the case where it is judged that the average luminance of the driver's face area pixels after the exposure control is equal to or more than the luminance judgment threshold, the luminance judgment section 105 does not output data about it to the optical adjustment control section 106 that the average luminance of the driver's face area pixels is below the threshold value for the luminance judgment.

Wurde von der Luminanz-Beurteilungssektion 105 beurteilt, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente unterhalb des Schwellenwerts für die Luminanz-Beurteilung ist, führt die optische Einstellung-Steuerungssektion 106 entsprechend der durchschnittlichen Luminanz der Fahrer-Gesichtsbereich-Bildelemente, die durch die Luminanz-Berechnungssektion 104 berechnet wurde, eine Steuerung der optischen Einstellung der Abbildungsvorrichtung 20 durch. Die Belichtungssteuerungssektion 1061 der optischen Einstellung-Steuerungssektion 106 führt eine Belichtungssteuerung aus, wenn von der Luminanz-Beurteilungssektion 105 Daten darüber ausgegeben werden, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente unterhalb des Schwellenwerts für die Luminanz-Beurteilung ist. Konkret verlängert die Belichtungssteuerungssektion 1061 die Belichtungszeit der Abbildungsvorrichtung 20. Ferner verlängert die Belichtungssteuerungssektion 1061 bei Bedarf die Einschaltzeit der Beleuchtungsvorrichtung 30 angepasst an die geänderte Belichtungszeit. In welchem Ausmaß durch die Belichtungssteuerungssektion 1061 die Belichtungszeit oder die Einschaltzeit verlängert wird, wird als entsprechend der durchschnittlichen Luminanz der Fahrer-Gesichtsbereich-Bildelemente vorab festgelegt erachtet.When it has been judged by the luminance judgment section 105 that the average luminance of the driver's face area pixels is below the luminance judgment threshold value, the optical adjustment control section 106 performs according to the average luminance of the driver's face area pixels represented by the Luminance calculation section 104 has been calculated, a control of the optical adjustment of the imaging device 20 by. the Exposure control section 1061 of the optical adjustment control section 106 performs exposure control when data is output from the luminance judgment section 105 that the average luminance of the driver's face area pixels is below the luminance judgment threshold. Concretely, the exposure control section 1061 lengthens the exposure time of the imaging device 20. Further, the exposure control section 1061 lengthens the on-time of the lighting device 30 to match the changed exposure time, if necessary. To what extent the exposure time or the ON time is lengthened by the exposure control section 1061 is considered to be predetermined according to the average luminance of the driver's face area pixels.

Die Bildverarbeitungssektion 1062 der optischen Einstellung-Steuerungssektion 106 führt eine Verstärkungssteuerung durch, wenn von der Luminanz-Beurteilungssektion 105 Daten darüber ausgegeben werden, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente nach der Belichtungssteuerung unterhalb des Schwellenwerts für die Luminanz-Beurteilung ist. Konkret hebt die Bildverarbeitungssektion 1062 den Verstärkungswert der Abbildungsvorrichtung 20 an und macht das Bild heller. In welchem Ausmaß durch die Bildverarbeitungssektion 1062 der Verstärkungswert angehoben wird, wird als entsprechend der durchschnittlichen Luminanz der Fahrer-Gesichtsbereich-Bildelemente vorab festgelegt erachtet.The image processing section 1062 of the optical adjustment control section 106 performs gain control when data is output from the luminance judgment section 105 that the average luminance of the driver's face area pixels after exposure control is below the luminance judgment threshold. Concretely, the image processing section 1062 increases the gain value of the imaging device 20 and makes the image brighter. To what extent the gain value is increased by the image processing section 1062 is considered to be predetermined according to the average luminance of the driver's face area pixels.

Ferner führt die optische Einstellung-Steuerungsvorrichtung 106 eine Steuerung durch, durch die die optische Einstellung der Abbildungsvorrichtung 20 auf den Anfangswert zurückgestellt wird, wenn von der Neusteuerung-Anordnungssektion 108 eine Neusteuerungsanordnung ausgegeben wurde. Details der Neusteuerung-Anordnungssektion 108 werden im Folgenden erläutert.
Die Belichtungssteuerungssektion 1061 führt bei der Ausgabe einer Neusteuerungsanweisung durch ein Zurücksetzen der Belichtungszeit oder der Belichtungszeit und der Einschaltzeit auf den Anfangswert eine Belichtungssteuerung zum Verbringen in den Voreinstellungszustand durch. Die Bildverarbeitungssektion 1062 führt bei der Ausgabe einer Neusteuerungsanordnung durch ein Zurücksetzen des Verstärkungswerts auf den Anfangswert eine Verstärkungseinstellung zum Verbringen in den Voreinstellungszustand durch.Further, the optical adjustment control device 106 performs control by which the optical adjustment of the imaging device 20 is returned to the initial value when a recontrol instruction has been issued from the recontrol instruction section 108 . Details of the re-control arrangement section 108 will be explained below.
The exposure control section 1061 performs exposure control to bring into the preset state by resetting the exposure time or the exposure time and the ON time to the initial value when issuing a re-control instruction. The image processing section 1062 performs gain adjustment to bring into the default state by resetting the gain value to the initial value upon issuing a re-control arrangement.

Basierend auf dem Ergebnis der Steuerung, die von der optischen Einstellung-Steuerungssektion 106 durchgeführt wurde, beurteilt die Fehldetektion-Beurteilungssektion 107, ob das Gesicht des Fahrers von der Gesichtsdetektionssektion 102 fehldetektiert wurde oder nicht, d. h. sie führt eine Fehldetektion-Beurteilung durch. Konkret beurteilt die Fehldetektion-Beurteilungssektion 107, ob die Daten bezüglich der Abbildungsvorrichtung 20, die aufgrund der Durchführung der Belichtungssteuerung erzielt werden, wenn eine Belichtungssteuerung der Belichtungssteuerungssektion 1061 der optischen Einstellung-Steuerungssektion 106 durchgeführt wurde, Gesicht-Fehldetektionsbedingungen erfüllen oder nicht. Ferner beurteilt die Fehldetektion-Beurteilungssektion 107, ob die Daten bezüglich der Abbildungsvorrichtung 20, die aufgrund der Durchführung der Verstärkungseinstellung erzielt werden, wenn eine Verstärkungseinstellung der Bildverarbeitungssektion 1062 der optischen Einstellung-Steuerungssektion 106 durchgeführt wurde, Gesicht-Fehldetektionsbedingungen erfüllen oder nicht. Bei der ersten Ausführungsform beinhalten die Daten bezüglich der Abbildungsvorrichtung 20, die aufgrund der Durchführung der Belichtungssteuerung durch die Belichtungssteuerungssektion 1061 oder aufgrund der Durchführung der Verstärkungseinstellung durch die Bildverarbeitungssektion 1062 erzielt werden, Daten der Luminanz des Bildes, das von der Abbildungsvorrichtung 20 erworben wurde, oder Daten des Verstärkungswerts der Abbildungsvorrichtung 20.Based on the result of the control performed by the optical adjustment control section 106, the misdetection judging section 107 judges whether or not the driver's face has been misdetected by the face detection section 102, i. H. it performs a misdetection judgment. Concretely, the misdetection judging section 107 judges whether or not the data on the imaging device 20 obtained due to the execution of the exposure control when an exposure control of the exposure control section 1061 of the optical adjustment control section 106 has been performed satisfies face misdetection conditions. Further, the misdetection judging section 107 judges whether or not the data on the imaging device 20 obtained due to the performance of gain adjustment when gain adjustment of the image processing section 1062 of the optical adjustment control section 106 has been performed satisfies face misdetection conditions. In the first embodiment, the data on the imaging device 20 obtained as a result of the exposure control being performed by the exposure control section 1061 or the gain adjustment being performed by the image processing section 1062 includes data of the luminance of the image acquired from the imaging device 20, or Data of the gain value of the imaging device 20.

Die Fehldetektion-Beurteilungssektion 107 beurteilt, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat, wenn die Daten bezüglich der Abbildungsvorrichtung 20 die Gesicht-Fehldetektionsbedingungen erfüllen. Andererseits beurteilt die Fehldetektion-Beurteilungssektion 107, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers korrekt detektiert hat, wenn die Daten bezüglich der Abbildungsvorrichtung 20 die Gesicht-Fehldetektionsbedingungen nicht erfüllen. Das heißt, bei der ersten Ausführungsform handelt es sich bei den Gesicht-Fehldetektionsbedingungen um Bedingungen zur Beurteilung, ob die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat oder nicht.The misdetection judging section 107 judges that the face detection section 102 misdetected the driver's face when the data on the imaging device 20 satisfies the face misdetection conditions. On the other hand, the misdetection judging section 107 judges that the face detection section 102 correctly detected the driver's face when the data on the imaging device 20 does not satisfy the face misdetection conditions. That is, in the first embodiment, the face misdetection conditions are conditions for judging whether or not the face detection section 102 has misdetected the driver's face.

4 ist hierbei eine Ansicht zur Erläuterung einer bildlichen Darstellung eines Beispiels des Zustands in einem Fahrzeug, wenn in der ersten Ausführungsform durch die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert wird. 4 12 is a view for explaining a pictorial representation of an example of the state in a vehicle when the driver's face is misdetected by the face detection section 102 in the first embodiment.

Befinden sich beispielsweise die Insassen in einem Fahrzeug in einem Zustand, der auf dem in 3 gezeigten Bild abgebildet ist, detektiert die Gesichtsdetektionssektion 102 das erste Gesicht 202a als Gesicht des Fahrers. Da es sich bei dem ersten Gesicht 202a tatsächlich um das Gesicht des Fahrers handelt, konnte die Gesichtsdetektionssektion 102 das Gesicht des Fahrers korrekt detektieren.For example, if the occupants of a vehicle are in a condition that is based on the 3 is mapped to the image shown, the face detection section 102 detects the first face 202a as the driver's face. Since the first face 202a is actually the driver's face, the face detection section 102 could correctly detect the driver's face.

Nun wird angenommen, dass der Fahrer anschließend aus dem Zustand, der in dem in 3 gezeigten Bild abgebildet ist, eine Hand an eine Position bewegt, die von der Abbildungsvorrichtung 20 aus gesehen vor dem Gesicht des Fahrers liegt.It is now assumed that the driver subsequently exits from the state described in the in 3 image shown, moves a hand to a position forward of the driver's face as viewed from the imaging device 20 .

Dadurch wird, wie in 4 gezeigt, nur das zweite Gesicht 202b, bei dem es sich um das Gesicht des Insassen auf dem Rücksitz handelt, als Gesicht in dem Bereich für die Gesichtsdetektion 201 detektiert. Die Gesichtsdetektionssektion 102 kann zwar nicht mehr die Teile des ersten Gesichts 202a detektieren, bei dem es sich um das Gesicht des Fahrers handelt, und welches sie bis dahin detektieren konnte, sie kann jedoch in dem Bild Teile des zweiten Gesichts 202b in dem Bereich für die Gesichtsdetektion 201 detektieren. Folglich detektiert die Gesichtsdetektionssektion 102 das zweite Gesicht 202b als Gesicht des Fahrers. Daher kann die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektieren.This will, as in 4 1, only the second face 202b, which is the face of the rear seat occupant, is detected as a face in the face detection area 201. FIG. Although the face detection section 102 can no longer detect the parts of the first face 202a, which is the driver's face, which it was able to detect until then, it can detect parts of the second face 202b in the area for the driver in the image Face detection 201 detect. Consequently, the face detection section 102 detects the second face 202b as the driver's face. Therefore, the face detection section 102 may misdetect the driver's face.

Hat die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert, kann die optische Einstellung-Steuerungssektion 106 entsprechend der durchschnittlichen Luminanz der Fahrer-Gesichtsbereich-Bildelemente eine Steuerung der optischen Einstellung durchführen. Konkret berechnet die Luminanz-Berechnungssektion 104, wenn die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert, die durchschnittliche Luminanz der fehldetektierten Fahrer-Gesichtsbereich-Bildelemente. Beurteilt dann die Luminanz-Beurteilungssektion 105, dass die durchschnittliche Luminanz der fehldetektierten Fahrer-Gesichtsbereich-Bildelemente unterhalb des Schwellenwerts für die Luminanz-Beurteilung liegt, führt die optische Einstellung-Steuerungssektion 106 eine Steuerung der optischen Einstellung der Abbildungsvorrichtung 20 entsprechend den fehldetektierten Fahrer-Gesichtsbereich-Bildelementen durch.
Bei dem vorstehend mittels 4 erläuterten Beispiel bedeutet das, dass die optische Einstellung-Steuerungssektion 106 entsprechend der durchschnittlichen Luminanz der Bildelemente des zweiten Gesichtsbereichs 203b eine Steuerung der optischen Einstellung der Abbildungsvorrichtung 20 durchführt, wenn das zweite Gesicht 202b als Gesicht des Fahrers fehldetektiert wird.When the face detection section 102 has misdetected the driver's face, the optical adjustment control section 106 may perform optical adjustment control according to the average luminance of the driver's face area pixels. Concretely, when the face detection section 102 misdetects the driver's face, the luminance calculation section 104 calculates the average luminance of the misdetected driver's face area pixels. Then, when the luminance judging section 105 judges that the average luminance of the misdetected driver's face area pixels is below the luminance judgment threshold value, the optical adjustment control section 106 performs optical adjustment control of the imaging device 20 corresponding to the misdetected driver's face area -Picture elements through.
In the case of the above means 4 In the example explained, when the second face 202b is misdetected as the driver's face, the optical adjustment control section 106 performs optical adjustment control of the imaging device 20 according to the average luminance of the picture elements of the second face area 203b.

Da normalerweise z. B. Licht der Beleuchtungsvorrichtung 30 den Rücksitz schwerer erreicht als den Fahrersitz, werden Insassen des Rücksitzes in dem Bild dunkel abgebildet. Bei einer Fehldetektion des Gesichts eines Insassen des Rücksitzes als Gesicht des Fahrers durch die Gesichtsdetektionssektion 102 kann daher die durchschnittliche Luminanz des zweiten Gesichtsbereichs 203b, der durch die Luminanz-Berechnungssektion 104 berechnet wird, unterhalb des Schwellenwerts für die Luminanz-Beurteilung liegen, da das zweite Gesicht 202b dunkler abgebildet wird. Dabei erfolgt durch die optische Einstellung-Steuerungssektion 106 eine Steuerung der optischen Einstellung, die auf den zweiten Gesichtsbereich 203b abgestimmt ist, bei dem es sich um den Gesichtsbereich eines anderen Insassen als den des Fahrers handelt.
Erfolgt eine auf den zweiten Gesichtsbereich 203b abgestimmte Steuerung der optischen Einstellung, führt dies dazu, dass der erste Gesichtsbereich 203a, der eigentlich als Gesichtsbereich des Fahrers zu detektieren gewesen wäre, in dem Bild heller als nötig abgebildet wird, da es sich um einen Bereich handelt, der ursprünglich bereits heller abgebildet wird als der zweite Gesichtsbereich 203b. Konkret wird beispielsweise, wenn durch die Belichtungssteuerungssektion 1061 der optischen Einstellung-Steuerungssektion 106 eine Belichtungssteuerung durchgeführt wird, die durchschnittliche Luminanz der Bildelemente des ersten Gesichtsbereichs 203a weitaus größer als die durchschnittliche Luminanz, die als durchschnittliche Luminanz der Bildelemente des Gesichtsbereichs des Fahrers erachtet wird. Ferner wird beispielsweise, wenn durch die Bildverarbeitungssektion 1062 der optischen Einstellung-Steuerungssektion 106 eine Verstärkungssteuerung durchgeführt wird, der Verstärkungswert des ersten Gesichtsbereichs 203a weitaus größer als der Verstärkungswert, der als ausreichend für eine deutliche Abbildung des Gesichts des Fahrers erachtet wird. Führt beispielsweise die Bildverarbeitungssektion 1062 eine Verstärkungseinstellung durch, tritt ferner dadurch, dass der Verstärkungswert des ersten Gesichtsbereichs 203a zunimmt, in dem ersten Gesichtsbereich eine sogenannte „Überbelichtung“ auf. 5 ist eine Ansicht, die eine bildliche Darstellung zeigt, bei der in der ersten Ausführungsform in dem Bild, das von der Abbildungsvorrichtung 20 erworben wurde, in der Umgebung des Gesichtsbereichs des Fahrers eine Überbelichtung aufgetreten ist.Since normally e.g. For example, light from the lighting device 30 has a harder time reaching the rear seat than the driver's seat, and rear seat occupants are displayed dark in the image. Therefore, if the face of a rear seat occupant is misdetected as the driver's face by the face detection section 102, the average luminance of the second face area 203b calculated by the luminance calculation section 104 may be below the luminance judgment threshold value because the second Face 202b is imaged darker. At this time, the optical adjustment control section 106 controls the optical adjustment that matches the second face area 203b, which is the face area of an occupant other than the driver.
If the optical setting is controlled in a way that is tailored to the second face area 203b, this means that the first face area 203a, which should actually have been detected as the face area of the driver, is shown in the image brighter than necessary because it is one area , which is originally already imaged lighter than the second face area 203b. Concretely, for example, when exposure control is performed by the exposure control section 1061 of the optical adjustment control section 106, the average luminance of the pixels of the first face area 203a becomes far greater than the average luminance considered to be the average luminance of the pixels of the driver's face area. Further, for example, when gain control is performed by the image processing section 1062 of the optical adjustment control section 106, the gain value of the first face area 203a becomes far larger than the gain value considered sufficient for clearly imaging the driver's face. Further, for example, when the image processing section 1062 performs gain adjustment, since the gain value of the first face area 203a increases, so-called “overexposure” occurs in the first face area. 5 14 is a view showing an image display where overexposure has occurred in the vicinity of the driver's facial area in the image acquired by the imaging device 20 in the first embodiment.

Selbst wenn beispielsweise nach einem Zustand, in dem vorübergehend die Teile des Gesichts des Fahrers nicht detektiert werden können (vgl. 4), der Zustand, in dem die Teile des Gesichts des Fahrers detektiert werden können, zurückgekehrt ist (vgl. 3), wird daher dadurch, dass die Luminanz der Bildelemente des ersten Gesichtsbereichs 203a, bei dem es sich um den Gesichtsbereich des Fahrers handelt, nicht angemessen ist, eine Neudetektion des ersten Gesichts 202a, bei dem es sich um das Gesicht des Fahrers handelt, als Gesicht durch die Gesichtsdetektionssektion 102 schwierig.Even if, for example, after a state in which the parts of the driver's face cannot be detected temporarily (cf. 4 ), the state in which the parts of the driver's face can be detected has returned (cf. 3 ), therefore, because the luminance of the picture elements of the first face area 203a, which is the driver's face area, is not appropriate, a re-detection of the first face 202a, which is the driver's face, as Face by the face detection section 102 difficult.

Anschließend detektiert dann die Gesichtsdetektionssektion 102 das zweite Gesicht 202b, bei dem es sich um das Gesicht des Insassen auf dem Rücksitz handelt, fortgesetzt als Gesicht des Fahrers. Dadurch, dass die Gesichtsdetektionssektion 102 fortgesetzt das zweite Gesicht 202b als Gesicht des Fahrers detektiert, führt die Fahrer-Überwachungssektion 103 fortgesetzt eine Überwachung des Zustands bezüglich des zweiten Gesichts 202b durch. Dadurch wird, wenn durch die Fahrer-Überwachungssektion 103 beurteilt wird, dass sich der Insasse des Rücksitzes in einem Sekundenschlafzustand befindet, eine Warnung durch die Ausgabevorrichtung ausgegeben. Hierbei handelt es sich um eine unnötige Warnung, da es sich tatsächlich nicht um eine Warnung bezüglich eines Sekundenschlafzustands des Fahrers handelt.Subsequently, then, the face detection section 102 detects the second face 202b, which is the face of the occupant on the Back seat acts, continued as driver's face. With the face detection section 102 continuing to detect the second face 202b as the driver's face, the driver monitoring section 103 continues to monitor the state of the second face 202b. Thereby, when it is judged by the driver monitoring section 103 that the rear seat occupant is in a microsleep state, a warning is issued by the output device. This is an unnecessary warning as it is not actually a driver microsleep warning.

Daher führt die Fehldetektion-Beurteilungssektion 107 basierend auf dem Ergebnis der Steuerung, die durch die optische Einstellung-Steuerungssektion 106 durchgeführt wurde, eine Fehldetektion-Beurteilung durch, wobei berücksichtigt wird, dass die Gesichtsdetektionssektion 102 das Gesicht eines anderen Insassen als des Fahrers als Gesicht des Fahrers detektieren kann (vgl. 4). Wie vorstehend beschrieben, führt die Fehldetektion-Beurteilungssektion 107 eine Fehldetektionsbeurteilung durch, bei der beurteilt wird, ob aufgrund der Durchführung der Belichtungssteuerung durch die Belichtungssteuerungssektion 1061 oder aufgrund der Verstärkungseinstellung durch die Bildverarbeitungssektion 1062 die Daten bezüglich der Abbildungsvorrichtung 20 die Gesicht-Fehldetektionsbedingungen erfüllen oder nicht.Therefore, based on the result of the control performed by the optical adjustment control section 106, the misdetection judging section 107 performs a misdetection judgment, considering that the face detection section 102 detects the face of an occupant other than the driver as the face of the driver driver can detect (cf. 4 ). As described above, the misdetection judging section 107 performs a misdetection judgment of judging whether or not the data on the imaging device 20 satisfies the face misdetection conditions due to the execution of the exposure control by the exposure control section 1061 or due to the gain adjustment by the image processing section 1062 .

Wurde durch die Belichtungssteuerungssektion 1061 eine Belichtungssteuerung durchgeführt, handelt es sich bei der Gesicht-Fehldetektionsbedingung beispielsweise darum, „ob die durchschnittliche Luminanz der Bildelemente eines Bereichs, bei dem eine höhere Wahrscheinlichkeit einer Abbildung des Gesichts des Fahrers in dem Bereich für die Gesichtsdetektion vermutet wird (im Folgenden als „Gesichtspräsenz-Vermutungsbereich“ bezeichnet), eine voreingestellte Bedingung (im Folgenden als „erste Beurteilungsbedingung“ bezeichnet) erfüllt oder nicht”.When exposure control has been performed by the exposure control section 1061, the face misdetection condition is, for example, "whether the average luminance of picture elements of an area where a higher possibility of imaging the driver's face in the area for face detection is presumed ( hereinafter referred to as “face presence presumption area”), a preset condition (hereinafter referred to as “first judgment condition”) is satisfied or not”.

Nun wird der Gesichtspräsenz-Vermutungsbereich bei der ersten Ausführungsform erläutert. 6 ist eine Ansicht zur Erläuterung einer bildlichen Darstellung des Gesichtspräsenz-Vermutungsbereichs bei der ersten Ausführungsform.
6 ist als ein Beispiel eine Ansicht, die eine bildliche Darstellung des Fahrergesichtsbereichs in einem Bild 200 zeigt, das nach einer auf den zweiten Gesichtsbereich 203b abgestimmten Verstärkungseinstellung durch die Bildverarbeitungssektion 1062 aufgenommen wurde, wenn ebenso wie in 4 gezeigt durch die Gesichtsdetektionssektion 102 das zweite Gesicht 202b, bei dem es sich um das Gesicht des Insassen des Rücksitzes handelt, als Gesicht des Fahrers detektiert wurde, weil sich das Gesicht des Fahrers vorübergehend in einem nicht detektierbaren Zustand befunden hat. Zur Vereinfachung der Erläuterung wurde in 6 die Darstellung des Bereichs für die Gesichtsdetektion 201 weggelassen. Ferner ist in 6 der Gesichtspräsenz-Vermutungsbereich durch 601 dargestellt. Ferner ist in 6 durch 600 eine Kopfstütze dargestellt. Der Gesichtspräsenz-Vermutungsbereich 601 ist wie vorstehend beschrieben ein Bereich, bei dem eine höhere Wahrscheinlichkeit einer Abbildung des Gesichts des Fahrers in dem Bereich für die Gesichtsdetektion vermutet wird. Es kommt beispielsweise vor, dass der Bereich für die Gesichtsdetektion 201 derart umfangreich eingestellt wird, dass das Gesicht des Fahrers auch dann detektiert werden kann, wenn das Gesicht des Fahrers sich an verschiedene Positionen bewegt. Andererseits ist häufig die Haltung des Fahrers während des Fahrens in einem nahezu konstanten Zustand, sodass auch die Position des Gesichts des Fahrers häufig an einer bestimmten Position bleibt. Folglich entstehen auch bei einer umfangreichen Einstellung des Bereichs für die Gesichtsdetektion 201 in dem Bereich für eine Gesichtsdetektion 201 Abschnitte, in denen die Wahrscheinlichkeit einer Abbildung des Gesichts des Fahrers verhältnismäßig hoch und solche, in denen die Wahrscheinlichkeit verhältnismäßig gering ist. Der Gesichtspräsenz-Vermutungsbereich 601 wird unter Berücksichtigung dieses Umstands eingestellt, wobei es sich um einen Bereich handelt, der als Abschnitt einer höheren Wahrscheinlichkeit einer Abbildung des Gesichts des Fahrers in dem Bereich für die Gesichtsdetektion 201 eingestellt wird.
Der Gesichtspräsenz-Vermutungsbereich 601 kann beispielsweise durch die Belichtungssteuerungssektion 1061 anhand der Position der Kopfstütze 600 vermutet werden. In diesem Fall kann die Gesichtsdetektionssektion 1061 zunächst die Position der Kopfstütze mittels einer bekannten Bilderkennungstechnologie wie einem Mustervergleich usw. detektieren. Ferner werden in einer Speichersektion, mit der die Onboard-Bildverarbeitungsvorrichtung 10 ausgestattet ist, vorab Daten bezüglich der Beziehung zwischen der Position des Gesichts des Fahrers und der Position der Kopfstütze in einem Zustand, in dem ein Fahrer einer normalen Körperstatur in einer normalen Haltung an einer normalen Position des Fahrersitzes nach vorne blickt, gespeichert. Die Belichtungssteuerungssektion 1061 kann basierend auf der detektierten Position der Kopfstütze und den in der Speichersektion gespeicherten Daten bezüglich der Beziehung zwischen der Position des Gesichts des Fahrers und der Position der Kopfstütze den Gesichtspräsenz-Vermutungsbereich 601 vermuten.The face presence presumption range in the first embodiment will now be explained. 6 Fig. 14 is a view for explaining a pictorial representation of the face presence presuming area in the first embodiment.
6 12 is an example view showing an image of the driver's face area in an image 200 captured after gain adjustment matched to the second face area 203b by the image processing section 1062, if the same as in FIG 4 shown by the face detection section 102 is the second face 202b which is the face of the rear seat occupant when the driver's face was detected because the driver's face was temporarily in an undetectable state. To simplify the explanation, in 6 illustration of the face detection area 201 is omitted. Furthermore, in 6 the face presence guess area represented by 601 . Furthermore, in 6 represented by 600 a headrest. As described above, the face presence presumption area 601 is an area presumed to have a higher possibility of imaging the driver's face in the face detection area. For example, there is a case where the range for the face detection 201 is set so wide that the driver's face can be detected even if the driver's face moves to different positions. On the other hand, the driver's posture is often in an almost constant state during driving, so the position of the driver's face also often remains at a certain position. Consequently, even if the face detection area 201 is set extensively, the face detection area 201 produces portions where the probability of imaging the driver's face is relatively high and portions where the probability is relatively low. The face presence presumption area 601 is set in consideration of this fact, which is an area set as a portion of a higher possibility of imaging the driver's face in the face detection area 201 .
The face presence presumption region 601 can be presumed by the exposure control section 1061 based on the position of the headrest 600, for example. In this case, the face detection section 1061 may first detect the position of the headrest using known image recognition technology such as pattern matching and so on. Further, in a storage section equipped in the onboard image processing device 10, data on the relationship between the position of the driver's face and the position of the headrest in a state where a driver of a normal physique is in a normal posture at a normal position of the driver's seat facing forward. The exposure control section 1061 may presume the face-presence presumption area 601 based on the detected position of the headrest and the data stored in the storage section regarding the relationship between the position of the driver's face and the position of the headrest.

Die Belichtungssteuerungssektion 1061 kann ferner in dem Bild 200 den Bereich für die Gesichtsdetektion 201 in eine linke und rechte Hälfte teilen, und von dem halbierten Bereich den Bereich der Seite in der Nähe des Lenkrads als Gesichtspräsenz-Vermutungsbereich vorgeben. The exposure control section 1061 can further in the image 200 the area for the Divide face detection 201 into left and right halves, and from the halved area, set the area of the side near the steering wheel as a face presence presumption area.

Beispielsweise wird bei einem rechts gesteuerten Fahrzeug, von dem in der ersten Ausführungsform ausgegangen wird, von dem halbierten Bereich der Bereich der linken Seite als Gesichtspräsenz-Vermutungsbereich 601 vorgegeben.For example, in a right-hand drive vehicle assumed in the first embodiment, the area on the left side of the halved area is set as the face-presence presumption area 601 .

Ferner kann die Belichtungssteuerungssektion 1061 beispielsweise mit Referenz auf die Speichersektion basierend auf gespeicherten Gesichtsdaten den Gesichtsbereich, der vor dem aktuell durch die Gesichtsdetektionssektion 102 detektierten Gesichtsbereich des Fahrers detektiert worden ist, als Gesichtspräsenz-Vermutungsbereich 601 vorgeben. Beispielsweise detektiert die Gesichtsdetektionssektion 102 für den Fall, dass in einem Fahrzeug der Zustand, der in dem in 3 gezeigten Bild abgebildet ist, zu einem Zustand wie in dem in 4 gezeigten Bild geworden ist, und das bisher detektierte Gesicht des Fahrers (erstes Gesicht 202a) nicht mehr detektiert wird, das Gesicht des Insassen des Rücksitzes (zweites Gesicht 202b) als Gesicht des Fahrers. Die Belichtungssteuerungssektion 1061 kann auch den bisher detektierten ersten Gesichtsbereich 203a des ersten Gesichts 202a als Gesichtspräsenz-Vermutungsbereich 601 vorgeben.Further, for example, the exposure control section 1061 may set the face area detected before the driver's face area currently detected by the face detection section 102 as the face presence presumption area 601 with reference to the storage section based on stored face data. For example, in the case where, in a vehicle, the face detection section 102 detects the state shown in FIG 3 shown image to a condition as shown in 4 has become the image shown, and the previously detected driver's face (first face 202a) is no longer detected, the rear seat occupant's face (second face 202b) as the driver's face. The exposure control section 1061 can also set the previously detected first face area 203a of the first face 202a as the face presence presumption area 601 .

Ausgehend davon, dass sich das Gesicht des Fahrers nicht hinter der Kopfstütze befindet, kann die Belichtungssteuerungssektion 1061 auch basierend auf dem Verstellumfang des Sitzes die Position der Kopfstütze berechnen und den Gesichtspräsenz-Vermutungsbereich 601 vermuten.
Bei dem Gesichtspräsenz-Vermutungsbereich 601 kann es sich auch um einen Bereich auf dem Bild handeln, der mit Referenz auf die Position des Gesichts des Fahrers in einem Zustand, in dem ein Fahrer einer normalen Körperstatur in einer normalen Haltung an einer normalen Position des Fahrersitzes nach vorne blickt, für das durch die Aufnahmevorrichtung 20 aufgenommene Bild 200 vorab festgelegt wurde.Also, assuming that the driver's face is not located behind the headrest, the exposure control section 1061 can calculate the position of the headrest based on the adjustment amount of the seat and presume the face-presence presumption area 601 .
The face presence presumption area 601 may also be an area on the image that is estimated with reference to the position of the driver's face in a state where a driver has a normal body shape in a normal posture at a normal position of the driver's seat looking ahead has been predetermined for the image 200 captured by the capture device 20 .

Die Belichtungssteuerungssektion 1061 sollte mittels eines Verfahrens in einem Bild den Gesichtspräsenz-Vermutungsbereich 601 spezifizieren können.The exposure control section 1061 should be able to specify the face presence presumption region 601 in an image by a method.

Als erste Beurteilungsbedingung kann auch gegeben sein, ob die durchschnittliche Luminanz der Bildelemente des Gesichtspräsenz-Vermutungsbereichs 601 (im Folgenden als „Vermutungsbereich-Bildelemente“ bezeichnet) größer oder gleich einem vorab eingestellten Wert ist (im Folgenden „Schwellenwert für die Fahrersitz-Luminanz-Beurteilung“ bezeichnet). Als Schwellenwert für die Fahrersitz-Luminanz-Beurteilung kann beispielsweise Bereichsverkleinerungssektion der niedrigste Luminanzwert eingestellt sein, der für die Detektion des Gesichts des Fahrers als zu hell angesehen wird. Für den Fall, dass die durchschnittliche Luminanz der Vermutungsbereich-Bildelemente größer oder gleich dem Schwellenwert für die Fahrersitz-Luminanz-Beurteilung ist, gilt die Gesicht-Fehldetektionsbedingung als erfüllt, und die Fehldetektion-Beurteilungssektion 107 beurteilt, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat.
Ist die durchschnittliche Luminanz der Vermutungsbereich-Bildelemente größer oder gleich dem Schwellenwert für die Fahrersitz-Luminanz-Beurteilung, wird angenommen, dass mit einer hohen Wahrscheinlichkeit die Belichtungssteuerung der Abbildungsvorrichtung 20 entsprechend der durchschnittlichen Luminanz der Bildelemente des Gesichtsbereichs eines anderen Insassen als des Fahrers, der sich an einer dunkleren Stelle als dem Fahrersitz befindet, durchgeführt wird.The first judgment condition may also be whether the average luminance of the pixels of the face presence presumption area 601 (hereinafter referred to as “presumption area pixels”) is greater than or equal to a preset value (hereinafter “driver's seat luminance judgment threshold). " designated). As a threshold value for the driver's seat luminance judgment, for example, the lowest luminance value which is considered too bright for the detection of the driver's face can be set in the area reduction section. In the case where the average luminance of the suspected area pixels is greater than or equal to the driver's seat luminance judgment threshold, the face misdetection condition is deemed to be satisfied, and the misdetection judging section 107 judges that the face detection section 102 is the driver's face misdetected.
If the average luminance of the suspect area pixels is greater than or equal to the threshold value for the driver's seat luminance judgment, it is assumed that the exposure control of the imaging device 20 corresponding to the average luminance of the pixels of the facial area of an occupant other than the driver who is driving has a high probability is in a darker place than the driver's seat.

Hat die Bildverarbeitungsvorrichtung 1062 eine Verstärkungseinstellung durchgeführt, ist die Gesicht-Fehldetektionsbedingung beispielsweise, „ob der Verstärkungswert der Abbildungsvorrichtung 20 eine vorab eingestellte Bedingung (im Folgenden als „zweite Beurteilungsbedingung“ bezeichnet) erfüllt oder nicht”. Die Fehldetektion-Beurteilungssektion 107 sollte Daten des Verstärkungswerts der Abbildungsvorrichtung 20 beispielsweise von der Bildverarbeitungssektion 1062 erwerben können.
Als zweite Beurteilungsbedingung kann auch vorgegeben werden, ob beispielsweise der Verstärkungswert der Abbildungsvorrichtung 20 größer oder gleich einem vorab eingestellten Schwellenwert (im Folgenden als „Schwellenwert für die
Verstärkungsbeurteilung“ bezeichnet) geworden ist. Als Schwellenwert für die Verstärkungsbeurteilung wird ein Verstärkungswert eingestellt, der für eine deutliche Abbildung des Gesichts des Fahrers als zu hell angesehen wird.When the image processing device 1062 has performed gain adjustment, the face misdetection condition is, for example, “whether or not the gain value of the imaging device 20 satisfies a condition set in advance (hereinafter referred to as “second judgment condition”)”. The misdetection judging section 107 should be able to acquire data of the gain value of the imaging device 20 from the image processing section 1062, for example.
As a second judgment condition, whether, for example, the gain value of the imaging device 20 is greater than or equal to a preset threshold value (hereinafter referred to as “threshold value for the
referred to as "reinforcement assessment"). A gain value that is considered too bright for a clear image of the driver's face is set as the threshold value for the gain judgment.

Beispielsweise gilt für den Fall, dass der Verstärkungswert der Abbildungsvorrichtung 20 größer oder gleich dem Schwellenwert für die Verstärkungsbeurteilung ist, die Gesicht-Fehldetektionsbedingung als erfüllt, und die Fehldetektion-Beurteilungssektion 107 beurteilt, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat.
Ist der Verstärkungswert der Abbildungsvorrichtung 20 größer oder gleich dem Schwellenwert für die Verstärkungsbeurteilung, wird angenommen, dass mit einer hohen Wahrscheinlichkeit die Verstärkungseinstellung der Abbildungsvorrichtung 20 entsprechend der durchschnittlichen Luminanz der Bildelemente des Gesichtsbereichs eines anderen Insassen als des Fahrers, der sich an einer dunkleren Stelle als dem Fahrersitz befindet, durchgeführt wird.For example, when the gain value of the imaging device 20 is greater than or equal to the gain judgment threshold, the face misdetection condition is satisfied, and the misdetection judging section 107 judges that the face detection section 102 misdetected the driver's face.
If the gain value of the imaging device 20 is greater than or equal to the threshold value for the gain judgment, it is assumed that the gain setting of the imaging device 20 corresponding to the average luminance of the pixels of the facial area of an occupant other than the driver who is in a darker place than with a high probability located in the driver's seat.

Ferner kann für den Fall, dass durch die Bildverarbeitungssektion 1062 eine Verstärkungseinstellung erfolgt ist, als Gesicht-Fehldetektionsbedingung vorgegeben werden, ob „eine Überbelichtungsfläche des Fahrergesichtsbereichs eine vorab eingestellte Bedingung (im Folgenden als „dritte Beurteilungsbedingung“ bezeichnet) erfüllt oder nicht”. Die Bildverarbeitungssektion 1062 kann mittels des gleichen Verfahrens wie das Verfahren, durch das die Belichtungssteuerungssektion 1061 den Gesichtspräsenz-Vermutungsbereich 601 bestimmt, den Gesichtspräsenz-Vermutungsbereich 601 bestimmen. Das Verfahren zur Bestimmung des Gesichtspräsenz-Vermutungsbereichs 601 wurde bereits erläutert, sodass hier eine detaillierte Erläuterung ausgelassen wird.Further, in the case where gain adjustment is made by the image processing section 1062, whether or not “an overexposure area of the driver's face region satisfies a preset condition (hereinafter referred to as “third judgment condition”)) may be set as a face misdetection condition. The image processing section 1062 can determine the face presence presumption area 601 by the same method as the method by which the exposure control section 1061 determines the face presence presumption area 601 . The method for determining the face presence presumption area 601 has already been explained, so a detailed explanation is omitted here.

Als die dritte Beurteilungsbedingung kann beispielsweise auch vorgegeben sein, ob die Überbelichtungsfläche des Gesichtspräsenz-Vermutungsbereichs 601 größer oder gleich einem vorab eingestellten Schwellenwert ist (im Folgenden als „Schwellenwert für die
Überbelichtungsbeurteilung“ bezeichnet) oder ob die Überbelichtungsfläche des Gesichtspräsenz-Vermutungsbereichs 601 groß ist oder nicht. Als Schwellenwert für die Überbelichtungsbeurteilung wird vorab eine Überbelichtungsfläche eingestellt, bei der anzunehmen ist, dass die Teile des Gesichts des Fahrers nicht detektiert werden können.
Für den Fall, dass die Überbelichtungsfläche des Gesicht-Vermutungsbereichs 601 größer oder gleich dem Schwellenwert für die Überbelichtungsbeurteilung ist, gilt die Gesicht-Fehldetektionsbedingung als erfüllt, und die Fehldetektion-Beurteilungssektion 107 beurteilt, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat.
Ist die Überbelichtungsfläche des Fahrergesichtsbereichs größer oder gleich dem Schwellenwert für die Überbelichtungsbeurteilung, wird angenommen, dass mit einer hohen Wahrscheinlichkeit die Verstärkungseinstellung der Abbildungsvorrichtung 20 entsprechend der durchschnittlichen Luminanz der Bildelemente des Gesichtsbereichs eines anderen Insassen als des Fahrers, der sich an einer dunkleren Stelle als dem Fahrersitz befindet, durchgeführt wird.As the third judgment condition, for example, whether the overexposure area of the face presence presuming region 601 is greater than or equal to a preset threshold value (hereinafter referred to as “threshold value for the
"Overexposure Judgment") or whether the overexposure area of the face-presence presumption region 601 is large or not. As a threshold for the overexposure judgment, an overexposure area where it is assumed that the parts of the driver's face cannot be detected is set in advance.
In the case where the overexposure area of the face presumptive region 601 is equal to or greater than the overexposure judgment threshold, the face misdetection condition is deemed to be satisfied, and the misdetection judging section 107 judges that the face detection section 102 misdetected the driver's face.
If the overexposure area of the driver's face area is greater than or equal to the threshold value for the overexposure judgment, it is assumed that the gain setting of the imaging device 20 corresponding to the average luminance of the pixels of the face area of an occupant other than the driver who is in a darker place than the driver has a high possibility Driver's seat is carried out.

Die Fehldetektion-Beurteilungssektion 107 kann auch durch Kombination mindestens zweier beliebiger Bedingungen aus einer Mehrzahl von Gesicht-Fehldetektionsbedingungen wie den vorstehend beschriebenen beurteilen, ob die Daten bezüglich der Abbildungsvorrichtung 20 die Gesicht-Fehldetektionsbedingungen erfüllen oder nicht. Wurde beispielsweise durch die Belichtungssteuerungssektion 1061 eine Belichtungssteuerung durchgeführt, und außerdem durch die Bildverarbeitungssektion 1062 eine Verstärkungseinstellung durchgeführt, kann die Fehldetektion-Beurteilungssektion 107 beurteilen, „ob die durchschnittliche Luminanz der Vermutungsbereich-Bildelemente die erste Beurteilungsbedingung erfüllt oder nicht“, und ferner beurteilen, „ob die Überbelichtungsfläche des Gesichtspräsenz-Vermutungsbereichs 601 die dritte Beurteilungsbedingung erfüllt oder nicht“. Erfüllt die durchschnittliche Luminanz der Vermutungsbereich-Bildelemente die erste Beurteilungsbedingung und erfüllt außerdem die Überbelichtungsfläche des Gesichtspräsenz-Vermutungsbereichs 601 die dritte Beurteilungsbedingung, beurteilt die Fehldetektion-Beurteilungssektion 107, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat.The misdetection judging section 107 can also judge whether or not the data on the imaging device 20 satisfies the face misdetection conditions by combining at least any two of a plurality of face misdetection conditions like those described above. For example, when exposure control has been performed by the exposure control section 1061 and gain adjustment has also been performed by the image processing section 1062, the misdetection judging section 107 can judge "whether or not the average luminance of the suspected area pixels satisfies the first judging condition" and further judge " whether or not the overexposure area of the face-presence presumption region 601 satisfies the third judgment condition”. When the average luminance of the presumed area pixels satisfies the first judgment condition and also the overexposure area of the face presence presumed area 601 satisfies the third judgment condition, the misdetection judging section 107 judges that the face detection section 102 misdetected the driver's face.

Hat die Fehldetektion-Beurteilungssektion 107 beurteilt, dass die Daten bezüglich der Abbildungsvorrichtung 20 die Gesicht-Fehldetektionsbedingungen erfüllen, erachtet sie, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat, und gibt eine den Bereich für die Gesichtsdetektion verkleinernde Bereichsverkleinerungsanordnung an die Bereichsverkleinerungssektion 109 aus. Ferner gibt die Fehldetektion-Beurteilungssektion 107 an die Neusteuerung-Anordnungssektion 108 eine Neusteuerungsmitteilung aus, um die optische Einstellung-Steuerungssektion 106 zur Ausführung einer die Belichtungszeit, die Einschaltzeit oder den Verstärkungswert auf den Anfangswert zurückstellenden Steuerung zu veranlassen. Andererseits beurteilt die Fehldetektion-Beurteilungssektion 107, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers korrekt detektieren konnte, und gibt Gesichtsdetektion-Vorhanden-Daten an die Fahrer-Überwachungssektion 103 aus, wenn die Daten bezüglich der Abbildungsvorrichtung 20 die Gesicht-Fehldetektionsbedingungen nicht erfüllen.When the misdetection judging section 107 judges that the data on the imaging device 20 satisfies the face misdetection conditions, it judges that the face detection section 102 has misdetected the driver's face, and outputs an area reducing order reducing the area for face detection to the area reducing section 109 . Further, the misdetection judging section 107 issues a re-control notice to the re-control arrangement section 108 to cause the optical adjustment control section 106 to perform control returning the exposure time, the ON time or the gain value to the initial value. On the other hand, the misdetection judging section 107 judges that the face detection section 102 could correctly detect the driver's face, and outputs face detection presence data to the driver monitoring section 103 when the data on the imaging device 20 does not satisfy the face misdetection conditions.

Wurde von der Fehldetektion-Beurteilungssektion 107 eine Neusteuerungsmitteilung ausgegeben, gibt die Neusteuerung-Anordnungssektion 108 an die optische Einstellung-Steuerungssektion 106 eine Neusteuerungsanordnung aus, damit eine Steuerung erfolgt, durch die die optische Einstellung der Abbildungsvorrichtung 20 auf einen angemessenen Wert zurückgestellt wird. Bei der ersten Ausführungsform ist der angemessene Wert der optischen Einstellung der Abbildungsvorrichtung 20 der Anfangswert der optischen Einstellung der Abbildungsvorrichtung 20. Bei der Neusteuerung-Anordnungssektion 108 ist beispielsweise spezifizierbar, ob basierend auf der Neusteuerungsmitteilung die Belichtungssteuerungssektion 1061 zur Durchführung einer die Belichtungszeit auf den Anfangswert zurückstellenden Belichtungssteuerung veranlasst wird, oder die Bildverarbeitungssektion 1062 zur Durchführung einer den Verstärkungswert auf den Anfangswert zurückstellenden Verstärkungseinstellung veranlasst wird. Bei der Fehldetektion-Beurteilungssektion 107 beinhaltet die Neusteuerungsmitteilung Daten darüber, welche Steuerung von entweder der Belichtungssteuerung oder der Verstärkungseinstellung durchgeführt werden soll.When a re-control notice has been issued from the misdetection judging section 107, the re-control ordering section 108 issues a re-control order to the optical adjustment control section 106 for control by which the optical adjustment of the imaging device 20 is returned to an appropriate value. In the first embodiment, the appropriate value of the optical adjustment of the imaging device 20 is the initial value of the optical adjustment of the imaging device 20. In the recontrol arrangement section 108, for example, it is specifiable whether, based on the recontrol notification, the exposure control section 1061 to perform an exposure time reset to the initial value exposure control is caused, or the image processing section 1062 is caused to perform gain adjustment to return the gain value to the initial value. At the misdetection judging section 107, the re-control notification includes data on which control of either to be performed for exposure control or gain adjustment.

Die Bereichsverkleinerungssektion 109 verkleinert den Bereich für die Gesichtsdetektion, wenn von der Fehldetektion-Beurteilungssektion 107 eine Bereichsverkleinerungsanordnung ausgegeben wurde. Dabei verkleinert die Bereichsverkleinerungssektion 109 den Bereich für die Gesichtsdetektion derart, dass sich ein Bereich ergibt, der den durch die Gesichtsdetektionssektion 102 fehldetektierten Gesichtsbereich des Fahrers nicht beinhaltet. Dafür genügt es, wenn die Bereichsverkleinerungssektion 109 über die Fehldetektion-Beurteilungssektion 107 die von der Gesichtsdetektionssektion 102 ausgegebenen Gesichtsdaten erwirbt und anhand der erworbenen Gesichtsdaten den Gesichtsbereich des Fahrers spezifiziert, der von der Gesichtsdetektionssektion 102 fehldetektiert wurde.The area reduction section 109 reduces the area for face detection when an area reduction order has been issued from the misdetection judging section 107 . At this time, the area narrowing section 109 narrows the area for face detection to be an area not including the driver's face area misdetected by the face detection section 102 . For this, it suffices if the area narrowing section 109 acquires the face data output from the face detection section 102 via the misdetection judging section 107 and specifies the driver's face area misdetected by the face detection section 102 based on the acquired face data.

7A und 7B sind Ansichten zur Erläuterung von bildlichen Darstellungen eines Beispiels des Bereichs für die Gesichtsdetektion, der in der ersten Ausführungsform durch die Bereichsverkleinerungssektion 109 verkleinert wurde. Bei dem in 7A und 7B gezeigten Bild 200 erfolgte aus dem Zustand, der in dem Bild wie in 4 gezeigt abgebildet wurde, erneut eine Rückkehr in den Zustand, in dem die Teile des ersten Gesichts 202a, bei dem es sich um das Gesicht des Fahrers handelt, abgebildet sind.
Die Bereichsverkleinerungssektion 109 verengt den Bereich für die Gesichtsdetektion beispielsweise dadurch, dass sie eine Kante der rechten Seite eines Rechtecks, das den Bereich für die Gesichtsdetektion zeigt, nach links bewegt. Dabei verengt die Bereichsverkleinerungssektion 109 den Bereich für die Gesichtsdetektion, bis sich ein Bereich ergibt, der den durch die Gesichtsdetektionssektion 102 fehldetektierten Gesichtsbereich des Fahrers nicht beinhaltet (vgl. 7A) . 7A and 7B 12 are views for explaining pictorial representations of an example of the area for face detection reduced by the area reduction section 109 in the first embodiment. At the in 7A and 7B shown image 200 was made from the condition shown in the image as in 4 shown, again returning to the state in which the parts of the first face 202a, which is the driver's face, are imaged.
The area narrowing section 109 narrows the face detection area by, for example, moving an edge of the right side of a rectangle showing the face detection area to the left. At this time, the area narrowing section 109 narrows the area for face detection until it becomes an area that does not include the driver's face area that was misdetected by the face detection section 102 (cf. 7A) .

Ferner verengt die Bereichsverkleinerungssektion 109 beispielsweise den Bereich für die Gesichtsdetektion von dem rechten unteren Knotenpunkt eines Rechtecks, das den Bereich für die Gesichtsdetektion zeigt, zum linken oberen Knotenpunkt, während das Verhältnis von Länge und Breite des Bereichs für die Gesichtsdetektion beibehalten wird. Dabei verengt die Bereichsverkleinerungssektion 109 den Bereich für die Gesichtsdetektion, bis sich ein Bereich ergibt, der den durch die Gesichtsdetektionssektion 102 fehldetektierten Gesichtsbereich des Fahrers nicht beinhaltet (vgl. 7B) .Further, the area narrowing section 109 narrows, for example, the face detection area from the lower right node of a rectangle showing the face detection area to the upper left node while maintaining the ratio of length and width of the face detection area. At this time, the area narrowing section 109 narrows the area for face detection until it becomes an area that does not include the driver's face area that was misdetected by the face detection section 102 (cf. 7B) .

Beispielsweise aktualisiert die Bereichsverkleinerungssektion 109 den Bereich für die Gesichtsdetektion, der durch die Daten bezüglich des Bereichs für die Gesichtsdetektion definiert ist, die in der Speichersektion gespeichert sind, in den Bereich für die Gesichtsdetektion nach der Verkleinerung.For example, the area reduction section 109 updates the face detection area defined by the face detection area data stored in the storage section to the face detection area after reduction.

Dann gibt die Bereichsverkleinerungssektion 109 die Daten darüber, dass der Bereich für die Gesichtsdetektion verkleinert wurde, an die Neudetektion-Anordnungssektion 110 aus.Then, the area reduction section 109 outputs the data that the area for face detection has been reduced to the re-detection arrangement section 110 .

Werden von der Bereichsverkleinerungssektion 109 die Daten darüber, dass der Bereich für die Gesichtsdetektion verkleinert wurde, ausgegeben, veranlasst die Neudetektion-Anordnungssektion 110 die Gesichtsdetektionssektion 102 zu einer Neudetektion des Gesichts des Fahrers in dem Bereich für die Gesichtsdetektion nach der Verkleinerung durch die Bereichsverkleinerungssektion 109.When the data that the face detection area has been reduced is output from the area reduction section 109, the re-detection arrangement section 110 causes the face detection section 102 to re-detect the driver's face in the face detection area after reduction by the area reduction section 109.

Die Onboard-Bildverarbeitungsvorrichtung 10 gemäß der ersten Ausführungsform weist den vorstehend erläuterten Aufbau auf.
Nun wird angenommen, dass die Onboard-Bildverarbeitungsvorrichtung 10 die Fehldetektion-Beurteilungssektion 107 nicht umfasst, und die Onboard-Bildverarbeitungsvorrichtung 10 keine Funktion zur Beurteilung aufweist, ob die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat oder nicht. Das heißt, wie bei der vorstehend beschriebenen herkömmlichen Technik wird die Möglichkeit, dass es sich bei dem anhand des Bildes detektierten Gesicht um ein anderes als das Gesicht des Fahrers handelt, nicht berücksichtigt.
In diesem Fall kann die Gesichtsdetektionssektion 102, wenn sich wie bei dem vorstehend beschriebenen Zustand, der in dem Bild von 4 gezeigt wurde, beispielsweise ein Zustand ergibt, in dem durch irgendwelche äußeren Einflüsse Teile des Gesichts des Fahrers vorübergehend nicht detektiert werden können, das Gesicht eines anderen Insassen als des Fahrers als Gesicht des Fahrers detektieren. Dann werden von der Gesichtsdetektionssektion 102 Daten bezüglich des Gesichts des anderen Insassen als demjenigen des Fahrers, bei dem es sich um das Gesicht des anderen Insassen als dem des Fahrers handelt, das als Gesicht des Fahrers bestimmt wurde, an die Fahrer-Überwachungssektion 103 und die Luminanz-Berechnungssektion 104 ausgegeben.The onboard image processing device 10 according to the first embodiment has the structure explained above.
Now, it is assumed that the onboard image processing device 10 does not include the misdetection judging section 107, and the onboard image processing device 10 does not have a function of judging whether or not the face detection section 102 has misdetected the driver's face. That is, like the conventional technique described above, the possibility that the face detected from the image is other than the driver's face is not considered.
In this case, when the state shown in the image of FIG 4 has been shown, for example, a state in which parts of the driver's face cannot be detected temporarily by some external influences detects the face of an occupant other than the driver as the driver's face. Then, from the face detection section 102, data on the face of the occupant other than the driver, which is the face of the occupant other than the driver determined as the driver's face, is sent to the driver monitoring section 103 and the luminance calculation section 104 is output.

Wie vorstehend beschrieben, erreicht z. B. Licht der Beleuchtungsvorrichtung 30 den Rücksitz schwerer als den Fahrersitz, sodass Insassen des Rücksitzes in dem Bild dunkel abgebildet werden. Wenn die Gesichtsdetektionssektion 102 das Gesicht eines Insassen des Rücksitzes als Gesicht des Fahrers fehldetektiert, wird folglich die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente, die durch die Luminanz-Berechnungssektion 104 berechnet wurde, bei weitem kleiner als die durchschnittliche Luminanz, die als durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente erachtet wird, und es kann vorkommen, dass durch die optische Einstellung-Steuerungssektion 106 eine an den Gesichtsbereich des Insassen des Rücksitzes angepasste Steuerung der optischen Einstellung erfolgt. Selbst wenn beispielsweise nach einem Zustand, in dem vorübergehend die Teile des Gesichts des Fahrers nicht detektiert werden können, der Zustand, in dem die Teile des Gesichts des Fahrers detektiert werden können, zurückgekehrt ist (vgl. 3), wird daher dadurch, dass die Luminanz der Bildelemente des Gesichtsbereich des Fahrers nicht angemessen ist, eine Neudetektion des Gesichts des Fahrers, als Gesicht durch die Gesichtsdetektionssektion 102 schwierig. Konkret wird die Umgebung des Fahrersitzes, den das Licht der Beleuchtungsvorrichtung 30 usw. besser erreicht als den Rücksitz, zu hell, sodass es in dem Bild z. B. zu einer Überbelichtung kommt, und die Gesichtsdetektionssektion 102 das Gesicht des Fahrers als Gesicht schwieriger detektieren kann als bei einem Bild, das mit der optischen Einstellung des Voreinstellungszustands aufgenommen wurde. Dadurch detektiert dann die Gesichtsdetektionssektion 102 fortgesetzt das Gesicht des Insassen auf dem Rücksitz als Gesicht des Fahrers. Ferner führt die Fahrer-Überwachungssektion 103 bezüglich des Gesichts des Insassen des Rücksitzes fortgesetzt eine Überwachung des Zustands durch. Beispielsweise wird, wenn durch die Fahrer-Überwachungssektion 103 beurteilt wird, dass sich der Insasse des Rücksitzes in einem Sekundenschlafzustand befindet, eine Warnung durch die Ausgabevorrichtung ausgegeben. Hierbei handelt es sich um eine unnötige Warnung, da es sich tatsächlich nicht um eine Warnung bezüglich eines Sekundenschlafzustands des Fahrers handelt.As described above, e.g. B. Light of the lighting device 30 makes the rear seat heavier than the driver's seat, so that occupants of the rear seat are shown dark in the image. Consequently, when the face detection section 102 misdetects the face of a rear seat occupant as the driver's face, the average luminance of the driver's face area pixels calculated by the luminance calculation section 104 becomes far smaller than the average luminance calculated as the average luminance the driver face area imagery ments is considered, and there may be a case where the optical adjustment control section 106 performs optical adjustment control appropriate to the facial area of the rear seat occupant. For example, even if, after a state in which the parts of the driver's face cannot be detected temporarily, the state in which the parts of the driver's face can be detected has returned (cf. 3 ), therefore, since the luminance of the pixels of the driver's face area is not appropriate, re-detecting the driver's face as a face by the face detection section 102 becomes difficult. Concretely, the vicinity of the driver's seat, which the light from the lighting device 30 etc. reaches better than the rear seat, becomes too bright, so that there is e.g. B. overexposure occurs, and the face detection section 102 can detect the driver's face as a face more difficult than an image taken with the optical adjustment of the default state. Thereby, then, the face detection section 102 continues to detect the face of the rear seat occupant as the driver's face. Further, the driver monitoring section 103 continuously monitors the state of the face of the rear seat occupant. For example, when it is judged by the driver monitoring section 103 that the rear seat occupant is in a microsleep state, a warning is issued by the output device. This is an unnecessary warning as it is not actually a driver microsleep warning.

Demgegenüber umfasst die Onboard-Bildverarbeitungsvorrichtung 10 gemäß der ersten Ausführungsform wie vorstehend beschrieben die Fehldetektion-Beurteilungssektion 107. Die Fehldetektion-Beurteilungssektion 107 beurteilt, ob das Gesicht des Fahrers fehldetektiert wurde oder nicht, indem sie nach der Durchführung einer Steuerung der optischen Einstellung entsprechend der durchschnittlichen Luminanz der Fahrer-Gesichtsbereich-Bildelemente, die durch die Gesichtsdetektionssektion 102 detektiert wurde, beurteilt, ob die Daten bezüglich der Abbildungsvorrichtung 20 die Gesicht-Fehldetektionsbedingungen erfüllen oder nicht. Wurde durch die Fehldetektion-Beurteilungssektion 107 dann eine Fehldetektion des Gesichts des Fahrers beurteilt, lässt sie dann eine Neusteuerungsanordnung an die optische Einstellung-Steuerungssektion 106 ausgeben, um die Neusteuerung-Anordnungssektion 108 zur Ausführung einer die Belichtungszeit, die Einschaltzeit oder den Verstärkungswert auf den Anfangswert zurückstellenden Steuerung zu veranlassen. Daher ist es bei der Onboard-Bildverarbeitungsvorrichtung 10 möglich, die Steuerung einer ungeeigneten optischen Einstellung basierend auf einem fehldetektierten Gesicht des Fahrers zu verhindern. Ferner ist es bei der Onboard-Bildverarbeitungsvorrichtung 10 möglich, zu verhindern, dass nach der Steuerung einer ungeeigneten optischen Einstellung basierend auf einem fehldetektierten Gesicht des Fahrers, ein Zustand anhält, in dem eine Detektion des eigentlichen Gesichts des Fahrers erschwert wird.On the other hand, the onboard image processing apparatus 10 according to the first embodiment includes the misdetection judging section 107 as described above Luminance of the driver's face area pixels detected by the face detection section 102 judges whether or not the data on the imaging device 20 satisfies the face misdetection conditions. Then, when misdetection of the driver's face is judged by the misdetection judging section 107, it then has a recontrol instruction issued to the optical adjustment control section 106 to have the recontrol instruction section 108 execute an exposure time, ON time or gain value to the initial value to cause reset control. Therefore, with the onboard image processing device 10, it is possible to prevent the control of improper optical adjustment based on a misdetected driver's face. Further, with the onboard image processing device 10, it is possible to prevent a state in which detection of the actual face of the driver is difficult from continuing after the control of an improper optical adjustment based on a misdetected face of the driver.

Der Betrieb der Onboard-Bildverarbeitungsvorrichtung 10 gemäß der ersten Ausführungsform wird erläutert. The operation of the onboard image processing device 10 according to the first embodiment will be explained.

8 ist ein Ablaufdiagramm zur Erläuterung des Betriebs der Onboard-Bildverarbeitungsvorrichtung 10 gemäß der ersten Ausführungsform.
Die Onboard-Bildverarbeitungsvorrichtung 10 wiederholt während der Fahrt des Fahrzeugs den in dem Ablaufdiagramm von 8 gezeigten Betrieb. 8th 14 is a flowchart for explaining the operation of the onboard image processing device 10 according to the first embodiment.
The onboard image processing device 10 repeats the process shown in the flowchart of FIG 8th operation shown.

Die Bild-Erwerbssektion 101 erwirbt von der Abbildungsvorrichtung 20 ein Bild (Schritt ST801). Die Bild-Erwerbssektion 101 gibt das erworbene Bild an die Gesichtsdetektionssektion 102 und die Luminanz-Berechnungssektion 104 aus.The image acquisition section 101 acquires an image from the imaging device 20 (step ST801). The image acquisition section 101 outputs the acquired image to the face detection section 102 and the luminance calculation section 104 .

Die Gesichtsdetektionssektion 102 detektiert basierend auf dem in Schritt ST801 durch die Bild-Erwerbssektion 101 erworbenen Bild in einem in dem Bild eingestellten Bereich für die Gesichtsdetektion das Gesicht des Fahrers (bei „JA“ in Schritt ST802). Die Gesichtsdetektionssektion 102 gibt Gesichtsdaten des detektierten Fahrers an die Fahrer-Überwachungssektion 103, die Luminanz-Berechnungssektion 104 und die Fehldetektion-Beurteilungssektion 107 aus. Ferner lässt die Gesichtsdetektionssektion 102 die Gesichtsdaten des detektierten Fahrers in der Speichersektion speichern.The face detection section 102 detects the driver's face in a face detection area set in the image based on the image acquired by the image acquisition section 101 in step ST801 (when “YES” in step ST802). The face detection section 102 outputs face data of the detected driver to the driver monitoring section 103 , the luminance calculation section 104 and the misdetection judging section 107 . Further, the face detection section 102 has the face data of the detected driver stored in the storage section.

Kann die Gesichtsdetektionssektion 102 in dem Bereich für die Gesichtsdetektion das Gesicht des Fahrers nicht detektieren (bei „NEIN“ in Schritt ST802) kehrt die Verarbeitung durch die Onboard-Bildverarbeitungsvorrichtung 10 zurück zu Schritt ST801.When the face detection section 102 cannot detect the driver's face in the face detection area (if "NO" in step ST802), the processing by the onboard image processing device 10 returns to step ST801.

Die Luminanz-Berechnungssektion 104 berechnet in dem in Schritt ST801 durch die Bild-Erwerbssektion 101 erworbenen Bild die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente (Schritt ST803). Die Luminanz-Berechnungssektion 104 gibt Gesichtsbereich-Luminanz-Daten an die Luminanz-Beurteilungssektion 105 aus .The luminance calculation section 104 calculates the average luminance of the driver's face area pixels in the image acquired in step ST801 by the image acquisition section 101 (step ST803). The luminance calculation section 104 outputs face area luminance data to the luminance judgment section 105 .

Die Luminanz-Beurteilungssektion 105 beurteilt basierend auf den von der Luminanz-Berechnungssektion 104 ausgegebenen Gesichtsbereich-Luminanz-Daten, ob die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente größer oder gleich einem Schwellenwert für die Luminanz-Beurteilung ist oder nicht (Schritt ST804). Hat die Luminanz-Beurteilungssektion 105 in Schritt ST804 beurteilt, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente unterhalb des Schwellenwerts für die Luminanz-Beurteilung ist (bei „NEIN“ in Schritt ST804), gibt sie Daten darüber, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente unterhalb des Schwellenwerts für die Luminanz-Beurteilung ist, an die optische Einstellung-Steuerungssektion 106 aus.The luminance judgment section 105 judges whether the average luminance of the driver's face area pixels is larger based on the face area luminance data output from the luminance calculation section 104 or is equal to a threshold value for the luminance judgment or not (step ST804). When the luminance judging section 105 judges in step ST804 that the average luminance of the driver's face area picture elements is below the threshold value for the luminance judgment (if "NO" in step ST804), it outputs data that the average luminance of the driver's face area picture elements is below the threshold value for luminance judgment to the optical adjustment control section 106 .

Hat die Luminanz-Beurteilungssektion 105 in Schritt ST804 beurteilt, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente größer oder gleich dem Schwellenwert für die Luminanz-Beurteilung ist (bei „JA“ in Schritt ST804), endet die Verarbeitung der Onboard-Bildverarbeitungsvorrichtung 10.When the luminance judging section 105 judges in step ST804 that the average luminance of the driver's face area pixels is greater than or equal to the luminance judgment threshold (if "YES" in step ST804), the processing of the onboard image processing device 10 ends .

Die optische Einstellung-Steuerungssektion 106 führt entsprechend der durchschnittlichen Luminanz der Fahrer-Gesichtsbereich-Bildelemente, die durch die Luminanz-Berechnungssektion 104 berechnet wurde, eine Steuerung der optischen Einstellung der Abbildungsvorrichtung 20 durch (Schritt ST805).The optical adjustment control section 106 performs optical adjustment control of the imaging device 20 according to the average luminance of the driver's face area pixels calculated by the luminance calculation section 104 (step ST805).

Die Fehldetektion-Beurteilungssektion 107 führt basierend auf dem Ergebnis der Steuerung, die in Schritt ST805 durch die optische Einstellung-Steuerungssektion 106 durchgeführt wurde, eine Fehldetektion-Beurteilung durch (Schritt ST806).The misdetection judging section 107 performs misdetection judgment based on the result of the control performed by the optical adjustment control section 106 in step ST805 (step ST806).

Hat die Fehldetektion-Beurteilungssektion 107 beurteilt, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat (bei „JA“ in Schritt ST807), gibt sie eine den Bereich für die Gesichtsdetektion verkleinernde Bereichsverkleinerungsanordnung an die Bereichsverkleinerungssektion 109 aus. Ferner gibt die Fehldetektion-Beurteilungssektion 107 eine Neusteuerungsmitteilung an die Neusteuerung-Anordnungssektion 108 aus. Hat die Fehldetektion-Beurteilungssektion 107 andererseits beurteilt, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers nicht fehldetektiert hat (bei „NEIN“ in Schritt ST807), gibt sie Gesichtsdetektion-Vorhanden-Daten an die Fahrer-Überwachungssektion 103 aus, und die Verarbeitung der Onboard-Bildverarbeitungsvorrichtung 10 endet.When the misdetection judging section 107 judges that the face detection section 102 has misdetected the driver's face (if "YES" in step ST807 ), it outputs an area reducing instruction reducing the area for face detection to the area reducing section 109 . Further, the misdetection judging section 107 issues a re-control notification to the re-control arranging section 108 . On the other hand, when the misdetection judging section 107 judges that the face detection section 102 has not misdetected the driver's face (if "NO" in step ST807), it outputs face detection presence data to the driver monitoring section 103, and the processing of the onboard - Image processing device 10 ends.

Wurde in Schritt ST807 von der Fehldetektion-Beurteilungssektion 107 eine Neusteuerungsmitteilung ausgegeben, gibt die Neusteuerung-Anordnungssektion 108 an die optische Einstellung-Steuerungssektion 106 eine Neusteuerungsanordnung aus.
Wurde von der Neusteuerung-Anordnungssektion 108 eine Neusteuerungsanweisung ausgegeben, erfolgt durch die optische Einstellung-Steuerungsvorrichtung 106 eine Steuerung, durch die die optische Einstellung der Abbildungsvorrichtung 20 auf den Anfangswert zurückgestellt wird (Schritt ST808).When a re-control notice has been issued from the misdetection judging section 107 in step ST807, the re-control ordering section 108 issues a re-control order to the optical adjustment control section 106. FIG.
When a re-control instruction has been issued from the re-control arranging section 108, control is performed by the optical adjustment controller 106 to return the optical adjustment of the imaging device 20 to the initial value (step ST808).

Wurde in Schritt ST807 von der Fehldetektion-Beurteilungssektion 107 eine Bereichsverkleinerungsanordnung ausgegeben, sorgt die Bereichsverkleinerungssektion 109 für eine Verkleinerung des Bereichs für die Gesichtsdetektion (Schritt ST809). Dann gibt die Bereichsverkleinerungssektion 109 die Daten darüber, dass der Bereich für die Gesichtsdetektion verkleinert wurde, an die Neudetektion-Anordnungssektion 110 aus.When an area reduction instruction has been issued from the misdetection judging section 107 in step ST807, the area reduction section 109 reduces the area for face detection (step ST809). Then, the area reduction section 109 outputs the data that the area for face detection has been reduced to the re-detection arrangement section 110 .

Werden in Schritt ST809 von der Bereichsverkleinerungssektion 109 die Daten darüber, dass der Bereich für die Gesichtsdetektion verkleinert wurde, ausgegeben, veranlasst die Neudetektion-Anordnungssektion 110 die Gesichtsdetektionssektion 102 zu einer Neudetektion des Gesichts des Fahrers in dem Bereich für die Gesichtsdetektion nach der Verkleinerung durch die Bereichsverkleinerungssektion 109 (Schritt ST810). Dann endet die Verarbeitung der Onboard-Bildverarbeitungsvorrichtung 10.When the data that the area for face detection has been reduced is output from the area narrowing section 109 in step ST809, the re-detection arranging section 110 causes the face detection section 102 to re-detect the driver's face in the face detection area after narrowing by the area reduction section 109 (step ST810). Then, the processing of the onboard image processing device 10 ends.

Bei dem mittels 8 erläuterten Betrieb der Onboard-Bildverarbeitungsvorrichtung 10 stellt die Bereichsverkleinerungssektion 109, wenn die Verarbeitung der Onboard-Bildverarbeitungsvorrichtung 10 endet, für den Fall, dass der Bereich für die Gesichtsdetektion verkleinert wurde (vgl. Schritt ST809 in 8), in den Daten bezüglich des Bereichs für die Gesichtsdetektion, der in der Speichersektion gespeichert ist, den Bereich für die Gesichtsdetektion auf den Anfangswert zurück.With the means 8th In the operation of the onboard image processing device 10 explained above, when the processing of the onboard image processing device 10 ends, the area reduction section 109 sets the area for the case that the area for face detection has been reduced (refer to step ST809 in 8th ), in the face detection area data stored in the storage section, returns the face detection area to the initial value.

Bezüglich des Betriebs der Onboard-Bildverarbeitungsvorrichtung 10, der vorstehend mittels 8 erläutert wurde, ist es ferner auch möglich, dass die Bereichsverkleinerungssektion 109 für den Fall, dass sie den Bereich für die Gesichtsdetektion verkleinert hat, den Bereich für die Gesichtsdetektion auf den Anfangswert zurückstellt, falls auch nach Ablauf einer bestimmten Zeit ab der Verkleinerung des Bereichs für die Gesichtsdetektion die Gesichtsdetektionssektion 102 das Gesicht des Fahrers nicht detektiert (vgl. Schritt ST802 von 8). In diesem Fall kann beispielsweise dafür gesorgt werden, dass die Bereichsverkleinerungssektion 109 von der Gesichtsdetektionssektion 102 Daten darüber erwirbt, ob das Gesicht des Fahrers detektiert wurde oder nicht.Regarding the operation of the onboard image processing device 10 described above by means 8th Furthermore, as explained above, it is also possible that the area reduction section 109, in the case that it has reduced the area for face detection, resets the area for face detection to the initial value, if also after a lapse of a certain time from when the area for face was reduced the face detection, the face detection section 102 does not detect the driver's face (refer to step ST802 of FIG 8th ). In this case, for example, the area reduction section 109 can be made to acquire from the face detection section 102 data on whether or not the driver's face has been detected.

9 ist ein Ablaufdiagramm, um den Betrieb in den Schritten ST804 bis ST807 in 8 detaillierter zu erläutern. In Schritt ST901 beurteilt die Luminanz-Beurteilungssektion 105 basierend auf den von der Luminanz-Berechnungssektion 104 in Schritt ST803 in 8 ausgegebenen Gesichtsbereich-Luminanz-Daten, ob die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente größer oder gleich einem Schwellenwert für die Luminanz-Beurteilung ist oder nicht (Schritt ST901). Der Betrieb in Schritt ST901 ist der Betrieb von Schritt ST804 in 8. 9 Fig. 12 is a flow chart to explain the operation in steps ST804 to ST807 in Fig 8th to explain in more detail. In step ST901, the luminance judging section 105 judges based on the data calculated by the luminance calculation section 104 in step ST803 8th spent facial area luminance data whether or not the average luminance of driver's face area pixels is greater than or equal to a threshold value for luminance judgment (step ST901). The operation in step ST901 is the operation of step ST804 in FIG 8th .

Hat die Luminanz-Beurteilungssektion 105 in Schritt ST901 beurteilt, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente größer oder gleich dem Schwellenwert für die Luminanz-Beurteilung ist (bei „JA“ in Schritt ST901), endet die Verarbeitung der Onboard-Bildverarbeitungsvorrichtung 10.When the luminance judging section 105 judges in step ST901 that the average luminance of the driver's face area pixels is greater than or equal to the threshold value for the luminance judgment (if "YES" in step ST901), the processing of the onboard image processing device 10 ends .

Hat die Luminanz-Beurteilungssektion 105 in Schritt ST901 beurteilt, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente unterhalb des Schwellenwerts für die Luminanz-Beurteilung ist (bei „NEIN“ in Schritt ST901), gibt sie Daten darüber, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente unterhalb des Schwellenwerts für die Luminanz-Beurteilung ist, an die Belichtungssteuerungssektion 1061 aus, und die Belichtungssteuerungssektion 1061 führt eine Belichtungssteuerung der Abbildungsvorrichtung 20 durch (Schritt ST902).When the luminance judging section 105 judges in step ST901 that the average luminance of the driver's face area picture elements is below the threshold value for luminance judgment (if "NO" in step ST901), it outputs data that the average luminance of the driver's face area pixels is below the threshold value for the luminance judgment to the exposure control section 1061, and the exposure control section 1061 performs exposure control of the imaging device 20 (step ST902).

Führt die Belichtungssteuerungssektion 1061 in Schritt ST902 eine Belichtungssteuerung durch, beurteilt die Luminanz-Beurteilungssektion 105, ob die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente nach der Belichtungssteuerung größer oder gleich dem Schwellenwert für die Luminanz-Beurteilung ist (Schritt ST903).
Hat die Luminanz-Beurteilungssektion 105 in Schritt ST903 beurteilt, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente nach der Belichtungssteuerung größer oder gleich dem Schwellenwert für die Luminanz-Beurteilung ist (bei „JA“ in Schritt ST903), geht die Verarbeitung durch die Onboard-Bildverarbeitungsvorrichtung 10 über zu Schritt ST906. Hat die Luminanz-Beurteilungssektion 105 in Schritt ST903 beurteilt, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente nach der Belichtungssteuerung unterhalb des Schwellenwerts für die Luminanz-Beurteilung ist (bei „NEIN“ in Schritt ST903), gibt sie Daten darüber, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente unterhalb des Schwellenwerts für die Luminanz-Beurteilung ist, an die Bildverarbeitungssektion 1062 aus, und die Bildverarbeitungssektion 1062 führt eine Verstärkungseinstellung durch (Schritt ST904).When the exposure control section 1061 performs exposure control in step ST902, the luminance judgment section 105 judges whether the average luminance of the driver's face area pixels after the exposure control is greater than or equal to the luminance judgment threshold (step ST903).
When the luminance judging section 105 judges in step ST903 that the average luminance of the driver's face area pixels after the exposure control is greater than or equal to the luminance judgment threshold (when “YES” in step ST903), the processing goes through the Onboard image processing device 10 to step ST906. When the luminance judging section 105 judges in step ST903 that the average luminance of the driver's face area picture elements after the exposure control is below the threshold value for the luminance judgment (if "NO" in step ST903), it outputs data that the average luminance of the driver's face area pixels is below the threshold value for the luminance judgment to the image processing section 1062, and the image processing section 1062 performs gain adjustment (step ST904).

Führt die Bildverarbeitungssektion 1062 in Schritt ST904 eine Verstärkungseinstellung durch, beurteilt die Luminanz-Beurteilungssektion 105, ob die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente nach der Verstärkungseinstellung größer oder gleich dem Schwellenwert für die Luminanz-Beurteilung (ST905) ist.
Hat die Luminanz-Beurteilungssektion 105 in Schritt ST905 beurteilt, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente nach der Verstärkungseinstellung unterhalb des Schwellenwerts für die Luminanz-Beurteilung ist (bei „NEIN“ in Schritt ST905), gibt sie Daten darüber, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente unterhalb des Schwellenwerts für die Luminanz-Beurteilung ist, an die Belichtungssteuerungssektion 1061 aus, und die Verarbeitung durch die Onboard-Bildverarbeitungsvorrichtung 10 kehrt zu Schritt ST902 zurück.When the image processing section 1062 performs gain adjustment in step ST904, the luminance judgment section 105 judges whether the average luminance of the driver's face area pixels after gain adjustment is greater than or equal to the luminance judgment threshold (ST905).
When the luminance judging section 105 judges in step ST905 that the average luminance of the driver's face area pixels after the gain adjustment is below the luminance judgment threshold (if "NO" in step ST905), it outputs data that the average luminance of the driver's face area picture elements is below the threshold value for the luminance judgment to the exposure control section 1061, and the processing by the onboard image processing device 10 returns to step ST902.

Hat die Luminanz-Beurteilungssektion 105 in Schritt ST905 beurteilt, dass die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente nach der Verstärkungseinstellung größer oder gleich dem Schwellenwert für die Luminanz-Beurteilung ist (bei „JA“ in Schritt ST905), führt die Fehldetektion-Beurteilungssektion 107 basierend auf dem Ergebnis der Steuerung, die durch die optische Einstellungssektion 106 erfolgt ist, eine Fehldetektionsbeurteilung durch (Schritt ST906). Konkret beurteilt die Fehldetektion-Beurteilungssektion 107, ob die Daten bezüglich der Abbildungsvorrichtung 20, die aufgrund der Durchführung der Belichtungssteuerung erzielt werden, wenn in Schritt ST902 eine Belichtungssteuerung durch die Belichtungssteuerungssektion 1061 durchgeführt wurde, Gesicht-Fehldetektionsbedingungen erfüllen oder nicht. Ferner beurteilt die Fehldetektion-Beurteilungssektion 107, ob die Daten bezüglich der Abbildungsvorrichtung 20, die aufgrund der Durchführung der Verstärkungseinstellung erzielt werden, wenn in Schritt ST904 eine Verstärkungseinstellung durch die Bildverarbeitungssektion 1062 durchgeführt wurde, Gesicht-Fehldetektionsbedingungen erfüllen oder nicht.When the luminance judging section 105 judges in step ST905 that the average luminance of the driver's face area pixels after the gain adjustment is greater than or equal to the luminance judgment threshold (if “YES” in step ST905), the misdetection judging section performs 107 performs an erroneous detection judgment based on the result of the control made by the optical adjustment section 106 (step ST906). Concretely, the misdetection judging section 107 judges whether or not the data on the imaging device 20 obtained due to the execution of exposure control when exposure control was performed by the exposure control section 1061 in step ST902 satisfies face misdetection conditions. Further, the misdetection judging section 107 judges whether or not the data on the imaging device 20 obtained due to the performance of gain adjustment when gain adjustment was performed by the image processing section 1062 in step ST904 satisfies face misdetection conditions.

Für den Fall, dass die Daten bezüglich der Abbildungsvorrichtung 20, die aufgrund der Durchführung der Belichtungssteuerung erzielt werden, die Gesicht-Fehldetektionsbedingungen erfüllen, oder dass die Daten bezüglich der Abbildungsvorrichtung 20, die aufgrund der Durchführung der Verstärkungseinstellung erzielt werden, die Gesicht-Fehldetektionsbedingungen erfüllen (bei „JA“ in Schritt ST907), beurteilt die Fehldetektion-Beurteilungssektion 107, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat, und gibt eine den Bereich für die Gesichtsdetektion verkleinernde Bereichsverkleinerungsanordnung an die Bereichsverkleinerungssektion 109 aus. Ferner gibt die Fehldetektion-Beurteilungssektion 107 eine Neusteuerungsmitteilung an die Neusteuerung-Anordnungssektion 108 aus. Dann geht die Verarbeitung durch die Onboard-Bildverarbeitungsvorrichtung 10 zu Schritt ST808 in 8 über.In the case where the data on the imaging device 20 obtained due to the performance of the exposure control satisfies the face miss detection conditions, or the data on the imaging device 20 obtained due to the performance of the gain adjustment satisfies the face miss detection conditions (if “YES” in step ST907), the misdetection judging section 107 judges that the face detection section 102 has misdetected the driver's face, and outputs an area reduction instruction reducing the area for face detection to the area reduction section 109. Further, the misdetection judging section 107 issues a re-control notification to the re-control arranging section 108 . Then, the processing by the onboard image processing device 10 proceeds to step ST808 8th above.

Für den Fall, dass die Daten bezüglich der Abbildungsvorrichtung 20, die aufgrund der Durchführung der Belichtungssteuerung erzielt werden, die Gesicht-Fehldetektionsbedingungen nicht erfüllen, und außerdem die Daten bezüglich der Abbildungsvorrichtung 20, die aufgrund der Durchführung der Verstärkungseinstellung erzielt werden, die Gesicht-Fehldetektionsbedingungen nicht erfüllen (bei „NEIN“ in Schritt ST907), beurteilt die Fehldetektion-Beurteilungssektion 107, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers nicht fehldetektiert hat, und gibt Gesichtsdetektion-Vorhanden-Daten an die Fahrer-Überwachungssektion 103 aus. In the case where the data on the imaging device 20 obtained due to the performance of the exposure control does not satisfy the face missing detection conditions, and also the data on the imaging device 20 obtained due to the performance of the gain adjustment, the face missing detection conditions do not satisfy (if "NO" in step ST907), the misdetection judging section 107 judges that the face detection section 102 has not misdetected the driver's face, and outputs face detection presence data to the driver monitoring section 103.

Dann endet die Verarbeitung der Onboard-Bildverarbeitungsvorrichtung 10.Then, the processing of the onboard image processing device 10 ends.

Bei der vorstehenden ersten Ausführungsform umfasst die Onboard-Bildverarbeitungsvorrichtung 10 die Bereichsverkleinerungssektion 109, wobei die Bereichsverkleinerungssektion 109 eine Verkleinerung des Bereichs für die Gesichtsdetektion veranlasst, wenn von der Fehldetektion-Beurteilungssektion 107 eine Bereichsverkleinerungsanordnung ausgegeben wird. Hierauf besteht jedoch keine Beschränkung, wobei auch ein Aufbau möglich ist, bei dem die Onboard-Bildverarbeitungsvorrichtung 10 die Bereichsverkleinerungssektion 109 nicht umfasst. Wird in diesem Fall durch die optische Einstellung-Steuerungssektion 106 basierend auf der Neusteuerungsanordnung, die von der Neusteuerung-Anordnungssektion 108 ausgegeben wurde, eine Steuerung durchgeführt, durch die die optische Einstellung der Abbildungsvorrichtung 20 auf den Anfangswert zurückgestellt wird, veranlasst die Neusteuerung-Anordnungssektion 108 die Gesichtsdetektionssektion 102 zu einer Neudetektion des Gesichts des Fahrers in dem Bereich für die Gesichtsdetektion eines Bildes nach dem Zurücksetzen der optischen Einstellung auf den Anfangswert.
Dadurch, dass die Onboard-Bildverarbeitungsvorrichtung 10 die Bereichsverkleinerungssektion 109 umfasst, kann allerdings bei der Durchführung der Neudetektion des Gesichts des Fahrers nach der Beurteilung, dass das Gesicht des Fahrers fehldetektiert wurde, die Detektion des Gesichts des Fahrers zweifelsfreier durchgeführt werden.
Ferner wurde bei der vorstehenden ersten Ausführungsform vorausgesetzt, dass in dem Bild ein Bereich für die Gesichtsdetektion eingestellt wird, wobei hierauf keine Beschränkung besteht, und die Einstellung eines Bereichs für die Gesichtsdetektion in dem Bild nicht unbedingt notwendig ist.In the above first embodiment, the onboard image processing apparatus 10 includes the area reduction section 109, and the area reduction section 109 causes the area for face detection to be reduced when an area reduction order is output from the misdetection judging section 107. However, it is not limited to this, and a structure in which the onboard image processing device 10 does not include the area narrowing section 109 is also possible. In this case, when control is performed by the optical adjustment control section 106 based on the re-control arrangement output from the re-control arrangement section 108, by which the optical adjustment of the imaging device 20 is returned to the initial value, the re-control arrangement section 108 causes the face detection section 102 to re-detect the driver's face in the area for face detection of an image after the optical adjustment is reset to the initial value.
However, since the onboard image processing apparatus 10 includes the area narrowing section 109, when performing the re-detection of the driver's face after judging that the driver's face was misdetected, the detection of the driver's face can be performed more positively.
Furthermore, in the above first embodiment, it is assumed that an area for face detection is set in the image, but is not limited to this, and setting an area for face detection in the image is not essential.

Ferner ist bei der vorstehenden ersten Ausführungsform vorgegeben, dass bei der Steuerung der optischen Einstellung der Abbildungsvorrichtung 20 auf einen angemessenen Wert, die durch die Onboard-Bildverarbeitungsvorrichtung 10 durchgeführt wird, wenn bei der Fehldetektionsbeurteilung beurteilt wurde, dass das Gesicht des Fahrers fehldetektiert worden ist, eine Steuerung der optischen Einstellung der Abbildungsvorrichtung 20 in einen Voreinstellungszustand erfolgt. Hierauf besteht jedoch keine Beschränkung, und die Onboard-Bildverarbeitungsvorrichtung 10 kann als Steuerung der optischen Einstellung der Abbildungsvorrichtung 20 auf einen angemessenen Wert, die durchgeführt wird, wenn bei der Fehldetektionsbeurteilung beurteilt wurde, dass das Gesicht des Fahrers fehldetektiert worden ist, auch eine Steuerung der Belichtungszeit der Abbildungsvorrichtung 20 auf die Belichtungszeit erfolgen, die, chronologisch betrachtet, eins vorher eingestellt war, eine Steuerung der Einschaltzeit der Abbildungsvorrichtung 20 auf die Einschaltzeit erfolgen, die, chronologisch betrachtet, eins vorher eingestellt war, oder eine Steuerung des Verstärkungswerts der Abbildungsvorrichtung 20, auf den Verstärkungswert erfolgen, der, chronologisch betrachtet, eins vorher eingestellt war. Da die Abbildungsvorrichtung 20 bis kurz vor der Fehldetektion des Gesichts des Fahrers mittels der optischen Einstellung, bei der diese Werte eingestellt waren, das Gesicht des Fahrers abgebildet hat, ist es vorstellbar, dass auch bei einer Einstellung der Belichtungszeit auf die Belichtungszeit, die, chronologisch betrachtet, eins vorher eingestellt war, der Einschaltzeit auf die Einschaltzeit, die, chronologisch betrachtet, eins vorher eingestellt war, oder des Verstärkungswerts auf den Verstärkungswert, der, chronologisch betrachtet, eins vorher eingestellt war, das Gesicht des Fahrers ausreichend abgebildet werden kann.Further, in the above first embodiment, it is dictated that in the optical adjustment control of the imaging device 20 to an appropriate value performed by the onboard image processing device 10, when it has been judged in the misdetection judgment that the driver's face has been misdetected, optical adjustment of the imaging device 20 is controlled in a default state. However, this is not limited, and the onboard image processing device 10 may also control the optical adjustment of the imaging device 20 to an appropriate value, which is performed when it is judged in the misdetection judgment that the driver's face has been misdetected, as the control of the optical adjustment of the imaging device 20 to an appropriate value exposure time of the imaging device 20 to the exposure time that was set one ago chronologically, controlling the on-time of the imaging device 20 to the on-time set one ago chronologically, or controlling the gain value of the imaging device 20, to the gain value which, chronologically speaking, was set one earlier. Since the imaging device 20 has imaged the driver's face until shortly before the incorrect detection of the driver's face by means of the optical setting at which these values were set, it is conceivable that even if the exposure time is set to the exposure time that, chronologically considered one ago, the on-time to the on-time set one ago chronologically, or the gain value to the gain value set one ago chronologically, the driver's face can be imaged sufficiently.

Der angemessene Wert der optischen Einstellung bei der ersten Ausführungsform beinhaltet abgesehen von dem Anfangswert der Belichtungszeit, dem Anfangswert der Einschaltzeit oder dem Anfangswert des Verstärkungswerts, wie vorstehend beschrieben, auch die Belichtungszeit, die eins vorher eingestellt war, die Einschaltzeit, die eins vorher eingestellt war, oder den Verstärkungswert, der eins vorher eingestellt war.The appropriate value of the optical adjustment in the first embodiment also includes the exposure time that was set one ago, the on time that was set one before, in addition to the initial value of the exposure time, the initial value of the on time or the initial value of the gain value as described above , or the gain value that was set one before.

Dem Vorstehenden zufolge handelt es sich um einen Aufbau, bei dem die Onboard-Bildverarbeitungsvorrichtung 10 gemäß der ersten Ausführungsform eine Bilderwerbssektion 101, die von einer Abbildungsvorrichtung 20 ein Bild erwirbt, in dem ein Bereich im Inneren eines Fahrzeugs aufgenommen ist, der einen Bereich umfasst, in dem sich das Gesicht eines Fahrers befinden sollte, der auf dem Fahrersitz sitzt, eine Gesichtsdetektionssektion 102, die basierend auf dem von der Bilderwerbssektion 101 erworbenen Bild das Gesicht des Fahrers und den Gesichtsbereich des Fahrers auf diesem Bild detektiert, eine Luminanz-Berechnungssektion 104, die die durchschnittliche Luminanz der Bildelemente in dem Gesichtsbereich des Fahrers, der von der Gesichtsdetektionssektion 102 detektiert wurde, berechnet, eine Luminanz-Beurteilungssektion 105, die beurteilt, ob die von der Luminanz-Berechnungssektion 104 berechnete durchschnittliche Luminanz größer oder gleich einem Luminanz-Beurteilungs-Schwellenwert ist oder nicht, eine optische Einstellung-Steuerungssektion 106, die für den Fall, dass die Luminanz-Beurteilungssektion 105 beurteilt hat, dass die durchschnittliche Luminanz unterhalb des Luminanz-Beurteilungs-Schwellenwerts ist, entsprechend der durchschnittlichen Luminanz eine Steuerung der optischen Einstellung der Abbildungsvorrichtung 20 durchführt, eine Fehldetektion-Beurteilungssektion 107, die basierend auf dem Ergebnis der Steuerung, die durch die optische Einstellung-Steuerungssektion 106 erfolgt ist, beurteilt, ob die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat oder nicht, und eine Neusteuerung-Anordnungssektion 108, die für den Fall, dass die Fehldetektion-Beurteilungssektion 107 beurteilt hat, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat, an die optische Einstellung-Steuerungssektion 106 eine Neusteuerungs-Anordnung ausgibt, durch die eine die optische Einstellung der Abbildungsvorrichtung 20 auf einen angemessenen Wert zurücksetzende Steuerung durchgeführt wird. Daher kann durch die Onboard-Bildverarbeitungsvorrichtung 10 die Steuerung einer ungeeigneten optischen Einstellung basierend auf einem fehldetektierten Gesicht des Fahrers verhindert werden.According to the above, it is a structure in which the onboard image processing device 10 according to the first embodiment has an image acquiring section 101 which acquires from an imaging device 20 an image in which an area inside a vehicle including an area in which the face of a driver sitting on the driver's seat should be, a face detection section 102 which, based on the image acquired by the image acquisition section 101, detects the driver's face and the driver's face area on this image, a luminance calculation section 104, which is the average luminance of the picture elements in the driver's face area viewed from the face detection section 102, a luminance judgment section 105 which judges whether or not the average luminance calculated by the luminance calculation section 104 is greater than or equal to a luminance judgment threshold value, an optical adjustment control section 106 which is responsible for the If the luminance judging section 105 has judged that the average luminance is below the luminance judgment threshold value, according to the average luminance performs optical adjustment control of the imaging device 20, a misdetection judging section 107 based on the result of Control made by the optical adjustment control section 106 judges whether or not the face detection section 102 misdetected the driver's face, and a re-control arranging section 108 when the misdetection judging section 107 judges that the face detection section 102 has misdetected the driver's face, outputs a re-control instruction to the optical adjustment control section 106, by which control resetting the optical adjustment of the imaging device 20 to an appropriate value is performed. Therefore, the onboard image processing device 10 can prevent the control of improper optical adjustment based on a misdetected driver's face.

Zweite AusführungsformSecond embodiment

Bei der zweiten Ausführungsform wird eine Form zur Ausführung erläutert, bei der die Präzision der Fehldetektionsbeurteilung dadurch verbessert werden kann, dass die Position des anhand des Bildes detektierten Gesichts des Fahrers in dem Bild berücksichtigt wird.In the second embodiment, a mode of implementation in which the precision of the misdetection judgment can be improved by considering the position of the driver's face detected from the image in the image will be explained.

Der Aufbau der Onboard-Bildverarbeitungsvorrichtung 10 gemäß der zweiten Ausführungsform ist gleich dem Aufbau der Onboard-Bildverarbeitungsvorrichtung 10 gemäß der ersten Ausführungsform, sodass eine doppelte Erläuterung ausgelassen wird.
Die Onboard-Bildverarbeitungsvorrichtung 10 gemäß der zweiten Ausführungsform und die Onboard-Bildverarbeitungsvorrichtung 10 der ersten Ausführungsform unterscheiden sich in dem konkreten Betrieb der Fehldetektion-Beurteilungssektion 107.
Bei der zweiten Ausführungsform führt die Fehldetektion-Beurteilungssektion 107 basierend auf dem Ergebnis der Steuerung, die von der optischen Einstellung-Steuerungssektion 106 durchgeführt wurde, und basierend auf der Position des Gesichts des Fahrers, das von der Gesichtsdetektionssektion 102 detektiert wurde, eine Fehldetektion-Beurteilung des Gesichts des Fahrers durch. Konkret beurteilt die Fehldetektion-Beurteilungssektion 107, ob die Daten bezüglich der Abbildungsvorrichtung 20, die aufgrund der durch die optische Einstellung-Steuerungssektion 106 erfolgten Steuerung erzielt werden, die Gesicht-Fehldetektionsbedingungen erfüllen und ob außerdem die Position des Gesichts des Fahrers, das durch die Gesichtsdetektionssektion 102 detektiert wurde, in einem Nicht-Fahrer-Bereich liegt oder nicht.The structure of the onboard image processing device 10 according to the second embodiment is the same as the structure of the onboard image processing device 10 according to the first embodiment, so duplicate explanation is omitted.
The onboard image processing device 10 according to the second embodiment and the onboard image processing device 10 of the first embodiment differ in the concrete operation of the misdetection judging section 107.
In the second embodiment, based on the result of the control performed by the optical adjustment control section 106 and based on the position of the driver's face detected by the face detection section 102, the misdetection judging section 107 makes a misdetection judgment of the driver's face. Specifically, the misdetection judging section 107 judges whether the data on the imaging device 20 obtained due to the control performed by the optical adjustment control section 106 satisfies the face misdetection conditions and also whether the position of the driver's face detected by the face detection section 102 was detected is in a non-driver area or not.

Bei der zweiten Ausführungsform ist der Nicht-Fahrer-Bereich ein Bereich, bei dem mit einer hohen Wahrscheinlichkeit vermutet werden kann, dass das Gesicht eines anderen Insassen als das Gesicht des Fahrers in dem Bereich für die Gesichtsdetektion abgebildet ist. Der Nicht-Fahrer-Bereich wird beispielsweise angepasst an den Bereich für die Gesichtsdetektion, der unter Berücksichtigung des Abbildungsbereichs der Abbildungsvorrichtung 20 eingestellt wird, vorab durch einen Benutzer usw. eingestellt. Beispielsweise wird angenommen, dass es sich bei der Installationsposition und dem Abbildungsbereich der Abbildungsvorrichtung 20 um die Installationsposition und den Abbildungsbereich wie in 2A dargestellt handelt. Der Abbildungsbereich ist prinzipiell in einem Bereich eingestellt, in dem das Gesicht des Fahrers an einer im Wesentlichen zentralen Position in der Links-Rechts-Richtung des Bildes aufgenommen wird, beispielsweise mit der Kopfstütze im Zentrum. Es kommt vor, dass in dem Bild, in dem der Abbildungsbereich abgebildet ist, der Bereich für die Gesichtsdetektion beispielsweise derart umfangreich eingestellt wird, dass das Gesicht des Fahrers, das normalerweise im Wesentlichen in der Mitte des Bildes aufgenommen wird, selbst in der Annahme detektiert werden kann, dass sich das Gesicht des Fahrers an verschiedene Positionen bewegt hat. Angenommen, in einem derart eingestellten Bereich für die Gesichtsdetektion taucht das Gesicht eines Insassen auf dem Rücksitz auf, ist die Wahrscheinlichkeit hoch, dass das Gesicht des Insassen auf dem Rücksitz an einer Kante des Bereichs für die Gesichtsdetektion auftaucht. Folglich wird in diesem Fall der Nicht-Fahrer-Bereich auf den Kantenbereich des Bereichs für die Gesichtsdetektion eingestellt. Der Nicht-Fahrer-Bereich wird mit dem Bereich für die Gesichtsdetektion in Beziehung gesetzt in einer Speichersektion gespeichert.In the second embodiment, the non-driver area is an area where it can be presumed with a high possibility that an occupant's face other than the driver's face is imaged in the face detection area. The non-driver area is set in advance by a user, etc., in accordance with the area for face detection that is set in consideration of the imaging area of the imaging device 20, for example. For example, it is assumed that the installation position and the imaging range of the imaging device 20 are the installation position and the imaging range as shown in FIG 2A shown acts. The imaging range is principally set in a range where the driver's face is picked up at a substantially central position in the left-right direction of the image, for example, with the headrest at the center. It happens that, in the image in which the imaging range is mapped, the range for face detection is set so wide, for example, that the driver's face, which is usually picked up substantially at the center of the image, is detected even in assumption may be that the driver's face has moved to different positions. Assuming that a face of a rear seat occupant appears in such a set face detection area, the possibility that the face of the rear seat occupant appears at an edge of the face detection area is high. Therefore, in this case, the non-driver area is set to the edge area of the face detection area. The non-driver area is stored in a storage section in relation to the area for face detection.

Als Ursache dafür, dass die Belichtungszeit, die Einschaltzeit oder der Verstärkungswert aufgrund der durch die optische Einstellung-Steuerungssektion 106 durchgeführten Steuerung umfangreich verändert wird, ist auch die Entstehung eines Phänomens denkbar, durch welches das Licht der Beleuchtungsvorrichtung 30 nur schwer das Gesicht des Fahrers erreicht. Beispielsweise ist es möglich, dass das Gesicht des Fahrers dunkel abgebildet wird, wenn der Fahrer einen Hut trägt, und je nach Winkel das Licht von der Beleuchtungsvorrichtung 30 durch den Hut blockiert wird. In diesem Fall erfolgt angepasst an den korrekt detektierten Gesichtsbereich des Fahrers eine Steuerung durch die optische Einstellung-Steuerungssektion 106, sodass beispielsweise vorübergehend die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente größer oder gleich dem Schwellenwert für die Fahrersitz-Luminanz-Beurteilung werden kann. Selbst wenn die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente vorübergehend den Schwellenwert für die Fahrersitz-Luminanz-Beurteilung erreicht hat, kann daher nicht immer vorbehaltlos gesagt werden, dass eine an den Gesichtsbereich eines anderen Insassen als des Fahrers angepasste Steuerung erfolgt ist. Bei der zweiten Ausführungsform beurteilt daher die Fehldetektion-Beurteilungssektion 107 zusätzlich zu den Gesicht-Fehldetektionsbedingungen auch unter Berücksichtigung der Position des durch die Gesichtsdetektionssektion 102 detektierten Gesichts des Fahrers, ob die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat oder nicht. Die Fehldetektion-Beurteilungssektion 107 kann die Position des durch die Gesichtsdetektionssektion 102 detektierten Gesichts des Fahrers in dem Bild anhand der Gesichtsdaten berechnen. Beispielsweise kann die Fehldetektion-Beurteilungssektion 107 die Koordinaten des Zentrums des Gesichtsbereichs basierend auf den Gesichtsdaten als Position des Gesichts des Fahrers nehmen. Ferner kann die Fehldetektion-Beurteilungssektion 107 basierend auf den Gesichtsdaten, die von der Gesichtsdetektionssektion 102 ausgegeben wurden, auch einen den Gesichtsbereich des Fahrers anzeigenden Rahmen als Position des Gesichts des Fahrers nehmen.As a cause that the exposure time, the ON time, or the gain value is largely changed due to the control performed by the optical adjustment control section 106, it is also conceivable that a phenomenon arises in which the light from the lighting device 30 hardly reaches the driver's face . For example, it is possible for the driver's face to appear dark is formed when the driver wears a hat and depending on the angle, the light from the lighting device 30 is blocked by the hat. In this case, according to the correctly detected face area of the driver, the optical adjustment control section 106 controls so that, for example, the average luminance of the driver's face area pixels may temporarily become greater than or equal to the driver's seat luminance judgment threshold. Therefore, even if the average luminance of the driver's face area pixels has temporarily reached the threshold for the driver's seat luminance judgment, it cannot always be said unconditionally that control adapted to the face area of an occupant other than the driver has been performed. Therefore, in the second embodiment, the misdetection judging section 107 judges whether or not the face detection section 102 misdetected the driver's face, in addition to the face misdetection conditions, also considering the position of the driver's face detected by the face detection section 102 . The misdetection judging section 107 can calculate the position of the driver's face detected by the face detection section 102 in the image based on the face data. For example, the misdetection judging section 107 may take the coordinates of the center of the face area based on the face data as the position of the driver's face. Further, based on the face data output from the face detection section 102, the misdetection judging section 107 may also take a frame indicating the driver's face area as the position of the driver's face.

Befindet sich die Position des Gesichts des Fahrers, das durch die Gesichtsdetektionssektion 102 detektiert wurde, im Nicht-Fahrer-Bereich, ist die Wahrscheinlichkeit groß, dass es sich bei dem durch die Gesichtsdetektionssektion 102 detektierten Gesicht des Fahrers um das Gesicht eines anderen Insassen als das des Fahrers handelt. Befindet sich andererseits die Position des Gesichts des Fahrers nicht im Nicht-Fahrer-Bereich, hat sich die Position des Gesichts des Fahrers nicht übermäßig bewegt, und es kann gesagt werden, dass mit hoher Wahrscheinlichkeit die optische Einstellung-Steuerungssektion 106 eine an den korrekt detektierten Gesichtsbereich des Fahrers angepasste erforderliche Steuerung durchgeführt hat. Die Fehldetektion-Beurteilungssektion 107 beurteilt, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat, wenn aufgrund der durch die optische Einstellung-Steuerungssektion 106 erfolgten Steuerung die Gesicht-Fehldetektionsbedingungen erfüllt sind, und außerdem die Position des Gesichts des Fahrers, das durch die Gesichtsdetektionssektion 102 detektiert wurde, im Nicht-Fahrer-Bereich liegt.When the position of the driver's face detected by the face detection section 102 is in the non-driver area, there is a high possibility that the driver's face detected by the face detection section 102 is the face of an occupant other than that of the driver. On the other hand, if the driver's face position is not in the non-driver area, the driver's face position has not moved excessively, and it can be said that the optical adjustment control section 106 has a high possibility of one of the correctly detected ones Has carried out the required control adapted to the driver's facial area. The misdetection judging section 107 judges that the face detection section 102 misdetected the driver's face when the face misdetection conditions are satisfied due to the control performed by the optical adjustment control section 106, and also judges the position of the driver's face detected by the face detection section 102 was detected is in the non-driver area.

Der Betrieb der Onboard-Bildverarbeitungsvorrichtung 10 gemäß der zweiten Ausführungsform wird erläutert. Der grundsätzliche Betrieb der Onboard-Bildverarbeitungsvorrichtung 10 gemäß der zweiten Ausführungsform ist gleich dem Betrieb, der in der ersten Ausführungsform mittels 8 erläutert wurde, sodass eine doppelte Erläuterung ausgelassen wird. 10 ist ein Ablaufdiagramm, um bei der Onboard-Bildverarbeitungsvorrichtung 10 gemäß der zweiten Ausführungsform den Betrieb der Schritte ST804 bis ST807 in 8 detaillierter zu erläutern. Anders als bei der ersten Ausführungsform, wird der detaillierte Betrieb der Fehldetektion-Beurteilungssektion 107 bei der zweiten Ausführungsform mittels 10 erläutert. Der konkrete Betrieb der Schritte ST901 bis ST907 in 10 ist identisch mit dem konkreten Betrieb der Schritte ST901 bis ST907 in 9, der bei der ersten Ausführungsform erläutert wurde, sodass eine doppelte Erläuterung ausgelassen wird.The operation of the onboard image processing device 10 according to the second embodiment will be explained. The basic operation of the onboard image processing device 10 according to the second embodiment is the same as the operation described in the first embodiment by means of 8th has been explained, so that duplicate explanation will be omitted. 10 12 is a flowchart for explaining the operation of steps ST804 to ST807 in FIG 8th to explain in more detail. Unlike the first embodiment, the detailed operation of the misdetection judging section 107 in the second embodiment is performed by means of 10 explained. The concrete operation of steps ST901 to ST907 in 10 is identical to the concrete operation of steps ST901 to ST907 in FIG 9 , which has been explained in the first embodiment, so duplicate explanation will be omitted.

Für den Fall, dass in Schritt ST907 die Daten bezüglich der Abbildungsvorrichtung 20, die aufgrund der Durchführung der Belichtungssteuerung erzielt werden, die Gesicht-Fehldetektionsbedingungen erfüllen, oder die Daten bezüglich der Abbildungsvorrichtung 20, die aufgrund der Durchführung der Verstärkungseinstellung erzielt werden, die Gesicht-Fehldetektionsbedingungen erfüllen (bei „JA“ in Schritt ST907), beurteilt die Fehldetektion-Beurteilungssektion 107, ob die Position des Gesichts des Fahrers, das durch die Gesichtsdetektionssektion 102 detektiert wurde, im Nicht-Fahrerbereich liegt oder nicht (Schritt ST1001).In step ST907, in the case where the data on the imaging device 20 obtained due to the performance of the exposure control satisfies the face misdetection conditions, or the data on the imaging device 20 obtained due to the performance of the gain adjustment, the face Satisfying misdetection conditions (if "YES" in step ST907), the misdetection judging section 107 judges whether or not the position of the driver's face detected by the face detection section 102 is in the non-driver area (step ST1001).

Wurde in Schritt ST1001 beurteilt, dass sich die Position des Gesichts des Fahrers im Nicht-Fahrer-Bereich befindet („JA“ in Schritt ST1001), beurteilt die Fehldetektion-Beurteilungssektion 107, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat. Dann gibt die Fehldetektion-Beurteilungssektion 107 eine den Bereich für die Gesichtsdetektion verkleinernde Bereichsverkleinerungsanordnung an die Bereichsverkleinerungssektion 109 aus. Ferner gibt die Fehldetektion-Beurteilungssektion 107 eine Neusteuerungsmitteilung an die Neusteuerung-Anordnungssektion 108 aus. Die Verarbeitung durch die Onboard-Bildverarbeitungsvorrichtung 10 geht dann zu Schritt ST808 in 8 über.When it is judged in step ST1001 that the driver's face position is in the non-driver area ("YES" in step ST1001), the misdetection judging section 107 judges that the face detection section 102 has misdetected the driver's face. Then, the misdetection judging section 107 outputs to the area reducing section 109 an area reducing order reducing the area for face detection. Further, the misdetection judging section 107 issues a re-control notification to the re-control arranging section 108 . The processing by the onboard image processing device 10 then proceeds to step ST808 8th above.

Wurde andererseits in Schritt ST1001 beurteilt, dass sich die Position des Gesichts des Fahrers nicht im Nicht-Fahrer-Bereich befindet („NEIN“ in Schritt ST1001), beurteilt die Fehldetektion-Beurteilungssektion 107, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers nicht fehldetektiert hat. Dann gibt die Fehldetektion-Beurteilungssektion 107 Gesichtsdetektion-Vorhanden-Daten an die Fahrer-Überwachungssektion 103 aus. Die Verarbeitung der Onboard-Bildverarbeitungsvorrichtung 10 endet.On the other hand, when it is judged in step ST1001 that the driver's face position is not in the non-driver area ("NO" in step ST1001), the misdetection judging section 107 judges that the face detection section 102 does not misdetect the driver's face Has. Then, the misdetection judging section 107 outputs face detection presence data to the driver monitoring section 103 . The processing of the onboard image processing device 10 ends.

Daher führt die Fehldetektion-Beurteilungssektion 107 basierend auf dem Ergebnis der Steuerung, die von der optischen Einstellung-Steuerungssektion 106 durchgeführt wurde, und basierend auf der Position des Fahrers, die von der Gesichtsdetektionssektion 102 detektiert wurde, eine Fehldetektion-Beurteilung des Gesichts des Fahrers durch. Dadurch kann die Präzision der Fehldetektionsbeurteilung des Gesichts des Fahrers verbessert werden.Therefore, based on the result of the control performed by the optical adjustment control section 106 and based on the driver's position detected by the face detection section 102, the misdetection judging section 107 performs misdetection judgment of the driver's face . Thereby, the precision of the misdetection judgment of the driver's face can be improved.

Bei der vorstehenden Erläuterung wird eine Fehldetektionsbeurteilung dadurch durchgeführt, dass die Fehldetektion-Beurteilungssektion 107 beurteilt, ob aufgrund der durch die optische Einstellung-Steuerungssektion 106 erfolgten Steuerung die Gesicht-Fehldetektionsbedingungen erfüllt sind, und ob die Position des Gesichts des Fahrers, das durch die Gesichtsdetektionssektion 102 detektiert wurde, im Nicht-Fahrer-Bereich liegt oder nicht.
Die Beurteilung, die unter Zusatz der Beurteilung erfolgt, ob das Ergebnis der durch die optische Einstellung-Steuerungssektion 106 durchgeführten Steuerung die Gesicht-Fehldetektionsbedingungen erfüllt oder nicht, ist jedoch nicht auf die vorstehend beschriebene Beurteilung beschränkt.
Die Fehldetektion-Beurteilungssektion 107 vergleicht beispielsweise die Position des Gesichts des Fahrers basierend auf den von der Gesichtsdetektionssektion 102 ausgegebenen aktuellen Gesichtsdaten, die zum Anlass für die Durchführung der Steuerung durch die optische Einstellung-Steuerungssektion 106 geworden sind, mit der Position des Gesichts des Fahrers basierend auf chronologisch betrachtet eins vor den von der Gesichtsdetektionssektion 102 ausgegebenen Gesichtsdaten liegenden Gesichtsdaten. Dann kann die Fehldetektion-Beurteilungssektion 107 eine Verarbeitung zur Beurteilung, ob als Ergebnis dieses Vergleichs die Differenz der Positionskoordinaten des Gesichts des Fahrers basierend auf beiden Gesichtsdaten größer oder gleich einem vorab eingestellten Schwellenwert ist oder nicht, zusätzlich zu der Beurteilung, ob die Gesicht-Fehldetektionsbedingungen erfüllt sind oder nicht, durchführen. Ferner kann die Fehldetektion-Beurteilungssektion 107 in diesem Fall beispielsweise keinen Vergleich der Positionen des Gesichts des Fahrers, sondern einen Vergleich spezifischer Punkte des Gesichts des Fahrers oder einen Vergleich der Größe des Rahmens, der den Gesichtsbereich des Fahrers zeigt, durchführen, und eine Beurteilung, ob die Differenz zwischen den spezifischen Punkten des Gesichts größer oder gleich einem Schwellenwert ist oder nicht, oder eine Beurteilung, ob die Differenz der Größe des Rahmens, der den Gesichtsbereich des Fahrers zeigt, größer oder gleich einem Schwellenwert ist, zusätzlich zu der Beurteilung, ob die Gesicht-Fehldetektionsbedingungen erfüllt sind oder nicht, durchführen.In the above explanation, misdetection judgment is performed by the misdetection judging section 107 judging whether the face misdetection conditions are satisfied due to the control performed by the optical adjustment control section 106 and whether the position of the driver's face detected by the face detection section 102 was detected, is in the non-driver area or not.
However, the judgment made with the addition of the judgment as to whether or not the result of the control performed by the optical adjustment control section 106 satisfies the face misdetection conditions is not limited to the judgment described above.
The misdetection judging section 107 compares, for example, the driver's face position based on the current face data output from the face detection section 102, which has become the occasion for the optical adjustment control section 106 to perform control, with the driver's face position based to face data one ahead of the face data output from the face detection section 102 chronologically. Then, the misdetection judging section 107 may perform processing for judging whether or not, as a result of this comparison, the difference in the position coordinates of the driver's face based on both face data is greater than or equal to a preset threshold value, in addition to judging whether the face misdetection conditions are met or not. Further, in this case, for example, the misdetection judging section 107 may not perform a comparison of the positions of the driver's face but a comparison of specific points of the driver's face or a comparison of the size of the frame showing the driver's face area, and a judgment whether or not the difference between the specific points of the face is greater than or equal to a threshold, or a judgment as to whether the difference in the size of the frame showing the driver's face area is greater than or equal to a threshold, in addition to judging whether the face misdetection conditions are satisfied or not.

Führt die Fehldetektion-Beurteilungssektion 107 zusätzlich zu der Beurteilung, ob die Gesichtsdetektionsbedingungen erfüllt sind oder nicht, eine Beurteilung bezüglich der Position des Gesichts des Fahrers oder eine Beurteilung bezüglich spezifischer Punkte des Gesichts des Fahrers durch, kann die Präzision einer Fehldetektionsbeurteilung, wenn für den Fall, dass die Einstellposition und der Abbildungsbereich der Abbildungsvorrichtung 20 wie die Einstellposition und der Abbildungsbereich in 2B eingestellt sind, das Gesicht des Insassen auf dem Beifahrersitz als Gesicht des Fahrers fehldetektiert wird, verbessert werden. Man kann sagen, dass bei einer großen Veränderung der Position des Gesichts des Fahrers oder spezifischer Punkte des Gesichts des Fahrers eine hohe Wahrscheinlichkeit besteht, dass die Gesichtsdetektionssektion 102 das Gesicht des Insassen auf dem Beifahrersitz als Gesicht des Fahrers fehldetektiert. Das heißt, man kann sagen, dass es sich bei der Steuerung, die durch die optische Einstellung-Steuerungssektion 106 erfolgt ist, mit hoher Wahrscheinlichkeit um eine der durchschnittlichen Luminanz der Bildelemente innerhalb des Gesichtsbereichs des Insassen des Beifahrersitzes entsprechend durchgeführte Steuerung handelt, wenn die Daten bezüglich der Abbildungsvorrichtung 20 die Gesicht-Fehldetektionsbedingungen erfüllen. Dadurch, dass die Fehldetektion-Beurteilungssektion 107 zusätzlich zu der Beurteilung, ob die Gesichtsdetektionsbedingungen erfüllt sind oder nicht, eine Beurteilung bezüglich der Position des Gesichts des Fahrers oder eine Beurteilung bezüglich spezifischer Punkte des Gesichts des Fahrers durchführt, kann daher beurteilt werden, dass die Gesichtsdetektionssektion 102 das Gesicht des Insassen auf dem Beifahrersitz als Gesicht des Fahrers fehldetektiert hat.If the misdetection judging section 107 makes a judgment regarding the position of the driver's face or a judgment regarding specific points of the driver's face in addition to judging whether or not the face detection conditions are satisfied, the precision of a misdetection judgment if for the case , that the setting position and the imaging range of the imaging device 20 are the same as the setting position and the imaging range in FIG 2 B are set, the face of the occupant on the front passenger's seat is misdetected as the face of the driver can be improved. It can be said that when there is a large change in the position of the driver's face or specific points of the driver's face, there is a high possibility that the face detection section 102 misdetects the face of the passenger seat occupant as the driver's face. That is, it can be said that the control performed by the optical adjustment control section 106 is, with high probability, control performed according to the average luminance of the picture elements within the face area of the passenger's seat occupant when the data with respect to the imaging device 20 satisfy the false face detection conditions. Therefore, by the misdetection judging section 107 making a judgment as to the position of the driver's face or a judgment as to specific points of the driver's face in addition to judging whether or not the face detection conditions are satisfied, it can be judged that the face detection section 102 misdetected the face of the passenger seat occupant as the driver's face.

Wie bei der ersten Ausführungsform ist auch bei der zweiten Ausführungsform ein Aufbau möglich, bei dem die Onboard-Bildverarbeitungsvorrichtung 10a die Bereichsverkleinerungssektion 109 nicht umfasst. Ferner ist die Einstellung eines Bereichs für die Gesichtsdetektion in dem Bild nicht unbedingt notwendig.As with the first embodiment, a structure in which the onboard image processing device 10a does not include the area narrowing section 109 is also possible in the second embodiment. Furthermore, setting an area for face detection in the image is not essential.

Wie im Vorstehenden, umfasst die Onboard-Bildverarbeitungsvorrichtung 10 gemäß der zweiten Ausführungsform den gleichen Aufbau wie die Onboard-Bildverarbeitungsvorrichtung 10 gemäß der ersten Ausführungsform, und die Fehldetektion-Beurteilungssektion 107 ist derart aufgebaut, dass sie basierend auf dem Ergebnis der Steuerung, die durch die optische Einstellung-Steuerungssektion 106 durchgeführt wurde, und basierend auf der Position des Gesichts des Fahrers, das durch die Gesichtsdetektionssektion 102 detektiert wurde, die Fehldetektion-Beurteilung durchführt. Daher kann die Onboard-Bildverarbeitungsvorrichtung 10a die Steuerung einer ungeeigneten optischen Einstellung basierend auf einem fehldetektierten Gesicht des Fahrers verhindern, und es kann dadurch, dass bei der Durchführung der Fehldetektionsbeurteilung die Position des detektierten Gesichts des Fahrers berücksichtigt wird, die Präzision der Fehldetektionsbeurteilung verbessert werden.As in the above, the onboard image processing device 10 according to the second embodiment has the same structure as the onboard image processing device 10 according to the first embodiment, and the misdetection judging section 107 is structured such that based on the result of the control performed by the optical adjustment control section 106 has been performed, and based on the position of the driver's face detected by the face detection section 102, performs the misdetection judgment. Therefore, the onboard image processing device 10a can prevent the control of improper optical adjustment based on a misdetected driver's face, and by considering the position of the detected driver's face when performing the misdetection judgment, the precision of the misdetection judgment can be improved.

Dritte AusführungsformThird embodiment

Bei der dritten Ausführungsform wird eine Form zur Ausführung erläutert, bei der die Präzision der Fehldetektionsbeurteilung dadurch verbessert werden kann, dass die Abrolllänge eines Sicherheitsgurts berücksichtigt wird.In the third embodiment, a mode of implementation in which the precision of misdetection judgment can be improved by considering the unwinding length of a seat belt will be explained.

11 ist eine Ansicht, die ein Strukturbeispiel einer Onboard-Bildverarbeitungsvorrichtung 10a gemäß der dritten Ausführungsform zeigt. In 11 werden Strukturen, die gleich denen der Onboard-Bildverarbeitungsvorrichtung 10 sind, die mittels 1 in der ersten Ausführungsform erläutert wurde, mit den gleichen Bezugszeichen versehen und eine doppelte Erläuterung ausgelassen. Die Onboard-Bildverarbeitungsvorrichtung 10a gemäß der dritten Ausführungsform unterscheidet sich beim Vergleich mit der Onboard-Bildverarbeitungsvorrichtung 10 der ersten Ausführungsform in dem Punkt, dass eine Abrolllängen-Detektionssektion 111 umfasst ist. 11 12 is a view showing a structural example of an onboard image processing device 10a according to the third embodiment. In 11 are structures similar to those of the onboard image processing device 10, which are provided by means 1 explained in the first embodiment are given the same reference numerals and duplicated explanation is omitted. The onboard image processing device 10a according to the third embodiment differs in the point that a rolling length detection section 111 is included when compared with the onboard image processing device 10 of the first embodiment.

Die Abrolllängen-Detektionssektion 111 detektiert die Abrolllänge eines am Fahrersitz montierten Sicherheitsgurts.
Die Abrolllängen-Detektionssektion 111 detektiert beispielsweise basierend in einem von der BildErwerbssektion 101 erworbenen Bild anhand der Bewegungsmenge der Position einer Markierung, die an dem Sicherheitsgurt vorgesehen ist, die Abrolllänge des Sicherheitsgurts in dem Bild. Die Markierung wurde vorab an dem Sicherheitsgurt vorgesehen. Die Markierung kann durch die Abbildungsvorrichtung 20 detektiert werden.The unwinding length detection section 111 detects the unwinding length of a seat belt mounted on the driver's seat.
The unwinding length detecting section 111 detects the unwinding length of the seatbelt in the image based on, for example, an image acquired from the image acquiring section 101 from the amount of movement of the position of a marker provided on the seatbelt. The mark has been provided on the seat belt in advance. The marker can be detected by the imaging device 20 .

Handelt es sich beispielsweise bei der Abbildungsvorrichtung 20 um eine Infrarotkamera, ist die Markierung eine mittels einer Infrarotkamera detektierbare Markierung.For example, if imaging device 20 is an infrared camera, the marker is a marker detectable by an infrared camera.

Ferner kann es sich auch um eine Abrolllängen-Detektionssektion 111 handeln, die durch die Berechnung der Abrolllänge des Sicherheitsgurtes anhand einer Rotationsgröße, die durch einen Abrollsensor (nicht dargestellt) detektiert wurde, der beispielsweise in der Nähe des an dem Fahrersitz montierten Sicherheitsgurtes montiert wird und einen entsprechend der Bewegungsmenge des Sicherheitsgurtes rotierenden Abschnitt aufweist, die Abrolllänge des Sicherheitsgurts detektiert.It may also be an unwinding length detecting section 111 which calculates the unwinding length of the seat belt from a rotation amount detected by an unwinding sensor (not shown) mounted near the seat belt mounted on the driver's seat, for example, and has a portion rotating according to the amount of movement of the seat belt, detects the rolling length of the seat belt.

Bei der durch die Abrolllängen-Detektionssektion 111 detektierten Abrolllänge des Sicherheitsgurtes handelt es sich beispielsweise um die Abrolllänge auf der Grundlage des Sicherheitsgurtes in einem nicht verwendeten Zustand (im Folgenden als „Abrolllänge auf der Grundlage des Nichtverwendungszustandes“ bezeichnet).
Ferner kann es sich bei der durch die Abrolllängen-Detektionssektion 111 detektierten Abrolllänge des Sicherheitsgurtes beispielsweise auch um die Abrolllänge auf der Grundlage des Sicherheitsgurtes in einem angelegten Zustand des Sicherheitsgurtes bei einer normalen Sitzhaltung des Fahrers (im Folgenden als „Abrolllänge auf der Grundlage des
Verwendungszustandes“ bezeichnet) handeln. Ändert der Fahrer zu irgendeinem Zweck seine Haltung aus der normalen Sitzhaltung, kann sich auch die Abrolllänge des Sitzgurtes ändern. Detektiert die Abrolllängen-Detektionssektion 111 die Abrolllänge auf der Grundlage des Verwendungszustands, kann sie die Abrolllänge des Sicherheitsgurtes entsprechend einer unter Berücksichtigung der Statur des Fahrers exakteren Änderung der Haltung des Fahrers als bei einer Detektion der Abrolllänge auf der Grundlage des Nichtverwendungszustandes detektieren. Die Abrolllängen-Detektionssektion 111 gibt die detektierte Abrolllänge an die Fehldetektion-Beurteilungssektion 107 aus.The unwinding length of the seatbelt detected by the unwinding length detection section 111 is, for example, the unwinding length based on the seatbelt in an unused state (hereinafter referred to as “unused state-based unwinding length”).
Further, the unwinding length of the seatbelt detected by the unwinding length detecting section 111 may also be, for example, the unwinding length based on the seatbelt in a fastened state of the seatbelt with a normal sitting posture of the driver (hereinafter referred to as "unwinding length based on the seatbelt).
state of use”). If the driver changes his posture from the normal sitting posture for any purpose, the seat belt payout may also change. When the unwinding length detecting section 111 detects the unwinding length based on the state of use, it can detect the unwinding length of the seatbelt according to a more accurate change in the driver's posture considering the driver's physique than when detecting the unwinding length based on the state of non-use. The unwinding length detection section 111 outputs the detected unwinding length to the misdetection judging section 107 .

Die Abrolllängen-Detektionssektion 111 führt den Detektionsbetrieb zumindest zum gleichen Zeitpunkt, zu dem die Gesichtsdetektionssektion 102 einen Detektionsbetrieb durchführt, wiederholt durch. Die detektierte Abrolllänge wird mit den Gesichtsdaten in Beziehung gesetzt in einer Speichersektion gespeichert. Beispielsweise erwirbt die Gesichtsdetektionssektion 102 beim Speichern der Gesichtsdaten in der Speichersektion die Daten bezüglich der Abrolllänge von der Abrolllängen-Detektionssektion 111 und speichert diese mit den Gesichtsdaten in Beziehung gesetzt in der Speichersektion. The rolling length detection section 111 repeatedly performs the detection operation at least at the same time that the face detection section 102 performs a detection operation. The detected rolling length is stored in a storage section in relation to the face data. For example, when storing the face data in the storage section, the face detection section 102 acquires the data on the rolling length from the rolling length detecting section 111 and stores them in relation to the face data in the storage section.

Die Fehldetektion-Beurteilungssektion 107 führt basierend auf dem Ergebnis der Steuerung, die durch die optische Einstellung-Steuerungssektion 106 durchgeführt wurde, und basierend auf der Abrolllänge, die durch die Abrolllängen-Detektionssektion 111 detektiert wurde, eine Fehldetektion-Beurteilung durch. Konkret vergleicht die Fehldetektion-Beurteilungssektion 107 beispielsweise die den von der Gesichtsdetektionssektion 102 ausgegebenen aktuellen Gesichtsdaten, die zum Anlass für die Durchführung der Steuerung durch die optische Einstellung-Steuerungssektion 106 geworden sind, entsprechende Abrolllänge mit der Abrolllänge entsprechend den chronologisch betrachtet eins vor den von der Gesichtsdetektionssektion 102 ausgegebenen Gesichtsdaten liegenden Gesichtsdaten. Dann führt die Fehldetektion-Beurteilungssektion 107 zusätzlich zu der Beurteilung, ob die Gesicht-Fehldetektionsbedingungen erfüllt sind oder nicht, eine Beurteilung darüber durch, ob die Differenz der betreffenden Abrolllänge kleiner oder gleich eines vorab eingestellten Schwellenwerts ist (im Folgenden als „erster Schwellenwert für die Abrolllängenbeurteilung“ bezeichnet). Die Fehldetektion-Beurteilungssektion 107 beurteilt, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat, wenn das Ergebnis der durch die optische Einstellung-Steuerungssektion 106 erfolgten Steuerung die Gesicht-Fehldetektionsbedingungen erfüllt und außerdem die Differenz der Abrolllänge kleiner oder gleich dem ersten Schwellenwert für die Abrolllängenbeurteilung ist. Andererseits beurteilt die Fehldetektion-Beurteilungssektion 107, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers nicht fehldetektiert hat, wenn das Ergebnis der durch die optische Einstellung-Steuerungssektion 106 erfolgten Steuerung die Gesicht-Fehldetektionsbedingungen zwar erfüllt hat, aber die Differenz der Abrolllänge größer als der erste Schwellenwert für die Abrolllängenbeurteilung ist.The misdetection judging section 107 performs misdetection judgment based on the result of the control performed by the optical adjustment control section 106 and based on the rolling length detected by the rolling length detecting section 111 . Concretely, the misdetection judging section 107 compares, for example, the current face data output from the face detection section 102, which has become the occasion for the optical adjustment control section 106 to perform the control speaking rolling length with the rolling length corresponding to the face data one ahead of the face data outputted from the face detection section 102 chronologically. Then, in addition to judging whether or not the face misdetection conditions are satisfied, the misdetection judging section 107 makes a judgment as to whether the difference in the rolling length concerned is less than or equal to a preset threshold value (hereinafter, referred to as "the first threshold value for the unwind length assessment”). The misdetection judging section 107 judges that the face detection section 102 misdetected the driver's face when the result of the control performed by the optical adjustment control section 106 satisfies the face misdetection conditions and also the difference in the rolling length is less than or equal to the first threshold for the driver Roll length assessment is. On the other hand, the misdetection judging section 107 judges that the face detection section 102 did not misdetect the driver's face when the result of the control performed by the optical adjustment control section 106 satisfied the face misdetection conditions but the difference in the rolling length was larger than the first Threshold for the roll length assessment is.

Konkret kann die Fehldetektion-Beurteilungssektion 107 ferner auch beurteilen, ob beispielsweise das Ergebnis der durch die optische Einstellung-Steuerungssektion 106 durchgeführten Steuerung die Gesicht-Fehldetektionsbedingungen erfüllt und außerdem die durch die Abrolllängen-Detektionssektion 111 detektierte Abrolllänge kleiner oder gleich einem Schwellenwert ist (im Folgenden als „zweiter Schwellenwert für die Abrolllängenbeurteilung“ bezeichnet).
Die Fehldetektion-Beurteilungssektion 107 beurteilt, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat, wenn das Ergebnis der durch die optische Einstellung-Steuerungssektion 106 erfolgten Steuerung die Gesicht-Fehldetektionsbedingungen erfüllt und außerdem die Abrolllänge kleiner oder gleich dem zweiten Schwellenwert für die Abrolllängenbeurteilung ist. Andererseits beurteilt die Fehldetektion-Beurteilungssektion 107, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers nicht fehldetektiert hat, wenn das Ergebnis der durch die optische Einstellung-Steuerungssektion 106 erfolgten Steuerung die Gesicht-Fehldetektionsbedingungen erfüllt und außerdem die Abrolllänge größer als der zweite Schwellenwert für die Abrolllängenbeurteilung ist.More specifically, the misdetection judging section 107 can also judge whether, for example, the result of the control performed by the optical adjustment control section 106 satisfies the face misdetection conditions and also the unwinding length detected by the unwinding length detecting section 111 is less than or equal to a threshold value (hereinafter referred to as the “second threshold for the roll-off length assessment”).
The misdetection judging section 107 judges that the face detection section 102 misdetected the driver's face when the result of the control performed by the optical adjustment control section 106 satisfies the face misdetection conditions and also the rolling length is less than or equal to the second rolling length judgment threshold value . On the other hand, the misdetection judging section 107 judges that the face detection section 102 did not misdetect the driver's face when the result of the control performed by the optical adjustment control section 106 satisfies the face misdetection conditions and also the rolling length is larger than the second rolling length judgment threshold is.

Als eine Ursache dafür, dass die Belichtungszeit, die Einschaltzeit oder der Verstärkungswert aufgrund der durch die optische Einstellung-Steuerungssektion 106 durchgeführten Steuerung umfangreich verändert wurde, ist beispielsweise eine übermäßige Körperbewegung des Fahrers denkbar. Bei einer übermäßigen Körperbewegung des Fahrers bewegt sich auch die Position des Gesichts des Fahrers übermäßig. Bewegt der Fahrer beispielsweise den Körper übermäßig, um sich visuell in der rückwärtigen Richtung des Fahrzeugs zu vergewissern, ist es auch denkbar, dass das Gesicht übermäßig nach hinten bewegt wird, wohin das Licht der Beleuchtungsvorrichtung 30 nur schwer reicht. Selbst wenn die durchschnittliche Luminanz der Fahrer-Gesichtsbereich-Bildelemente vorübergehend den Schwellenwert für die Fahrersitz-Luminanz-Beurteilung erreicht hat, kann infolgedessen nicht immer unbedingt gesagt werden, dass eine an den Gesichtsbereich eines anderen Insassen als den des Fahrers angepasste Steuerung erfolgt ist.As a cause that the exposure time, the ON time, or the gain value is largely changed due to the control performed by the optical adjustment control section 106, an excessive body movement of the driver is conceivable, for example. When the driver's body movement is excessive, the position of the driver's face also moves excessively. For example, when the driver excessively moves the body to visually confirm the rearward direction of the vehicle, it is also conceivable that the face is excessively moved backward where the light from the lighting device 30 is difficult to reach. As a result, even if the average luminance of the driver's face area pixels has temporarily reached the threshold for the driver's seat luminance judgment, it cannot always be said unconditionally that control adapted to the face area of an occupant other than the driver has been performed.

Daher führt die Fehldetektion-Beurteilungssektion 107 bei der dritten Ausführungsform eine Fehldetektionsbeurteilung durch, bei der zusätzlich zu den Gesicht-Fehldetektionsbedingungen auch die Abrolllänge des Sicherheitsgurtes des Fahrersitzes berücksichtigt wird. Wie vorstehend beschrieben, ist es denkbar, dass sich bei einer übermäßigen Körperbewegung des Fahrers auch die Position des Gesichts des Fahrers übermäßig bewegt. Bewegt dann der Fahrer seinen Körper aus der normalen Sitzhaltung, wird der Sicherheitsgurt des Fahrersitzes abgerollt, und durch die Abrolllängen-Detektionssektion 111 wird die der Bewegung des Sicherheitsgurtes entsprechende Abrolllänge detektiert. Detektiert die Abrolllängen-Detektionssektion 111 die Abrolllänge auf der Grundlage des Nichtverwendungszustands, wird die Abrolllänge bei einer übermäßigen Bewegung des Gesichts von der Position des Gesichts bei einer normalen Sitzposition des Fahrers größer als die Abrolllänge bei der normalen Sitzhaltung des Fahrers. Infolgedessen kann durch die Differenz zwischen der Abrolllänge zu diesem Zeitpunkt und der Abrolllänge zu dem anderen Zeitpunkt beurteilt werden, ob sich das Gesicht des Fahrers übermäßig bewegt hat oder nicht. Oder es kann für den Fall, dass die Abrolllänge größer als ein bestimmter Wert ist, beurteilt werden, ob sich das Gesicht von der Position des Gesichts bei einer normalen Sitzhaltung des Fahrers übermäßig bewegt hat oder nicht.Therefore, in the third embodiment, the misdetection judging section 107 performs misdetection judgment considering the unwinding length of the seat belt of the driver's seat in addition to the face misdetection conditions. As described above, it is conceivable that when the driver's body movement is excessive, the position of the driver's face also moves excessively. Then, when the driver moves his body from the normal sitting posture, the seat belt of the driver's seat is unwound, and by the unwinding length detecting section 111, the unwinding length corresponding to the movement of the seat belt is detected. When the rolling length detecting section 111 detects the rolling length based on the non-use state, the rolling length when the face moves excessively from the position of the face when the driver is normally seated becomes larger than the rolling length when the driver is normally seated. As a result, whether or not the driver's face has moved excessively can be judged by the difference between the rolling length at this time and the rolling length at the other time. Or, in the case where the rolling length is greater than a certain value, it can be judged whether or not the face has moved excessively from the position of the face when the driver is normally seated.

Detektiert die Abrolllängen-Detektionssektion 111 die Abrolllänge auf der Grundlage des Verwendungszustands, wird die Abrolllänge bei einer normalen Sitzhaltung des Fahrers beispielsweise auf den Referenzwert Null eingestellt, wobei die Abrolllänge bei einer übermäßigen Bewegung des Gesichts von der Position des Gesichts bei einer normalen Sitzposition des Fahrers größer als der Referenzwert wird. Auch in diesem Fall kann durch die Differenz zwischen der Abrolllänge zu einem Zeitpunkt und der Abrolllänge zu einem anderen Zeitpunkt beurteilt werden, ob sich das Gesicht des Fahrers übermäßig bewegt hat oder nicht. Oder es kann für den Fall, dass die Abrolllänge größer als ein bestimmter Wert ist, beurteilt werden, ob sich das Gesicht von der Position des Gesichts bei einer normalen Sitzhaltung des Fahrers übermäßig bewegt hat oder nicht.When the rolling length detection section 111 detects the rolling length based on the state of use, the rolling length is set to the reference value zero when the driver is normally seated, for example, and the rolling length is increased when the face moves excessively from the position of the face when the driver is normally seated becomes larger than the reference value. Also in this case, due to the difference between the unrolling length at a time point and the rolling length at another point in time, whether the driver's face has moved excessively or not can be judged. Or, in the case where the rolling length is greater than a certain value, it can be judged whether or not the face has moved excessively from the position of the face when the driver is normally seated.

Konnte detektiert werden, dass der Fahrer das Gesicht übermäßig bewegt hat, ist es auch denkbar, dass die optische Einstellung-Steuerungssektion 106 wie vorstehend angegeben aufgrund der übermäßigen Bewegung des Gesichts eine Steuerung durchgeführt hat, durch die die optische Einstellung übermäßig geändert wurde. Das heißt, wenn beurteilt werden konnte, dass der Fahrer das Gesicht übermäßig bewegt hat, bedeutet dies, dass das Gesicht des Fahrers nicht unbedingt fehldetektiert wurde. Konnte andererseits detektiert werden, dass der Fahrer das Gesicht nicht übermäßig bewegt hat, ist es denkbar, dass die optische Einstellung-Steuerungssektion 106 eine Steuerung durchgeführt hat, durch die die optische Einstellung übermäßig geändert wurde, weil das Gesicht des Fahrers fehldetektiert wurde.If it could be detected that the driver moved the face excessively, it is also conceivable that the optical adjustment control section 106 performed control by which the optical adjustment was excessively changed due to the excessive movement of the face as mentioned above. That is, if it could be judged that the driver moved the face excessively, it means that the driver's face was not necessarily misdetected. On the other hand, if it could be detected that the driver did not excessively move the face, it is conceivable that the optical adjustment control section 106 performed control by which the optical adjustment was excessively changed because the driver's face was misdetected.

Folglich beurteilt die Fehldetektion-Beurteilungssektion 107, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat, wenn beispielsweise das Ergebnis der durch die optische Einstellung-Steuerungssektion 106 erfolgten Steuerung die Gesicht-Fehldetektionsbedingungen erfüllt, und außerdem die Differenz zwischen der aktuellen Abrolllänge und der chronologisch betrachteten Abrolllänge eins vorher kleiner oder gleich dem ersten Schwellenwert für die Abrolllängenbeurteilung ist. Ist die Differenz zwischen der aktuellen Abrolllänge und der chronologisch betrachteten Abrolllänge eins vorher kleiner oder gleich dem ersten Schwellenwert für die Abrolllängenbeurteilung, ist nämlich denkbar, dass das Gesicht des Fahrers nicht übermäßig bewegt wurde. Andererseits beurteilt die Fehldetektion-Beurteilungssektion 107, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers nicht fehldetektiert hat, wenn das Ergebnis der durch die optische Einstellung-Steuerungssektion 106 erfolgten Steuerung die Gesicht-Fehldetektionsbedingungen zwar erfüllt, aber die Differenz der Abrolllänge größer als der erste Schwellenwert für die Abrolllängenbeurteilung ist. Ist die Differenz zwischen den Abrolllängen größer als der erste Schwellenwert für die Abrolllängenbeurteilung, ist nämlich denkbar, dass das Gesicht des Fahrers übermäßig bewegt wurde. Ferner beurteilt die Fehldetektion-Beurteilungssektion 107, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat, wenn beispielsweise das Ergebnis der durch die optische Einstellung-Steuerungssektion 106 erfolgten Steuerung die Gesicht-Fehldetektionsbedingungen erfüllt und außerdem die Abrolllänge kleiner oder gleich dem zweiten Schwellenwert für die Abrolllängenbeurteilung ist. Ist die Abrolllänge kleiner oder gleich dem zweiten Schwellenwert für die Abrolllängenbeurteilung, ist nämlich denkbar, dass das Gesicht des Fahrers nicht übermäßig bewegt wurde. Andererseits beurteilt die Fehldetektion-Beurteilungssektion 107, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers nicht fehldetektiert hat, wenn das Ergebnis der durch die optische Einstellung-Steuerungssektion 106 erfolgten Steuerung die Gesicht-Fehldetektionsbedingungen zwar erfüllt, aber die Abrolllänge größer als der zweite Schwellenwert für die Abrolllängenbeurteilung ist. Ist die Abrolllänge größer als der zweite Schwellenwert für die Abrolllängenbeurteilung, ist nämlich denkbar, dass das Gesicht des Fahrers übermäßig bewegt wurde.Consequently, the misdetection judging section 107 judges that the face detection section 102 misdetected the driver's face when, for example, the result of the control performed by the optical adjustment control section 106 satisfies the face misdetection conditions, and also the difference between the current rolling length and the chronological one considered unwind length one before is less than or equal to the first threshold value for the unroll length assessment. If the difference between the current roll-off length and the chronologically considered roll-off length one before is less than or equal to the first threshold value for the roll-off length assessment, it is conceivable that the driver's face was not moved excessively. On the other hand, the misdetection judging section 107 judges that the face detection section 102 has not misdetected the driver's face when the result of the control performed by the optical adjustment control section 106 satisfies the face misdetection conditions but the difference in rolling length is larger than the first threshold for the roll-off length assessment. If the difference between the rolling lengths is greater than the first threshold value for the rolling length assessment, it is conceivable that the driver's face was moved excessively. Further, the misdetection judging section 107 judges that the face detection section 102 misdetected the driver's face when, for example, the result of the control performed by the optical adjustment control section 106 satisfies the face misdetection conditions and also the rolling length is less than or equal to the second threshold for the driver Roll length assessment is. If the roll-off length is less than or equal to the second threshold value for the roll-off length assessment, it is conceivable that the driver's face was not moved excessively. On the other hand, the misdetection judging section 107 judges that the face detection section 102 has not misdetected the driver's face when the result of the control performed by the optical adjustment control section 106 satisfies the face misdetection conditions but the rolling length is larger than the second threshold for the driver Roll length assessment is. If the roll-off length is greater than the second threshold value for the roll-off length assessment, it is conceivable that the driver's face was moved excessively.

Der Betrieb der Onboard-Bildverarbeitungsvorrichtung 10a gemäß der dritten Ausführungsform wird erläutert. Der grundsätzliche Betrieb der Onboard-Bildverarbeitungsvorrichtung 10a gemäß der dritten Ausführungsform ist identisch mit dem Betrieb, der mittels 8 bei der ersten Ausführungsform erläutert wurde, sodass eine doppelte Erläuterung ausgelassen wird. The operation of the onboard image processing device 10a according to the third embodiment will be explained. The basic operation of the onboard image processing device 10a according to the third embodiment is identical to the operation shown in FIG 8th was explained in the first embodiment, so duplicate explanation will be omitted.

12 ist ein Ablaufdiagramm, um bei der Onboard-Bildverarbeitungsvorrichtung 10a gemäß der dritten Ausführungsform den Betrieb der Schritte ST804 bis ST807 in 8 detaillierter zu erläutern. Anders als bei der ersten Ausführungsform wird der detaillierte Betrieb der Fehldetektion-Beurteilungssektion 107 bei der dritten Ausführungsform mittels 12 erläutert. Der konkrete Betrieb der Schritte ST901 bis ST907 in 12 ist identisch mit dem konkreten Betrieb der Schritte ST901 bis ST907 in 9, der bei der ersten Ausführungsform erläutert wurde, sodass eine doppelte Erläuterung ausgelassen wird.
Ferner ist vorgegeben, dass die Fehldetektion-Beurteilungssektion 107 bei dem in 12 gezeigten Betrieb basierend auf dem Ergebnis der Steuerung, die durch die optische Einstellung-Steuerungssektion 106 durchgeführt wurde, und basierend auf der Differenz zwischen der aktuellen Abrolllänge und der chronologisch betrachteten Abrolllänge eins vorher eine Fehldetektion-Beurteilung durchführt. 12 12 is a flowchart for explaining the operation of steps ST804 to ST807 in FIG 8th to explain in more detail. Unlike the first embodiment, the detailed operation of the misdetection judging section 107 in the third embodiment is performed by means of 12 explained. The concrete operation of steps ST901 to ST907 in 12 is identical to the concrete operation of steps ST901 to ST907 in FIG 9 , which has been explained in the first embodiment, so duplicate explanation will be omitted.
Further, it is predetermined that the misdetection judging section 107 at the in 12 the operation shown performs a misdetection judgment based on the result of the control performed by the optical adjustment control section 106 and based on the difference between the current rolling length and the chronologically considered rolling length one before.

Für den Fall, dass in Schritt ST907 die Daten bezüglich der Abbildungsvorrichtung 20, die aufgrund der Durchführung der Belichtungssteuerung erzielt werden, die Gesicht-Fehldetektionsbedingungen erfüllen, oder die Daten bezüglich der Abbildungsvorrichtung 20, die aufgrund der Durchführung der Verstärkungseinstellung erzielt werden, die Gesicht-Fehldetektionsbedingungen erfüllen (bei „JA“ in Schritt ST907), beurteilt die Fehldetektion-Beurteilungssektion 107, ob die Differenz zwischen den Abrolllängen kleiner oder gleich dem ersten Schwellenwert für die Abrolllängenbeurteilung ist oder nicht (Schritt ST1201).In step ST907, in the case where the data on the imaging device 20 obtained due to the performance of the exposure control satisfies the face misdetection conditions, or the data on the imaging device 20 obtained due to the performance of the gain adjustment, the face meet misdetection conditions (when “YES” in step ST907), the misdetection judging section 107 judges whether the difference between of the rolling lengths is equal to or less than the first threshold for rolling length judgment or not (step ST1201).

Wurde in Schritt ST1201 beurteilt, dass die Differenz zwischen den Abrolllängen kleiner oder gleich dem ersten Schwellenwert für die Abrolllängenbeurteilung ist (bei „JA“ in Schritt ST1201), beurteilt die Fehldetektion-Beurteilungssektion 107, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers fehldetektiert hat. Dann gibt die Fehldetektion-Beurteilungssektion 107 eine den Bereich für die Gesichtsdetektion verkleinernde Bereichsverkleinerungsanordnung an die Bereichsverkleinerungssektion 109 aus. Ferner gibt die Fehldetektion-Beurteilungssektion 107 eine Neusteuerungsmitteilung an die Neusteuerung-Anordnungssektion 108 aus. Die Verarbeitung durch die Onboard-Bildverarbeitungsvorrichtung 10 geht dann zu Schritt ST808 in 8 über.When it is judged in step ST1201 that the difference between the rolling lengths is less than or equal to the first threshold for rolling length judgment (if “YES” in step ST1201), the misdetection judging section 107 judges that the face detection section 102 has misdetected the driver's face. Then, the misdetection judging section 107 outputs to the area reducing section 109 an area reducing order reducing the area for face detection. Further, the misdetection judging section 107 issues a re-control notification to the re-control arranging section 108 . The processing by the onboard image processing device 10 then proceeds to step ST808 8th above.

Wurde andererseits in Schritt ST1201 beurteilt, dass die Differenz zwischen den Abrolllängen größer als der Schwellenwert für die Abrolllängenbeurteilung ist (bei „NEIN“ in Schritt ST1201), beurteilt die Fehldetektion-Beurteilungssektion 107, dass die Gesichtsdetektionssektion 102 das Gesicht des Fahrers nicht fehldetektiert hat. Dann gibt die Fehldetektion-Beurteilungssektion 107 Gesichtsdetektion-Vorhanden-Daten an die Fahrer-Überwachungssektion 103 aus. Die Verarbeitung der Onboard-Bildverarbeitungsvorrichtung 10 endet.On the other hand, when it is judged in step ST1201 that the difference between the rolling lengths is larger than the rolling length judgment threshold (when “NO” in step ST1201), the misdetection judging section 107 judges that the face detection section 102 did not misdetect the driver's face. Then, the misdetection judging section 107 outputs face detection presence data to the driver monitoring section 103 . The processing of the onboard image processing device 10 ends.

Somit führt die Fehldetektion-Beurteilungssektion 107 basierend auf dem Ergebnis der Steuerung, die durch die optische Einstellung-Steuerungssektion 106 durchgeführt wurde, und basierend auf der Abrolllänge des Sicherheitsgurtes, die durch die Abrolllängen-Detektionssektion 111 detektiert wurde, eine Fehldetektion-Beurteilung durch. Dadurch kann die Präzision der Fehldetektionsbeurteilung verbessert werden.Thus, based on the result of the control performed by the optical adjustment control section 106 and based on the unwinding length of the seat belt detected by the unwinding length detecting section 111, the misdetection judging section 107 performs misdetection judgment. As a result, the precision of the erroneous detection assessment can be improved.

Wie bei der ersten Ausführungsform und der zweiten Ausführungsform ist auch bei der dritten Ausführungsform ein Aufbau möglich, bei dem die Onboard-Bildverarbeitungsvorrichtung 10a die Bereichsverkleinerungssektion 109 nicht umfasst. Ferner ist die Einstellung eines Bereichs für die Gesichtsdetektion in dem Bild nicht unbedingt notwendig.As with the first embodiment and the second embodiment, a structure in which the onboard image processing device 10a does not include the area reduction section 109 is also possible in the third embodiment. Furthermore, setting an area for face detection in the image is not essential.

Wie im Vorstehenden, umfasst die Onboard-Bildverarbeitungsvorrichtung 10a gemäß der dritten Ausführungsform zusätzlich zu dem Aufbau der Onboard-Bildverarbeitungsvorrichtung 10 gemäß der ersten Ausführungsform die Abrolllängen-Detektionssektion 111 zum Detektieren der Abrolllänge des Sicherheitsgurtes, der am Fahrersitz montiert ist, wobei die Fehldetektion-Beurteilungssektion 107 derart aufgebaut ist, dass sie basierend auf dem Ergebnis der Steuerung, die durch die optische Einstellung-Steuerungssektion 106 durchgeführt wurde, und basierend auf der Abrolllänge, die durch die Abrolllängen-Detektionssektion 111 detektiert wurde, die Fehldetektion-Beurteilung durchführt. Daher kann der Onboard-Bildverarbeitungsvorrichtung 10a zufolge die Steuerung einer ungeeigneten optischen Einstellung basierend auf einem fehldetektierten Gesicht des Fahrers verhindert und dadurch, dass bei der Durchführung der Fehldetektionsbeurteilung die Abrolllänge des Sicherheitsgurtes des Fahrersitzes berücksichtigt wird, die Präzision der Fehldetektionsbeurteilung verbessert werden.As in the above, the onboard image processing device 10a according to the third embodiment includes, in addition to the structure of the onboard image processing device 10 according to the first embodiment, the unwinding length detection section 111 for detecting the unwinding length of the seat belt mounted on the driver's seat, the misdetection judging section 107 is constructed such that based on the result of the control performed by the optical adjustment control section 106 and based on the rolling length detected by the rolling length detecting section 111, it performs the misdetection judgment. Therefore, according to the onboard image processing device 10a, improper optical adjustment control based on a misdetected driver's face can be prevented, and by performing the misdetection judgment taking into account the unwinding length of the driver's seat belt, the precision of the misdetection judgment can be improved.

13A und 13B sind Ansichten, die Beispiele der Hardwarestruktur einer Onboard-Bildverarbeitungsvorrichtung 10, 10a gemäß der ersten bis dritten Ausführungsform zeigen. Bei der ersten bis dritten Ausführungsform werden die Funktionen der Bilderwerbssektion 101, der Gesichtsdetektionssektion 102, der Fahrer-Überwachungssektion 103, der Luminanz-Berechnungssektion 104, der Luminanz-Beurteilungssektion 105, der optischen Einstellung-Steuerungssektion 106, der Fehldetektion-Beurteilungssektion 107, der Bereichsverkleinerungssektion 109, der Neudetektion-Anordnungssektion 110 und der Abrolllängen-Detektionssektion 111 mittels einer Verarbeitungsschaltung 1301 realisiert. Das heißt, die Onboard-Bildverarbeitungsvorrichtungen 10, 10a umfassen die Verarbeitungsschaltung 1301, die eine Fehldetektionsbeurteilung, ob das Gesicht des Fahrers fehldetektiert wurde, durchführt, um basierend auf dem Ergebnis der Fehldetektionsbeurteilung die Steuerung der optischen Einstellung der Abbildungsvorrichtung 20 durchzuführen. 13A and 13B 12 are views showing examples of the hardware structure of an onboard image processing device 10, 10a according to the first to third embodiments. In the first to third embodiments, the functions of the image acquisition section 101, the face detection section 102, the driver monitoring section 103, the luminance calculation section 104, the luminance judgment section 105, the optical adjustment control section 106, the misdetection judgment section 107, the area reduction section 109, the re-detection arrangement section 110 and the rolling length detection section 111 are realized by a processing circuit 1301. That is, the onboard image processing devices 10, 10a include the processing circuit 1301 that performs misdetection judgment as to whether the driver's face has been misdetected to perform the optical adjustment control of the imaging device 20 based on the result of the misdetection judgment.

Die Verarbeitungsschaltung 1301 kann eine spezielle Hardware wie in 10A gezeigt sein, es kann sich aber auch wie in 10B gezeigt um eine CPU (Central Processing Unit) 1305 handeln, die Programme ausführt, die in einem Speicher 1306 abgelegt sind.The processing circuit 1301 can be a special hardware as in 10A shown, but it can also be as in 10B shown to be a CPU (Central Processing Unit) 1305 executing programs stored in a memory 1306 .

Handelt es sich bei der Verarbeitungsschaltung 1301 um eine spezielle Hardware, entspricht die Verarbeitungsschaltung 1301 z. B. einer Einfachschaltung, einer komplexen Schaltung, einem programmierten Prozessor, parallelen programmierten Prozessoren, ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array) oder deren Kombination.When the processing circuit 1301 is a special hardware, the processing circuit 1301 corresponds to e.g. B. a simple circuit, a complex circuit, a programmed processor, parallel programmed processors, ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array) or a combination thereof.

Handelt es sich bei der Verarbeitungsschaltung 1301 um die CPU 1305, werden die Funktionen der Bilderwerbssektion 101, der Gesichtsdetektionssektion 102, der Fahrer-Überwachungssektion 103, der Luminanz-Berechnungssektion 104, der Luminanz-Beurteilungssektion 105, der optischen Einstellung-Steuerungssektion 106, der Fehldetektion-Beurteilungssektion 107, der Bereichsverkleinerungssektion 109, der Neudetektion-Anordnungssektion 110 und der Abrolllängen-Detektionssektion 111 mittels einer Software, Firmware oder einer Kombination aus Software und Firmware realisiert. Das heißt, die Bilderwerbssektion 101, die Gesichtsdetektionssektion 102, die Fahrer-Überwachungssektion 103, die Luminanz-Berechnungssektion 104, die Luminanz-Beurteilungssektion 105, die optische Einstellung-Steuerungssektion 106, die Fehldetektion-Beurteilungssektion 107, die Bereichsverkleinerungssektion 109, die Neudetektion-Anordnungssektion 110 und die Abrolllängen-Detektionssektion 111 werden durch eine Verarbeitungsschaltung wie die CPU 1305, eine System-LSI (Large-Scale Integration) usw. realisiert, die in einer HDD (Hard Disk Drive) 1302, dem Speicher 1306 usw. gespeicherte Programme ausführt. Ferner kann auch gesagt werden, dass die Programme, die in der HDD 1302, dem Speicher 1306 usw. gespeichert sind, zur Ausführung der Abfolge oder des Verfahrens der Bilderwerbssektion 101, der Gesichtsdetektionssektion 102, der Fahrer-Überwachungssektion 103, der Luminanz-Berechnungssektion 104, der Luminanz-Beurteilungssektion 105, der optischen Einstellung-Steuerungssektion 106, der Fehldetektion-Beurteilungssektion 107, der Bereichsverkleinerungssektion 109, der Neudetektion-Anordnungssektion 110 und der Abrolllängen-Detektionssektion 111 auf einem Computer dienen. Der Speicher 1306 kann dabei ein nichtflüchtiger oder flüchtiger Halbleiterspeicher wie z. B. ein RAM (Random Access Memory), ein ROM (Read Only Memory), ein Flash-Speicher, ein EPROM (Erasable Programmable Read Only Memory), ein EEPROM (Electrically Erasable Programmable Read Only Memory) usw., eine Magnetplatte, eine Floppy-Disk, eine optische Platte, eine Compact Disc, eine Minidisk, eine DVD (Digital Versatile Disc) usw. sein.When the processing circuit 1301 is the CPU 1305, the functions of the image acquisition section 101, the face detection section 102, the driver monitor section 103, the luminance calculation section 104, the luminance judgment section 105, the optical adjustment lation control section 106, the misdetection judging section 107, the area narrowing section 109, the re-detection arranging section 110, and the rolling length detection section 111 are realized by software, firmware, or a combination of software and firmware. That is, the image acquisition section 101, the face detection section 102, the driver monitoring section 103, the luminance calculation section 104, the luminance judgment section 105, the optical adjustment control section 106, the misdetection judgment section 107, the area reduction section 109, the new detection arrangement 110 and the rolling length detecting section 111 are realized by a processing circuit such as the CPU 1305, a system LSI (Large-Scale Integration), etc., which executes programs stored in an HDD (Hard Disk Drive) 1302, the memory 1306, etc. Further, it can also be said that the programs stored in the HDD 1302, the memory 1306, etc. for executing the sequence or the process of the image acquisition section 101, the face detection section 102, the driver monitoring section 103, the luminance calculation section 104 , the luminance judging section 105, the optical adjustment control section 106, the misdetection judging section 107, the area narrowing section 109, the re-detection arranging section 110 and the roll-off length detecting section 111 on a computer. The memory 1306 can be a non-volatile or volatile semiconductor memory such as. a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically Erasable Programmable Read Only Memory), etc., a magnetic disk, a A floppy disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), and so on.

Es ist auch möglich, einen Teil der Funktionen der Bilderwerbssektion 101, der Gesichtsdetektionssektion 102, der Fahrer-Überwachungssektion 103, der Luminanz-Berechnungssektion 104, der Luminanz-Beurteilungssektion 105, der optischen Einstellung-Steuerungssektion 106, der Fehldetektion-Beurteilungssektion 107, der Bereichsverkleinerungssektion 109, der Neudetektion-Anordnungssektion 110 und der Abrolllängen-Detektionssektion 111 mittels einer speziellen Hardware zu realisieren und einen Teil mittels einer Software oder einer Firmware zu realisieren. Beispielsweise können durch die Verarbeitungsschaltung 1301 als spezieller Hardware die Funktionen der Bilderwerbssektion 101 und der Abrolllängen-Detektionssektion 111 realisiert werden und die Funktionen der Gesichtsdetektionssektion 102, der Fahrer-Überwachungssektion 103, der Luminanz-Berechnungssektion 104, der Luminanz-Beurteilungssektion 105, der optischen Einstellung-Steuerungssektion 106, der Fehldetektion-Beurteilungssektion 107, der Bereichsverkleinerungssektion 109 und der Neudetektion-Anordnungssektion 110 dadurch realisiert werden, dass eine Verarbeitungsschaltung in dem Speicher 1306 abgelegte Programme ausliest und ausführt. Ferner umfassen die Onboard-Bildverarbeitungsvorrichtungen 10, 10a eine Eingabeschnittstellen-Vorrichtung 1303 und eine Ausgabeschnittstellen-Vorrichtung 1304 zur Durchführung einer kabelgebundenen oder kabellosen Kommunikation mit der Abbildungsvorrichtung 20, der Beleuchtungsvorrichtung 30 usw.It is also possible to use part of the functions of the image acquisition section 101, the face detection section 102, the driver monitoring section 103, the luminance calculation section 104, the luminance judgment section 105, the optical adjustment control section 106, the misdetection judgment section 107, the area narrowing section 109, the re-detection arrangement section 110 and the rolling length detection section 111 by means of a special hardware and to realize a part by means of a software or a firmware. For example, the processing circuit 1301 as dedicated hardware can realize the functions of the image acquisition section 101 and the rolling length detection section 111, and the functions of the face detection section 102, driver monitoring section 103, luminance calculation section 104, luminance judgment section 105, optical adjustment control section 106, the misdetection judging section 107, the area narrowing section 109 and the re-detection arranging section 110 can be realized by having a processing circuit read programs stored in the memory 1306 and executing them. Further, the onboard image processing devices 10, 10a include an input interface device 1303 and an output interface device 1304 for performing wired or wireless communication with the imaging device 20, the lighting device 30, etc.

Bei der vorstehenden ersten bis zweiten Ausführungsform waren die Onboard-Bildverarbeitungsvorrichtungen 10, 10a in einem Fahrzeug montiert, wobei dies lediglich ein Beispiel ist.
Beispielsweise können ein Teil der oder die gesamten Bestandteile der Onboard-Bildverarbeitungsvorrichtungen 10, 10a, die mittels 1 bis 11 erläutert wurden, auch auf einem Server vorliegen.In the above first to second embodiments, the onboard image processing devices 10, 10a were mounted in a vehicle, which is just an example.
For example, some or all of the components of the onboard image processing devices 10, 10a, which means 1 until 11 were explained are also available on a server.

Ferner konnte bei der vorstehenden ersten bis dritten Ausführungsform die optische Einstellung-Steuerungssektion 106 bei den Onboard-Bildverarbeitungsvorrichtungen 10, 10a als Steuerung der optischen Einstellung sowohl eine Belichtungssteuerung als auch eine Verstärkungseinstellung ausführen, wobei dies lediglich ein Beispiel ist. Die optische Einstellung-Steuerungssektion 106 kann als Steuerung der optischen Einstellung auch nur entweder eine Belichtungssteuerung oder eine Verstärkungseinstellung ausführen.Further, in the above first to third embodiments, the optical adjustment control section 106 in the onboard image processing devices 10, 10a could perform both exposure control and gain adjustment as optical adjustment control, this being just an example. The optical adjustment control section 106 may perform only either exposure control or gain adjustment as optical adjustment control.

Bei der Erfindung der vorliegenden Anmeldung ist innerhalb des Bereichs der Erfindung eine uneingeschränkte Kombination der jeweiligen Formen der Ausführung oder eine beliebige Änderung eines Bestandteils der jeweiligen Formen der Ausführung möglich, bzw. es können auch beliebige Bestandteile bei den jeweiligen Formen der Ausführung weggelassen werden.In the invention of the present application, unlimited combination of the respective forms of implementation or any change of a component of the respective forms of implementation is possible, or any component of the respective forms of implementation can also be omitted within the scope of the invention.

Industrielle AnwendbarkeitIndustrial Applicability

Die Onboard-Bildverarbeitungsvorrichtung gemäß dieser Erfindung ist derart aufgebaut, dass eine ungeeignete Steuerung der optischen Einstellung basierend auf einem fehldetektierten Gesicht des Fahrers verhindert werden kann, sodass sie sich für die Anwendung auf eine Onboard-Bildverarbeitungsvorrichtung eignet, durch die basierend auf einem Bild, in dem Insassen in einem Fahrzeug abgebildet sind, das Gesicht des Fahrers des Fahrzeugs detektiert wird.The onboard image processing device according to this invention is structured such that improper optical adjustment control based on an erroneously detected driver's face can be prevented, so that it is suitable for application to an onboard image processing device by which, based on an image in the occupants in a vehicle are imaged, the face of the driver of the vehicle is detected.

BezugszeichenlisteReference List

10, 10a10, 10a
Onboard-BildverarbeitungsvorrichtungOnboard image processing device
101101
Bilderwerbssektionimage acquisition section
102102
Gesichtsdetektionssektionface detection section
103103
Fahrer-ÜberwachungssektionDriver Monitoring Section
104104
Luminanz-BerechnungssektionLuminance calculation section
105105
Luminanz-Beurteilungssektionluminance judgment section
106106
Optische Einstellung-SteuerungssektionOptical adjustment control section
10611061
Belichtungssteuerungssektionexposure control section
10621062
Bildverarbeitungssektionimage processing section
107107
Fehldetektion-Beurteilungssektionmisdetection judging section
108108
Neusteuerung-AnordnungssektionRe-control arrangement section
109109
Bereichsverkleinerungssektionarea reduction section
110110
Neudetektion-AnordnungssektionRedetection arrangement section
111111
Abrolllängen-DetektionssektionRoll-off length detection section
2020
Abbildungsvorrichtungimaging device
3030
Beleuchtungsvorrichtunglighting device
13011301
Verarbeitungsschaltungprocessing circuit
13021302
HDDHDD
13031303
Eingabeschnittstellen-Vorrichtunginput interface device
13041304
Ausgabeschnittstellen-Vorrichtungoutput interface device
13051305
CPUCPU
13061306
Speicher.Storage.

Claims (11)

Onboard-Bildverarbeitungsvorrichtung, umfassend eine Bilderwerbssektion, die von einer Abbildungsvorrichtung ein Bild erwirbt, in dem ein Bereich im Inneren eines Fahrzeugs aufgenommen ist, der einen Bereich umfasst, in dem sich das Gesicht eines Fahrers befinden sollte, der auf dem Fahrersitz sitzt, eine Gesichtsdetektionssektion, die basierend auf dem von der Bilderwerbssektion erworbenen Bild das Gesicht des Fahrers und den Gesichtsbereich des Fahrers auf diesem Bild detektiert, eine Luminanz-Berechnungssektion, die die durchschnittliche Luminanz der Bildelemente in dem Gesichtsbereich des Fahrers, der von der Gesichtsdetektionssektion detektiert wurde, berechnet, eine Luminanz-Beurteilungssektion, die beurteilt, ob die von der Luminanz-Berechnungssektion berechnete durchschnittliche Luminanz größer oder gleich einem Luminanz-Beurteilungs-Schwellenwert ist oder nicht, eine optische Einstellung-Steuerungssektion, die für den Fall, dass die Luminanz-Beurteilungssektion beurteilt hat, dass die durchschnittliche Luminanz unterhalb des Luminanz-Beurteilungs-Schwellenwerts ist, entsprechend der durchschnittlichen Luminanz eine Steuerung der optischen Einstellung der Abbildungsvorrichtung durchführt, eine Fehldetektion-Beurteilungssektion, die basierend auf dem Ergebnis der Steuerung, die durch die optische Einstellung-Steuerungssektion erfolgt ist, beurteilt, ob die Gesichtsdetektionssektion das Gesicht des Fahrers fehldetektiert hat oder nicht, und eine Neusteuerung-Anordnungssektion, die für den Fall, dass die Fehldetektion-Beurteilungssektion beurteilt hat, dass die Gesichtsdetektionssektion das Gesicht des Fahrers fehldetektiert hat, an die optische Einstellung-Steuerungssektion eine Neusteuerungs-Anordnung ausgibt, durch die eine die optische Einstellung der Abbildungsvorrichtung auf einen angemessenen Wert zurücksetzende Steuerung durchgeführt wird.Onboard image processing device comprising an image acquisition section that acquires, from an imaging device, an image in which an area inside a vehicle including an area where the face of a driver seated on the driver's seat should be is captured, a face detection section that detects the driver's face and the driver's face area on this image based on the image acquired by the image acquisition section, a luminance calculation section that calculates the average luminance of the picture elements in the face area of the driver detected by the face detection section, a luminance judgment section that judges whether or not the average luminance calculated by the luminance calculation section is greater than or equal to a luminance judgment threshold value, an optical adjustment control section which, when the luminance judgment section has judged that the average luminance is below the luminance judgment threshold value, performs optical adjustment control of the imaging device according to the average luminance, a misdetection judging section that judges whether or not the face detection section misdetected the driver's face based on the result of the control performed by the optical adjustment control section, and a re-control ordering section which, in the case where the misdetection judging section has judged that the face detection section has mis-detected the driver's face, issues to the optical adjustment control section a re-control order by which to adjust the optical adjustment of the imaging device to a appropriate value resetting control is performed. Onboard-Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die optische Einstellung-Steuerungssektion eine Belichtungssteuerung der Abbildungsvorrichtung durchführt.onboard image processing device claim 1 , wherein the optical adjustment control section performs exposure control of the imaging device. Onboard-Bildverarbeitungsvorrichtung nach Anspruch 1 oder 2, wobei die optische Einstellung-Steuerungssektion eine Verstärkungseinstellung der Abbildungsvorrichtung durchführt.onboard image processing device claim 1 or 2 , wherein the optical adjustment control section performs gain adjustment of the imaging device. Onboard-Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die Gesichtsdetektionssektion in einem Bereich für die Gesichtsdetektion, der in dem Bild eingestellt ist, das Gesicht des Fahrers und den Gesichtsbereich des betreffenden Fahrers detektiert, die Fehldetektion-Beurteilungssektion beurteilt, ob als Konsequenz der durch die optische Einstellung-Steuerungssektion durchgeführten Belichtungssteuerung die durchschnittliche Luminanz der Bildelemente in einem Bereich, bei dem eine höhere Wahrscheinlichkeit einer Abbildung des Gesichts des Fahrers in dem Bereich für die Gesichtsdetektion vermutet wird, eine erste Beurteilungsbedingung erfüllt oder nicht, und für den Fall, dass die durchschnittliche Luminanz die erste Beurteilungsbedingung erfüllt, eine Fehldetektion des Gesichts des Fahrers durch die Gesichtsdetektionssektion beurteilt.onboard image processing device claim 2 , wherein the face detection section detects the driver's face and the subject driver's face area in a face detection area set in the image, the misdetection judging section judges whether, as a consequence of the exposure control performed by the optical adjustment control section, the average luminance of the picture elements in an area suspected of having a higher possibility of imaging the driver's face in the face detection area satisfies a first judgment condition or not, and in the case that the average luminance satisfies the first judgment condition, false detection of the driver's face is judged by the face detection section. Onboard-Bildverarbeitungsvorrichtung nach Anspruch 3, wobei die Fehldetektion-Beurteilungssektion beurteilt, ob als Konsequenz der durch die optische Einstellung-Steuerungssektion durchgeführten Verstärkungseinstellung der Verstärkungswert der Abbildungsvorrichtung eine zweite Beurteilungsbedingung erfüllt oder nicht, und die Fehldetektion-Beurteilungssektion für den Fall, dass der Verstärkungswert der Abbildungsvorrichtung die zweite Beurteilungsbedingung erfüllt, eine Fehldetektion des Gesichts des Fahrers durch die Gesichtsdetektionssektion beurteilt.onboard image processing device claim 3 , wherein the misdetection judging section judges whether or not the gain value of the imaging device satisfies a second judgment condition as a consequence of the gain adjustment performed by the optical adjustment control section, and the lack detection judging section, in the case that the gain value of the imaging device satisfies the second judging condition, judges misdetection of the driver's face by the face detecting section. Onboard-Bildverarbeitungsvorrichtung nach Anspruch 3, wobei die Gesichtsdetektionssektion in dem Bereich für die Gesichtsdetektion, der in dem Bild eingestellt ist, das Gesicht des Fahrers und den Gesichtsbereich des betreffenden Fahrers detektiert, und die Fehldetektion-Beurteilungssektion beurteilt, ob als Konsequenz der durch die optische Einstellung-Steuerungssektion durchgeführten Verstärkungseinstellung eine Überbelichtungsfläche in einem Bereich, bei dem eine höhere Wahrscheinlichkeit einer Abbildung des Gesichts des Fahrers in dem Bereich für die Gesichtsdetektion vermutet wird, eine dritte Beurteilungsbedingung erfüllt oder nicht, und für den Fall, dass die Überbelichtungsfläche die dritte Beurteilungsbedingung erfüllt, eine Fehldetektion des Gesichts des Fahrers durch die Gesichtsdetektionssektion beurteilt.onboard image processing device claim 3 , wherein the face detection section detects the driver's face and the subject driver's face area in the area for face detection set in the image, and the misdetection judging section judges whether, as a consequence of the gain adjustment performed by the optical adjustment control section, a overexposure area in an area where a higher probability of imaging the driver's face in the area for face detection is presumed satisfies a third judgment condition or not, and in the event that the overexposure area satisfies the third judgment condition, misdetection of the driver's face driver judged by the face detection section. Onboard-Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Gesichtsdetektionssektion in dem Bereich für die Gesichtsdetektion, der in dem Bild eingestellt ist, das Gesicht des Fahrers und den Gesichtsbereich des betreffenden Fahrers detektiert, und die Onboard-Bildverarbeitungsvorrichtung umfasst eine Bereichsverkleinerungssektion zur Verkleinerung des Bereichs für die Gesichtsdetektion für den Fall, dass die Fehldetektion-Beurteilungssektion beurteilt, dass die Gesichtsdetektionssektion das Gesicht des Fahrers fehldetektiert hat, und eine Neudetektion-Anordnungssektion umfasst, die die Gesichtsdetektionssektion zu einer Neudetektion des Gesichts des Fahrers und des Gesichtsbereichs des Fahrers in dem Bereich für die Gesichtsdetektion nach der Verkleinerung durch die Bereichsverkleinerungssektion veranlasst.onboard image processing device claim 1 , wherein the face detection section detects the driver's face and the subject driver's face area in the face detection area set in the image, and the onboard image processing device comprises an area reduction section for reducing the face detection area in the case that the misdetection judging section judges that the face detection section misdetected the driver's face, and a re-detection arranging section that directs the face detection section to re-detect the driver's face and the driver's face area in the area for face detection after reduction by the area reduction section prompted. Onboard-Bildverarbeitungsvorrichtung nach Anspruch 7, wobei die Bereichsverkleinerungssektion den Bereich für die Gesichtsdetektion derart verkleinert, dass sich ein Bereich ergibt, der das durch die Gesichtsdetektionssektion fehldetektierte Gesicht des Fahrers nicht beinhaltet.onboard image processing device claim 7 , wherein the area narrowing section narrows the area for the face detection to be an area not including the driver's face misdetected by the face detecting section. Onboard-Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Fehldetektion-Beurteilungssektion basierend auf dem Ergebnis der Steuerung, die durch die optische Einstellung-Steuerungssektion durchgeführt wurde, und basierend auf der Position des Gesichts des Fahrers, das durch die Gesichtsdetektionssektion detektiert wurde, die Fehldetektion-Beurteilung durchführt.onboard image processing device claim 1 , wherein the misdetection judging section performs the misdetection judgment based on the result of the control performed by the optical adjustment control section and based on the position of the driver's face detected by the face detection section. Onboard-Bildverarbeitungsvorrichtung nach Anspruch 1, umfassend eine Abrolllängen-Detektionssektion zum Detektieren der Abrolllänge eines am Fahrersitz montierten Sicherheitsgurtes umfasst ist, wobei Fehldetektion-Beurteilungssektion basierend auf dem Ergebnis der Steuerung, die durch die optische Einstellung-Steuerungssektion durchgeführt wurde, und basierend auf der Abrolllänge, die durch die Abrolllängen-Detektionssektion detektiert wurde, die Fehldetektion-Beurteilung durchführt.onboard image processing device claim 1 comprising an unwinding length detecting section for detecting the unwinding length of a seat belt mounted on the driver's seat, wherein misdetection judging section based on the result of the control performed by the optical adjustment control section and based on the unwinding length determined by the unwinding length detection section has been detected, which performs misdetection judgment. Onboard-Bildverarbeitungsverfahren, umfassend einen Schritt, in dem eine Bilderwerbssektion von einer Abbildungsvorrichtung ein Bild erwirbt, in dem ein Bereich im Inneren eines Fahrzeugs aufgenommen ist, der einen Bereich umfasst, in dem sich das Gesicht eines Fahrers befinden sollte, der auf dem Fahrersitz sitzt, einen Schritt, in dem eine Gesichtsdetektionssektion basierend auf dem von der Bilderwerbssektion erworbenen Bild das Gesicht des Fahrers und den Gesichtsbereich des Fahrers in diesem Bild detektiert, einen Schritt, in dem eine Luminanz-Berechnungssektion die durchschnittliche Luminanz der Bildelemente in dem Gesichtsbereich des Fahrers, der durch die Gesichtsdetektionssektion detektiert wurde, berechnet, einen Schritt, in dem eine Luminanz-Beurteilungssektion beurteilt, ob die von der Luminanz-Berechnungssektion berechnete durchschnittliche Luminanz größer oder gleich einem Schwellenwert für die Luminanz-Beurteilung ist oder nicht, einen Schritt, in dem eine optische Einstellung-Steuerungssektion für den Fall, dass die Luminanz-Beurteilungssektion beurteilt hat, dass die durchschnittliche Luminanz unterhalb des Schwellenwerts für die Luminanz-Beurteilung ist, entsprechend der durchschnittlichen Luminanz eine Steuerung der optischen Einstellung der Abbildungsvorrichtung durchführt, einen Schritt, in dem eine Fehldetektion-Beurteilungssektion basierend auf dem Ergebnis der Steuerung, die durch die optische Einstellung-Steuerungssektion erfolgt ist, beurteilt, ob die Gesichtsdetektionssektion das Gesicht des Fahrers fehldetektiert hat oder nicht, und einen Schritt, in dem eine Neusteuerung-Anordnungssektion für den Fall, dass die Fehldetektion-Beurteilungssektion beurteilt hat, dass die Gesichtsdetektionssektion das Gesicht des Fahrers fehldetektiert hat, an die optische Einstellung-Steuerungssektion eine Neusteuerungs-Anordnung ausgibt, durch die eine die optische Einstellung der Abbildungsvorrichtung auf einen angemessenen Wert zurücksetzende Steuerung durchgeführt wird.Onboard image processing method comprising a step in which an image acquiring section acquires, from an imaging device, an image in which an area inside a vehicle including an area where the face of a driver seated on the driver's seat should be is captured, a step in which a face detection section detects the driver's face and the driver's face area in this image based on the image acquired by the image acquisition section, a step in which a luminance calculation section calculates the average luminance of the picture elements in the face area of the driver detected by the face detection section, a step in which a luminance judgment section judges whether or not the average luminance calculated by the luminance calculation section is greater than or equal to a luminance judgment threshold value, a step in which, in the case where the luminance judging section has judged that the average luminance is below the threshold value for the luminance judgment, an optical adjustment control section performs optical adjustment control of the imaging device according to the average luminance, a step in which a misdetection judging section judges whether or not the face detection section has misdetected the driver's face based on the result of the control performed by the optical adjustment control section, and a step in which, in the case where the misdetection judging section has judged that the face detection section has misdetected the driver's face, a recontrol ordering section issues to the optical adjustment control section a recontrol order by which the optical adjustment of the Imaging device to an appropriate value resetting control is performed.
DE112019007358.3T 2019-07-02 2019-07-02 Onboard image processing device and onboard image processing method Pending DE112019007358T5 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/026375 WO2021001943A1 (en) 2019-07-02 2019-07-02 In-vehicle image processing device and in-vehicle image processing method

Publications (1)

Publication Number Publication Date
DE112019007358T5 true DE112019007358T5 (en) 2022-03-17

Family

ID=74100755

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112019007358.3T Pending DE112019007358T5 (en) 2019-07-02 2019-07-02 Onboard image processing device and onboard image processing method

Country Status (3)

Country Link
JP (1) JP6945775B2 (en)
DE (1) DE112019007358T5 (en)
WO (1) WO2021001943A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7400697B2 (en) * 2020-11-12 2023-12-19 豊田合成株式会社 Vehicle occupant protection system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005108033A (en) * 2003-09-30 2005-04-21 Toshiba Corp Driver condition determination device and method
JP2009116742A (en) * 2007-11-08 2009-05-28 Aisin Seiki Co Ltd Onboard image processor, image processing method, and program
US10949690B2 (en) * 2017-02-15 2021-03-16 Mitsubishi Electric Corporation Driving state determination device, determination device, and driving state determination method
JP6960995B2 (en) * 2017-06-07 2021-11-05 三菱電機株式会社 State judgment device and state judgment method

Also Published As

Publication number Publication date
WO2021001943A1 (en) 2021-01-07
JPWO2021001943A1 (en) 2021-11-25
JP6945775B2 (en) 2021-10-06

Similar Documents

Publication Publication Date Title
DE112009003557B4 (en) Vehicle display device and display method
DE102016216883B4 (en) Driving assistance device and driving assistance method
DE102018101542A1 (en) Board display device, board display device control method, and board display device control program
DE102005058678A1 (en) Device and method for detecting fatigue of a driver
DE10350585B4 (en) Method and device for determining the head position of the motor vehicle driver
EP1600006B1 (en) Method and device for adjusting an image sensor system
DE102018100215A1 (en) Image display device
DE102014221039A1 (en) A control device for a motor vehicle having a driver-side camera and a method for picking up the face of a vehicle occupant
DE102005018573B4 (en) Sun visor device for a vehicle
EP3014239A1 (en) Method for checking the adjustment of a headlamp in a motor vehicle
DE102018216144A1 (en) Anomaly Detection Device and Anomaly Detection Method
DE102013020950B4 (en) Method for operating a rear view camera system of a motor vehicle, rear view camera system and motor vehicle
DE102019103197A1 (en) PASSENGER MONITORING DEVICE
DE102015014263A1 (en) Method and device for driving situation-dependent parameter variation in a vehicle-mounted camera-monitor system
DE112019007358T5 (en) Onboard image processing device and onboard image processing method
DE102015008551A1 (en) Calibration of a camera unit of a motor vehicle
EP2163429B1 (en) Method for image-supported monitoring of a vehicle environment, especially the environment of a goods vehicle
DE102019004692B3 (en) Device and method for determining image data of the eyes, eye positions and / or a line of sight of a vehicle user in a vehicle
DE102017215347A1 (en) Method for the predictable exposure control of at least a first vehicle camera
DE102012025580A1 (en) Method of operating camera system of motor vehicle, involves setting current parameter value of parameter of slave camera in dependence on current parameter value of same parameter of master camera
DE112019007522T5 (en) Onboard image processing device and onboard image processing method
DE102014209863A1 (en) Method and device for operating a stereo camera for a vehicle and stereo camera for a vehicle
EP3069934B1 (en) Method for generating a combined image of the surroundings of a vehicle and corresponding device
DE102013020952A1 (en) Method for setting a parameter relevant to the brightness and / or the white balance of an image representation in a camera system of a motor vehicle, camera system and motor vehicle
DE102020203693B4 (en) LIGHTING CONTROL SYSTEM AND LIGHTING CONTROL METHOD

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R084 Declaration of willingness to licence