DE112021007211T5

DE112021007211T5 - Fatigue inference device and fatigue inference system

Info

Publication number: DE112021007211T5
Application number: DE112021007211.0T
Authority: DE
Inventors: Taro Kumagai
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-05-07
Filing date: 2021-05-07
Publication date: 2024-01-04
Also published as: WO2022234662A1; JP7325687B2; JPWO2022234662A1

Abstract

Bereitstellung einer Müdigkeit-Folgerungsvorrichtung, durch welche die Zuverlässigkeit des Müdigkeit-Folgerungsergebnisses eines Insassen sichergestellt wird.Müdigkeit-Folgerungsvorrichtung umfassend eine Bilderwerbssektion, die von einer Abbildungsvorrichtung zum Abbilden eines Insassen in einem Fahrzeug ein Abbildungsbild erwirbt, einen Gesichtsdetektor, der eine Gesicht-Detektionsverarbeitung durchführt, bei der eine Vielzahl von Gesichtselementen eines Insassen anhand des Abbildungsbildes detektiert werden, und eine Müdigkeit-Folgerungssektion zur Folgerung der Müdigkeit eines anhand des Abbildungsbildes detektierten Insassen, wobei durch den Gesichtsdetektor als Gesicht-Detektionsverarbeitung eine erste Gesicht-Detektionsverarbeitung und nach der ersten Gesicht-Detektionsverarbeitung eine zweite Gesicht-Detektionsverarbeitung erfolgt, und durch die Müdigkeit-Folgerungssektion für den Fall, dass durch die zweite Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen des Insassen ein Teil der Gesichtselemente nicht detektiert wurde, unter Verwendung von ersten Gesichtsdaten, die anhand eines durch die erste Gesicht-Detektionsverarbeitung detektierten Teils von Gesichtselementen erhalten wurden, und zweiten Gesichtsdaten, die anhand von durch die zweite Gesicht-Detektionsverarbeitung detektierten anderen Gesichtselementen erhalten wurden, die sich von dem Teil der Gesichtselemente unterscheiden, die Müdigkeit des Insassen gefolgert wird, sodass selbst wenn ein Teil der Gesichtselemente des Insassen nicht detektiert wurde, die Zuverlässigkeit des Detektionsergebnisses der Müdigkeit des Insassen sichergestellt werden kann.Providing a fatigue inference device by which the reliability of the fatigue inference result of an occupant is ensured.Fatigue inference device comprising an image acquisition section that acquires an image image from an imaging device for imaging an occupant in a vehicle, a face detector that performs face detection processing , in which a plurality of facial elements of an occupant are detected based on the image image, and a fatigue inference section for inferring the fatigue of an occupant detected based on the image image, wherein a first face detection processing is carried out by the face detector as face detection processing and after the first face detection processing, a second face detection processing is carried out, and by the fatigue inference section in the case that a part of the facial elements of the plurality of facial elements of the occupant has not been detected by the second face detection processing, using first facial data based on a part of facial elements detected by the first face detection processing, and second facial data obtained from other facial elements different from the part of the facial elements detected by the second face detection processing, the fatigue of the occupant is inferred, so that even if a part of the occupant's facial elements was not detected, the reliability of the detection result of the occupant's fatigue can be ensured.

Description

[Technisches Gebiet][Technical area]

Die vorliegende Offenbarung betrifft eine Müdigkeit-Folgerungsvorrichtung und ein Müdigkeit-Folgerungssystem, durch welche die Müdigkeit eines Insassen in einem Fahrzeug gefolgert wird.The present disclosure relates to a fatigue inference device and a fatigue inference system through which the fatigue of an occupant in a vehicle is inferred.

[Hintergrundtechnologie][background technology]

Um ein Einschlafen am Steuer zu verhindern, werden Technologien zur Folgerung der Müdigkeit eines Insassen durch Detektion der Elemente des Gesichts des Insassen wie der Augen oder des Mundes des Insassen (im Folgenden als Gesichtselemente bezeichnet) und Berechnung des Augenöffnungsgrades oder Mundöffnungsgrades entwickelt. Beim Detektieren der Gesichtselemente eines Insassen können aus verschiedenen Gründen, z. B., weil der Insasse eine Sonnenbrille oder eine Maske trägt, die Gesichtselemente des Insassen nicht mehr detektiert werden. Herkömmlich wurde für den Fall, dass die Augen eines Insassen wegen des Tragens einer Sonnenbrille nicht mehr detektiert werden konnten, eine Schattierung der sich in den Linsen der Sonnenbrille spiegelnden Landschaft als Merkmalsgröße extrahiert, oder für den Fall, dass der Mund eines Insassen wegen des Tragens einer Maske nicht mehr detektiert werden konnte, die Form der Maske als Merkmalsgröße extrahiert, und ein Zustand wie die Richtung des Gesichts des Insassen gefolgert (vgl. z. B. Patentdokument 1).In order to prevent falling asleep at the wheel, technologies are being developed to infer the tiredness of an occupant by detecting the elements of the occupant's face such as the occupant's eyes or mouth (hereinafter referred to as facial elements) and calculating the degree of eye opening or mouth opening degree. When detecting the facial elements of an occupant, various reasons may occur, e.g. B. because the occupant is wearing sunglasses or a mask, the facial elements of the occupant are no longer detected. Traditionally, in the event that an occupant's eyes could no longer be detected because of wearing sunglasses, a shade of the landscape reflected in the lenses of the sunglasses was extracted as a feature size, or in the event that an occupant's mouth was extracted due to wearing them a mask could no longer be detected, the shape of the mask was extracted as a feature size, and a state such as the direction of the occupant's face was inferred (see, for example, Patent Document 1).

[Dokumente des Standes der Technik][Prior Art Documents]

[Patentdokumente][patent documents]

[Patentdokument 1] Patentveröffentlichung Nr. JP 2003-296712 A [Patent Document 1] Patent Publication No. JP 2003-296712 A

[Überblick über die Erfindung][Overview of the Invention]

[Durch die Erfindung zu lösende Aufgabe][Problem to be solved by the invention]

Es kann jedoch vorkommen, dass wie vorstehend beschrieben, bei der Detektion einer Vielzahl von Gesichtselementen eines Insassen die Detektion eines Teils der Gesichtselemente schwierig wird. Daraus ergibt sich das Problem, dass die Zuverlässigkeit des Folgerungsergebnisses der Müdigkeit eines Insassen abnimmt, wenn ein Teil der Gesichtselemente nicht detektiert werden konnte.However, as described above, when a plurality of facial elements of an occupant are detected, detection of a part of the facial elements becomes difficult. This results in a problem that the reliability of the inference result of an occupant's fatigue decreases when a part of the facial elements could not be detected.

Die vorliegende Offenbarung erfolgte zur Lösung des beschriebenen Problems und beabsichtigt die Bereitstellung einer Müdigkeit-Folgerungsvorrichtung, bei der die Zuverlässigkeit des Folgerungsergebnisses der Müdigkeit des Insassen gesichert ist, selbst wenn ein Teil der Gesichtselemente des Insassen nicht detektiert wurde.The present disclosure has been made to solve the described problem and aims to provide a fatigue inference device in which the reliability of the inference result of the occupant's fatigue is ensured even if a part of the occupant's facial elements has not been detected.

[Mittel zum Lösen der Aufgabe][Means for solving the task]

Die Müdigkeit-Folgerungsvorrichtung gemäß der vorliegenden Offenbarung umfasst eine Bilderwerbssektion, die von einer Abbildungsvorrichtung zum Abbilden eines Insassen in einem Fahrzeug ein Abbildungsbild erwirbt, einen Gesichtsdetektor, der eine Gesicht-Detektionsverarbeitung durchführt, bei der eine Vielzahl von Gesichtselementen eines Insassen anhand des Abbildungsbildes detektiert werden, und eine Müdigkeit-Folgerungssektion zur Folgerung der Müdigkeit eines anhand des Abbildungsbildes detektierten Insassen, wobei durch den Gesichtsdetektor als Gesicht-Detektionsverarbeitung eine erste Gesicht-Detektionsverarbeitung und nach der ersten Gesicht-Detektionsverarbeitung eine zweite Gesicht-Detektionsverarbeitung erfolgt, und durch die Müdigkeit-Folgerungssektion für den Fall, dass durch die zweite Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen des Insassen ein Teil der Gesichtselemente nicht detektiert wurde, unter Verwendung von ersten Gesichtsdaten, die anhand eines durch die erste Gesicht-Detektionsverarbeitung detektierten Teils von Gesichtselementen erhalten wurden, und zweiten Gesichtsdaten, die anhand von durch die zweite Gesicht-Detektionsverarbeitung detektierten anderen Gesichtselementen erhalten wurden, die sich von dem Teil der Gesichtselemente unterscheiden, die Müdigkeit des Insassen gefolgert wird.The fatigue inference device according to the present disclosure includes an image acquisition section that acquires an image image from an imaging device for imaging an occupant in a vehicle, a face detector that performs face detection processing in which a plurality of facial elements of an occupant are detected from the image image , and a fatigue inference section for inferring the fatigue of an occupant detected from the image image, wherein a first face detection processing is carried out by the face detector as face detection processing and a second face detection processing is carried out after the first face detection processing, and by the fatigue inference section in the case where a part of facial elements was not detected by the second face detection processing of the plurality of facial elements of the occupant, using first facial data obtained from a part of facial elements detected by the first face detection processing, and second Facial data obtained from other facial elements detected by the second face detection processing that are different from the part of the facial elements inferring the occupant's fatigue.

Ferner umfasst ein Müdigkeit-Folgerungssystem gemäß der vorliegenden Offenbarung eine in einem Fahrzeug eingebaute Abbildungsvorrichtung zum Abbilden eines Insassen in dem Fahrzeug, eine Bilderwerbssektion, die von der Abbildungsvorrichtung ein Abbildungsbild erwirbt, einen Gesichtsdetektor, der eine Gesicht-Detektionsverarbeitung durchführt, bei der eine Vielzahl von Gesichtselementen eines Insassen anhand des Abbildungsbildes detektiert werden, und eine Müdigkeit-Folgerungssektion zur Folgerung der Müdigkeit eines anhand des Abbildungsbildes detektierten Insassen, wobei durch den Gesichtsdetektor als Gesicht-Detektionsverarbeitung eine erste Gesicht-Detektionsverarbeitung und nach der ersten Gesicht-Detektionsverarbeitung eine zweite Gesicht-Detektionsverarbeitung erfolgt, und durch die Müdigkeit-Folgerungssektion für den Fall, dass durch die zweite Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen des Insassen ein Teil der Gesichtselemente nicht detektiert wurde, unter Verwendung von ersten Gesichtsdaten, die anhand eines durch die erste Gesicht-Detektionsverarbeitung detektierten Teils von Gesichtselementen erhalten wurden, und zweiter Gesichtsdaten, die anhand von durch die zweite Gesicht-Detektionsverarbeitung detektierten anderen Gesichtselementen erhalten wurden, die sich von dem Teil der Gesichtselemente unterscheiden, die Müdigkeit des Insassen gefolgert wird.Further, a fatigue inference system according to the present disclosure includes a vehicle-mounted imaging device for imaging an occupant in the vehicle, an image acquisition section that acquires an image image from the imaging device, a face detector that performs face detection processing in which a plurality of Facial elements of an occupant are detected based on the image image, and a fatigue inference section for inferring the fatigue of an occupant detected based on the image image, wherein a first face detection processing is carried out by the face detector as face detection processing and a second face detection processing after the first face detection processing and by the fatigue inference section in the case that a part of the facial elements of the occupant is not detected by the second face detection processing of the plurality of facial elements, using first facial data based on one detected by the first face detection processing Partially obtained from face elements, and secondly face data based on by the second face detection processing detected other facial elements that are different from the part of the facial elements that the occupant's fatigue is inferred.

[Effekte der Erfindung][Effects of the invention]

Der vorliegenden Offenbarung zufolge kann die Zuverlässigkeit des Folgerungsergebnisses der Müdigkeit eines Insassen sichergestellt werden, selbst wenn ein Teil der Gesichtselemente des Insassen nicht detektiert werden konnte.According to the present disclosure, the reliability of the inference result of an occupant's fatigue can be ensured even if a part of the occupant's facial elements could not be detected.

[Kurze Erläuterung der Zeichnungen][Brief explanation of the drawings]

[ 1 ] 1 is a block diagram showing a structural example of a fatigue inference system according to a first embodiment.
[ 2 ] 2 is an explanatory view showing the imaging area of an imaging device according to the first embodiment.
[ 3 ] 3 are explanatory views showing feature point detection examples of the fatigue inference device according to the first embodiment.
[ 4 ] 4 is an explanatory view showing an example of a determination result of the facial elements in the fatigue inference device according to the first embodiment.
[ 5 ] 5 is a flowchart showing an operation example of the fatigue inference device according to the first embodiment.
[ 6 ] 6 shows examples of the hardware structure of the fatigue inference device according to the first embodiment.
[ 7 ] 7 is a flowchart showing an operation example of the fatigue inference device according to a second embodiment.
[ 8th ] 8th is a structural diagram of a learning device related to a fatigue inference device according to a third embodiment.
[ 9 ] 9 is an explanatory view showing a learning example of a neural network of the learning apparatus according to the third embodiment.
[ 10 ] 10 is a flowchart showing an example of processing for generating a learned model of the learning apparatus according to the third embodiment.
[ 11 ] 11 are explanatory views showing the contribution of the change amount of the face data according to the third embodiment to the conclusion.
[ 12 ] 12 is a structural diagram showing a structural example of a fatigue inference system according to the third embodiment.
[ 13 ] 13 are flowcharts showing operational examples of the fatigue inference device according to the third embodiment.

[Formen zur Ausführung der Erfindung][Forms for Carrying Out the Invention]

Im Folgenden werden Ausführungsformen basierend auf den Zeichnungen erläutert.Embodiments are explained below based on the drawings.

Erste AusführungsformFirst embodiment

1 ist ein Blockbild, das ein Strukturbeispiel eines Müdigkeit-Folgerungssystems 100 gemäß der ersten Ausführungsform zeigt. Das Müdigkeit-Folgerungssystem 100 umfasst eine Müdigkeit-Folgerungsvorrichtung 10 und eine Abbildungsvorrichtung 20, wobei die Müdigkeit-Folgerungsvorrichtung 10 und die Abbildungsvorrichtung 20 in ein Fahrzeug eingebaut sind. Die Müdigkeit-Folgerungsvorrichtung 10 ist ferner mit einer fahrzeugseitigen Steuerungsvorrichtung 200 verbunden, welche bei dem Fahrzeug, in das die Müdigkeit-Folgerungsvorrichtung 10 eingebaut ist, Onboard-Geräte wie eine Klimaanlage, eine Audioanlage, eine Navigationsvorrichtung oder eine Warnsektion, und z. B. den Motor steuert. 1 is a block diagram showing a structural example of a fatigue inference system 100 according to the first embodiment. The fatigue inference system 100 includes a fatigue inference device 10 and an imaging device 20, the fatigue inference device 10 and the imaging device 20 being installed in a vehicle. The fatigue inference device 10 is further connected to a vehicle-side control device 200, which, in the vehicle in which the fatigue inference device 10 is installed, has onboard devices such as an air conditioning system, an audio system, a navigation device or a warning section, and e.g. B. controls the engine.

2 ist eine erläuternde Ansicht, die den Abbildungsbereich der Abbildungsvorrichtung 20 gemäß der ersten Ausführungsform zeigt. 2 zeigt von oben gesehen das Innere des Fahrzeugs, in das die Müdigkeit-Folgerungsvorrichtung 10 eingebaut ist. Die Abbildungsvorrichtung 20 besteht z. B. aus einer Weitwinkelkamera oder einer Infrarotkamera und bildet das Innere des Fahrzeugs ab. Bei der Abbildungsvorrichtung 20 kann es sich auch um eine TOF (Time-of-flight) Kamera handeln, durch die ein Bild aufgenommen werden kann, das den Abstand zwischen der Abbildungsvorrichtung 20 und dem Aufnahmeobjekt reflektiert. Die Abbildungsvorrichtung 20 bildet das Innere des Fahrzeugs in einem Intervall von z. B. 30 bis 60 fps (frames per second) ab und gibt die abgebildeten Bilder (im Folgenden Abbildungsbilder) an eine Bilderwerbssektion 1 aus, welche die Müdigkeit-Folgerungsvorrichtung 10 aufweist. Bei dem Beispiel in 2 ist der Abbildungsbereich der Abbildungsvorrichtung 20 als Bereich A dargestellt. Damit der Abbildungsbereich zumindest einen Fahrer 503, der sich auf einem Fahrersitz 501 befindet, einschließt, werden eine oder eine Vielzahl von Abbildungsvorrichtungen 20 an einer Dachkonsole, einem Armaturenbrett, einer Lenksäule oder einem Innenspiegel angeordnet. 2 is an explanatory view showing the imaging range of the imaging device 20 according to the first embodiment. 2 shows, viewed from above, the interior of the vehicle in which the fatigue inference device 10 is installed. The imaging device 20 consists, for. B. from a wide-angle camera or an infrared camera and images the interior of the vehicle. The imaging device 20 can also be a TOF (time-of-flight) camera, through which an image can be recorded that reflects the distance between the imaging device 20 and the object being photographed. The imaging device 20 images the interior of the vehicle at an interval of z. B. 30 to 60 fps (frames per second) and outputs the imaged images (hereinafter image images) to an image acquisition section 1, which has the fatigue inference device 10. In the example in 2 the imaging area of the imaging device 20 is shown as area A. In order for the imaging area to include at least one driver 503 who is located in a driver's seat 501, one or a plurality of imaging devices 20 arranged on an overhead console, a dashboard, a steering column or an interior mirror.

Wie ferner in 2 gezeigt, kann die Abbildungsvorrichtung 20 auch derart angeordnet sein, dass der Abbildungsbereich einen Insassen, der sich auf einem Beifahrersitz 502 oder einer Rückbank befindet, d. h. einen Mitfahrer 504 einschließt. Das heißt, der Abbildungsbereich der Abbildungsvorrichtung 20 kann zusätzlich zum Fahrersitz 501 beispielsweise auch zumindest entweder den Beifahrersitz 502, den linken Sitz der Rückbank, den mittleren Sitz der Rückbank oder den rechten Sitz der Rückbank einschließen. Im Folgenden werden der Fahrer 503 und der Mitfahrer 504 jeweils auch als „Insasse“ bezeichnet.As further in 2 shown, the imaging device 20 may also be arranged such that the imaging area includes an occupant located in a passenger seat 502 or a back seat, ie, a passenger 504. That is, the imaging area of the imaging device 20 can, in addition to the driver's seat 501, also include, for example, at least either the passenger seat 502, the left seat of the rear seat, the middle seat of the rear seat, or the right seat of the rear seat. In the following, the driver 503 and the passenger 504 are each also referred to as “occupant”.

Zurück zu 1 folgt eine Erläuterung der Müdigkeit-Folgerungsvorrichtung 10. Die Müdigkeit-Folgerungsvorrichtung 10 umfasst die Bilderwerbssektion 1, die ein Abbildungsbild von der Abbildungsvorrichtung 20 erwirbt, einen Gesichtsdetektor 11, der anhand des Abbildungsbildes Gesichtselemente eines Insassen detektiert, und eine Müdigkeit-Folgerungssektion 12, durch welche die Müdigkeit des anhand des Abbildungsbildes detektierten Insassen gefolgert wird.Back to 1 An explanation of the fatigue inference device 10 follows. The fatigue inference device 10 includes the image acquisition section 1, which acquires an imaging image from the imaging device 20, a face detector 11, which detects facial elements of an occupant based on the imaging image, and a fatigue inference section 12, through which the tiredness of the occupant detected based on the image is concluded.

Die Bilderwerbssektion 1 der Müdigkeit-Folgerungsvorrichtung 10 ist mit der Abbildungsvorrichtung 20 verbunden und erwirbt von der Abbildungsvorrichtung 20 ein Abbildungsbild. Dann gibt die Bilderwerbssektion 1 das erworbene Abbildungsbild an den Gesichtsdetektor 11 aus. Wie in 1 gezeigt, ist die Bilderwerbssektion 1 ferner mit einer als Nächstes erläuterten Fahrzeuginformationen-Erwerbssektion 2 verbunden. Die Bilderwerbssektion 1 beginnt mit dem Erwerben von Abbildungsbildern, wenn sie z. B. von der Fahrzeuginformationen-Erwerbssektion 2 ein Signal darüber erworben hat, dass der Motor des Fahrzeugs gestartet wurde. Andererseits beendet die Bilderwerbssektion 1 das Erwerben von Abbildungsbildern, wenn sie z. B. von der Fahrzeuginformationen-Erwerbssektion 2 ein Signal darüber erworben hat, dass der Motor des Fahrzeugs gestoppt wurde.The image acquisition section 1 of the fatigue inference device 10 is connected to the imaging device 20 and acquires an imaging image from the imaging device 20. Then, the image acquisition section 1 outputs the acquired image image to the face detector 11. As in 1 shown, the image acquisition section 1 is further connected to a vehicle information acquisition section 2 explained next. The image acquisition section 1 begins with the acquisition of image images when they are z. B. has acquired a signal from the vehicle information acquisition section 2 that the engine of the vehicle has been started. On the other hand, the image acquisition section 1 terminates the acquisition of image images when, for example, B. has acquired a signal from the vehicle information acquisition section 2 that the engine of the vehicle has been stopped.

Die Müdigkeit-Folgerungssektion 10 weist die Fahrzeuginformationen-Erwerbssektion 2 auf, die mit einer fahrzeugseitigen Steuerungsvorrichtung 200 verbunden ist. Die Fahrzeuginformationen-Erwerbssektion 2 erwirbt von der fahrzeugseitigen Steuerungsvorrichtung 200 ein Signal bezüglich des Startens oder Stoppens des Fahrzeugs. Dann gibt sie mittels des von der fahrzeugseitigen Steuerungsvorrichtung 200 erworbenen Signals an die Bilderwerbssektion 1 ein Signal für das Starten des Erwerbens von Abbildungsbildern oder ein Signal zum Beenden des Erwerbens von Abbildungsbildern aus.The fatigue inference section 10 includes the vehicle information acquisition section 2 connected to a vehicle-side control device 200. The vehicle information acquisition section 2 acquires a signal regarding starting or stopping of the vehicle from the vehicle-side control device 200. Then, by means of the signal acquired from the vehicle-side control device 200, it outputs a signal for starting acquiring image images or a signal for terminating acquiring image images to the image acquiring section 1.

Hat die Fahrzeuginformationen-Erwerbssektion 2 beispielsweise von der fahrzeugseitigen Steuerungsvorrichtung 200 ein Signal von entweder einer Türentriegelung, eines Türöffnens, eines Einschaltens der Zündung, eines Einschaltens eines Bewegungsmelders, einer Bewegung des Schalthebels zur D-Position, eines Überschreitens der Fahrzeuggeschwindigkeit von 0 km/h, des Beginns der Führung durch eine Navigationsvorrichtung oder der Abfahrt des Fahrzeugs von Zuhause erworben, gibt sie an die Bilderwerbssektion 1 ein Signal für den Beginn des Erwerbs von Abbildungsbildern aus. Hat die Fahrzeuginformationen-Erwerbssektion 2 andererseits beispielsweise von der fahrzeugseitigen Steuerungsvorrichtung 200 ein Signal von entweder eines Ausschaltens der Zündung, eines Ausschaltens eines Bewegungsmelders, einer Bewegung des Schalthebels zur Parken-Position, eines Beendens der Führung durch eine Navigationsvorrichtung oder der Ankunft des Fahrzeugs Zuhause erworben, gibt sie an die Bilderwerbssektion 1 ein Signal für das Beenden des Erwerbs von Abbildungsbildern aus.For example, the vehicle information acquisition section 2 has a signal from the vehicle-side control device 200 of either door unlocking, door opening, ignition turning on, motion detector turning on, shift lever moving to D position, vehicle speed exceeding 0 km/h , the start of guidance by a navigation device or the departure of the vehicle from home, it outputs a signal to the image acquisition section 1 for the start of the acquisition of image images. On the other hand, for example, from the vehicle-side control device 200, the vehicle information acquisition section 2 has acquired a signal of either turning off the ignition, turning off a motion detector, moving the shift lever to the parking position, ending guidance by a navigation device, or arriving home of the vehicle , it outputs a signal to the image acquisition section 1 for terminating the acquisition of image images.

Als Nächstes wird der Gesichtsdetektor 11 der Müdigkeit-Folgerungsvorrichtung 10 erläutert. Der Gesichtsdetektor 11 umfasst eine Merkmalspunkt-Detektionssektion 3, durch die Merkmalspunkte der Gesichtselemente eines Insassen in einem Abbildungsbild detektiert werden, eine Merkmalsgrößen-Berechnungssektion 4, durch die Merkmalsgrößen bezüglich der Gesichtselemente eines Insassen berechnet werden, und eine Gesichtselement-Beurteilungssektion 5, durch die beurteilt wird, ob ein Teil der Gesichtselemente detektiert oder nicht detektiert wurde.Next, the face detector 11 of the fatigue inference device 10 will be explained. The face detector 11 includes a feature point detection section 3 through which feature points of the facial elements of an occupant in an image image are detected, a feature size calculation section 4 through which feature sizes relating to the facial elements of an occupant are calculated, and a facial element judgment section 5 through which judges whether part of the facial elements was detected or not detected.

Zunächst wird die Merkmalspunkt-Detektionsverarbeitung durch die Merkmalspunkt-Detektionssektion 3 erläutert. 3 sind erläuternde Ansichten, welche Merkmalspunkt-Detektionsbeispiele der Müdigkeit-Folgerungsvorrichtung 10 gemäß der ersten Ausführungsform zeigen. In 3 ist ein Abbildungsbild 61 dargestellt, auf dem der Fahrer 503 abgebildet ist. Bei der Merkmalspunkt-Detektionssektion 3 erfolgt eine Analyse des Abbildungsbildes, und in dem Abbildungsbild eine Detektion eines Gesichtsbereichs als Bereich, in dem sich das Gesicht eines Insassen befindet. Zunächst wird durch die Merkmalspunkt-Detektionssektion 3 beispielsweise anhand des Kontrastverhältnisses in dem Abbildungsbild ein Bereich extrahiert, in dem sich das Gesicht eines Insassen befindet.First, the feature point detection processing by the feature point detection section 3 will be explained. 3 are explanatory views showing feature point detection examples of the fatigue inference device 10 according to the first embodiment. In 3 an image 61 is shown on which the driver 503 is depicted. In the feature point detection section 3, an analysis of the image image is performed, and in the image image, a facial region is detected as a region in which an occupant's face is located. First, a region in which an occupant's face is located is extracted by the feature point detection section 3, for example, based on the contrast ratio in the image image.

Dann wird bei der Merkmalspunkt-Detektionssektion 3 beispielsweise wie bei dem Beispiel in 3B ein rechteckiger Bereich derart eingestellt, dass er den Bereich umfasst, in dem sich das Gesicht eines Insassen befindet, und als Gesichtsbereich 71 detektiert. Außerdem werden bei der Merkmalspunkt-Detektionssektion 3 Positionsdaten des Gesichtsbereichs erworben und an eine Speichersektion (nicht dargestellt) der Müdigkeit-Folgerungsvorrichtung 10 ausgegeben. Die Positionsdaten des Gesichtsbereichs sind dabei z. B., wenn der Gesichtsbereich rechteckig ist, die Koordinaten der jeweiligen Eckpunkte des Gesichtsbereichs bezogen auf einen spezifischen Punkt im Abbildungsbild (z. B. den Punkt O in 3A), die Breite, Höhe oder Größe des Gesichtsbereichs usw.Then, in the feature point detection section 3, for example, as in the example in 3B a rectangular area is set to include the area where an occupant's face is located and is detected as a facial area 71. In addition, at the Feature point detection section 3 acquires position data of the facial area and outputs it to a storage section (not shown) of the fatigue inference device 10. The position data of the facial area is z. B. if the facial area is rectangular, the coordinates of the respective corner points of the facial area related to a specific point in the image (e.g. the point O in 3A) , the width, height or size of the facial area, etc.

Dann extrahiert die Merkmalspunkt-Detektionssektion 3 im Gesichtsbereich enthaltene Merkmalspunkte der Elemente des Gesichts eines Insassen (im Folgenden als Gesichtselemente bezeichnet). Gesichtselemente des Insassen sind z. B. ein linkes Auge 81, ein rechtes Auge 82, eine Nase 83 und ein Mund 84 des Insassen, die in 3B gezeigt sind. Bei den Gesichtselementen des Insassen handelt es sich nicht nur um Teile des Gesichts des Insassen, sondern auch die Form des Kopfs und die Kontur des Gesichts des Insassen sind hiervon umfasst. Das heißt, es handelt sich bei den Gesichtselementen um Elemente, aus denen der Körper des Insassen besteht. Ferner kann die Detektionsverarbeitung der Merkmalspunkte durch die Merkmalspunkt-Detektionssektion 3 durch allgemein bekannte, verschiedene Algorithmen verwendende Verarbeitungen erfolgen, wobei eine detaillierte Erläuterung dieser Algorithmen hier ausgelassen wird. Bei der Detektion von Merkmalspunkten der Gesichtselemente des Insassen durch die Merkmalspunkt-Detektionssektion 3 wird beispielsweise eine Verarbeitung ausgeführt, durch die einer oder eine Vielzahl von Merkmalspunkten detektiert werden, welche das jeweilige Gesichtselement (z. B. das linke Auge, rechte Auge, die Nase oder der Mund) aufweist.Then, the feature point detection section 3 extracts feature points of the elements of an occupant's face (hereinafter referred to as facial elements) included in the facial area. Facial elements of the occupant are e.g. B. a left eye 81, a right eye 82, a nose 83 and a mouth 84 of the occupant, which are in 3B are shown. The occupant's facial elements are not only parts of the occupant's face, but also include the shape of the occupant's head and the contour of the occupant's face. This means that the facial elements are elements that make up the occupant's body. Further, the detection processing of the feature points by the feature point detection section 3 may be performed by well-known processing using various algorithms, and detailed explanation of these algorithms is omitted here. In the detection of feature points of the occupant's facial elements by the feature point detection section 3, for example, processing is carried out by which one or a plurality of feature points are detected which represent the respective facial element (e.g. the left eye, right eye, nose or the mouth).

Die Merkmalspunkt-Detektionssektion 3 erwirbt beispielsweise Positionsdaten im Abbildungsbild von charakteristischen Stellen, d. h. Merkmalspunkten, welche ein Gesichtselement aufweist, wie bezüglich des linken Auges und des rechten Auges der Pupille, des äußeren Augenwinkels, des inneren Augenwinkels, des Oberlids und des Unterlids. Im Folgenden werden zur Erläuterung das rechte Auge und das linke Auge auch zusammengefasst als Auge angegeben.The feature point detection section 3 acquires, for example, position data in the image image of characteristic locations, i.e. H. Feature points that a facial element has, such as the left eye and the right eye of the pupil, the outer corner of the eye, the inner corner of the eye, the upper eyelid and the lower eyelid. In the following, for explanation purposes, the right eye and the left eye are also referred to collectively as the eye.

Ferner erwirbt die Merkmalspunkt-Detektionssektion 3 beispielsweise Positionsdaten im Abbildungsbild von Merkmalspunkten, welche das Gesichtselement aufweist, wie bezüglich der Nase der Nasenwurzel, der Nasenspitze, des Nasenrückens und der Nasenflügel. Außerdem erwirbt die Merkmalspunkt-Detektionssektion 3 beispielsweise Positionsdaten im Abbildungsbild von Merkmalspunkten, welche das Gesichtselement aufweist, wie bezüglich des Mundes der Oberlippe, der Unterlippe und der Mundwinkel. Dann gibt die Merkmalspunkt-Detektionssektion 3 die erworbenen Positionsdaten bezüglich der jeweiligen Gesichtselemente, d. h. die Positionsdaten der Merkmalspunkte an die Merkmalsgrößen-Berechnungssektion 4 und die Gesichtselement-Beurteilungssektion 5 aus.Further, the feature point detection section 3 acquires, for example, position data in the map image of feature points that the facial element has, such as the nose, the nasal root, the nasal tip, the nasal bridge, and the nasal wings. In addition, the feature point detection section 3 acquires, for example, position data in the map image of feature points that the facial element has, such as the mouth of the upper lip, the lower lip, and the corners of the mouth. Then, the feature point detection section 3 outputs the acquired position data regarding the respective facial elements, i.e. H. the position data of the feature points to the feature size calculation section 4 and the facial element judgment section 5.

Die durch die Merkmalspunkt-Detektionssektion 3 erworbenen Positionsdaten der Merkmalspunkte, welche die jeweiligen Gesichtselemente aufweisen, sind beispielsweise Daten, die Koordinaten mit der spezifischen Position O im in 3A gezeigten Abbildungsbild als Ausgangspunkt, oder Koordinaten des Mittelpunkts im Abbildungsbild als Ausgangspunkt darstellen.The position data of the feature points having the respective facial elements acquired by the feature point detection section 3 is, for example, data representing coordinates with the specific position O in 3A the image shown as the starting point, or the coordinates of the center point in the image as the starting point.

Dann werden durch die Merkmalsgrößen-Berechnungssektion 4 des Gesichtsdetektors 11 anhand der detektierten Merkmalspunkte, Merkmalsgrößen bezüglich der Gesichtselemente des Insassen berechnet. Die Merkmalsgrößen stellen den Zustand des Insassen dar, beispielsweise den Augenöffnungsgrad oder Mundöffnungsgrad, und sind Daten, die für die im Folgenden beschriebene Müdigkeit-Folgerungsverarbeitung verwendet werden. Außerdem kann es sich bei den Merkmalsgrößen auch um Daten handeln, die sich über eine Vielzahl von Abbildungsbildern erstrecken, wie z. B. die Häufigkeit des Lidschlags, der Zeit des Lidschlags, das Vorliegen/Nichtvorliegen von Gähnen oder die Geschwindigkeit eines Nickens. Auch zur Berechnungsverarbeitung der Merkmalsgrößen durch die Merkmalsgrößen-Berechnungssektion 4 können allgemein bekannte verschiedene Algorithmen verwendet werden. Ferner können die durch die Merkmalsgrößen-Berechnungssektion 4 berechneten Merkmalsgrößen, auch in einer Speichersektion der Müdigkeit-Folgerungsvorrichtung 10 aufgezeichnet werden. Im Folgenden werden Daten bezüglich der Müdigkeit-Folgerungsverarbeitung eines Insassen, die durch die Gesicht-Detektionsverarbeitung detektiert wurden, d. h. Positionsdaten von Merkmalspunkten, die ein Gesichtselement aufweist, und Gesichtsmerkmalsgrößen, die mittels der Gesichtselemente berechnet wurden, zusammengefasst als Gesichtsdaten bezeichnet.Then, feature sizes relating to the facial elements of the occupant are calculated by the feature size calculation section 4 of the face detector 11 based on the detected feature points. The feature quantities represent the condition of the occupant, for example the degree of eye opening or mouth opening degree, and are data used for the fatigue inference processing described below. In addition, the feature sizes can also be data that extend over a large number of image images, such as. B. the frequency of blinking, the time of blinking, the presence/absence of yawning or the speed of a nod. Also, well-known various algorithms can be used for the calculation processing of the feature sizes by the feature size calculation section 4. Furthermore, the feature quantities calculated by the feature quantity calculation section 4 can also be recorded in a storage section of the fatigue inference device 10. Hereinafter, data relating to the sleepiness inference processing of an occupant detected by the face detection processing, i.e. H. Position data of feature points that a facial element has and facial feature sizes calculated using the facial elements are collectively referred to as facial data.

Im Übrigen kann es bei einer Detektion von Gesichtselementen eines Insassen mittels eines Abbildungsbildes aufgrund verschiedener Ursachen schwierig sein, Gesichtselemente zu detektieren. Trägt der Insasse beispielsweise eine Sonnenbrille, werden die Augen als Gesichtselemente des Insassen durch die Sonnenbrille verdeckt, sodass eine Detektion durch den Gesichtsdetektor 11 erschwert wird. Trägt der Insasse ferner eine Maske, werden Nase und Mund als Gesichtselemente des Insassen durch die Maske verdeckt, sodass eine Detektion durch den Gesichtsdetektor 11 erschwert wird. Bedeckt der Insasse schließlich z. B. einen Teil des Gesichts mit einer Hand, wird die Detektion der durch die Hand bedeckten Gesichtselemente erschwert. Ferner kann das aufgenommene Abbildungsbild durch Gegenlicht dunkler oder heller werden, sodass das Kontrastverhältnis zwischen den Gesichtselementen und dem Hintergrund der Gesichtselemente sich verringert, wodurch die Detektion der Gesichtselemente durch den Gesichtsdetektor 11 erschwert werden kann.Incidentally, when detecting facial elements of an occupant using an image, it may be difficult to detect facial elements due to various reasons. For example, if the occupant is wearing sunglasses, the eyes as facial elements of the occupant are covered by the sunglasses, so that detection by the face detector 11 is made more difficult. If the occupant also wears a mask, the nose and mouth are covered by the mask as facial elements of the occupant, so that detection by the face detector 11 is made more difficult. If the occupant finally covers e.g. B. part of the Face with one hand, the detection of the facial elements covered by the hand becomes difficult. Furthermore, the captured image image may become darker or brighter due to backlighting, so that the contrast ratio between the facial elements and the background of the facial elements is reduced, which may make the detection of the facial elements by the face detector 11 more difficult.

Erfolgt wie vorstehend beschrieben für den Fall, dass durch die Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert werden konnte, eine Folgerung der Müdigkeit des Insassen ausschließlich mittels der detektierten Gesichtselemente, kann dies dazu führen, dass die Gesichtsdaten, die für die Müdigkeit-Folgerungsverarbeitung verwendet werden, unzureichend sind und der Zustand der Müdigkeit des Insassen unsicher ist, sodass die Zuverlässigkeit des Müdigkeit-Folgerungsergebnisses nicht sichergestellt ist, oder die Möglichkeit besteht, dass eine Müdigkeit-Folgerungsverarbeitung nicht mehr ausgeführt werden kann. Wurde von der Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert, folgert daher die Müdigkeit-Folgerungssektion 12 gemäß der vorliegenden Offenbarung die Müdigkeit des Insassen auch unter Verwendung von Gesichtsdaten, die in der Vergangenheit detektiert wurden.If, as described above, in the event that a part of the facial elements could not be detected by the face detection processing of the plurality of facial elements, an inference of the occupant's tiredness is made exclusively by means of the detected facial elements, this can lead to the facial data being used for drowsiness inference processing are insufficient and the state of the occupant's drowsiness is uncertain, so that the reliability of the drowsiness inference result is not ensured, or there is a possibility that drowsiness inference processing can no longer be carried out. Therefore, according to the present disclosure, if a part of the facial elements was not detected among the plurality of facial elements, the fatigue inference section 12 infers the fatigue of the occupant also using facial data detected in the past.

Im Folgenden wird, nachdem die Verarbeitung durch die Gesichtselement-Beurteilungssektion 5 zur Beurteilung, ob bei der Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen ein Teil der Gesichtselemente detektiert oder nicht detektiert wurde, erläutert wurde, die Müdigkeit-Folgerungssektion 12 erläutert. Zunächst erwirbt die Gesichtselement-Beurteilungssektion 5 von der Merkmalspunkt-Detektionssektion 3 des Gesichtsdetektors 11 Positionsdaten der Merkmalspunkte, welche die Gesichtselemente aufweisen, und bestimmt die anhand des Abbildungsbildes detektierten Gesichtselemente.Next, after explaining the processing by the facial element judgment section 5 for judging whether a part of the facial elements was detected or not detected in the face detection processing among the plurality of facial elements, the fatigue inference section 12 will be explained. First, the facial element judgment section 5 acquires position data of the feature points having the facial elements from the feature point detection section 3 of the face detector 11, and determines the facial elements detected from the image image.

Beispielsweise bestimmt die Gesichtselement-Beurteilungssektion 5, dass im Abbildungsbild das linke Auge des Insassen detektiert wurde, wenn anhand der Positionsdaten der Merkmalspunkte, die von der Merkmalspunkt-Detektionssektion 3 erworben wurden, das Vorliegen des linken Auges des Insassen im Abbildungsbild dargestellt wird. Andererseits bestimmt die Gesichtselement-Beurteilungssektion 5, dass das linke Auge durch den Gesichtsdetektor 11 nicht detektiert wurde, wenn anhand der Positionsdaten der Merkmalspunkte, die von der Merkmalspunkt-Detektionssektion 3 erworben wurden, kein Vorliegen des linken Auges des Insassen im Abbildungsbild dargestellt wird.For example, the facial element judgment section 5 determines that the occupant's left eye has been detected in the image image when the presence of the occupant's left eye in the image image is represented based on the position data of the feature points acquired from the feature point detection section 3. On the other hand, the facial element judgment section 5 determines that the left eye has not been detected by the facial detector 11 when no presence of the occupant's left eye is represented in the image image based on the position data of the feature points acquired by the feature point detection section 3.

Hierbei genügt es, wenn die Gesichtselement-Beurteilungssektion 5 beispielsweise aufgrund dessen bestimmt, dass ein Gesichtselement des Insassen detektiert wurde, wenn an irgendeiner Stelle im Gesichtsbereich Merkmalspunkte vorliegen, die das Gesichtselement aufweist. In diesem Fall kann z. B. bezüglich des Auges bestimmt werden, dass ein Auge detektiert wurde, wenn Merkmalspunkte, die ein Auge aufweist, d. h. die Pupille, der äußere Augenwinkel, der innere Augenwinkel, das Oberlid und das Unterlid an einer Stelle detektiert werden, an der sie im Gesichtsbereich vorliegen können. Ebenso kann bei anderen Gesichtselementen wie der Nase, dem Mund und der Kontur des Insassen bestimmt werden, dass durch den Gesichtsdetektor 11 die Gesichtselemente detektiert wurden, wenn Merkmalspunkte, die diese Gesichtselemente aufweisen, an einer Stelle detektiert werden, an der sie im Gesichtsbereich vorliegen können.It is sufficient here if the facial element assessment section 5 determines, for example, that a facial element of the occupant has been detected if there are feature points at any point in the facial area that the facial element has. In this case, e.g. B. with regard to the eye it can be determined that an eye was detected if feature points that an eye has, i.e. H. the pupil, the outer corner of the eye, the inner corner of the eye, the upper eyelid and the lower eyelid are detected at a location where they can be present in the facial area. Likewise, for other facial elements such as the nose, mouth and contour of the occupant, it can be determined that the facial elements have been detected by the facial detector 11 if feature points that have these facial elements are detected at a location where they may be present in the facial area .

Außerdem kann die Gesichtselement-Beurteilungssektion 5 auch von der Merkmalsgrößen-Detektionssektion 4 des Gesichtsdetektors 11 das Berechnungsergebnis der Merkmalsgrößen erwerben und die anhand des Abbildungsbildes detektierten Gesichtselemente bestimmen. In diesem Fall kann die Gesichtselement-Beurteilungssektion 5 z. B. bestimmen, dass der Mund detektiert wurde, wenn von der Merkmalsgrößen-Berechnungssektion 4 der Mundöffnungsgrad erworben wurde, und bestimmen, dass der Mund nicht detektiert wurde, wenn der Mundöffnungsgrad nicht erworben werden konnte. Auf diese Weise kann die Gesichtselement-Beurteilungssektion 5 durch das Erwerben einer dem Gesichtselement entsprechenden Merkmalsgröße bestimmen, ob anhand eines Abbildungsbildes ein Gesichtselement detektiert wurde, und sie kann bestimmen, dass anhand eines Abbildungsbildes ein Gesichtselement nicht detektiert wurde, wenn eine dem Gesichtselement entsprechende Merkmalsgröße nicht erworben werden konnte. Die einem Gesichtsmerkmal entsprechende Merkmalsgröße ist beispielsweise bei einem Auge der Augenöffnungsgrad, bei einem Mund der Mundöffnungsgrad und bei der Kontur die Gesichtsrichtung.In addition, the facial element judgment section 5 can also acquire the calculation result of the feature sizes from the feature size detection section 4 of the face detector 11 and determine the facial elements detected from the image image. In this case, the facial element judgment section 5 may, for example, B. determine that the mouth was detected when the mouth opening degree was acquired by the feature size calculation section 4, and determine that the mouth was not detected when the mouth opening degree could not be acquired. In this way, the facial element judging section 5 can determine whether a facial element has been detected from an image image by acquiring a feature size corresponding to the facial element, and can determine that a facial element has not been detected from an image image if a feature size corresponding to the facial element has not been detected could be acquired. The feature size corresponding to a facial feature is, for example, the degree of eye opening for an eye, the degree of mouth opening for a mouth and the direction of the face for the contour.

Die Verarbeitung der Bestimmung von Gesichtselementen durch die Gesichtselement-Beurteilungssektion 5 ist ferner nicht auf die vorstehenden Beispiele beschränkt. Beispielsweise kann die Gesichtselement-Beurteilungssektion 5 auch mittels eines Bildverarbeitungsverfahrens wie einem Vorlagenabgleich die anhand des Abbildungsbildes detektierten Gesichtselemente bestimmen. Bei einer Bestimmung der anhand des Abbildungsbildes detektierten Gesichtselemente mittels eines Vorlagenabgleichs können durch die Gesichtselement-Beurteilungssektion 5 beispielsweise durch einen Vergleich des Abbildungsbildes mit Bildern zur Ähnlichkeitsfeststellung, die vorab in einer Speichersektion gesammelt wurden, wie Bildern, auf denen Gesichtselemente abgebildet sind, die anhand des Abbildungsbildes detektierten Gesichtselemente bestimmt werden. Die Bestimmungsverarbeitung durch die Gesichtselement-Beurteilungssektion 5 ist auch mittels eines bekannten Bildverarbeitungsverfahrens wie einer Instanzsegmentierung möglich.Further, the facial element determination processing by the facial element judging section 5 is not limited to the above examples. For example, the facial element assessment section 5 can also determine the facial elements detected based on the image image using an image processing method such as template matching. When determining the facial elements detected based on the image image by means of a template comparison, the facial element assessment section 5 can, for example, compare the image image with images for similarity determination that have been stored in advance in a memory section were collected, such as images on which facial elements are depicted, which are determined based on the facial elements detected in the image. The determination processing by the facial element judgment section 5 is also possible using a known image processing method such as instance segmentation.

Die Gesichtselement-Beurteilungssektion 5 kann auch bestimmen, dass ein Gesichtselement nicht detektiert wurde, bei dem die Möglichkeit besteht, dass es durch ein Accessoire bedeckt ist, wenn detektiert wurde, dass der Insasse ein Accessoire wie eine Maske oder eine Sonnenbrille trägt. Wurde beispielsweise detektiert, dass der Insasse eine Maske trägt, kann sie bestimmen, dass von den Gesichtselementen Nase oder Mund nicht detektiert wurden. Wurde ferner beispielsweise detektiert, dass der Insasse eine Sonnenbrille trägt, kann sie bestimmen, dass von den Gesichtselementen die Augen nicht detektiert wurden.The facial element judging section 5 may also determine that a facial element that has a possibility of being covered by an accessory has not been detected when it is detected that the occupant is wearing an accessory such as a mask or sunglasses. For example, if it was detected that the occupant was wearing a mask, it can determine that the nose or mouth were not detected by the facial elements. Furthermore, if it was detected, for example, that the occupant was wearing sunglasses, it can determine that the eyes of the facial elements were not detected.

Dann zeichnet die Gesichtselement-Beurteilungssektion 5 das Bestimmungsergebnis der Gesichtselemente in dem Abbildungsbild, das der vorstehenden Bestimmungsverarbeitung unterzogen wurde, in einer Speichersektion der Müdigkeit-Folgerungsvorrichtung 10 auf. 4 ist eine erläuternde Ansicht, welche ein Beispiel eines Bestimmungsergebnisses der Gesichtselemente bei der Müdigkeit-Folgerungsvorrichtung 10 gemäß der ersten Ausführungsform zeigt. 4 zeigt bezüglich Frames (Frame N1 bis N5), in welchen ein Abbildungsbild erworben wurde, ein Aufzeichnungsbeispiel des Ergebnisses einer Bestimmung durch eine Gesicht-Detektionsverarbeitung, ob das linke Auge, das rechte Auge, die Nase, der Mund und die Kontur eines Insassen detektiert wurden. In 4 wird ein Gesichtselement, das in einem bestimmten Frame durch die Gesichtselement-Beurteilungssektion 5 als mittels einer Gesicht-Detektionsverarbeitung detektiert bestimmt wurde, mit OK dargestellt, und ein durch eine Gesicht-Detektionsverarbeitung nicht detektiertes Gesichtselement wird mit NG dargestellt. Von Frame N1 bis Frame N5 schreitet die Zeit der Reihe nach von N1, N2, N3, N4 und N5 voran, wobei das Intervall zwischen den jeweiligen Frames beliebig ist.Then, the facial element judgment section 5 records the determination result of the facial elements in the image image subjected to the above determination processing in a storage section of the fatigue inference device 10. 4 is an explanatory view showing an example of a determination result of the facial elements in the fatigue inference device 10 according to the first embodiment. 4 With respect to frames (frames N1 to N5) in which an image image was acquired, shows a recording example of the result of determination by face detection processing as to whether the left eye, the right eye, the nose, the mouth and the contour of an occupant were detected . In 4 a facial element determined in a particular frame by the facial element judging section 5 to be detected by face detection processing is displayed as OK, and a facial element not detected by face detection processing is displayed as NG. From frame N1 to frame N5, time advances sequentially from N1, N2, N3, N4, and N5, with the interval between each frame being arbitrary.

4 zeigt ein Beispiel, bei dem in Frame N1 bis N5 durch eine Gesicht-Detektionsverarbeitung des Gesichtsdetektors 11 das linke Auge, das rechte Auge, die Nase, der Mund und die Kontur eines Insassen detektiert werden, wobei in den Frames N3 bis N5 durch die Gesicht-Detektionsverarbeitung des Gesichtsdetektors 11 das linke Auge und das rechte Auge nicht detektiert wurden. In einem solchen Fall können in den Frames N3 bis N5 das linke Auge und das rechte Auge nicht für eine Müdigkeit-Folgerungsverarbeitung des Insassen verwendet werden. Das heißt, bei einem Abbildungsbild, in dem ein Teil der Gesichtselemente nicht detektiert wurde, können die nicht detektierten Gesichtselemente nicht für die Müdigkeit-Folgerungsverarbeitung verwendet werden. 4 shows an example in which the left eye, the right eye, the nose, the mouth and the contour of an occupant are detected in frames N1 to N5 by face detection processing of the face detector 11, and in frames N3 to N5 through the face -Detection processing of the face detector 11, the left eye and the right eye were not detected. In such a case, in frames N3 to N5, the left eye and the right eye cannot be used for sleepiness inference processing of the occupant. That is, for an image image in which part of the facial elements have not been detected, the undetected facial elements cannot be used for fatigue inference processing.

Daher wird durch die Gesichtselement-Beurteilungssektion 5 unter Verwendung des Ergebnisses der Verarbeitung zur Bestimmung der Gesichtselemente beurteilt, ob in einem bestimmten Frame von einer Vielzahl von Gesichtselementen eines Insassen ein Teil der Gesichtselemente nicht detektiert wurde. Die Gesichtselement-Beurteilungssektion 5 beurteilt beispielsweise, dass bei der Gesicht-Detektionsverarbeitung von einer Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde, wenn von der Vielzahl von Gesichtselementen ein vorgegebenes Gesichtselement nicht detektiert wurde. Andererseits beurteilt die Gesichtselement-Beurteilungssektion 5, dass sämtliche Gesichtselemente detektiert wurden, wenn bei der Gesicht-Detektionsverarbeitung von einer Vielzahl von Gesichtselementen sämtliche der vorgegebenen Gesichtselemente detektiert wurden.Therefore, it is judged by the facial element judgment section 5 whether a part of the facial elements has not been detected in a particular frame among a plurality of facial elements of an occupant using the result of the facial element determination processing. For example, the facial element judging section 5 judges that in the face detection processing of a plurality of facial elements, a part of the facial elements was not detected when a predetermined facial element was not detected among the plurality of facial elements. On the other hand, when all of the predetermined facial elements are detected in the face detection processing of a plurality of facial elements, the facial element judging section 5 judges that all of the facial elements have been detected.

Ferner kann die Gesichtselement-Beurteilungssektion 5 beispielsweise auch beurteilen, dass von einer Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde, wenn bei der Gesicht-Detektionsverarbeitung von einer Vielzahl von vorgegebenen Gesichtselementen sämtliche Gesichtselemente nicht detektiert wurden. In diesem Fall beurteilt die Gesichtselement-Beurteilungssektion 5, dass von einer Vielzahl von Gesichtselementen sämtliche der Gesichtselemente detektiert wurden, wenn bei der Gesicht-Detektionsverarbeitung sämtliche der Vielzahl von vorab eingestellten Gesichtselementen detektiert wurden.Further, for example, the facial element judging section 5 can also judge that among a plurality of facial elements, a part of the facial elements has not been detected when all of the facial elements have not been detected in the face detection processing of a plurality of predetermined facial elements. In this case, when all of the plurality of preset facial elements are detected in the face detection processing, the facial element judging section 5 judges that among a plurality of facial elements, all of the facial elements have been detected.

Bei den vorab eingestellten Gesichtselementen handelt es sich um eines oder eine Vielzahl von Gesichtselementen, die für die Müdigkeit-Folgerungsverarbeitung verwendet werden, wie z. B. das linke Auge, das rechte Auge oder den Mund. Ferner sind die vorstehend erwähnten sämtlichen Gesichtselemente nicht beschränkt auf sämtliche Gesichtselemente, die ein Insasse aufweist, sondern kann auch eine Vielzahl von Gesichtselementen einschließen, die aus den sämtlichen Gesichtselementen, die ein Insasse aufweist, ausgewählt wurden. Dann gibt die Gesichtselement-Beurteilungssektion 5 an die Müdigkeit-Folgerungssektion 12 ein Beurteilungsergebnis aus, das anzeigt, ob in einem bestimmten Frame von einer Vielzahl von Gesichtselementen ein Teil der Gesichtselemente detektiert oder nicht detektiert wurde.The preset facial elements are one or a plurality of facial elements used for fatigue inference processing, such as: B. the left eye, the right eye or the mouth. Further, the above-mentioned all of the facial elements are not limited to all of the facial elements that an occupant has, but may also include a plurality of facial elements selected from all of the facial elements that an occupant has. Then, the facial element judgment section 5 outputs to the fatigue inference section 12 a judgment result indicating whether a part of the facial elements was detected or not detected in a particular frame among a plurality of facial elements.

Als Nächstes wird im Hinblick auf die Müdigkeit-Folgerungssektion 12 als ein Beispiel der Müdigkeit-Folgerungsverarbeitung eines Insassen, der anhand eines Abbildungsbildes detektiert wurde, ein Beispiel angeführt und erläutert, bei dem die Müdigkeit eines Insassen durch eine Berechnung der Müdigkeitsstufe gefolgert wird. Hierbei handelt es sich bei der Müdigkeitsstufe um einen Indikatorwert, der den Indikator der Müdigkeit eines Insassen von einem Wachzustand bis zu einem Zustand, in dem eine starke Müdigkeit verspürt wird, stufenweise unterteilt. Beispielsweise handelt es sich um die Müdigkeitsstufe 1, wenn sich der Insasse in einem Wachzustand befindet, und um die Müdigkeitsstufe 9, wenn der Insasse sich in einem Zustand befindet, in dem er eine starke Müdigkeit verspürt. Mit zunehmender Müdigkeit, die ein Insasse verspürt, erfolgt ein Übergang von der Müdigkeitsstufe 1 zur Müdigkeitsstufe 9.Next, regarding the tiredness inference section 12, as an example, the tired ness inference processing of an occupant who was detected from an image image, an example is given and explained in which the tiredness of an occupant is inferred by calculating the tiredness level. Here, the fatigue level is an indicator value that gradually divides the indicator of an occupant's fatigue from an awake state to a state in which severe fatigue is felt. For example, it is fatigue level 1 when the occupant is in an awake state and fatigue level 9 when the occupant is in a state in which they feel severe fatigue. As an inmate experiences increasing fatigue, a transition occurs from fatigue level 1 to fatigue level 9.

Die Müdigkeit-Folgerungssektion 12 berechnet die Müdigkeitsstufe eines Insassen mittels der Gesichtsdaten, die von dem Gesichtsdetektor 11 erworben wurden. Beispielsweise berechnet die Müdigkeit-Folgerungssektion 12, wenn sie als Gesichtsdaten den Augenöffnungsgrad als Merkmalsgröße erworben hat, eine höhere Müdigkeitsstufe des Insassen, je kleiner der Augenöffnungsgrad ist. Es besteht nämlich die Tendenz, dass der Augenöffnungsgrad kleiner wird, je stärker die Müdigkeit ist. In diesem Fall sollte durch die Müdigkeit-Folgerungssektion 12 die Berechnung der Müdigkeitsstufe dadurch erfolgen, dass eine Vielzahl von Schwellenwerten für den Augenöffnungsgrad eingestellt wird, und beurteilt wird, ob der Augenöffnungsgrad unterhalb der jeweiligen Schwellenwerte liegt.The fatigue inference section 12 calculates the fatigue level of an occupant using the face data acquired from the face detector 11. For example, the fatigue inference section 12, having acquired the degree of eye opening as a feature size as facial data, calculates a higher degree of fatigue of the occupant the smaller the degree of eye opening is. There is a tendency for the degree of eye opening to become smaller the more tired you are. In this case, the fatigue inference section 12 should calculate the fatigue level by setting a plurality of threshold values for the degree of eye opening and judging whether the degree of eye opening is below the respective threshold values.

Ferner berechnet die Müdigkeit-Folgerungssektion 12, beispielsweise wenn sie als Gesichtsdaten den Mundöffnungsgrad als Merkmalsgröße erworben hat, eine höhere Müdigkeitsstufe, je größer der Mundöffnungsgrad ist. Bei einem großen Mundöffnungswinkel besteht nämlich die Möglichkeit, dass der Insasse Müdigkeit verspürt und gähnt. In diesem Fall sollte die Berechnung der Müdigkeitsstufe dadurch erfolgen, dass eine Vielzahl von Schwellenwerten für den Mundöffnungsgrad vorgesehen wird, und durch die Müdigkeit-Folgerungssektion 12 beurteilt wird, ob der Mundöffnungsgrad unterhalb der jeweiligen Schwellenwerte liegt.Furthermore, the fatigue inference section 12 calculates, for example, when it has acquired the degree of mouth opening as a feature size as facial data, a higher degree of fatigue the larger the degree of mouth opening is. If the mouth opens at a large angle, there is a possibility that the occupant will feel tired and yawn. In this case, the calculation of the fatigue level should be carried out by providing a plurality of threshold values for the degree of mouth opening and judging by the fatigue inference section 12 whether the degree of mouth opening is below the respective threshold values.

Außerdem berechnet die Müdigkeit-Folgerungssektion 12, beispielsweise wenn sie als Gesichtsdaten die Häufigkeit des Lidschlags als Merkmalsgröße erworben hat, eine höhere Müdigkeitsstufe des Insassen, je geringer die Häufigkeit des Lidschlags ist. Es besteht nämlich die Tendenz, dass die Häufigkeit des Lidschlags geringer wird, je stärker die Müdigkeit ist. In diesem Fall sollte die Berechnung der Müdigkeitsstufe dadurch erfolgen, dass eine Vielzahl von Schwellenwerten für die Häufigkeit des Lidschlags vorgesehen wird, und durch die Müdigkeit-Folgerungssektion 12 beurteilt wird, ob die Häufigkeit des Lidschlags unterhalb der jeweiligen Schwellenwerte liegt.In addition, the fatigue inference section 12 calculates, for example if it has acquired the frequency of blinking as a feature size as facial data, the higher the level of fatigue of the occupant, the lower the frequency of blinking. There is a tendency for the frequency of blinking to decrease the more tired you are. In this case, the calculation of the fatigue level should be carried out by providing a plurality of threshold values for the blink frequency and judging by the fatigue inference section 12 whether the blink frequency is below the respective threshold values.

Dann berechnet die Müdigkeit-Folgerungssektion 12 für den Fall, dass von dem Gesichtsdetektor 11 eine Vielzahl von Gesichtsdaten erworben wurde, mittels der Vielzahl von Gesichtsdaten eine Gesamt-Müdigkeitsstufe. Wurden beispielsweise als Gesichtsdaten von dem Gesichtsdetektor 11 der Augenöffnungsgrad und der Mundöffnungsgrad als Merkmalsgrößen erworben, berechnet die Müdigkeit-Folgerungssektion 12 die Müdigkeitsstufe mittels des Augenöffnungsgrads und des Mundöffnungsgrads. In diesem Fall kann die Müdigkeit-Folgerungssektion 12 auch jeweils eine anhand des Augenöffnungsgrads berechnete Müdigkeitsstufe und eine anhand des Mundöffnungsgrad berechnete Müdigkeitsstufe berechnen und das Mittel der jeweiligen Müdigkeitsstufen als Gesamt-Müdigkeitsstufe vorgeben.Then, in the case where a plurality of facial data has been acquired from the face detector 11, the fatigue inference section 12 calculates an overall fatigue level using the plurality of facial data. For example, when the eye opening degree and the mouth opening degree have been acquired as facial data from the face detector 11 as feature quantities, the fatigue inference section 12 calculates the fatigue level using the eye opening degree and the mouth opening degree. In this case, the fatigue inference section 12 can also calculate a fatigue level calculated based on the degree of eye opening and a fatigue level calculated based on the degree of mouth opening and specify the average of the respective fatigue levels as the overall fatigue level.

Ferner kann die Müdigkeit-Folgerungssektion 12 beispielsweise auch eine anhand des Augenöffnungsgrads berechnete Müdigkeitsstufe und eine anhand des Mundöffnungsgrad berechnete Müdigkeitsstufe vergleichen und die höhere Müdigkeitsstufe der jeweiligen Müdigkeitsstufen als Gesamt-Müdigkeitsstufe vorgeben. Andererseits kann die Müdigkeit-Folgerungssektion 12 beispielsweise auch eine anhand des Augenöffnungsgrads berechnete Müdigkeitsstufe und eine anhand des Mundöffnungsgrad berechnete Müdigkeitsstufe vergleichen und die niedrigere Müdigkeitsstufe der jeweiligen Müdigkeitsstufen als Gesamt-Müdigkeitsstufe vorgeben.Furthermore, the fatigue inference section 12 can, for example, also compare a fatigue level calculated based on the degree of eye opening and a fatigue level calculated based on the degree of mouth opening and specify the higher fatigue level of the respective fatigue levels as the overall fatigue level. On the other hand, the fatigue inference section 12 can, for example, also compare a fatigue level calculated based on the degree of eye opening and a fatigue level calculated based on the degree of mouth opening and specify the lower fatigue level of the respective fatigue levels as the overall fatigue level.

Auf diese Weise gibt die Müdigkeit-Folgerungssektion 12 für den Fall, dass von dem Gesichtsdetektor 11 eine Vielzahl von Gesichtsdaten erworben wurde, eine berechnete Gesamt-Müdigkeitsstufe als Müdigkeit-Folgerungsergebnis z. B. an die fahrzeugseitige Steuerungsvorrichtung 200 aus. Die Müdigkeit-Folgerungsverarbeitung durch die Müdigkeit-Folgerungssektion 12 ist nicht auf die vorstehenden Beispiele beschränkt und es können allgemein bekannte verschiedene Algorithmen hierfür verwendet werden. Beispielsweise kann die Müdigkeit-Folgerungssektion 12 auch ohne Berechnung der Müdigkeitsstufe mittels der von dem Gesichtsdetektor 11 erworbenen Gesichtsdaten folgern, in welchem Müdigkeitszustand von stufenweise unterteilten Müdigkeitszuständen sich der Insasse befindet. Ferner kann die Müdigkeit-Folgerungssektion 12 auch, wenn sie von dem Gesichtsdetektor 11 Positionsdaten der Merkmalspunkte als Gesichtsdaten erworben hat, nachdem ebenso wie bei der Merkmalsgrößen-Berechnungssektion 4 eine Berechnungsverarbeitung der Merkmalsgrößen anhand der Positionsdaten der Merkmalspunkte durchgeführt wurde, mittels der Merkmalsgrößen die vorstehend beschriebene Müdigkeit-Folgerungsverarbeitung durchführen.In this way, in the case where a plurality of facial data has been acquired from the face detector 11, the fatigue inference section 12 gives a calculated overall fatigue level as a fatigue inference result, for example. B. to the vehicle-side control device 200. The fatigue inference processing by the fatigue inference section 12 is not limited to the above examples, and well-known various algorithms can be used therefor. For example, even without calculating the fatigue level, the fatigue inference section 12 can use the facial data acquired by the face detector 11 to infer which fatigue state of the gradually divided fatigue states the occupant is in. Further, the fatigue inference section 12 can also, when it has acquired position data of the feature points as face data from the face detector 11, after calculation processing of the feature sizes just like the feature size calculation section 4 was carried out based on the position data of the feature points, using the feature sizes to carry out the fatigue inference processing described above.

Außerdem ist bei der Müdigkeit-Folgerungssektion 12 die Müdigkeit-Folgerungsverarbeitung aufgrund des Beurteilungsergebnisses, ob durch die Gesichtselement-Beurteilungssektion 5 bei der Gesicht-Detektionsverarbeitung von einer Vielzahl von Gesichtselementen ein Teil der Gesichtselemente detektiert oder nicht detektiert wurde, unterschiedlich. Wurde bei der Gesicht-Detektionsverarbeitung in einem bestimmten Frame von einer Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert, führt die Müdigkeit-Folgerungssektion 12 bei der vorliegenden Ausführungsform eine Müdigkeitsfolgerung des Insassen unter Verwendung von Gesichtsdaten durch, die bei einer Gesicht-Detektionsverarbeitung erhalten wurden, welche vor dem bestimmten Frame erfolgt ist. Im Folgenden wird zur Erläuterung eine Gesicht-Detektionsverarbeitung, welche vor einem bestimmten Frame erfolgt ist, als erste Gesicht-Detektionsverarbeitung, und eine Gesicht-Detektionsverarbeitung in einem bestimmten Frame als zweite Gesicht-Detektionsverarbeitung bezeichnet. Das heißt, die zweite Gesicht-Detektionsverarbeitung ist eine Verarbeitung, die nach der ersten Gesicht-Detektionsverarbeitung erfolgt.Furthermore, in the fatigue inference section 12, the fatigue inference processing is different based on the judgment result of whether a part of the facial elements was detected or not detected by the facial element judgment section 5 in the face detection processing of a plurality of facial elements. In the face detection processing, if a part of the facial elements was not detected among a plurality of facial elements in a certain frame, the fatigue inference section 12 in the present embodiment performs fatigue inference of the occupant using facial data obtained in face detection processing , which occurred before the specific frame. Hereinafter, for explanation, face detection processing performed before a specific frame is referred to as first face detection processing, and face detection processing in a specific frame is referred to as second face detection processing. That is, the second face detection processing is processing that occurs after the first face detection processing.

Ferner werden eine oder eine Vielzahl von Gesichtsdaten, die mittels der ersten Gesicht-Detektionsverarbeitung erhalten wurden, als erste Gesichtsdaten und eine oder eine Vielzahl von Gesichtsdaten, die mittels der zweiten Gesicht-Detektionsverarbeitung erhalten wurden, als zweite Gesichtsdaten bezeichnet. Wenn die zweite Gesicht-Detektionsverarbeitung eine nach der ersten Gesicht-Detektionsverarbeitung erfolgende Verarbeitung ist, ist der Abstand zwischen der ersten Gesicht-Detektionsverarbeitung und der zweiten Gesicht-Detektionsverarbeitung beliebig. Ferner werden die ersten Gesichtsdaten und die zweiten Gesichtsdaten auch jeweils als „Gesichtsdaten“ ausgedrückt.Further, one or a plurality of face data obtained by the first face detection processing is referred to as the first face data, and one or a plurality of face data obtained by the second face detection processing is referred to as the second face data. When the second face detection processing is a processing after the first face detection processing, the distance between the first face detection processing and the second face detection processing is arbitrary. Further, the first face data and the second face data are also each expressed as “face data”.

Es wird die Müdigkeit-Folgerungsverarbeitung für den Fall erläutert, dass durch die zweite Gesicht-Detektionsverarbeitung von einer Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde. Wurde mittels der zweiten Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert, berechnet die Müdigkeit-Folgerungssektion 12 die Müdigkeitsstufe des Insassen anhand der ersten Gesichtsdaten bezüglich einem Teil der Gesichtselemente, die mittels der ersten Gesicht-Detektionsverarbeitung erhalten wurden, und der zweiten Gesichtsdaten bezüglich anderen Gesichtselementen, die mittels der zweiten Gesicht-Detektionsverarbeitung erhalten wurden. Bei den anderen Gesichtselementen handelt es sich um eines oder eine Vielzahl von Gesichtselementen, das/die sich von einem Teil der Gesichtselemente von einer Vielzahl von Gesichtselementen unterscheidet/unterscheiden.The fatigue inference processing in the case where a part of the facial elements was not detected by the second face detection processing of a plurality of facial elements will be explained. If a part of the facial elements was not detected by the second face detection processing of the plurality of facial elements, the fatigue inference section 12 calculates the fatigue level of the occupant based on the first facial data regarding a part of the facial elements obtained by the first face detection processing, and the second face data regarding other facial elements obtained by the second face detection processing. The other facial elements are one or a plurality of facial elements that are different from a part of the facial elements of a plurality of facial elements.

Die Müdigkeit-Folgerungsverarbeitung durch die Müdigkeit-Folgerungssektion 12 wird unter Anführung eines Beispiels erläutert, bei dem beispielsweise ein Insasse eine Sonnenbrille trägt, und bei der zweiten Gesicht-Detektionsverarbeitung die Augen des Insassen nicht detektiert und der Mund des Insassen detektiert wurde.The fatigue inference processing by the fatigue inference section 12 will be explained using an example in which, for example, an occupant wears sunglasses, and in the second face detection processing, the occupant's eyes were not detected and the occupant's mouth was detected.

Wurden bei der zweiten Gesicht-Detektionsverarbeitung das linke Auge und das rechte Auge des Insassen nicht detektiert, gibt die Gesichtselement-Beurteilungssektion 5 an die Müdigkeit-Folgerungssektion 12 ein Beurteilungsergebnis aus, das anzeigt, dass mittels der zweiten Gesicht-Detektionsverarbeitung von einer Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde. Dann folgert die Müdigkeit-Folgerungssektion 12, die das Beurteilungsergebnis erworben hat, die Müdigkeit des Insassen anhand des Augenöffnungsgrades der ersten Gesichtsdaten bezüglich eines Teils der Gesichtselemente (Augen), die mittels der ersten Gesicht-Detektionsverarbeitung erhalten wurden, und des Mundöffnungsgrades der zweiten Gesichtsdaten bezüglich eines anderen Gesichtselements (Mund), die mittels der zweiten Gesicht-Detektionsverarbeitung erhalten wurden.If the occupant's left eye and right eye were not detected in the second face detection processing, the facial element judgment section 5 outputs to the fatigue inference section 12 a judgment result indicating that a plurality of facial elements have been detected by the second face detection processing some of the facial elements were not detected. Then, the fatigue inference section 12, having acquired the judgment result, infers the occupant's fatigue based on the eye opening degree of the first facial data regarding a part of the facial elements (eyes) obtained by the first face detection processing and the mouth opening degree of the second facial data another face element (mouth) obtained by the second face detection processing.

Ferner wird unter Anführung eines Beispiels, bei dem beispielsweise ein Insasse eine Maske trägt, und bei der zweiten Gesicht-Detektionsverarbeitung der Mund des Insassen nicht detektiert wird, und die Augen des Insassen detektiert wurden, die Müdigkeit-Folgerungsverarbeitung durch die Müdigkeit-Folgerungssektion 12 für den Fall erläutert, dass von einer Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde.Further, citing an example where, for example, an occupant wears a mask and in the second face detection processing, the occupant's mouth is not detected and the occupant's eyes have been detected, the fatigue inference processing by the fatigue inference section 12 is performed explains the case that of a large number of facial elements, some of the facial elements were not detected.

Wurde bei der zweiten Gesicht-Detektionsverarbeitung der Mund des Insassen nicht detektiert, gibt die Gesichtselement-Beurteilungssektion 5 an die Müdigkeit-Folgerungssektion 12 ein Beurteilungsergebnis aus, das anzeigt, dass mittels der zweiten Gesicht-Detektionsverarbeitung von einer Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde. Dann folgert die Müdigkeit-Folgerungssektion 12, die das Beurteilungsergebnis erworben hat, die Müdigkeit des Insassen anhand des Mundöffnungsgrades der ersten Gesichtsdaten bezüglich eines Teils der Gesichtselemente (Mund), die mittels der ersten Gesicht-Detektionsverarbeitung erhalten wurden, und des Augenöffnungsgrades der zweiten Gesichtsdaten bezüglich eines anderen Gesichtselements (Augen), die mittels der zweiten Gesicht-Detektionsverarbeitung erhalten wurden. Die Müdigkeit-Folgerungsverarbeitung ist gleich der vorstehend beschriebenen Verarbeitung, sodass eine detaillierte Erläuterung ausgelassen wird.If the occupant's mouth was not detected in the second face detection processing, the facial element judgment section 5 outputs to the fatigue inference section 12 a judgment result indicating that a part of the facial elements is not detected by the second face detection processing of a plurality of facial elements was detected. Then, the fatigue inference section 12, having acquired the judgment result, infers the fatigue of the occupant based on the mouth opening degree of the first face data regarding a part of the facial elements (mouth) obtained by the first face detection processing and the eye opening degree of the second Facial data regarding another facial element (eyes) obtained by the second face detection processing. The fatigue inference processing is the same as the processing described above, so detailed explanation is omitted.

Das Müdigkeit-Folgerungsergebnis durch die Müdigkeit-Folgerungssektion 12 kann auch an die fahrzeugseitige Steuerungsvorrichtung 200 ausgegeben werden. Wenn das Müdigkeit-Folgerungsergebnis des Insassen durch die Müdigkeit-Folgerungssektion 12 anzeigt, dass der Insasse eine Müdigkeit verspürt, kann beispielsweise auch durch die fahrzeugseitige Steuerungsvorrichtung 200 eine Klimaanlage derart gesteuert werden, dass der Müdigkeit entgegengewirkt wird, oder eine Warnsektion derart gesteuert werden, dass ein Warnton an den Insassen ausgegeben wird.The fatigue inference result by the fatigue inference section 12 may also be output to the vehicle-side control device 200. If the fatigue inference result of the occupant by the fatigue inference section 12 indicates that the occupant feels fatigue, for example, an air conditioning system can also be controlled by the vehicle-side control device 200 in such a way that the fatigue is counteracted, or a warning section can be controlled in such a way that a warning tone is emitted to the occupant.

Im Folgenden wird der Betrieb der Müdigkeit-Folgerungsvorrichtung 10 erläutert. 5 ist ein Ablaufdiagramm, das ein Betriebsbeispiel der Müdigkeit-Folgerungsvorrichtung 10 gemäß der ersten Ausführungsform zeigt. Bei der Müdigkeit-Folgerungsvorrichtung 10 beginnt der Betrieb z. B., wenn die Fahrzeuginformationen-Erwerbssektion 2 von der fahrzeugseitigen Steuerungsvorrichtung 200 ein Signal erworben hat, durch welches das Starten des Motors des Fahrzeugs angezeigt wird. Bei dem Ablaufdiagramm in 5 ist eine den Betrieb der Müdigkeit-Folgerungsvorrichtung 10 beendende Verarbeitung nicht dargestellt, wobei bei der Müdigkeit-Folgerungsvorrichtung 10 jedoch der Betrieb beendet wird, wenn z. B. die Fahrzeuginformationen-Erwerbssektion 2 von der fahrzeugseitigen Steuerungsvorrichtung 200 ein Signal erworben hat, durch welches das Stoppen des Motors des Fahrzeugs angezeigt wird.The operation of the fatigue inference device 10 will be explained below. 5 is a flowchart showing an operation example of the fatigue inference device 10 according to the first embodiment. In the case of the fatigue inference device 10, operation begins z. B. when the vehicle information acquisition section 2 has acquired from the vehicle-side control device 200 a signal indicating starting of the engine of the vehicle. In the flowchart in 5 Processing that terminates the operation of the fatigue inference device 10 is not shown, but the operation of the fatigue inference device 10 is terminated when, for example, B. the vehicle information acquisition section 2 has acquired from the vehicle-side control device 200 a signal indicating the stopping of the engine of the vehicle.

Nach dem Beginn des Betriebs der Müdigkeit-Folgerungsvorrichtung 10 erwirbt zunächst die Bilderwerbssektion 1 der Müdigkeit-Folgerungsvorrichtung 10 von der Abbildungsvorrichtung 20 ein Abbildungsbild (ST1 01). Dann führt der Gesichtsdetektor 11 der Müdigkeit-Folgerungsvorrichtung 10 mittels des Abbildungsbildes eine erste Gesicht-Detektionsverarbeitung durch (ST102). Dabei handelt es sich bei der ersten Gesicht-Detektionsverarbeitung um eine Verarbeitung zur Detektion der Merkmalspunkte der Gesichtselemente des Insassen im Abbildungsbild und Berechnung von Merkmalsgrößen durch die Merkmalspunkt-Detektionssektion 3 und die Merkmalsgrößen-Berechnungssektion 4 des Gesichtsdetektors 11. Dann wird durch die Gesichtselement-Beurteilungssektion 5 durch die im Folgenden erläuterte Verarbeitung von ST103 und ST105 bestimmt, ob mittels der ersten Gesicht-Detektionsverarbeitung die Gesichtselemente des Insassen detektiert wurden.After the operation of the fatigue inference device 10 begins, the image acquisition section 1 of the fatigue inference device 10 first acquires an image image (ST1 01) from the imaging device 20. Then, the face detector 11 of the fatigue inference device 10 performs first face detection processing using the image image (ST102). Here, the first face detection processing is processing for detecting the feature points of the facial elements of the occupant in the image image and calculating feature sizes by the feature point detection section 3 and the feature size calculation section 4 of the face detector 11. Then by the facial element judgment section 5 determines whether the facial elements of the occupant were detected by the first face detection processing through the processing of ST103 and ST105 explained below.

Durch die Gesichtselement-Beurteilungssektion 5 wird bestimmt, ob durch die erste Gesicht-Detektionsverarbeitung von einer Vielzahl von Gesichtselementen eines Insassen ein Teil der Gesichtselemente detektiert wurde (ST103). Beispielsweise erwirbt die Gesichtselement-Beurteilungssektion 5 von der Merkmalspunkt-Detektionssektion 3 Positionsdaten von Merkmalspunkten, und bestimmt aufgrund dessen, ob Merkmalspunkte an einer Stelle detektiert wurden, an der ein Gesichtselement vorliegen kann, ob ein Gesichtselement detektiert wurde. Bei dem Beispiel in 5 ist ein Teil der Gesichtselemente, die durch die erste Gesicht-Detektionsverarbeitung detektiert werden, als Gesichtselemente A1 dargestellt. Bei den Gesichtselementen A1 handelt es sich von einer Vielzahl von Gesichtselementen des Insassen, um ein oder eine Vielzahl von eingestellten Gesichtselementen.The facial element judgment section 5 determines whether a part of the facial elements has been detected by the first face detection processing of a plurality of facial elements of an occupant (ST103). For example, the facial element judgment section 5 acquires position data of feature points from the feature point detection section 3, and determines whether a facial element has been detected based on whether feature points have been detected at a location where a facial element may exist. In the example in 5 1, a part of the facial elements detected by the first face detection processing is shown as facial elements A1. The facial elements A1 are a plurality of facial elements of the occupant, one or a plurality of adjusted facial elements.

Bestimmt die Gesichtselement-Beurteilungssektion 5 dann, dass mittels der ersten Gesicht-Detektionsverarbeitung die Gesichtselemente A1 detektiert wurden (ST103: JA), werden zusammen mit dem Bestimmungsergebnis, das anzeigt, dass mittels der ersten Gesicht-Detektionsverarbeitung die Gesichtselemente A1 detektiert wurden, erste Gesichtsdaten bezüglich der Gesichtselemente A1, die von dem Gesichtsdetektor 11 erworben wurden, in einer Speichersektion aufgezeichnet (ST104). Die ersten Gesichtsdaten der Gesichtselemente A1, die in der Speichersektion aufgezeichnet werden, sind dabei z. B. Positionsdaten der Merkmalspunkte, welche die Gesichtselemente A1 aufweisen oder Merkmalsgrößen bezüglich der Gesichtselemente A1. Wurde andererseits durch die Gesichtselement-Beurteilungssektion 5 bestimmt, dass mittels der ersten Gesicht-Detektionsverarbeitung die Gesichtselemente A1 nicht detektiert wurden (ST103: NEIN), geht der Betrieb der Müdigkeit-Folgerungsvorrichtung 10 zur Verarbeitung von ST105 über.If the facial element judgment section 5 then determines that the facial elements A1 have been detected by the first face detection processing (ST103: YES), first facial data becomes first facial data together with the determination result indicating that the facial elements A1 have been detected by the first face detection processing with respect to the facial elements A1 acquired by the face detector 11 are recorded in a storage section (ST104). The first facial data of the facial elements A1, which are recorded in the storage section, are e.g. B. Position data of the feature points that have the facial elements A1 or feature sizes related to the facial elements A1. On the other hand, when it has been determined by the facial element judgment section 5 that the facial elements A1 have not been detected by the first face detection processing (ST103: NO), the operation of the fatigue inference device 10 proceeds to the processing of ST105.

Als Nächstes wird durch die Gesichtselement-Beurteilungssektion 5 bestimmt, ob durch die erste Gesicht-Detektionsverarbeitung von einer Vielzahl von Gesichtselementen des Insassen andere Gesichtselemente detektiert wurden (ST105). Bei anderen Gesichtselementen handelt es sich um eines oder eine Vielzahl von eingestellten Gesichtselementen, die sich von dem Teil der Gesichtselemente, d. h. den Gesichtselementen A1 unterscheiden. Bei dem Beispiel in 5 sind die anderen Gesichtselemente, die durch die erste Gesicht-Detektionsverarbeitung detektiert werden, als Gesichtselemente B1 dargestellt. Für die Erläuterung sind ein Teil der Gesichtselemente als Gesichtselemente A1 und die sich von den Gesichtselementen A1 unterscheidenden anderen Gesichtselemente als Gesichtselemente B1 gegeben, wobei es sich jedoch jeweils bei den Gesichtselementen A1 und den Gesichtselementen B1 von den Gesichtselementen des Insassen um einen Teil der Gesichtselemente handelt. Außerdem stehen die Gesichtselemente A1 und die Gesichtselemente B1 in einer Beziehung, bei der die ersteren ein Teil der Gesichtselemente und die letzteren andere Gesichtselemente sind.Next, it is determined by the facial element judgment section 5 whether other facial elements have been detected by the first face detection processing of a plurality of facial elements of the occupant (ST105). Other facial elements are one or a plurality of set facial elements that are different from the part of the facial elements, that is, the facial elements A1. In the example in 5 , the other facial elements detected by the first face detection processing are shown as facial elements B1. For the purpose of the explanation, some of the facial elements are given as facial elements A1 and the other facial elements that differ from the facial elements A1 are given as facial elements B1, although the facial elements A1 and the facial elements B1 are part of the facial elements of the occupant. In addition, the facial elements A1 and the facial elements B1 have a relationship in which the former are part of the facial elements and the latter are other facial elements.

Bestimmt die Gesichtselement-Beurteilungssektion 5 dann, dass durch die erste Gesicht-Detektionsverarbeitung die Gesichtselemente B1 detektiert wurden (ST105: JA), werden zusammen mit dem Bestimmungsergebnis, das anzeigt, dass mittels der ersten Gesicht-Detektionsverarbeitung die Gesichtselemente B1 detektiert wurden, erste Gesichtsdaten bezüglich der Gesichtselemente B1, die von dem Gesichtsdetektor 11 erworben wurden, in einer Speichersektion aufgezeichnet (ST106). Die ersten Gesichtsdaten der Gesichtselemente B1, die in der Speichersektion aufgezeichnet werden, sind dabei z. B. Positionsdaten der Merkmalspunkte, welche die Gesichtselemente B1 aufweisen oder Merkmalsgrößen bezüglich der Gesichtselemente B1. Die Gesichtsdaten der Gesichtselemente A1 und B1 können auch zusammen mit Zeitreihendaten, bei denen es sich um Daten handelt, welche die Zeit anzeigen, in der die erste Gesicht-Detektionsverarbeitung erfolgte, in der Speichersektion aufgezeichnet werden. Außerdem kann die Müdigkeit-Folgerungssektion 12 der Müdigkeit-Folgerungsvorrichtung 10, selbst wenn hier eine Darstellung ausgelassen wurde, mittels der ersten Gesichtsdaten, die von den Gesichtselementen A1 und B1 erhalten wurden, eine Berechnungsverarbeitung der Müdigkeitsstufe durchführen.Then, when the facial element judgment section 5 determines that the facial elements B1 have been detected by the first face detection processing (ST105: YES), first facial data becomes first facial data together with the determination result indicating that the facial elements B1 have been detected by the first face detection processing with respect to the facial elements B1 acquired by the facial detector 11 are recorded in a storage section (ST106). The first facial data of the facial elements B1, which are recorded in the storage section, are e.g. B. Position data of the feature points that have the facial elements B1 or feature sizes relating to the facial elements B1. The face data of the face elements A1 and B1 may also be recorded in the storage section together with time series data, which is data indicating the time at which the first face detection processing was performed. In addition, even if an illustration is omitted here, the fatigue inference section 12 of the fatigue inference device 10 can perform calculation processing of the fatigue level using the first facial data obtained from the facial elements A1 and B1.

Wurde andererseits durch die Gesichtselement-Beurteilungssektion 5 bestimmt, dass durch die erste Gesicht-Detektionsverarbeitung die Gesichtselemente B1 nicht detektiert wurden (ST105: NEIN), geht der Betrieb der Müdigkeit-Folgerungsvorrichtung 10 zur Verarbeitung von ST107 über.On the other hand, when it has been determined by the facial element judgment section 5 that the facial elements B1 have not been detected by the first face detection processing (ST105: NO), the operation of the fatigue inference device 10 proceeds to processing ST107.

Zunächst erwirbt die Bilderwerbssektion 1 von der Abbildungsvorrichtung 20 ein Abbildungsbild (ST107). Dann führt der Gesichtsdetektor 11 der Müdigkeit-Folgerungsvorrichtung 10 mittels des Abbildungsbildes eine zweite Gesicht-Detektionsverarbeitung durch (ST108). Dabei handelt es sich bei der zweiten Gesicht-Detektionsverarbeitung um eine nach der ersten Gesicht-Detektionsverarbeitung durchgeführte Verarbeitung, und zwar um eine Verarbeitung zur Detektion der Merkmalspunkte der Gesichtselemente des Insassen im Abbildungsbild und Berechnung von Merkmalsgrößen durch die Merkmalspunkt-Detektionssektion 3 und die Merkmalsgrößen-Berechnungssektion 4 des Gesichtsdetektors 11.First, the image acquisition section 1 acquires an image image (ST107) from the imaging device 20. Then, the face detector 11 of the fatigue inference device 10 performs second face detection processing using the image image (ST108). Here, the second face detection processing is a processing carried out after the first face detection processing, namely, a processing for detecting the feature points of the facial elements of the occupant in the image image and calculating feature sizes by the feature point detection section 3 and the feature size Calculation section 4 of the face detector 11.

Außerdem bestimmt die Gesichtselement-Beurteilungssektion 5 durch die im Folgenden erläuterten Verarbeitungen von ST109, ST110 und ST114, ob es sich bei den mittels der zweiten Gesicht-Detektionsverarbeitung detektierten Gesichtselementen des Insassen um alle Gesichtselemente handelt. Eine detaillierte Erläuterung der Verarbeitung, die gleich der vorstehend beschriebenen Verarbeitung von ST101 bis ST106 ist, wird ausgelassen.In addition, the facial element judgment section 5 determines whether the occupant's facial elements detected by the second face detection processing are all facial elements through the processing of ST109, ST110 and ST114 explained below. A detailed explanation of the processing same as the above-described processing of ST101 to ST106 is omitted.

Zunächst wird durch die Gesichtselement-Beurteilungssektion 5 bestimmt, ob durch die zweite Gesicht-Detektionsverarbeitung von einer Vielzahl von Gesichtselementen eines Insassen ein Teil der Gesichtselemente detektiert oder nicht detektiert wurde (ST109). Bei dem Beispiel in 5 ist ein Teil der Gesichtselemente, die durch die zweite Gesicht-Detektionsverarbeitung detektiert werden, als Gesichtselemente A2 dargestellt. Bei den Gesichtselementen A2 handelt es sich hierbei um die gleichen Gesichtselemente wie bei den Gesichtselementen A1.First, it is determined by the facial element judgment section 5 whether a part of the facial elements was detected or not detected by the second face detection processing of a plurality of facial elements of an occupant (ST109). In the example in 5 1, a part of the facial elements detected by the second face detection processing is shown as facial elements A2. The facial elements A2 are the same facial elements as the facial elements A1.

Wird dann durch die Gesichtselement-Beurteilungssektion 5 bestimmt, dass mittels der zweiten Gesicht-Detektionsverarbeitung die Gesichtselemente A2 detektiert wurden (ST109: JA), geht der Betrieb der Müdigkeit-Folgerungsvorrichtung 10 zur Verarbeitung von ST110 über. Wenn durch die Gesichtselement-Beurteilungssektion 5 bestimmt wurde, dass mittels der zweiten Gesicht-Detektionsverarbeitung die Gesichtselemente A2 detektiert wurden, können ebenso wie bei der Verarbeitung von ST104 zusammen mit dem Bestimmungsergebnis, das anzeigt, dass mittels der zweiten Gesicht-Detektionsverarbeitung die Gesichtselemente A2 detektiert wurden, Gesichtsdaten bezüglich der Gesichtselemente A2 in einer Speichersektion aufgezeichnet werden.Then, when it is determined by the facial element judgment section 5 that the facial elements A2 have been detected by the second face detection processing (ST109: YES), the operation of the fatigue inference device 10 proceeds to the processing of ST110. When it is determined by the facial element judgment section 5 that the facial elements A2 have been detected by the second face detection processing, as in the processing of ST104, together with the determination result indicating that the facial elements A2 have been detected by the second face detection processing were, facial data relating to the facial elements A2 are recorded in a storage section.

Als Nächstes wird durch die Gesichtselement-Beurteilungssektion 5 bestimmt, ob durch die zweite Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen des Insassen eingestellte andere Gesichtselemente detektiert worden sind (ST110). Bei dem Beispiel in 5 sind die anderen Gesichtselemente, die durch die zweite Gesicht-Detektionsverarbeitung detektiert werden, als Gesichtselemente B2 dargestellt. Bei den Gesichtselementen B2 handelt es sich hierbei um die gleichen Gesichtselemente wie bei den Gesichtselementen B1. Ferner stehen die Gesichtselemente A2 und die Gesichtselemente B2 ebenso wie die Gesichtselemente A1 und die Gesichtselemente B1 in einer Beziehung, bei der die ersteren ein Teil der Gesichtselemente und die letzteren andere Gesichtselemente sind.Next, it is determined by the facial element judgment section 5 whether other facial elements set among the plurality of facial elements of the occupant have been detected by the second face detection processing (ST110). In the example in 5 , the other facial elements detected by the second face detection processing are shown as facial elements B2. The facial elements B2 are the same facial elements as the facial elements B1. Further, the facial elements A2 and the facial elements B2, as well as the facial elements A1 and the facial elements B1, have a relationship in which the former are part of the facial elements and the latter are other facial elements.

Durch die Gesichtselement-Beurteilungssektion 5 wird, wenn durch die zweite Gesicht-Detektionsverarbeitung die Gesichtselemente B2 detektiert wurden (ST110: JA), beurteilt, dass durch die zweite Gesicht-Detektionsverarbeitung die Gesichtselemente A2 und Gesichtselemente B2 detektiert wurden, d. h., dass von der Vielzahl von Gesichtselementen sämtliche der Gesichtselemente detektiert wurden. Dann gibt die Gesichtselement-Beurteilungssektion 5 das Beurteilungsergebnis an die Müdigkeit-Folgerungssektion 12 aus.Through the face element judgment section 5, when through the second face detector tion processing, the facial elements B2 were detected (ST110: YES), it is judged that by the second face detection processing, the facial elements A2 and facial elements B2 were detected, that is, among the plurality of facial elements, all of the facial elements were detected. Then, the facial element judgment section 5 outputs the judgment result to the fatigue inference section 12.

Erwirbt die Müdigkeit-Folgerungssektion 12 ein Beurteilungsergebnis, das anzeigt, dass durch die zweite Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen sämtliche der Gesichtselemente detektiert wurden, wird die Müdigkeit-Folgerungsverarbeitung des Insassen unter Verwendung der zweiten Gesichtsdaten durchgeführt, die mittels der zweiten Gesicht-Detektionsverarbeitung erhalten wurden (ST111). Das heißt, die Müdigkeit-Folgerungssektion 12 berechnet die Müdigkeitsstufe des Insassen unter Verwendung der zweiten Gesichtsdaten, die anhand der Gesichtselemente A2 und der Gesichtselemente B2 erhalten wurden. Die durch die Müdigkeit-Folgerungssektion 12 berechnete Müdigkeitsstufe des Insassen kann auch an die fahrzeugseitige Steuerungsvorrichtung 200 ausgegeben werden. Dann geht der Betrieb der Müdigkeit-Folgerungsvorrichtung 10 zur Verarbeitung von ST101 über.When the fatigue inference section 12 acquires a judgment result indicating that all of the facial elements have been detected among the plurality of facial elements by the second face detection processing, the occupant's fatigue inference processing is performed using the second facial data obtained by the second facial expression. detection processing were obtained (ST111). That is, the fatigue inference section 12 calculates the occupant's fatigue level using the second facial data obtained from the facial elements A2 and the facial elements B2. The occupant's fatigue level calculated by the fatigue inference section 12 may also be output to the vehicle-side control device 200. Then, the operation of the fatigue inference device 10 proceeds to processing ST101.

Andererseits beurteilt die Gesichtselement-Beurteilungssektion 5, wenn bestimmt wurde, dass durch die zweite Gesicht-Detektionsverarbeitung die Gesichtselemente B2 nicht detektiert wurden (ST110: NEIN), dass durch die zweite Gesicht-Detektionsverarbeitung die Gesichtselemente A2 detektiert und die Gesichtselemente B2 nicht detektiert wurden, d. h., von der Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde. Dann gibt die Gesichtselement-Beurteilungssektion 5 das Beurteilungsergebnis an die Müdigkeit-Folgerungssektion 12 aus.On the other hand, when it is determined that the facial elements B2 were not detected by the second face detection processing (ST110: NO), the facial element judging section 5 judges that the facial elements A2 were detected by the second face detection processing and the facial elements B2 were not detected, d. i.e., of the large number of facial elements, some of the facial elements were not detected. Then, the facial element judgment section 5 outputs the judgment result to the fatigue inference section 12.

Erwirbt die Müdigkeit-Folgerungssektion 12 ein Beurteilungsergebnis, das anzeigt, dass durch die zweite Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde, wird festgestellt, ob durch die erste Gesicht-Detektionsverarbeitung erste Gesichtsdaten der Gesichtselemente erhalten wurden, die durch die zweite Gesicht-Detektionsverarbeitung nicht detektiert wurden. Bei der Verarbeitung von ST112 handelt es sich bei den Gesichtselementen, die durch die zweite Gesicht-Detektionsverarbeitung nicht detektiert wurden, um die Gesichtselemente B2. Das heißt, die Müdigkeit-Folgerungssektion 12 stellt fest, ob erste Gesichtsdaten der Gesichtselemente B1 durch die erste Gesicht-Detektionsverarbeitung erhalten wurden, d. h. ob erste Gesichtsdaten der Gesichtselemente B1 in der Speichersektion aufgezeichnet sind (ST112).When the fatigue inference section 12 acquires a judgment result indicating that a part of the facial elements was not detected by the second face detection processing among the plurality of facial elements, it is determined whether first facial data of the facial elements were obtained by the first face detection processing were not detected by the second face detection processing. In the processing of ST112, the facial elements that were not detected by the second face detection processing are the facial elements B2. That is, the fatigue inference section 12 determines whether first face data of the face elements B1 was obtained through the first face detection processing, i.e. H. whether first facial data of the facial elements B1 is recorded in the storage section (ST112).

Wurde durch die Müdigkeit-Folgerungssektion 12 festgestellt, dass erste Gesichtsdaten der Gesichtselemente B1 in der Speichersektion aufgezeichnet sind (ST112: JA), führt sie mittels der ersten Gesichtsdaten, die durch die erste Gesicht-Detektionsverarbeitung erhalten wurden, und der zweiten Gesichtsdaten, die durch die zweite Gesicht-Detektionsverarbeitung erhalten wurden, die Müdigkeit-Folgerungsverarbeitung des Insassen durch. Das heißt, die Müdigkeit-Folgerungssektion 12 führt mittels der ersten Gesichtsdaten der Gesichtselemente B1, die durch die erste Gesicht-Detektionsverarbeitung erhalten wurden, und der zweiten Gesichtsdaten der Gesichtselemente A2, die durch die zweite Gesicht-Detektionsverarbeitung erhalten wurden, die Müdigkeit-Folgerungsverarbeitung des Insassen durch (ST113).When the fatigue inference section 12 has determined that first face data of the face elements B1 are recorded in the storage section (ST112: YES), it performs the first face data obtained through the first face detection processing and the second face data the second face detection processing was obtained, the occupant's tiredness inference processing. That is, the fatigue inference section 12 performs the fatigue inference processing using the first facial data of the facial elements B1 obtained by the first face detection processing and the second facial data of the facial elements A2 obtained by the second face detection processing Inmates through (ST113).

Auf diese Weise folgert die Müdigkeit-Folgerungssektion 12, wenn mittels der zweiten Gesichtsdetektionsverarbeitung ein Teil der Gesichtselemente nicht detektiert wurde, die Müdigkeit des Insassen mittels Gesichtsdaten bezüglich eines Teils von Gesichtselementen, die durch die erste Gesicht-Detektionsverarbeitung erhalten wurden, und Gesichtsdaten bezüglich anderer Gesichtselemente, die mittels der zweiten Gesichtsdetektionsverarbeitung erhalten wurden. Die bei der Verarbeitung von ST113 durch die Müdigkeit-Folgerungssektion 12 berechnete Müdigkeitsstufe des Insassen kann auch an die fahrzeugseitige Steuerungsvorrichtung 200 ausgegeben werden. Dann geht der Betrieb der Müdigkeit-Folgerungsvorrichtung 10 zur Verarbeitung von ST101 über.In this way, when a part of the facial elements is not detected by the second face detection processing, the fatigue inference section 12 infers the fatigue of the occupant using facial data on a part of facial elements obtained by the first face detection processing and facial data on other facial elements , obtained by the second face detection processing. The occupant's fatigue level calculated in the processing of ST113 by the fatigue inference section 12 may also be output to the vehicle-side control device 200. Then, the operation of the fatigue inference device 10 proceeds to processing ST101.

Wurde andererseits durch die Gesichtselement Vermutungsbereich 12 nicht bestätigt, dass erste Gesichtsdaten der Gesichtselemente B1 in der Speichersektion aufgezeichnet sind (ST112: NEIN), geht der Betrieb der Müdigkeit-Folgerungsvorrichtung 10 zur Verarbeitung von ST101 über. Ist hierbei die zweite Gesicht-Detektionsverarbeitung eine nach der ersten Gesicht-Detektionsverarbeitung erfolgende Verarbeitung, ist der Abstand zwischen der ersten Gesicht-Detektionsverarbeitung und der zweiten Gesicht-Detektionsverarbeitung beliebig. Das heißt, wenn erste Gesichtsdaten der Gesichtselemente B1 nicht in der Speichersektion aufgezeichnet sind, ist hiervon sowohl umfasst, dass die Gesichtselemente B1 bei der zweiten Gesicht-Detektionsverarbeitung oder einer vorherigen Gesicht-Detektionsverarbeitung kein Mal detektiert wurden, als auch, dass die Gesichtselemente B1 während eines eingestellten Zeitraums nicht detektiert wurden.On the other hand, if the first facial data of the facial elements B1 is recorded in the storage section is not confirmed by the facial element guessing section 12 (ST112: NO), the operation of the fatigue inference device 10 proceeds to the processing of ST101. Here, if the second face detection processing is a processing after the first face detection processing, the distance between the first face detection processing and the second face detection processing is arbitrary. That is, when first facial data of the facial elements B1 are not recorded in the storage section, it includes both that the facial elements B1 were not detected in the second face detection processing or a previous face detection processing and that the facial elements B1 during were not detected within a set period of time.

Es wird der Fall erläutert, wenn mittels der Gesichtselement-Beurteilungssektion 5 bestimmt wurde, dass durch die zweite Gesicht-Detektionsverarbeitung die Gesichtselemente A2 nicht detektiert wurden (ST109: NEIN). Wurde mittels der Gesichtselement-Beurteilungssektion 5 bestimmt, dass durch die zweite Gesicht-Detektionsverarbeitung die Gesichtselemente A2 nicht detektiert wurden, geht der Betrieb der Müdigkeit-Folgerungsvorrichtung 10 zur Verarbeitung von ST114 über. 5 zeigt ein Beispiel, bei dem durch die Verarbeitung von ST110 und die Verarbeitung von ST114 die gleiche Verarbeitung erfolgt, wobei sich die Verarbeitung von ST110 und die Verarbeitung von ST114 durch folgenden Betrieb der Müdigkeit-Folgerungsvorrichtung 10 unterscheiden.The case when it is determined by the facial element judgment section 5 that the facial elements A2 were not detected by the second face detection processing (ST109: NO) will be explained. When it is determined by the facial element judgment section 5 that the facial elements A2 have not been detected by the second face detection processing, the operation of the fatigue inference device 10 proceeds to processing ST114. 5 shows an example in which the same processing is performed by the processing of ST110 and the processing of ST114, and the processing of ST110 and the processing of ST114 are different by following operation of the fatigue inference device 10.

Als Nächstes wird durch die Gesichtselement-Beurteilungssektion 5 bestimmt, ob durch die zweite Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen des Insassen andere Gesichtselemente, d. h. die Gesichtselemente B2 detektiert wurden (ST114). Die Gesichtselement-Beurteilungssektion 5 gibt, wenn durch die zweite Gesicht-Detektionsverarbeitung bestimmt wurde, dass die Gesichtselemente B2 nicht detektiert wurden (ST114: NEIN), das Bestimmungsergebnis an die Müdigkeit-Folgerungssektion 12 aus. Dann geht der Betrieb der Müdigkeit-Folgerungsvorrichtung 10 zur Verarbeitung von ST101 über. Hat die Müdigkeit-Folgerungssektion 12 ein Beurteilungsergebnis erworben, das anzeigt, dass durch die zweite Gesicht-Detektionsverarbeitung weder die Gesichtselemente A2 noch die Gesichtselemente B2 detektiert wurden, kann die Müdigkeit-Folgerungsverarbeitung des Insassen auch unter Verwendung von zumindest entweder den ersten Gesichtsdaten der Gesichtselemente A1 oder den ersten Gesichtsdaten der Gesichtselemente B1 durchgeführt werden.Next, it is determined by the facial element judging section 5 whether other facial elements, i.e., of the plurality of facial elements of the occupant are detected by the second face detection processing. H. the facial elements B2 were detected (ST114). The facial element judgment section 5, when it is determined by the second face detection processing that the facial elements B2 have not been detected (ST114: NO), outputs the determination result to the fatigue inference section 12. Then, the operation of the fatigue inference device 10 proceeds to processing ST101. If the fatigue inference section 12 has acquired a judgment result indicating that neither the facial elements A2 nor the facial elements B2 were detected by the second face detection processing, the occupant's fatigue inference processing can also be performed using at least one of the first facial data of the facial elements A1 or the first facial data of the facial elements B1.

Andererseits beurteilt die Gesichtselement-Beurteilungssektion 5, wenn bestimmt wurde, dass durch die zweite Gesicht-Detektionsverarbeitung die Gesichtselemente B2 detektiert wurden (ST114: JA), dass durch die zweite Gesicht-Detektionsverarbeitung die Gesichtselemente B2 detektiert und die Gesichtselemente A2 nicht detektiert wurden, d. h., von der Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde. Dann gibt die Gesichtselement-Beurteilungssektion 5 das Beurteilungsergebnis an die Müdigkeit-Folgerungssektion 12 aus.On the other hand, when it is determined that the facial elements B2 were detected by the second face detection processing (ST114: YES), the facial element judging section 5 judges that the facial elements B2 were detected by the second face detection processing and the facial elements A2 were not detected, i.e . i.e., of the large number of facial elements, some of the facial elements were not detected. Then, the facial element judgment section 5 outputs the judgment result to the fatigue inference section 12.

Erwirbt die Müdigkeit-Folgerungssektion 12 ein Beurteilungsergebnis, das anzeigt, dass durch die zweite Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde, wird festgestellt, ob durch die erste Gesicht-Detektionsverarbeitung erste Gesichtsdaten der Gesichtselemente erhalten wurden, die durch die zweite Gesicht-Detektionsverarbeitung nicht detektiert wurden. Bei der Verarbeitung von ST115 handelt es sich bei den Gesichtselementen, die durch die zweite Gesicht-Detektionsverarbeitung nicht detektiert wurden, um die Gesichtselemente A2. Die Müdigkeit-Folgerungssektion 12 stellt also fest, ob erste Gesichtsdaten der Gesichtselemente A1 durch die erste Gesicht-Detektionsverarbeitung erhalten wurden, d. h. ob erste Gesichtsdaten der Gesichtselemente A1 in der Speichersektion aufgezeichnet sind (ST115).When the fatigue inference section 12 acquires a judgment result indicating that a part of the facial elements was not detected by the second face detection processing among the plurality of facial elements, it is determined whether first facial data of the facial elements were obtained by the first face detection processing were not detected by the second face detection processing. In the processing of ST115, the facial elements that were not detected by the second face detection processing are the facial elements A2. That is, the fatigue inference section 12 determines whether first face data of the face elements A1 were obtained through the first face detection processing, i.e. H. whether first facial data of the facial elements A1 are recorded in the storage section (ST115).

Wurde durch die Müdigkeit-Folgerungssektion 12 festgestellt, dass erste Gesichtsdaten der Gesichtselemente A1 in der Speichersektion aufgezeichnet sind (ST115: JA), führt sie unter Verwendung der ersten Gesichtsdaten, die durch die erste Gesicht-Detektionsverarbeitung erhalten wurden, und der zweiten Gesichtsdaten, die durch die zweite Gesicht-Detektionsverarbeitung erhalten wurden, die Müdigkeit-Folgerungsverarbeitung des Insassen durch. Das heißt, die Müdigkeit-Folgerungssektion 12 führt unter Verwendung der ersten Gesichtsdaten der Gesichtselemente A1, die durch die erste Gesicht-Detektionsverarbeitung erhalten wurden, und der zweiten Gesichtsdaten der Gesichtselemente B2, die durch die zweite Gesicht-Detektionsverarbeitung erhalten wurden, die Müdigkeit-Folgerungsverarbeitung des Insassen durch (ST116).When the fatigue inference section 12 has determined that first face data of the face elements A1 are recorded in the storage section (ST115: YES), it executes using the first face data obtained through the first face detection processing and the second face data obtained by the second face detection processing, the occupant's fatigue inference processing. That is, the fatigue inference section 12 performs the fatigue inference processing using the first facial data of the facial elements A1 obtained by the first face detection processing and the second facial data of the facial elements B2 obtained by the second face detection processing of the occupant by (ST116).

Auf diese Weise folgert die Müdigkeit-Folgerungssektion 12 selbst wenn mittels der zweiten Gesicht-Detektionsverarbeitung sich von dem Teil der Gesichtselemente unterscheidende andere Gesichtselemente nicht detektiert wurden, die Müdigkeit des Insassen unter Verwendung von Gesichtsdaten bezüglich der anderen Gesichtselemente, die durch die erste Gesicht-Detektionsverarbeitung erhalten wurden, und Gesichtsdaten bezüglich des Teils der Gesichtselemente, die mittels der zweiten Gesichtsdetektionsverarbeitung erhalten wurden. Die bei der Verarbeitung von ST116 durch die Müdigkeit-Folgerungssektion 12 berechnete Müdigkeitsstufe des Insassen kann auch an die fahrzeugseitige Steuerungsvorrichtung 200 ausgegeben werden. Dann geht der Betrieb der Müdigkeit-Folgerungsvorrichtung 10 zur Verarbeitung von ST101 über.In this way, even if other facial elements other than the part of the facial elements are not detected by the second face detection processing, the fatigue inference section 12 infers the fatigue of the occupant using facial data regarding the other facial elements detected by the first face detection processing were obtained, and face data regarding the part of the face elements obtained by the second face detection processing. The occupant's fatigue level calculated in the processing of ST116 by the fatigue inference section 12 may also be output to the vehicle-side control device 200. Then, the operation of the fatigue inference device 10 proceeds to processing ST101.

Wurde andererseits durch die Gesichtselement Vermutungsbereich 12 nicht bestätigt, dass erste Gesichtsdaten der Gesichtselemente A1 in der Speichersektion aufgezeichnet sind (ST115: NEIN), geht der Betrieb der Müdigkeit-Folgerungsvorrichtung 10 zur Verarbeitung von ST101 über. Ist hierbei die zweite Gesicht-Detektionsverarbeitung eine nach der ersten Gesicht-Detektionsverarbeitung erfolgende Verarbeitung, ist der Abstand zwischen der ersten Gesicht-Detektionsverarbeitung und der zweiten Gesicht-Detektionsverarbeitung beliebig. Das heißt, wenn das Detektionsergebnis der Gesichtselemente A1 nicht in der Speichersektion aufgezeichnet ist, ist hiervon sowohl umfasst, dass die Gesichtselemente A1 bei der zweiten Gesicht-Detektionsverarbeitung oder einer vorherigen Gesicht-Detektionsverarbeitung kein Mal detektiert wurden, als auch, dass die Gesichtselemente A1 während eines eingestellten Zeitraums nicht detektiert wurden.On the other hand, if the first facial data of the facial elements A1 is recorded in the storage section is not confirmed by the facial element guessing section 12 (ST115: NO), the operation of the fatigue inference device 10 proceeds to the processing of ST101. Here, if the second face detection processing is a processing after the first face detection processing, the distance between the first face detection processing and the second face detection processing is arbitrary. That is, when the detection result of the facial elements A1 is not recorded in the storage section, it includes both that the facial elements A1 were not detected in the second face detection processing or a previous face detection processing and that the facial elements A1 were detected during were not detected within a set period of time.

Erfolgt beim Betrieb der vorstehend beschriebenen Müdigkeit-Folgerungsvorrichtung 10 nach der zweiten Gesicht-Detektionsverarbeitung eine dritte Gesicht-Detektionsverarbeitung und sind die mittels der zweiten Gesicht-Detektionsverarbeitung detektierten Gesichtselemente und die mittels der dritten Gesicht-Detektionsverarbeitung detektierten Gesichtselemente gleich, kann durch die Müdigkeit-Folgerungsverarbeitung ab der dritten Gesicht-Detektionsverarbeitung auch unter Verwendung anderer Gesichtselemente die Müdigkeit gefolgert werden. Das heißt, wurde mittels der zweiten Gesicht-Detektionsverarbeitung und der dritten Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen des Insassen ein Teil der Gesichtselemente nicht detektiert, kann die Müdigkeit-Folgerungssektion 12 die Müdigkeit auch unter Verwendung von dritten Gesichtsdaten folgern, die anhand der mittels der dritten Gesicht-Detektionsverarbeitung detektierten anderen Gesichtselemente erhaltenen wurden.When operating the fatigue inference device 10 described above, if a third face detection processing is carried out after the second face detection processing and the facial elements detected by the second face detection processing and the facial elements detected by the third face detection processing are the same, the fatigue inference processing can be carried out From the third face detection processing onwards, fatigue can also be inferred using other facial elements. That is, if a part of the occupant's facial elements was not detected by the second face detection processing and the third face detection processing, the fatigue inference section 12 can also infer the fatigue using third facial data obtained from the means other facial elements detected by the third face detection processing were obtained.

Es wird beispielsweise angenommen, dass ein Insasse kein Accessoire trägt und mittels der ersten Gesicht-Detektionsverarbeitung durch den Gesichtsdetektor 11 Augen, Mund und Nase detektiert werden, und dadurch, dass der Insasse eine Sonnenbrille trägt, mittels der zweiten Gesicht-Detektionsverarbeitung durch den Gesichtsdetektor 11 die Augen nicht detektiert werden, und Mund und Nase detektiert werden. In diesem Fall wird durch die Müdigkeit-Folgerungssektion 12 unter Verwendung der ersten Gesichtsdaten, die anhand der Augen, der Nase und des Mundes erhalten wurden, die Müdigkeit gefolgert, und anschließend wird unter Verwendung der zweiten Gesichtsdaten, die durch die zweite Gesicht-Detektionsverarbeitung erhalten wurden, und der ersten Gesichtsdaten, die durch die erste Gesicht-Detektionsverarbeitung erhalten wurden, die Müdigkeit gefolgert. Trägt der Insasse unverändert die Sonnenbrille, wird dann durch die Müdigkeit-Folgerungssektion 12 mittels der dritten Gesichtsdaten, die anhand von Nase und Mund bei der dritten Gesicht-Detektionsverarbeitung erhalten wurden, die Müdigkeit gefolgert. Hierdurch erfolgt bei der Müdigkeit-Folgerungsverarbeitung ab dem Zeitpunkt, an dem ein Teil der Gesichtselemente nicht mehr detektiert wurde, unter Verwendung der durch die Gesicht-Detektionsverarbeitung detektierbaren Gesichtselemente eine Müdigkeitsfolgerung, sodass die Verarbeitungsbelastung der Müdigkeit-Folgerungsvorrichtung 10 reduziert werden kann. Der Abstand zwischen der zweiten Gesicht-Detektionsverarbeitung und der dritten Gesicht-Detektionsverarbeitung ist beliebig.For example, assume that an occupant is not wearing an accessory and eyes, mouth and nose are detected by the first face detection processing by the face detector 11, and that the occupant is wearing sunglasses by the second face detection processing by the face detector 11 the eyes are not detected and the mouth and nose are detected. In this case, the fatigue is inferred by the fatigue inference section 12 using the first face data obtained from the eyes, nose and mouth, and then using the second face data obtained by the second face detection processing and the fatigue was inferred from the first face data obtained through the first face detection processing. If the occupant continues to wear the sunglasses, the fatigue is then inferred by the fatigue inference section 12 using the third face data obtained from the nose and mouth in the third face detection processing. As a result, in the fatigue inference processing, from the point in time at which a part of the facial elements are no longer detected, a fatigue inference is made using the facial elements detectable by the face detection processing, so that the processing load of the fatigue inference device 10 can be reduced. The distance between the second face detection processing and the third face detection processing is arbitrary.

Das heißt, durch die Müdigkeit-Folgerungssektion 12 wird, wenn durch die erste Gesicht-Detektionsverarbeitung oder die zweite Gesicht-Detektionsverarbeitung Gesichtselemente des Insassen detektiert werden, die Müdigkeit des Insassen unter Verwendung von Gesichtsdaten der detektierten Gesichtselemente gefolgert. Außerdem wird durch die Müdigkeit-Folgerungssektion 12, wenn durch die zweite Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen des Insassen ein Teil der Gesichtselemente nicht detektiert wurde, unter Verwendung von Gesichtsdaten eines Teils der Gesichtselemente, die durch die erste Gesicht-Detektionsverarbeitung erhalten wurden, welche vor der zweiten Gesicht-Detektionsverarbeitung erfolgt ist, und Gesichtsdaten anderer Gesichtselemente, die mittels der zweiten Gesicht-Detektionsverarbeitung erhalten wurden, die Müdigkeit des Insassen gefolgert. Hierdurch kann auch wenn ein Teil der Gesichtselemente des Insassen nicht detektiert wurde, ohne dass das Folgerungsergebnis der Müdigkeit des Insassen unsicher wird, die Zuverlässigkeit des Folgerungsergebnisses der Müdigkeit des Insassen sichergestellt werden.That is, by the fatigue inference section 12, when facial elements of the occupant are detected by the first face detection processing or the second face detection processing, the fatigue of the occupant is inferred using facial data of the detected facial elements. In addition, if a part of the facial elements has not been detected by the second face detection processing of the plurality of facial elements of the occupant, by the fatigue inference section 12, using facial data of a part of the facial elements obtained by the first face detection processing, which occurred before the second face detection processing, and facial data of other facial elements obtained by means of the second face detection processing, the fatigue of the occupant is inferred. As a result, even if a part of the occupant's facial elements has not been detected, the reliability of the inference result of the occupant's fatigue can be ensured without making the inference result of the occupant's tiredness uncertain.

Als Nächstes wird der Hardware-Aufbau erläutert, durch den die Funktionen der Müdigkeit-Folgerungsvorrichtung 10 realisiert werden. 6 zeigt Beispiele des Hardware-Aufbaus der Müdigkeit-Folgerungsvorrichtung 10 gemäß der ersten Ausführungsform. Die Funktionen der Bilderwerbssektion 1, der Fahrzeuginformationen-Erwerbssektion 2, der Merkmalspunkt-Detektionssektion 3, der Merkmalsgrößen-Berechnungssektion 4, der Gesichtselement-Beurteilungssektion 5, des Gesichtsdetektors 11, der Müdigkeit-Folgerungssektion 12 und der Speichersektion bei der Müdigkeit-Folgerungsvorrichtung 10 werden durch eine Verarbeitungsschaltung realisiert. Das heißt, bei der Bilderwerbssektion 1, der Fahrzeuginformationen-Erwerbssektion 2, der Merkmalspunkt-Detektionssektion 3, der Merkmalsgrößen-Berechnungssektion 4, der Gesichtselement-Beurteilungssektion 5, dem Gesichtsdetektor 11, der Müdigkeit-Folgerungssektion 12 und der Speichersektion der Müdigkeit-Folgerungsvorrichtung 10 kann es sich, wie in 6A dargestellt, um eine Verarbeitungsschaltung 10a in Form einer speziellen Hardware, oder wie in 6B dargestellt, um einen Prozessor 10b handeln, der in einem Speicher 10c abgelegte Programme ausführt.Next, the hardware structure through which the functions of the fatigue inference device 10 are realized will be explained. 6 shows examples of the hardware structure of the fatigue inference device 10 according to the first embodiment. The functions of the image acquisition section 1, the vehicle information acquisition section 2, the feature point detection section 3, the feature size calculation section 4, the facial element judgment section 5, the face detector 11, the fatigue inference section 12 and the storage section in the fatigue inference device 10 are by a processing circuit is implemented. That is, in the image acquisition section 1, the vehicle information acquisition section 2, the feature point detection section 3, the feature size calculation section 4, the facial element judgment section 5, the face detector 11, the fatigue inference section 12 and the storage section of the fatigue inference device 10 can it is, as in 6A shown to be a processing circuit 10a in the form of special hardware, or as in 6B shown, is a processor 10b, which executes programs stored in a memory 10c.

Handelt es sich bei der Bilderwerbssektion 1, der Fahrzeuginformationen-Erwerbssektion 2, der Merkmalspunkt-Detektionssektion 3, der Merkmalsgrößen-Berechnungssektion 4, der Gesichtselement-Beurteilungssektion 5, dem Gesichtsdetektor 11, der Müdigkeit-Folgerungssektion 12 und der Speichersektion um eine spezielle Hardware, wie in 6A gezeigt, entspricht die Verarbeitungsschaltung 10a z. B. einer Einfachschaltung, einer komplexen Schaltung, einem programmierten Prozessor, parallelen programmierten Prozessoren, ASIC (Application Specific Integrated Circuit), FPGA (Field-programmable Gate Array) oder deren Kombination. Die jeweiligen Funktionen der Bilderwerbssektion 1, der Fahrzeuginformationen-Erwerbssektion 2, der Merkmalspunkt-Detektionssektion 3, der Merkmalsgrößen-Berechnungssektion 4, der Gesichtselement-Beurteilungssektion 5, des Gesichtsdetektors 11, der Müdigkeit-Folgerungssektion 12 und der Speichersektion können durch jeweils eine Verarbeitungsschaltung realisiert werden, die jeweiligen Funktionen können aber auch insgesamt durch eine einzige Verarbeitungsschaltung realisiert werden.Is it the image acquisition section 1, the vehicle information acquisition section 2, the Feature point detection section 3, the feature size calculation section 4, the facial element judgment section 5, the face detector 11, the fatigue inference section 12 and the storage section by special hardware as in 6A shown, the processing circuit corresponds to 10a z. B. a simple circuit, a complex circuit, a programmed processor, parallel programmed processors, ASIC (Application Specific Integrated Circuit), FPGA (Field-programmable Gate Array) or their combination. The respective functions of the image acquisition section 1, the vehicle information acquisition section 2, the feature point detection section 3, the feature size calculation section 4, the facial element judgment section 5, the face detector 11, the fatigue inference section 12 and the storage section can be realized by a processing circuit, respectively , but the respective functions can also be implemented overall by a single processing circuit.

Handelt es sich bei der Bilderwerbssektion 1, der Fahrzeuginformationen-Erwerbssektion 2, der Merkmalspunkt-Detektionssektion 3, der Merkmalsgrößen-Berechnungssektion 4, der Gesichtselement-Beurteilungssektion 5, dem Gesichtsdetektor 11, der Müdigkeit-Folgerungssektion 12 und der Speichersektion um den Prozessor 10b, wie in 6B gezeigt, werden die jeweiligen Funktionen mittels Software, Firmware oder einer Kombination aus Software und Firmware realisiert. Die Software oder Firmware wird als Programm dargestellt und in dem Speicher 10c abgelegt. Der Prozessor 10b liest in dem Speicher 10c gespeicherte Programme aus und führt sie aus, wodurch die jeweiligen Funktionen der Bilderwerbssektion 1, der Fahrzeuginformationen-Erwerbssektion 2, der Merkmalspunkt-Detektionssektion 3, der Merkmalsgrößen-Berechnungssektion 4, der Gesichtselement-Beurteilungssektion 5, des Gesichtsdetektors 11, der Müdigkeit-Folgerungssektion 12 und der Speichersektion realisiert werden. Das heißt, wenn die Bilderwerbssektion 1, die Fahrzeuginformationen-Erwerbssektion 2, die Merkmalspunkt-Detektionssektion 3, die Merkmalsgrößen-Berechnungssektion 4, die Gesichtselement-Beurteilungssektion 5, der Gesichtsdetektor 11, die Müdigkeit-Folgerungssektion 12 und die Speichersektion durch den Prozessor 10b ausgeführt werden, ist der Speicher 10c zum Ablegen von Programmen umfasst, die schließlich in den in 5 dargestellten jeweiligen Schritte ausgeführt werden. Es kann ferner gesagt werden, dass es sich bei diesen Programmen um die Reihenfolge oder das Verfahren zur Ausführung der Bilderwerbssektion 1, der Fahrzeuginformationen-Erwerbssektion 2, der Merkmalspunkt-Detektionssektion 3, der Merkmalsgrößen-Berechnungssektion 4, der Gesichtselement-Beurteilungssektion 5, des Gesichtsdetektors 11, der Müdigkeit-Folgerungssektion 12 und der Speichersektion auf einem Computer handelt.The image acquisition section 1, the vehicle information acquisition section 2, the feature point detection section 3, the feature size calculation section 4, the facial element judgment section 5, the face detector 11, the fatigue inference section 12 and the storage section are the processor 10b, as in 6B shown, the respective functions are implemented using software, firmware or a combination of software and firmware. The software or firmware is presented as a program and stored in memory 10c. The processor 10b reads out and executes programs stored in the memory 10c, thereby carrying out the respective functions of the image acquisition section 1, the vehicle information acquisition section 2, the feature point detection section 3, the feature size calculation section 4, the facial element judgment section 5, the face detector 11, the fatigue inference section 12 and the storage section can be realized. That is, when the image acquisition section 1, the vehicle information acquisition section 2, the feature point detection section 3, the feature size calculation section 4, the facial element judgment section 5, the face detector 11, the fatigue inference section 12 and the storage section are executed by the processor 10b , the memory 10c is included for storing programs that are ultimately stored in the in 5 the respective steps shown can be carried out. It can be further said that these programs are the order or method of executing the image acquisition section 1, the vehicle information acquisition section 2, the feature point detection section 3, the feature size calculation section 4, the facial element judgment section 5, the face detector 11, the fatigue inference section 12 and the storage section on a computer.

Der Prozessor 10b ist z. B. eine CPU (Central Processing Unit), eine Verarbeitungsvorrichtung, eine Rechenvorrichtung, ein Prozessor, ein Mikroprozessor, ein Mikrocomputer oder ein DSP (Digital Signal Processor). Der Speicher 10c kann ein nicht-flüchtiger oder flüchtiger Halbleiterspeicher wie z. B. ein RAM (Random Access Memory), ein ROM (Read Only Memory), ein Flash-Speicher, ein EPROM (Erasable Programmable ROM) oder EEPROM (Electrically EPROM), eine Magnetplatte wie eine Festplatte oder eine Floppy-Disk, oder eine optische Platte wie eine Minidisk, CD (Compact Disc) oder DVD (Digital Versatile Disc) sein.The processor 10b is z. B. a CPU (Central Processing Unit), a processing device, a computing device, a processor, a microprocessor, a microcomputer or a DSP (Digital Signal Processor). The memory 10c may be a non-volatile or volatile semiconductor memory such as. B. a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable ROM) or EEPROM (Electrically EPROM), a magnetic disk such as a hard drive or a floppy disk, or a optical disk such as a minidisk, CD (Compact Disc) or DVD (Digital Versatile Disc).

Die jeweiligen Funktionen der Bilderwerbssektion 1, der Fahrzeuginformationen-Erwerbssektion 2, der Merkmalspunkt-Detektionssektion 3, der Merkmalsgrößen-Berechnungssektion 4, der Gesichtselement-Beurteilungssektion 5, des Gesichtsdetektors 11, der Müdigkeit-Folgerungssektion 12 und der Speichersektion können auch zum Teil durch eine spezielle Hardware und zum Teil durch eine Software oder Firmware realisiert werden. Auf diese Weise kann die Verarbeitungsschaltung 10a bei der Müdigkeit-Folgerungsvorrichtung 10 diese Funktionen durch eine Hardware, Software, Firmware oder deren Kombination realisieren. Ferner kann zumindest ein Teil der Funktionen der Bilderwerbssektion 1, der Fahrzeuginformationen-Erwerbssektion 2, der Merkmalspunkt-Detektionssektion 3, der Merkmalsgrößen-Berechnungssektion 4, der Gesichtselement-Beurteilungssektion 5, des Gesichtsdetektors 11, der Müdigkeit-Folgerungssektion 12 und der Speichersektion auf einem externen Server ausgeführt werden.The respective functions of the image acquisition section 1, the vehicle information acquisition section 2, the feature point detection section 3, the feature size calculation section 4, the facial element judgment section 5, the face detector 11, the fatigue inference section 12 and the storage section can also be partially performed by a special one Hardware and partly realized by software or firmware. In this way, the processing circuit 10a in the fatigue inference device 10 can realize these functions through hardware, software, firmware, or a combination thereof. Further, at least a part of the functions of the image acquisition section 1, the vehicle information acquisition section 2, the feature point detection section 3, the feature size calculation section 4, the facial element judgment section 5, the face detector 11, the fatigue inference section 12 and the storage section can be performed on an external server are running.

Auf diese Weise erfolgt bei der Müdigkeit-Folgerungsvorrichtung 10, umfassend eine Bilderwerbssektion 1, die von einer Abbildungsvorrichtung 20 zum Abbilden eines Insassen in einem Fahrzeug ein Abbildungsbild erwirbt, einen Gesichtsdetektor 11, der eine Gesicht-Detektionsverarbeitung durchführt, bei der anhand des Abbildungsbildes eine Vielzahl von Gesichtselementen eines Insassen detektiert werden, und eine Müdigkeit-Folgerungssektion 12 zur Folgerung der Müdigkeit eines anhand des Abbildungsbildes detektierten Insassen, mittels des Gesichtsdetektors 11 als Gesicht-Detektionsverarbeitung eine erste Gesicht-Detektionsverarbeitung und nach der ersten Gesicht-Detektionsverarbeitung eine zweite Gesicht-Detektionsverarbeitung, wobei durch die Müdigkeit-Folgerungssektion 12 für den Fall, dass durch die zweite Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen des Insassen ein Teil der Gesichtselemente nicht detektiert wurde, mittels erster Gesichtsdaten, die anhand eines durch die erste Gesicht-Detektionsverarbeitung detektierten Teils von Gesichtselementen erhalten wurden, und zweiter Gesichtsdaten, die anhand von durch die zweite Gesicht-Detektionsverarbeitung detektierten anderen Gesichtselementen erhalten wurden, die sich von dem Teil der Gesichtselemente unterscheiden, die Müdigkeit des Insassen gefolgert wird, sodass selbst wenn ein Teil der Gesichtselemente des Insassen nicht detektiert wurde, die Zuverlässigkeit des Detektionsergebnisses der Müdigkeit des Insassen sichergestellt werden kann.In this way, in the fatigue inference device 10, comprising an image acquisition section 1 that acquires an image image from an imaging device 20 for imaging an occupant in a vehicle, a face detector 11 that performs face detection processing in which a variety of images are performed based on the image image of facial elements of an occupant are detected, and a fatigue inference section 12 for inferring the fatigue of an occupant detected based on the image image, a first face detection processing by means of the face detector 11 as face detection processing and after the first face detection processing a second face detection processing, wherein, by the fatigue inference section 12, in the case that a part of the facial elements of the occupant's plurality of facial elements was not detected by the second face detection processing, by means of first facial data based on one by the first face detection processing and second facial data obtained from other facial elements different from the part of the facial elements detected by the second face detection processing, the fatigue of the occupant is inferred, so that even if a part of the facial elements is detected of the occupant was not detected, the reliability of the detection result of the occupant's fatigue can be ensured.

Bei der vorliegenden Ausführungsformen erfolgte eine Erläuterung unter Anführung eines Beispiels, bei dem durch die Müdigkeit-Folgerungssektion 12, wenn durch die zweite Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde, unter Verwendung von ersten Gesichtsdaten eines Teils der Gesichtselemente, die durch die erste Gesicht-Detektionsverarbeitung detektiert wurden, und zweiten Gesichtsdaten anderer Gesichtselemente, die durch die zweite Gesicht-Detektionsverarbeitung detektiert wurden, die Müdigkeit des Insassen gefolgert wird. Die Müdigkeit-Folgerungssektion 12 kann aber auch, wenn durch die zweite Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde, zusätzlich zu den ersten Gesichtsdaten eines Teils der Gesichtselementen, die durch die erste Gesicht-Detektionsverarbeitung detektiert wurden, und den zweiten Gesichtsdaten anderer Gesichtselemente, die durch die zweite Gesicht-Detektionsverarbeitung detektiert wurden, mittels erster Gesichtsdaten von anderen Gesichtselementen, die durch die erste Gesicht-Detektionsverarbeitung detektiert wurden, die Müdigkeit des Insassen folgern. Hierdurch wird die Anzahl von Gesichtsdaten, die für die Müdigkeitsfolgerung des Insassen verwendet wird, erhöht, sodass die Zuverlässigkeit des Folgerungsergebnisses der Müdigkeit des Insassen sichergestellt werden kann.In the present embodiment, an explanation has been made using an example in which, when a part of the facial elements is not detected by the second face detection processing of the plurality of facial elements, the fatigue inference section 12 uses first facial data of a part of the facial elements , detected by the first face detection processing, and second facial data of other facial elements detected by the second face detection processing, the fatigue of the occupant is inferred. However, the fatigue inference section 12 may also, when a part of the facial elements has not been detected by the second face detection processing of the plurality of facial elements, in addition to the first facial data of a part of the facial elements detected by the first face detection processing, and infer the fatigue of the occupant from the second facial data of other facial elements detected by the second face detection processing using first facial data of other facial elements detected by the first face detection processing. This increases the number of facial data used for occupant fatigue inference, so that the reliability of the occupant fatigue inference result can be ensured.

Zweite AusführungsformSecond embodiment

Die Müdigkeit-Folgerungsvorrichtung 10 gemäß der zweiten Ausführungsform umfasst ebenso wie bei der ersten Ausführungsform die Bilderwerbssektion 1, die ein Abbildungsbild erwirbt, den Gesichtsdetektor 11, der eine Gesicht-Detektionsverarbeitung durchführt, durch die anhand des Abbildungsbildes eine Vielzahl von Gesichtselementen des Insassen detektiert wird, und die Müdigkeit-Folgerungssektion 12, durch welche die Müdigkeit des anhand des Abbildungsbildes detektierten Insassen gefolgert wird. Der Unterschied zur ersten Ausführungsform besteht in dem Punkt, dass bei der vorliegenden Ausführungsform für den Fall, dass mittels der zweiten Gesichtsdetektionsverarbeitung ein Teil der Gesichtselemente nicht detektiert wurde, unter Verwendung einer Müdigkeitsstufe, die anhand der durch die erste Gesicht-Detektionsverarbeitung erhaltenen ersten Gesichtsdaten gefolgert wurde, und mittels zweiten Gesichtsdaten, die anhand der durch die zweite Gesicht-Detektionsverarbeitung detektierten anderen Gesichtselemente erhalten wurden, die Müdigkeit des Insassen gefolgert wird. Gleiche Bestandteile wie bei der ersten Ausführungsform sind mit den gleichen Bezugszeichen versehen, wobei deren Erläuterung ausgelassen wird.The fatigue inference device 10 according to the second embodiment, like the first embodiment, includes the image acquisition section 1 that acquires an image image, the face detector 11 that performs face detection processing by which a plurality of facial elements of the occupant are detected based on the image image, and the fatigue inference section 12, through which the fatigue of the occupant detected from the image image is inferred. The difference from the first embodiment is that in the present embodiment, in the case where a part of the facial elements was not detected by the second face detection processing, using a fatigue level inferred from the first facial data obtained by the first face detection processing and the fatigue of the occupant is inferred using second facial data obtained from the other facial elements detected by the second face detection processing. The same components as in the first embodiment are given the same reference numerals, and their explanation is omitted.

Wird bei der Müdigkeit-Folgerungsvorrichtung 10 unter Verwendung einer Vielzahl von Gesichtselementen wie dem linken Auge, dem rechten Auge und dem Mund die Müdigkeit des Insassen gefolgert, verbessert sich die Folgerungspräzision der Müdigkeit im Vergleich zu einer Folgerung der Müdigkeit des Insassen unter Verwendung von nur einem Gesichtselement. Wird andererseits keine Müdigkeit-Folgerungsverarbeitung durchgeführt, wenn in einem bestimmten Frame von der Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde, wird der Zustand der Müdigkeit des Insassen unsicher und es ist zu befürchten, dass die Zuverlässigkeit des Müdigkeit-Folgerungsergebnisses sinkt.In the fatigue inference device 10, when the occupant's fatigue is inferred using a plurality of facial elements such as the left eye, the right eye and the mouth, the fatigue inference precision improves compared to inferring the occupant's fatigue using only one facial element. On the other hand, if fatigue inference processing is not performed when a part of the facial elements has not been detected among the plurality of facial elements in a certain frame, the state of fatigue of the occupant becomes uncertain and there is a fear that the reliability of the fatigue inference result decreases.

Daher wird bei der Müdigkeit-Folgerungsvorrichtung 10 gemäß der vorliegenden Ausführungsform, wenn bei der Gesicht-Detektionsverarbeitung in einem bestimmten Frame von einer Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde, eine Müdigkeitsstufe, die berechnet wurde, bevor ein Teil der Gesichtselemente nicht mehr detektiert werden konnte, übernommen und unter Verwendung von Gesichtsdaten, die durch die Gesicht-Detektionsverarbeitung in dem bestimmten Frame erhalten wurden, die Müdigkeit des Insassen gefolgert.Therefore, in the fatigue inference device 10 according to the present embodiment, when a part of the facial elements has not been detected in the face detection processing in a certain frame of a plurality of facial elements, a fatigue level that was calculated before a part of the facial elements is no longer detected could be detected, and the fatigue of the occupant was inferred using facial data obtained by the face detection processing in the particular frame.

Die Müdigkeit-Folgerungsverarbeitung durch die Müdigkeit-Folgerungssektion 12 der vorliegenden Ausführungsform wird erläutert. Bei der zweiten Gesicht-Detektionsverarbeitung mittels der Gesichtselement-Beurteilungssektion 5 ist die Müdigkeit-Folgerungsverarbeitung für den Fall, dass durch die zweite Gesicht-Detektionsverarbeitung von einer Vielzahl von Gesichtselementen sämtliche Gesichtselemente detektiert wurden, gleich der bei der ersten Ausführungsform, sodass eine detaillierte Erläuterung ausgelassen wird. Wurde mittels der zweiten Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert, berechnet die Müdigkeit-Folgerungssektion 12 eine Gesamt-Müdigkeitsstufe unter Verwendung einer Müdigkeitsstufe, die anhand der mittels der ersten Gesicht-Detektionsverarbeitung erhaltenen ersten Gesichtsdaten berechnet wurde, und zweiten Gesichtsdaten bezüglich anderer Gesichtselemente, die mittels der zweiten Gesicht-Detektionsverarbeitung erhalten wurden.The fatigue inference processing by the fatigue inference section 12 of the present embodiment will be explained. In the second face detection processing by the facial element judging section 5, the fatigue inference processing in the case where all the facial elements of a plurality of facial elements are detected by the second face detection processing is the same as that in the first embodiment, so detailed explanation is omitted becomes. If a part of the facial elements among the plurality of facial elements was not detected by the second face detection processing, the fatigue inference section 12 calculates an overall fatigue level using a fatigue level calculated from the first facial data obtained by the first face detection processing, and second facial data regarding other facial elements that are created using the second face detection processing were obtained.

Zunächst berechnet die Müdigkeit-Folgerungssektion 12 die Müdigkeitsstufe des Insassen anhand von ersten Gesichtsdaten, die durch die erste Gesicht-Detektionsverarbeitung erhalten wurden. Im Folgenden wird zum Zweck der Erläuterung die Müdigkeitsstufe, die anhand der durch die erste Gesicht-Detektionsverarbeitung erhaltenen ersten Gesichtsdaten berechnet wurde, als erste Müdigkeitsstufe bezeichnet. Dann wird durch die Müdigkeit-Folgerungssektion 12 anhand zweiter Gesichtsdaten bezüglich anderer Gesichtselemente, die durch die zweite Gesicht-Detektionsverarbeitung erhalten wurden, die Änderungsgröße der Müdigkeitsstufe bezogen auf die erste Müdigkeitsstufe berechnet. Außerdem wird durch die Müdigkeit-Folgerungssektion 12 anhand der ersten Müdigkeitsstufe und einer Änderungsgröße der Müdigkeitsstufe bezogen auf die erste Müdigkeitsstufe eine Gesamt-Müdigkeitsstufe berechnet. Dabei handelt es sich bei der Änderungsgröße der Müdigkeitsstufe bezogen auf die erste Müdigkeitsstufe um einen Indikatorwert, der mit der ersten Müdigkeitsstufe als Referenz anzeigt, inwiefern sich die Müdigkeitsstufe geändert hat. Im Folgenden wird die Änderungsgröße der Müdigkeitsstufe bezogen auf die erste Müdigkeitsstufe einfach als Änderungsgröße bezeichnet.First, the fatigue inference section 12 calculates the occupant's fatigue level based on first face data obtained through the first face detection processing. Hereinafter, for the purpose of explanation, the fatigue level calculated from the first face data obtained through the first face detection processing is referred to as the first fatigue level. Then, the fatigue level change amount with respect to the first fatigue level is calculated by the fatigue inference section 12 based on second facial data regarding other facial elements obtained through the second face detection processing. In addition, the fatigue inference section 12 calculates an overall fatigue level based on the first fatigue level and a change quantity of the fatigue level based on the first fatigue level. The change size of the fatigue level based on the first fatigue level is an indicator value which, using the first fatigue level as a reference, shows to what extent the fatigue level has changed. In the following, the change magnitude of the fatigue level with respect to the first fatigue level is simply referred to as the change magnitude.

Die Änderungsgröße wird unter Anführung eines Beispiels erläutert, bei dem mittels der ersten Gesicht-Detektionsverarbeitung durch den Gesichtsdetektor 11 das linke Auge, das rechte Auge und der Mund detektiert werden, und dadurch, dass der Insasse eine Maske trägt, durch die zweite Gesicht-Detektionsverarbeitung das linke Auge und das rechte Auge des Insassen detektiert werden, und der Mund nicht detektiert wird. Wurden mittels der ersten Gesicht-Detektionsverarbeitung durch den Gesichtsdetektor 11 das linke Auge, das rechte Auge und der Mund des Insassen detektiert, erwirbt die Müdigkeit-Folgerungssektion 12 als erste Gesichtsdaten den Augenöffnungsgrad und den Mundöffnungsgrad von dem Gesichtsdetektor 11. Dann wird durch die Müdigkeit-Folgerungssektion 12 unter Verwendung des Augenöffnungsgrads und des Mundöffnungsgrads die erste Müdigkeitsstufe berechnet und die erste Müdigkeitsstufe in der Speichersektion der Müdigkeit-Folgerungsvorrichtung 10 aufgezeichnet.The change amount will be explained using an example in which the left eye, the right eye and the mouth are detected by the first face detection processing by the face detector 11 and by the occupant wearing a mask by the second face detection processing the occupant's left eye and right eye are detected, and the mouth is not detected. When the occupant's left eye, right eye and mouth have been detected by the first face detection processing by the face detector 11, the fatigue inference section 12 acquires the eye opening degree and the mouth opening degree from the face detector 11 as the first face data. Inference section 12 calculates the first fatigue level using the eye opening degree and the mouth opening degree and records the first fatigue level in the storage section of the fatigue inference device 10.

Wenn durch die zweite Gesicht-Detektionsverarbeitung das linke Auge und das rechte Auge des Insassen detektiert wurden, aber der Mund nicht detektiert wurde, d. h. von einer Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde, erwirbt die Müdigkeit-Folgerungssektion 12 außerdem zunächst die erste Müdigkeitsstufe von dem Gesichtsdetektor 11 oder der Speichersektion. Dann erwirbt die Müdigkeit-Folgerungssektion 12 von dem Gesichtsdetektor 11 die zweiten Gesichtsdaten bezüglich der Gesichtselemente, die durch die zweite Gesicht-Detektionsverarbeitung detektiert wurden, als zweite Gesichtsdaten. Bei dem vorstehend beschriebenen Beispiel handelt es sich bei den Gesichtselementen, die durch die zweite Gesicht-Detektionsverarbeitung detektiert wurden, um den Mund, sodass es sich bei den als zweite Gesichtsdaten von der Müdigkeit-Detektionssektion 12 erworbenen Daten um den Mundöffnungsgrad handelt.If the occupant's left eye and right eye were detected by the second face detection processing, but the mouth was not detected, that is, H. of a plurality of facial elements, a part of the facial elements was not detected, the fatigue inference section 12 also first acquires the first fatigue level from the face detector 11 or the storage section. Then, the fatigue inference section 12 acquires from the face detector 11 the second face data regarding the facial elements detected by the second face detection processing as second face data. In the example described above, the facial elements detected by the second face detection processing are the mouth, so the data acquired as the second facial data from the fatigue detection section 12 is the mouth opening degree.

Als Nächstes wird durch die Müdigkeit-Folgerungssektion 12 die Änderungsgröße berechnet. Wurde beispielsweise als erste Müdigkeitsstufe die Müdigkeitsstufe 5 berechnet, und angezeigt, dass anhand des als zweite Gesichtsdaten erworbenen Mundöffnungsgrads eine Handlung wie ein Gähnen vorstellbar ist, bei dem der Insasse Müdigkeit verspürt, erfolgt z. B. eine Berechnung als Änderungsgröße +1. Ist andererseits angezeigt, dass anhand des als zweite Gesichtsdaten erworbenen Mundöffnungsgrads keine Handlung wie ein Gähnen vorstellbar ist, bei dem der Insasse Müdigkeit verspürt, berechnet die Müdigkeit-Folgerungssektion 12 z. B. als Änderungsgröße -1.Next, the change amount is calculated by the fatigue inference section 12. For example, if fatigue level 5 was calculated as the first fatigue level and it was indicated that an action such as yawning could be imagined based on the degree of mouth opening acquired as the second facial data, in which the occupant feels tired, e.g. B. a calculation as a change size +1. On the other hand, if it is indicated that based on the degree of mouth opening acquired as the second facial data, no action such as yawning can be imagined in which the occupant feels tired, the tiredness inference section calculates 12 e.g. B. as change size -1.

Dann wird durch die Müdigkeit-Folgerungssektion 12 anhand der ersten Müdigkeitsstufe und der Änderungsgröße bezogen auf die erste Müdigkeitsstufe eine Gesamt-Müdigkeitsstufe berechnet. Handelt es sich beispielsweise bei dem vorstehend beschriebenen Beispiel bei der ersten Müdigkeitsstufe um 5 und bei der Änderungsgröße um +1, ergibt die Gesamt-Müdigkeitsstufe des Insassen 6. Wurde durch die Müdigkeit-Folgerungssektion 12 eine Änderungsgröße von Null berechnet, ist die Gesamt-Müdigkeitsstufe des Insassen gleich der ersten Müdigkeitsstufe.Then, an overall fatigue level is calculated by the fatigue inference section 12 based on the first fatigue level and the change size based on the first fatigue level. For example, in the example described above, if the first fatigue level is 5 and the change magnitude is +1, the overall fatigue level of the occupant is 6. If a change magnitude of zero was calculated by the fatigue inference section 12, the overall fatigue level is of the occupant equal to the first level of fatigue.

Die Berechnung der Änderungsgröße durch die Müdigkeit-Folgerungssektion 12 kann dadurch erfolgen, dass ebenso wie bei der Berechnungsverarbeitung der Müdigkeitsstufe z. B. ein Schwellenwert für eine Merkmalsgröße als Gesichtsdaten eingestellt wird, und der eingestellte Schwellenwert und die Merkmalsgröße verglichen werden. Hierbei können z. B. bezüglich der Augen eine Vielzahl von Schwellenwerten für den Augenöffnungsgrad eingestellt werden, und wenn der Augenöffnungsgrad kleiner als ein Schwellenwert ist, durch die Müdigkeit-Folgerungssektion 12 die Änderungsgröße derart berechnet werden, dass die Gesamt-Müdigkeitsstufe größer wird. Ferner kann, wenn der Augenöffnungsgrad größer als ein Schwellenwert ist, durch die Müdigkeit-Folgerungssektion 12 die Änderungsgröße derart berechnet werden, dass die Gesamt-Müdigkeitsstufe kleiner wird.The calculation of the change amount by the fatigue inference section 12 can be carried out by, as in the calculation processing of the fatigue level, e.g. B. a threshold value for a feature size is set as facial data, and the set threshold value and the feature size are compared. Here, e.g. For example, with respect to the eyes, a plurality of threshold values for the degree of eye opening can be set, and if the degree of eye opening is smaller than a threshold value, the amount of change is calculated by the fatigue inference section 12 so that the overall fatigue level becomes larger. Further, when the eye opening degree is larger than a threshold value, the change amount can be calculated by the fatigue inference section 12 so that the overall fatigue level becomes smaller.

Ist bei einem Vergleich der ersten Gesichtsdaten und der zweiten Gesichtsdaten der Zustand des Gesichts des Insassen, der durch die zweiten Gesichtsdaten erhalten wurde, eher ein Zustand eines Gesichts, bei dem Müdigkeit verspürt wird, als der Zustand des Gesichts des Insassen, der durch die ersten Gesichtsdaten erhalten wurde, kann durch die Müdigkeit-Folgerungssektion 12 auch die Änderungsgröße derart berechnet werden, dass die Müdigkeitsstufe erhöht wird. Ist andererseits bei einem Vergleich der ersten Gesichtsdaten und der zweiten Gesichtsdaten der Zustand des Gesichts des Insassen, der durch die zweiten Gesichtsdaten erhalten wurde, eher ein Zustand eines Gesichts, bei dem sich die Müdigkeit aufgelöst hat, als der Zustand des Gesichts des Insassen, der durch die ersten Gesichtsdaten erhalten wurde, kann durch die Müdigkeit-Folgerungssektion 12 auch die Änderungsgröße derart berechnet werden, dass die Müdigkeitsstufe gesenkt wird.When comparing the first facial data and the second facial data, the state of the occupant's face obtained by the second facial data is more of a state of a face in which fatigue is felt than the state of the occupant's face obtained by the first Face data has been obtained, the change amount can also be calculated by the fatigue inference section 12 so that the fatigue level is increased. On the other hand, when comparing the first facial data and the second facial data, the state of the occupant's face obtained by the second facial data is a state of a face in which fatigue has resolved rather than the state of the occupant's face obtained through the first facial data, the change amount can also be calculated by the fatigue inference section 12 so that the fatigue level is lowered.

Somit kann durch die Müdigkeit-Folgerungssektion 12, wenn von einer Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde, durch die Übernahme der Müdigkeitsstufe bevor ein Teil der Gesichtselemente des Insassen nicht mehr detektiert werden konnte, die Müdigkeit des Insassen folgern, sodass der Müdigkeitszustand des Insassen nicht unsicher wird und die Zuverlässigkeit des Folgerungsergebnisses der Müdigkeit sichergestellt werden kann.Thus, if a part of the facial elements was not detected among a plurality of facial elements, the fatigue inference section 12 can infer the fatigue of the occupant by adopting the fatigue level before a portion of the facial elements of the occupant could no longer be detected, so that the fatigue state of the occupant does not become unsafe and the reliability of the fatigue conclusion can be ensured.

Im Folgenden wird der Betrieb der Müdigkeit-Folgerungsvorrichtung 10 erläutert. 7 ist ein Ablaufdiagramm, das ein Betriebsbeispiel der Müdigkeit-Folgerungsvorrichtung 10 gemäß der zweiten Ausführungsform zeigt. Dabei werden im Folgenden Schritte, die identisch mit denen der Verarbeitung der Müdigkeit-Folgerungsvorrichtung 10 gemäß der ersten Ausführungsform sind, mit den gleichen Bezugszeichen wie in 5 bezeichnet, und deren Erläuterung ausgelassen oder vereinfacht. Bei der Müdigkeit-Folgerungsvorrichtung 10 beginnt der Betrieb, z. B. wenn die Fahrzeuginformationen-Erwerbssektion 2 von der fahrzeugseitigen Steuerungsvorrichtung 200 ein Signal erworben hat, durch welches das Starten des Motors des Fahrzeugs angezeigt wird. Bei dem Ablaufdiagramm in 7 ist eine den Betrieb der Müdigkeit-Folgerungsvorrichtung 10 beendende Verarbeitung nicht dargestellt, wobei bei der Müdigkeit-Folgerungsvorrichtung 10 jedoch der Betrieb beendet wird, wenn z. B. die Fahrzeuginformationen-Erwerbssektion 2 von der fahrzeugseitigen Steuerungsvorrichtung 200 ein Signal erworben hat, durch welches das Stoppen des Motors des Fahrzeugs angezeigt wird.The operation of the fatigue inference device 10 will be explained below. 7 is a flowchart showing an operation example of the fatigue inference device 10 according to the second embodiment. Hereinafter, steps identical to those of processing the fatigue inference device 10 according to the first embodiment are given the same reference numerals as in 5 referred to, and their explanation omitted or simplified. The fatigue inference device 10 begins operation, e.g. B. when the vehicle information acquisition section 2 has acquired a signal indicating starting of the engine of the vehicle from the vehicle-side control device 200. In the flowchart in 7 Processing that terminates the operation of the fatigue inference device 10 is not shown, but the operation of the fatigue inference device 10 is terminated when, for example, B. the vehicle information acquisition section 2 has acquired from the vehicle-side control device 200 a signal indicating the stopping of the engine of the vehicle.

Nach dem Beginn des Betriebs der Müdigkeit-Folgerungsvorrichtung 10 erwirbt zunächst die Bilderwerbssektion 1 von der Müdigkeit-Folgerungsvorrichtung 20 ein Abbildungsbild (ST101). Dann führt der Gesichtsdetektor 11 mittels des Abbildungsbildes eine erste Gesicht-Detektionsverarbeitung durch (ST102).After the operation of the fatigue inference device 10 begins, the image acquisition section 1 first acquires an image image (ST101) from the fatigue inference device 20. Then, the face detector 11 performs first face detection processing using the image image (ST102).

Als Nächstes werden durch die Gesichtselement-Beurteilungssektion 5 die mittels der ersten Gesicht-Detektionsverarbeitung detektierten Gesichtselemente des Insassen bestimmt. Dabei wird durch die Gesichtselement-Beurteilungssektion 5 bestimmt, ob mittels der ersten Gesicht-Detektionsverarbeitung von einer Vielzahl von Gesichtselementen des Insassen sämtliche Gesichtselemente detektiert wurden. Bei dem Beispiel von 7 sind ebenso wie bei der ersten Ausführungsform der Teil der Gesichtselemente als Gesichtselemente A1 und andere Gesichtselemente als Gesichtselemente B1 dargestellt. Das heißt, durch die Gesichtselement-Beurteilungssektion 5 werden die mittels der ersten Gesicht-Detektionsverarbeitung detektierten Gesichtselemente des Insassen bestimmt, und beurteilt, ob Gesichtselemente A1 und Gesichtselemente B1 beide detektiert wurden (ST201).Next, the facial elements of the occupant detected by the first face detection processing are determined by the facial element judging section 5. The facial element assessment section 5 determines whether all of the facial elements of a plurality of facial elements of the occupant have been detected by means of the first face detection processing. In the example of 7 As in the first embodiment, the part of the facial elements are shown as facial elements A1 and other facial elements as facial elements B1. That is, the facial element judgment section 5 determines the occupant's facial elements detected by the first face detection processing, and judges whether facial elements A1 and facial elements B1 are both detected (ST201).

Die Gesichtselement-Beurteilungssektion 5 gibt, wenn durch die erste Gesicht-Detektionsverarbeitung die Gesichtselemente A1 und die Gesichtselemente B2 beide detektiert wurden, d. h., wenn beurteilt wurde, dass zumindest entweder die Gesichtselemente A1 oder die Gesichtselemente B1 nicht detektiert wurden (ST201: NEIN), das Beurteilungsergebnis an die Müdigkeit-Folgerungssektion 12 aus. Dann geht der Betrieb der Müdigkeit-Folgerungsvorrichtung 10 zur Verarbeitung von ST101 über. Andererseits gibt die Gesichtselement-Beurteilungssektion 5, wenn durch die erste Gesicht-Detektionsverarbeitung die Gesichtselemente A1 und die Gesichtselemente B1 beide detektiert wurden, d. h., wenn beurteilt wurde, dass von der Vielzahl von Gesichtselementen sämtliche Gesichtselemente detektiert wurden (ST201: JA), das Beurteilungsergebnis an die Müdigkeit-Folgerungssektion 12 aus.The facial element judging section 5 indicates when the facial elements A1 and the facial elements B2 have both been detected by the first face detection processing, i.e. That is, when it is judged that at least one of the facial elements A1 and the facial elements B1 are not detected (ST201: NO), the judgment result is sent to the fatigue inference section 12. Then, the operation of the fatigue inference device 10 proceeds to processing ST101. On the other hand, when the facial elements A1 and the facial elements B1 have both been detected by the first face detection processing, the facial element judging section 5 outputs, i.e. That is, when it is judged that all of the facial elements of the plurality of facial elements have been detected (ST201: YES), the judgment result is sent to the fatigue inference section 12.

Dann wird durch die Müdigkeit-Folgerungssektion 12, wenn sie ein Beurteilungsergebnis erworben hat, das anzeigt, dass die Gesichtselemente A1 und die Gesichtselemente B1 beide detektiert wurden, unter Verwendung der durch die erste Gesichts-Detektionsverarbeitung erhaltenen ersten Gesichtsdaten die erste Müdigkeitsstufe berechnet (ST202). Dann wird die durch die Müdigkeit-Folgerungssektion 12 berechnete erste Müdigkeitsstufe in der Speichersektion aufgezeichnet. Die durch die Müdigkeit-Folgerungssektion 12 berechnete erste Müdigkeitsstufe kann auch an die fahrzeugseitige Steuerungsvorrichtung 200 ausgegeben werden. Dann geht der Betrieb der Müdigkeit-Folgerungsvorrichtung 10 zur Verarbeitung von ST107 über.Then, the fatigue inference section 12, when it has acquired a judgment result indicating that the facial elements A1 and the facial elements B1 have both been detected, calculates the first fatigue level using the first facial data obtained through the first facial detection processing (ST202). . Then, the first fatigue level calculated by the fatigue inference section 12 is recorded in the storage section. The first level of fatigue calculated by the fatigue inference section 12 may also be output to the vehicle-side control device 200. Then, the operation of the fatigue inference device 10 proceeds to processing ST107.

Zunächst erwirbt die Bilderwerbssektion 1 von der Abbildungsvorrichtung 20 ein Abbildungsbild (ST107). Dann führt der Gesichtsdetektor 11 mittels des Abbildungsbildes eine zweite Gesicht-Detektionsverarbeitung durch (ST108), bei der es sich um eine nach der ersten Gesicht-Detektionsverarbeitung erfolgende Verarbeitung handelt.First, the image acquisition section 1 acquires an image image (ST107) from the imaging device 20. Then, the face detector 11 performs second face detection processing (ST108), which is processing after the first face detection processing, using the image image.

Als Nächstes werden durch die Gesichtselement-Beurteilungssektion 5 ebenso wie bei der Verarbeitung von ST201 die durch die zweite Gesicht-Detektionsverarbeitung detektierten Gesichtselemente des Insassen bestimmt und beurteilt, ob die Gesichtselemente A2 und die Gesichtselemente B2 beide detektiert wurden (ST203). Das heißt, bei dem Beispiel von 7 sind ebenso wie bei der ersten Ausführungsform von den mittels der zweiten Gesicht-Detektionsverarbeitung detektierten Gesichtselementen die gleichen Gesichtselemente wie die Gesichtselemente A1 als Gesichtselemente A2 dargestellt, und die gleichen Gesichtselemente wie die Gesichtselemente B1 als Gesichtselemente B2 dargestellt.Next, as in the processing of ST201, the facial element judgment section 5 determines the occupant's facial elements detected by the second face detection processing, and judges whether the facial elements A2 and the facial elements B2 are both detected (ST203). That is, in the example of 7 As in the first embodiment, of the facial elements detected by the second face detection processing, the same facial elements as the facial elements A1 are represented as facial elements A2, and the same facial elements as the facial elements B1 are represented as facial elements B2.

Wurden mittels der zweiten Gesicht-Detektionsverarbeitung die Gesichtselemente A2 und die Gesichtselemente B2 beide detektiert, d. h. wurde beurteilt, dass von der Vielzahl von Gesichtselementen sämtliche Gesichtselemente detektiert wurden (ST203: JA), gibt die Gesichtselement-Beurteilungssektion 5 das Beurteilungsergebnis an die Müdigkeit-Folgerungssektion 12 aus. Hat die Müdigkeit-Folgerungssektion 12 ein Beurteilungsergebnis erworben, das anzeigt, dass die Gesichtselemente A2 und die Gesichtselemente B2 beide detektiert wurden, berechnet sie dann unter Verwendung der mittels der zweiten Gesichtsverarbeitung erhaltenen zweiten Gesichtsdaten die Müdigkeitsstufe (ST204). Als Nächstes wird die durch die Müdigkeit-Folgerungssektion 12 berechnete Müdigkeitsstufe in der Speichersektion aufgezeichnet. Im Folgenden wird die unter Verwendung der zweiten Gesichtsdaten berechnete Müdigkeitsstufe als zweite Müdigkeitsstufe bezeichnet. Die durch die Müdigkeit-Folgerungssektion 12 berechnete zweite Müdigkeitsstufe kann auch an die fahrzeugseitige Steuerungsvorrichtung 200 ausgegeben werden. Dann geht der Betrieb der Müdigkeit-Folgerungsvorrichtung 10 zur Verarbeitung von ST101 über.By means of the second face detection processing, the facial elements A2 and the facial elements B2 were both detected, i.e. H. When it is judged that all of the facial elements among the plurality of facial elements have been detected (ST203: YES), the facial element judgment section 5 outputs the judgment result to the fatigue inference section 12. When the fatigue inference section 12 acquires a judgment result indicating that the facial elements A2 and the facial elements B2 have both been detected, it then calculates the fatigue level (ST204) using the second facial data obtained by the second face processing. Next, the fatigue level calculated by the fatigue inference section 12 is recorded in the storage section. Hereafter, the fatigue level calculated using the second face data is referred to as the second fatigue level. The second level of fatigue calculated by the fatigue inference section 12 may also be output to the vehicle-side control device 200. Then, the operation of the fatigue inference device 10 proceeds to processing ST101.

Wurde andererseits bestimmt, dass zumindest entweder die Gesichtselemente A2 oder die Gesichtselemente B2 nicht detektiert wurden (ST203: NEIN), beurteilt die Gesichtselement-Beurteilungssektion 5, dass von der Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde. Dann geht der Betrieb der Müdigkeit-Folgerungsvorrichtung 10 zur Verarbeitung von ST205 über.On the other hand, when it is determined that at least one of the facial elements A2 and the facial elements B2 has not been detected (ST203: NO), the facial element judging section 5 judges that among the plurality of facial elements, a part of the facial elements has not been detected. Then, the operation of the fatigue inference device 10 proceeds to processing ST205.

Dann gibt die Gesichtselement-Beurteilungssektion 5 durch die Verarbeitungen von ST205 und ST206 an die Müdigkeit-Folgerungssektion 12 ein Bestimmungsergebnis aus, das anzeigt, um welche Gesichtselemente es sich bei den Gesichtselementen handelt, die mittels der zweiten Gesicht-Detektionsverarbeitung detektiert wurden. Zunächst wird durch die Gesichtselement-Beurteilungssektion 5 festgestellt, ob durch die zweite Gesicht-Detektionsverarbeitung die Gesichtselemente A2 detektiert wurden (ST205). Dabei kann durch die Gesichtselement-Beurteilungssektion 5 z. B. bei der Verarbeitung von ST203 unter Verwendung des Bestimmungsergebnisses der Gesichtselemente, die mittels der zweiten Gesicht-Detektionsverarbeitung detektiert wurden, festgestellt werden, ob die zweiten Gesichtselemente A2 detektiert wurden.Then, through the processing of ST205 and ST206, the facial element judgment section 5 outputs to the fatigue inference section 12 a determination result indicating which facial elements are the facial elements detected by the second face detection processing. First, it is determined by the facial element judgment section 5 whether the facial elements A2 have been detected by the second face detection processing (ST205). The facial element assessment section 5 can z. For example, in the processing of ST203, it is determined whether the second facial elements A2 have been detected using the determination result of the facial elements detected by the second face detection processing.

Dann gibt die Gesichtselement-Beurteilungssektion 5, wenn festgestellt wurde, dass mittels der zweiten Gesicht-Detektionsverarbeitung die Gesichtselemente A2 detektiert wurden (ST205: JA), ein Beurteilungsergebnis, das anzeigt, dass durch die zweite Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde, und ein Bestimmungsergebnis, das anzeigt, dass von der Vielzahl von Gesichtselementen ein Teil der Gesichtselemente, d. h. die Gesichtselemente A2 detektiert wurden, an die Müdigkeit-Folgerungssektion 12 aus.Then, when it is determined that the facial elements A2 have been detected by the second face detection processing (ST205: YES), the facial element judgment section 5 gives a judgment result indicating that one of the plurality of facial elements has been detected by the second face detection processing of the facial elements was not detected, and a determination result indicating that of the plurality of facial elements, a part of the facial elements, i.e. H. the facial elements A2 were detected to the fatigue inference section 12.

Dann wird durch die Müdigkeit-Folgerungssektion 12, die bei der Verarbeitung von ST205 das Beurteilungsergebnis und das Bestimmungsergebnis erworben hat, unter Verwendung der ersten Müdigkeitsstufe und der zweiten Gesichtsdaten die zweite Müdigkeitsstufe des Insassen berechnet (ST207). Wurde beispielsweise als zweite Gesichtsdaten der Mundöffnungsgrad erworben, berechnet die Müdigkeit-Folgerungssektion 12 unter Verwendung des Mundöffnungsgrads die Änderungsgröße. Dann wird durch die Müdigkeit-Folgerungssektion 12 anhand der ersten Müdigkeitsstufe und der Änderungsgröße die zweite Müdigkeitsstufe berechnet. Die durch die Müdigkeit-Folgerungssektion 12 berechnete zweite Müdigkeitsstufe kann auch an die fahrzeugseitige Steuerungsvorrichtung 200 ausgegeben werden.Then, by the fatigue inference section 12, which has acquired the judgment result and the determination result in the processing of ST205, the second fatigue level of the occupant is calculated using the first fatigue level and the second facial data (ST207). For example, if the mouth opening degree was acquired as the second facial data, the fatigue inference section 12 calculates the change amount using the mouth opening degree. Then, the second fatigue level is calculated by the fatigue inference section 12 based on the first fatigue level and the change size. The second level of fatigue calculated by the fatigue inference section 12 may also be output to the vehicle-side control device 200.

Wurde andererseits durch die Gesichtselement-Beurteilungssektion 5 festgestellt, dass mittels der zweiten Gesicht-Detektionsverarbeitung die Gesichtselemente A2 nicht detektiert wurden (ST205: NEIN), geht der Betrieb der Müdigkeit-Folgerungsvorrichtung 10 über zur Verarbeitung von ST205. Durch die Gesichtselement-Beurteilungssektion 5 wird festgestellt, ob durch die zweite Gesicht-Detektionsverarbeitung die Gesichtselemente B2 detektiert wurden (ST206). Dabei kann durch die Gesichtselement-Beurteilungssektion 5, ebenso wie bei der Verarbeitung von ST205, z. B. bei der Verarbeitung von ST203 unter Verwendung des Bestimmungsergebnisses der Gesichtselemente, die mittels der zweiten Gesicht-Detektionsverarbeitung detektiert wurden, festgestellt werden, ob die zweiten Gesichtselemente B2 detektiert wurden.On the other hand, when it has been determined by the facial element judgment section 5 that the facial elements A2 have not been detected by the second face detection processing (ST205: NO), the operation of the fatigue inference device 10 proceeds to the processing of ST205. The facial element judgment section 5 determines whether the facial elements B2 have been detected by the second face detection processing (ST206). This can be done through the Facial element judgment section 5, as well as in the processing of ST205, e.g. For example, in the processing of ST203, it is determined whether the second facial elements B2 have been detected using the determination result of the facial elements detected by the second face detection processing.

Dann gibt die Gesichtselement-Beurteilungssektion 5, wenn festgestellt wurde, dass mittels der zweiten Gesicht-Detektionsverarbeitung die Gesichtselemente B2 detektiert wurden (ST206: JA), ein Beurteilungsergebnis, das anzeigt, dass durch die zweite Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde, und ein Bestimmungsergebnis, das anzeigt, dass von der Vielzahl von Gesichtselementen ein Teil der Gesichtselemente, d. h. die Gesichtselemente B2 detektiert wurden, an die Müdigkeit-Folgerungssektion 12 aus.Then, when it is determined that the facial elements B2 have been detected by the second face detection processing (ST206: YES), the facial element judgment section 5 gives a judgment result indicating that one of the plurality of facial elements has been detected by the second face detection processing of the facial elements was not detected, and a determination result indicating that of the plurality of facial elements, a part of the facial elements, i.e. H. the facial elements B2 were detected to the fatigue inference section 12.

Dann wird durch die Müdigkeit-Folgerungssektion 12, die bei der Verarbeitung von ST205 das Beurteilungsergebnis und das Bestimmungsergebnis erworben hat, unter Verwendung der ersten Müdigkeitsstufe und der zweiten Gesichtsdaten die zweite Müdigkeitsstufe des Insassen berechnet (ST208). Wurde beispielsweise als zweite Gesichtsdaten der Augenöffnungsgrad erworben, berechnet die Müdigkeit-Folgerungssektion 12 zunächst unter Verwendung des Augenöffnungsgrads die Änderungsgröße. Dann wird durch die Müdigkeit-Folgerungssektion 12 anhand der ersten Müdigkeitsstufe und der Änderungsgröße die zweite Müdigkeitsstufe berechnet. Die durch die Müdigkeit-Folgerungssektion 12 berechnete zweite Müdigkeitsstufe kann auch an die fahrzeugseitige Steuerungsvorrichtung 200 ausgegeben werden.Then, by the fatigue inference section 12, which has acquired the judgment result and the determination result in the processing of ST205, the second fatigue level of the occupant is calculated using the first fatigue level and the second facial data (ST208). For example, if the eye opening degree was acquired as the second face data, the fatigue inference section 12 first calculates the change amount using the eye opening degree. Then, the second fatigue level is calculated by the fatigue inference section 12 based on the first fatigue level and the change size. The second level of fatigue calculated by the fatigue inference section 12 may also be output to the vehicle-side control device 200.

Wurde andererseits durch die Gesichtselement-Beurteilungssektion 5 festgestellt, dass mittels der zweiten Gesicht-Detektionsverarbeitung die Gesichtselemente B2 nicht detektiert wurden (ST206: NEIN), d. h., wenn festgestellt wurde, dass durch die zweite Gesicht-Detektionsverarbeitung weder die Gesichtselemente A2 noch die Gesichtselemente B2 detektiert wurden, geht der Betrieb der Müdigkeit-Folgerungsvorrichtung 10 zur Verarbeitung von ST101 über. Wurde festgestellt, dass durch die zweite Gesicht-Detektionsverarbeitung weder die Gesichtselemente A2 noch die Gesichtselemente B2 detektiert wurden, kann durch die Müdigkeit-Folgerungssektion 12 auch die erste Müdigkeitsstufe erworben werden und die erworbene erste Müdigkeitsstufe als zweite Müdigkeitsstufe an die fahrzeugseitige Steuerungsvorrichtung 200 ausgegeben werden.On the other hand, if it has been determined by the facial element judgment section 5 that the facial elements B2 were not detected by the second face detection processing (ST206: NO), that is, That is, when it is determined that neither the facial elements A2 nor the facial elements B2 have been detected by the second face detection processing, the operation of the fatigue inference device 10 proceeds to the processing of ST101. If it was determined that neither the facial elements A2 nor the facial elements B2 were detected by the second face detection processing, the first fatigue level can also be acquired by the fatigue inference section 12 and the acquired first fatigue level can be output to the vehicle-side control device 200 as the second fatigue level.

Es wird beispielsweise angenommen, dass ein Insasse kein Accessoire trägt und durch die erste Gesicht-Detektionsverarbeitung des Gesichtsdetektors 11 Augen, Mund und Nase detektiert werden, und dadurch, dass der Insasse eine Sonnenbrille trägt, durch die zweite Gesicht-Detektionsverarbeitung des Gesichtsdetektors 11 die Augen nicht detektiert werden, und Mund und Nase detektiert werden. In diesem Fall wird durch die Müdigkeit-Folgerungssektion 12 unter Verwendung der ersten Gesichtsdaten, die anhand der Augen, der Nase und des Mundes erhalten wurden, die Müdigkeitsstufe berechnet, und anschließend wird unter Verwendung der zweiten Gesichtsdaten, die durch die zweite Gesicht-Detektionsverarbeitung erworben wurden, die Änderungsgröße berechnet und die zweite Müdigkeitsstufe berechnet. Trägt der Insasse unverändert die Sonnenbrille, wird dann durch die Müdigkeit-Folgerungssektion 12 mittels dritter Gesichtsdaten, die anhand von Nase und Mund bei einer dritten Gesicht-Detektionsverarbeitung erhalten wurden, die dritte Müdigkeitsstufe berechnet. Hierdurch erfolgt bei der Müdigkeit-Folgerungsverarbeitung ab dem Zeitpunkt, an dem ein Teil der Gesichtselemente nicht mehr detektiert wurde, unter Verwendung von durch die Gesicht-Detektionsverarbeitung detektierbaren Gesichtselementen eine Müdigkeitsfolgerung, sodass die Verarbeitungsbelastung der Müdigkeit-Folgerungsvorrichtung 10 reduziert werden kann.For example, assume that an occupant is not wearing an accessory and the eyes, mouth and nose are detected by the first face detection processing of the face detector 11, and the occupant is wearing sunglasses, the eyes are detected by the second face detection processing of the face detector 11 cannot be detected, and the mouth and nose are detected. In this case, the fatigue level is calculated by the fatigue inference section 12 using the first face data obtained from the eyes, nose and mouth, and then using the second face data acquired by the second face detection processing were calculated, the change magnitude was calculated and the second level of fatigue was calculated. If the occupant continues to wear the sunglasses, the third level of fatigue is then calculated by the fatigue inference section 12 using third face data obtained from the nose and mouth in a third face detection processing. As a result, in the fatigue inference processing, from the point in time at which a part of the facial elements are no longer detected, a fatigue inference is made using facial elements detectable by the face detection processing, so that the processing load of the fatigue inference device 10 can be reduced.

Das heißt, wurde ein Teil der Gesichtselemente des Insassen nicht detektiert, wird durch die Müdigkeit-Folgerungssektion 12 die erste Müdigkeitsstufe zum Zeitpunkt bevor ein Teil der Gesichtselemente nicht mehr detektiert werden konnte, übernommen und anhand der übernommenen ersten Müdigkeitsstufe und der Änderungsgröße der Müdigkeitsstufe gegenüber der ersten Müdigkeitsstufe die Müdigkeit des Insassen gefolgert. Hierdurch wird auch wenn ein Teil der Gesichtselemente nicht detektiert wurde, das Folgerungsergebnis der Müdigkeit des Insassen nicht unsicher und die Zuverlässigkeit des Folgerungsergebnisses der Müdigkeit kann sichergestellt werden.That is, if part of the facial elements of the occupant were not detected, the first tiredness level at the time before part of the facial elements could no longer be detected is adopted by the fatigue inference section 12 and based on the adopted first tiredness level and the change size of the tired In comparison to the first fatigue level, it is concluded that the occupant is tired. As a result, even if a part of the facial elements is not detected, the inference result of the occupant's fatigue is not uncertain, and the reliability of the inference result of the fatigue can be ensured.

Dritte AusführungsformThird embodiment

Die Müdigkeit-Folgerungsvorrichtung 10 gemäß der dritten Ausführungsform umfasst ebenso wie bei der ersten Ausführungsform die Bilderwerbssektion 1, die ein Abbildungsbild erwirbt, den Gesichtsdetektor 11, der eine Gesicht-Detektionsverarbeitung durchführt, durch die anhand des Abbildungsbildes eine Vielzahl von Gesichtselementen des Insassen detektiert wird, und die Müdigkeit-Folgerungssektion 12, durch welche die Müdigkeit des anhand des Abbildungsbildes detektierten Insassen gefolgert wird. Der Unterschied zur ersten Ausführungsform besteht in dem Punkt, dass bei der vorliegenden Ausführungsform für den Fall, dass mittels der zweiten Gesichtsdetektionsverarbeitung ein Teil der Gesichtselemente nicht detektiert wurde, unter Verwendung einer Müdigkeitsstufe, die anhand der durch die erste Gesicht-Detektionsverarbeitung erhaltenen Gesichtsdaten gefolgert wurde, und mittels Gesichtsdaten, die anhand der durch die zweite Gesicht-Detektionsverarbeitung detektierten anderen Gesichtselemente erhalten wurden, die Müdigkeit des Insassen gefolgert wird. Gleiche Bestandteile wie bei der ersten Ausführungsform sind mit den gleichen Bezugszeichen versehen und deren Erläuterung wird ausgelassen.The fatigue inference device 10 according to the third embodiment, like the first embodiment, includes the image acquisition section 1 that acquires an image image, the face detector 11 that performs face detection processing by which a plurality of facial elements of the occupant are detected based on the image image, and the fatigue inference section 12, through which the fatigue of the occupant detected from the image image is inferred. The difference from the first embodiment is that in the present embodiment, in the case where a part of the facial elements was not detected by the second face detection processing, using a fatigue level inferred from the facial data obtained by the first face detection processing , and inferring the fatigue of the occupant using facial data obtained from the other facial elements detected by the second face detection processing. The same components as in the first embodiment are given the same reference numerals and their explanation is omitted.

Durch die Müdigkeit-Folgerungssektion 12 der vorliegenden Ausführungsform wird ebenso wie bei der zweiten Ausführungsform, wenn von der Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde, die erste Müdigkeitsstufe zum Zeitpunkt bevor ein Teil der Gesichtselemente des Insassen nicht mehr detektiert werden konnte, übernommen Dann wird durch die Müdigkeit-Folgerungssektion 12 anhand der übernommenen ersten Müdigkeitsstufe und der Änderungsgröße bezogen auf die erste Müdigkeitsstufe die Müdigkeit des Insassen gefolgert.By the fatigue inference section 12 of the present embodiment, as in the second embodiment, when a part of the facial elements was not detected among the plurality of facial elements, the first level of fatigue is adopted at the time before a part of the facial elements of the occupant could no longer be detected Then the tiredness of the occupant is inferred by the fatigue conclusion section 12 based on the adopted first fatigue level and the change size based on the first fatigue level.

Außerdem erwirbt die Müdigkeit-Folgerungsvorrichtung 10 der vorliegenden Ausführungsform die Änderungsgröße bezogen auf die erste Müdigkeitsstufe anhand eines gelernten Modells zum Schlussfolgern der Änderungsgröße der Müdigkeitsstufe. Im Folgenden werden jeweils eine Lernvorrichtung 300 bezüglich der Müdigkeit-Folgerungsvorrichtung 10 und die Müdigkeit-Folgerungsvorrichtung 10 erläutert.Further, the fatigue inference device 10 of the present embodiment acquires the change amount related to the first fatigue level based on a learned model for inferring the change amount of the fatigue level. A learning device 300 relating to the fatigue inference device 10 and the fatigue inference device 10 are explained below.

8 ist ein Strukturdiagramm der Lernvorrichtung 300 bezüglich der Müdigkeit-Folgerungsvorrichtung 10 gemäß der dritten Ausführungsform. Die Lernvorrichtung 300 umfasst eine Datenerwerbssektion 31, eine Modellerzeugungssektion 32 und eine Gelerntes-Modell-Speichersektion 40. 8th is a structural diagram of the learning device 300 regarding the fatigue inference device 10 according to the third embodiment. The learning device 300 includes a data acquisition section 31, a model generation section 32 and a learned model storage section 40.

Die Datenerwerbssektion 31 erwirbt von dem Gesichtsdetektor 11 Gesichtsdaten und Änderungsgrößen als Lerndaten.The data acquisition section 31 acquires from the face detector 11 face data and change quantities as learning data.

Die Modellerzeugungssektion 32 lernt die Änderungsgrößen basierend auf Lerndaten, die auf der Basis von Kombinationen aus von der Daten-Erwerbssektion 31 ausgegebenen Gesichtsdaten und Änderungsgrößen erstellt werden. Das heißt, es wird ein gelerntes Modell zum Schlussfolgern der optimalen Änderungsgröße anhand der Gesichtsdaten der Müdigkeit-Folgerungsvorrichtung 10 und der Änderungsgrößen erstellt. Bei den Lerndaten handelt es sich dabei um Daten, bei denen Gesichtsdaten und Änderungsgrößen miteinander in Beziehung gesetzt sind.The model creation section 32 learns the change quantities based on learning data created based on combinations of face data and change quantities output from the data acquisition section 31. That is, a learned model for inferring the optimal change amount is created based on the facial data of the fatigue inference device 10 and the change amounts. The learning data is data in which facial data and change variables are related to one another.

Die Lernvorrichtung 300 wird zum Lernen der Änderungsgrößen der Müdigkeit-Folgerungsvorrichtung 10 verwendet, wobei es sich z. B. um eine mit der Müdigkeit-Folgerungsvorrichtung 10 über ein Netzwerk verbundene Vorrichtung oder um eine von der Müdigkeit-Folgerungsvorrichtung 10 separate Vorrichtung handeln kann. Ferner kann die Lernvorrichtung 300 auch in die Müdigkeit-Folgerungsvorrichtung 10 eingebaut sein. Außerdem kann die Lernvorrichtung 300 auch auf einem Cloud-Server vorliegen.The learning device 300 is used for learning the change quantities of the fatigue inference device 10, e.g. B. can be a device connected to the fatigue inference device 10 via a network or a device separate from the fatigue inference device 10. Furthermore, the learning device 300 can also be installed in the fatigue inference device 10. In addition, the learning device 300 can also be present on a cloud server.

Als von der Modellerzeugungssektion 32 verwendeter Lernalgorithmus können verschiedene bekannte Algorithmen wie überwachtes Lernen, unüberwachtes Lernen oder bestärkendes Lernen verwendet werden. Im Folgenden wird als ein Beispiel der Fall einer Anwendung eines neuronalen Netzwerks erläutert.As the learning algorithm used by the model generating section 32, various known algorithms such as supervised learning, unsupervised learning, or reinforcement learning can be used. The case of applying a neural network will be explained below as an example.

Die Modellerzeugungssektion 32 lernt die Änderungsgrößen z. B. einem neuronalen Netzwerkmodell folgend durch ein so genanntes überwachtes Lernen. Beim überwachten Lernen handelt es sich um ein Verfahren, bei dem Gruppen von Daten der Eingabe und des Ergebnisses (Label) in der Lernvorrichtung 300 aufgestellt werden, wodurch Merkmale dieser Lerndaten gelernt und anhand der Eingabe das Ergebnis geschlussfolgert wird.The model generation section 32 learns the change variables e.g. B. following a neural network model through so-called supervised learning. Supervised learning is a method in which groups of input and output data (labels) are set up in the learning device 300, thereby learning features of this learning data and inferring the result based on the input.

9 ist eine erläuternde Ansicht, die ein Lernbeispiel eines neuronalen Netzwerks der Lernvorrichtung 300 gemäß der dritten Ausführungsform zeigt. Ein neuronales Netzwerk besteht aus einer Eingabeschicht, die eine Vielzahl von Neuronen aufweist, einer mittleren Schicht (verdeckte Schicht), die eine Vielzahl von Neuronen aufweist, und einer Ausgabeschicht, die eine Vielzahl von Neuronen aufweist. Die mittlere Schicht kann eine Schicht, zwei oder mehr als zwei Schichten haben. 9 is an explanatory view showing a learning example of a neural network of the learning device 300 according to the third embodiment. A neural network consists of an input layer that has a large number of neurons, a middle layer (hidden layer) that having a plurality of neurons, and an output layer having a plurality of neurons. The middle layer can have one layer, two or more than two layers.

Bei einem neuronalen Netzwerk aus drei Schichten wie beispielsweise in 9 gezeigt, werden bei der Eingabe einer Vielzahl von Eingaben in die Eingabeschicht (X1-X3), diese Werte mit einer Wichtung W1 (w11-w16) in die mittlere Schicht (Y1-Y2) eingegeben und dieses Ergebnis mit einer weiteren Wichtung W2 (w21-w26) aus der Ausgabeschicht (Z1-Z3) ausgegeben. Das Ausgabeergebnis ändert sich dabei durch den Wert der Wichtungen W1 und W2.With a neural network made up of three layers, such as in 9 shown, when a large number of inputs are entered into the input layer (X1-X3), these values are entered into the middle layer (Y1-Y2) with a weighting W1 (w11-w16) and this result is given a further weighting W2 (w21 -w26) output from the output layer (Z1-Z3). The output result changes due to the value of the weightings W1 and W2.

Bei der vorliegenden Offenbarung erfolgt ein Lernen der Änderungsgrößen durch ein so genanntes überwachtes Lernen dadurch, dass das neuronale Netzwerk Lerndaten folgt, die auf der Basis von Kombinationen aus mittels der Daten-Erwerbssektion 31 erworbenen Gesichtsdaten und Änderungsgrößen erstellt werden.In the present disclosure, learning of the change quantities is performed by a so-called supervised learning by having the neural network follow learning data based on combinations of facial data and change quantities acquired by the data acquisition section 31.

Bei der vorliegenden Offenbarung erfolgt das Lernen dadurch, dass bei dem neuronalen Netzwerk die Gewichtungen W1 und W2 derart eingestellt sind, dass sich das nach der Eingabe von Gesichtsdaten in die Eingabeschicht aus der Ausgabeschicht ausgegebene Ergebnis den als Lerndaten eingegebenen Änderungsgrößen annähert. Die Modellerzeugungssektion 32 erzeugt durch das Ausführen des vorstehend beschriebenen Lernens ein gelerntes Modell und gibt es aus. Ferner speichert die Gelerntes-Modell-Speichersektion 40 das von der Modellerzeugungssektion 32 ausgegebene gelernte Modell. Im Folgenden wird zum Zweck der Erläuterung die Verarbeitung zum Erzeugen eines gelernten Modells als Gelerntes-Modell-Erzeugungsverarbeitung bezeichnet.In the present disclosure, learning is carried out by setting the weights W1 and W2 in the neural network such that the result output from the output layer after facial data has been input into the input layer approaches the change quantities input as learning data. The model generating section 32 generates and outputs a learned model by executing the learning described above. Further, the learned model storage section 40 stores the learned model output from the model generation section 32. Hereinafter, for the purpose of explanation, the processing for creating a learned model is referred to as learned model creation processing.

10 ist ein Ablaufdiagramm, das ein Beispiel der Gelerntes-Modell-Erzeugungsverarbeitung der Lernvorrichtung 300 gemäß der dritten Ausführungsform zeigt. Unter Verwendung von 10 wird die Verarbeitung erläutert, durch die das Lernen der Lernvorrichtung 300 erfolgt. Zunächst erwirbt die Datenerwerbssektion 31 Gesichtsdaten und Änderungsgrößen (ST301). Hierbei werden die Gesichtsdaten und Änderungsgrößen gleichzeitig erworben, wobei die Daten der Gesichtsdaten und Änderungsgrößen auch jeweils zu einem unterschiedlichen Zeitpunkt erworben werden können, sofern es möglich ist, dass die Gesichtsdaten mit den Änderungsgrößen in Entsprechung gesetzt eingegeben werden. 10 is a flowchart showing an example of the learned model creation processing of the learning device 300 according to the third embodiment. Under the use of 10 The processing through which the learning device 300 is learned will be explained. First, the data acquisition section acquires 31 face data and change sizes (ST301). In this case, the face data and change sizes are acquired at the same time, although the data of the face data and change sizes can also be acquired at a different time, provided that it is possible for the face data to be inputted with the change sizes in correspondence.

Als Nächstes erfolgt bei der Modellerzeugungssektion 32 durch ein Lernen der Änderungsgrößen mittels eines so genannten überwachten Lernens, das Lerndaten folgt, die auf der Basis von Kombinationen aus mittels der Daten-Erwerbssektion 31 erworbenen Gesichtsdaten und Änderungsgrößen erstellt wurde, die Erzeugung eines gelernten Modells (ST302). Dann zeichnet die Gelerntes-Modell-Speichersektion 40 das von der Modellerzeugungssektion 32 gelernte Modell auf (ST303).Next, at the model generating section 32, a learned model (ST302) is generated by learning the change quantities using a so-called supervised learning that follows learning data created based on combinations of facial data and change quantities acquired by the data acquisition section 31 ). Then, the learned model storage section 40 records the model learned from the model creation section 32 (ST303).

Außerdem werden durch die Modellerzeugungssektion 32 mittels des vorstehend beschriebenen Gelerntes-Modell-Erzeugungsverfahrens eine Vielzahl von gelernten Modellen erzeugt und in der Gelerntes-Modell-Speichersektion 40 aufgezeichnet. Die Vielzahl von gelernten Modellen in der vorliegenden Ausführungsform leisten entsprechend der Art der jeweils eingegebenen Gesichtsdaten einen unterschiedlichen Beitrag zur Schlussfolgerung der Änderungsgröße der Gesichtsdaten. Der Beitrag zur Schlussfolgerung der Änderungsgröße ist dabei ein Indikatorwert, der die Größe des Einflusses auf die Schlussfolgerung der Änderungsgröße anzeigt, wenn bestimmte Gesichtsdaten in das gelernte Modell eingegeben werden.In addition, a plurality of learned models are generated by the model generation section 32 using the learned model generation method described above and recorded in the learned model storage section 40. The plurality of learned models in the present embodiment contribute differently to inferring the change amount of the facial data according to the type of facial data input. The contribution to the change size inference is an indicator value that indicates the size of the influence on the change size inference when certain facial data is entered into the learned model.

11 sind erläuternde Ansichten, die den Beitrag der Änderungsgröße der Gesichtsdaten gemäß der dritten Ausführungsform zur Schlussfolgerung zeigen. 11A ist eine erläuternde Ansicht zur Erläuterung eines gelernten Modells, bei dem der Augenöffnungsgrad den größten Beitrag zur Schlussfolgerung der Änderungsgröße leistet, und 11 B ist eine erläuternde Ansicht zur Erläuterung eines gelernten Modells, bei dem der Mundöffnungsgrad den größten Beitrag zur Schlussfolgerung der Änderungsgröße leistet. 11 are explanatory views showing the contribution of the change amount of the face data according to the third embodiment to the conclusion. 11A is an explanatory view to explain a learned model in which the eye opening degree makes the largest contribution to the change magnitude inference, and 11 B is an explanatory view to explain a learned model in which the mouth opening degree makes the largest contribution to the change magnitude inference.

Wird beispielsweise durch den Gesichtsdetektor 11 mittels der Gesicht-Detektionsverarbeitung von einer Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert, können die Gesichtsdaten bezüglich eines Teils der Gesichtselemente nicht für die Müdigkeit-Folgerungsverarbeitung verwendet werden. Wird beispielsweise die Änderungsgröße dadurch geschlussfolgert, dass eine Vielzahl von Gesichtsdaten wie der Augenöffnungsgrad, der Mundöffnungsgrad oder die Bewegung (Gesichtsrichtung) des Kopfs eingegeben wird, ist es erforderlich, dass die Gesichtsdaten in das gelernte Modell eingegeben und anhand des gelernten Modells die Änderungsgröße erhalten wird, wobei die genaue Erläuterung des Verfahrens der Schlussfolgerung der Änderungsgröße im Folgenden beschrieben wird.For example, if a part of the facial elements is not detected by the face detector 11 through the face detection processing of a plurality of facial elements, the facial data regarding a part of the facial elements cannot be used for the fatigue inference processing. For example, when the change amount is inferred by inputting a variety of facial data such as the eye opening degree, the mouth opening degree, or the movement (face direction) of the head, it is necessary to input the facial data into the learned model and obtain the change amount based on the learned model , where the detailed explanation of the change size inference procedure is described below.

Leisten jedoch bei dem gelernten Modell, in das die Gesichtsdaten eingegeben werden, die Gesichtsdaten, die mittels der Gesicht-Detektionsverarbeitung nicht detektiert werden konnten, einen hohen Beitrag zur Schlussfolgerung der Änderungsgröße, ist zu befürchten, dass die Zuverlässigkeit der Änderungsgröße, die anhand des gelernten Modells erworben wird, gering ist. Dadurch besteht die Möglichkeit, dass auch die Zuverlässigkeit des Müdigkeit-Folgerungsergebnisses des Insassen, das unter Verwendung der von dem gelernten Modell erworbenen Änderungsgröße gefolgert wurde, nicht sichergestellt werden kann.However, in the learned model into which the face data is input, the face data that could not be detected by the face detection processing makes a large contribution to the inference of the change amount, it is feared that the reliability of the Change size acquired based on the learned model is small. As a result, there is a possibility that the reliability of the occupant's fatigue inference result inferred using the change amount acquired by the learned model cannot be ensured either.

Bevorzugt werden daher bei der vorliegenden Ausführungsform durch die Gelerntes-Modell-Speichersektion 40 entsprechend der Klassifizierung der Gesichtsdaten eine Vielzahl von gelernten Modellen mit einem unterschiedlichen Beitrag zur Schlussfolgerung der Änderungsgröße aufgezeichnet. Im Folgenden werden Beispiele einer Vielzahl von gelernten Modellen dargestellt.Therefore, in the present embodiment, a plurality of learned models with a different contribution to the inference of the change amount are preferably recorded by the learned model storage section 40 according to the classification of the facial data. Examples of a variety of learned models are presented below.

Beispielsweise ist bei dem Beispiel in 11 A das Beispiel eines Lernmodells dargestellt, bei dem der Augenöffnungsgrad, die Geschwindigkeit des Lidschlags und die Häufigkeit des Lidschlags als Gesichtsdaten bezüglich der Augen verglichen mit dem Mundöffnungswinkel als Gesichtsdaten bezüglich des Mundes einen höheren Beitrag zur Schlussfolgerung der Änderungsgröße leistet. Das heißt, wenn durch die Gesicht-Detektionsverarbeitung die Augen des Insassen detektiert und der Mund nicht detektiert wurde, weil der Insasse z. B. eine Maske trägt, kann die Zuverlässigkeit des Schlussfolgerungsergebnisses der Änderungsgröße dadurch verbessert werden, dass die Gesichtsdaten in ein gelerntes Modell mit einem hohen Beitrag wie im Beispiel von 11A gezeigt eingegeben werden.For example, in the example in 11 A The example of a learning model is shown in which the degree of eye opening, the speed of blinking and the frequency of blinking as facial data regarding the eyes make a higher contribution to the inference of the change size compared to the mouth opening angle as facial data regarding the mouth. That is, if the eyes of the occupant were detected by the face detection processing and the mouth was not detected because the occupant was e.g. For example, if someone is wearing a mask, the reliability of the change size inference result can be improved by converting the facial data into a learned model with a high contribution as in the example of 11A shown can be entered.

Andererseits ist bei dem Beispiel in 11B das Beispiel eines Lernmodells dargestellt, bei dem der Mundöffnungsgrad als Gesichtsdaten bezüglich des Mundes verglichen mit dem Augenöffnungsgrad, der Geschwindigkeit des Lidschlags und der Häufigkeit des Lidschlags als Gesichtsdaten bezüglich der Augen einen höheren Beitrag zur Schlussfolgerung der Änderungsgröße leistet. Das heißt, wenn mittels der Gesicht-Detektionsverarbeitung der Mund des Insassen detektiert und die Augen nicht detektiert wurden, weil der Insasse z. B. eine Sonnenbrille trägt, kann die Zuverlässigkeit des Schlussfolgerungsergebnisses der Änderungsgröße dadurch verbessert werden, dass die Gesichtsdaten in ein gelerntes Modell mit einem hohen Beitrag wie im Beispiel von 11 B gezeigt eingegeben werden.On the other hand, in the example in 11B The example of a learning model is shown in which the degree of mouth opening as facial data regarding the mouth makes a higher contribution to the inference of the change size compared to the degree of eye opening, the speed of blinking and the frequency of blinking as facial data regarding the eyes. That is, when the mouth of the occupant was detected by means of the face detection processing and the eyes were not detected because the occupant was e.g. For example, if someone wears sunglasses, the reliability of the change size inference result can be improved by converting the face data into a learned model with a high contribution as in the example of 11 B shown can be entered.

Das heißt, wenn mittels der Gesicht-Detektionsverarbeitung von einer Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde, kann die Zuverlässigkeit des Müdigkeit-Folgerungsergebnisses sichergestellt werden, wenn entsprechend der Klassifikation der detektierten anderen Gesichtselemente aus einer Vielzahl von gelernten Modellen ein gelerntes Modell ausgewählt wird, das die Änderungsgröße der Müdigkeitsstufe erwirbt. Im Folgenden wird zusammen mit dem Aufbau der Müdigkeit-Folgerungsvorrichtung 10 die Müdigkeit-Folgerungsverarbeitung erläutert.That is, when a part of the facial elements has not been detected by the face detection processing of a plurality of facial elements, the reliability of the fatigue inference result can be ensured if a learned model is selected from a plurality of learned models according to the classification of the detected other facial elements which acquires the change magnitude of the fatigue level. The following explains the fatigue inference processing along with the structure of the fatigue inference device 10.

12 ist ein Strukturdiagramm, das ein Strukturbeispiel eines Müdigkeit-Folgerungssystems 100 gemäß der dritten Ausführungsform zeigt. Bei der vorliegenden Ausführungsform ist die Müdigkeit-Folgerungssektion 12 der Müdigkeit-Folgerungsvorrichtung 10 mit der Gelerntes-Modell-Speichersektion 40 verbunden. 12 is a structural diagram showing a structural example of a fatigue inference system 100 according to the third embodiment. In the present embodiment, the fatigue inference section 12 of the fatigue inference device 10 is connected to the learned model storage section 40.

Die Müdigkeit-Folgerungssektion 12 schlussfolgert unter Nutzung eines gelernten Modells die Änderungsgröße. Das heißt, dadurch, dass von dem Gesichtsdetektor 11 Gesichtsdaten erworben werden und die von dem Gesichtsdetektor 11 erworbenen Gesichtsdaten in das gelernte Modell eingegeben werden, erhalten die Müdigkeit-Folgerungssektion 12 eine anhand der Gesichtsdaten schlussgefolgerte Änderungsgröße.The fatigue inference section 12 infers the change magnitude using a learned model. That is, by acquiring face data from the face detector 11 and inputting the face data acquired from the face detector 11 into the learned model, the fatigue inference section 12 obtains a change amount inferred from the face data.

Bei der vorliegenden Ausführungsform wurde erläutert, dass die Änderungsgröße unter Verwendung eines durch die Modellerzeugungssektion 32 der Lernvorrichtung 300 bezüglich der Müdigkeit-Folgerungsvorrichtung 10 gelernten Modells ausgegeben wird, es kann aber auch von außen ein gelerntes Modell einer Lernvorrichtung bezüglich einer anderen Müdigkeit-Folgerungsvorrichtung erworben und basierend auf diesem gelernten Modell die Änderungsgröße ausgegeben werden.In the present embodiment, it was explained that the change amount is output using a model learned by the model generating section 32 of the learning device 300 with respect to the fatigue inference device 10, but a learned model of a learning device with respect to another fatigue inference device may be acquired from outside and The change size is output based on this learned model.

Als Nächstes wird unter Verwendung von 13 die Verarbeitung zum Erhalten der Änderungsgröße und der Müdigkeitsstufe erläutert. 13 sind Ablaufdiagramme, die Betriebsbeispiele der Müdigkeit-Folgerungsvorrichtung 10 gemäß der dritten Ausführungsform zeigen. 13A zeigt ein Ablaufdiagramm, das der Verarbeitung von ST207 in 7 entspricht, und 13B zeigt ein Ablaufdiagramm, das der Verarbeitung von ST208 in 7 entspricht.Next is using 13 the processing for obtaining the change size and the fatigue level is explained. 13 are flowcharts showing operational examples of the fatigue inference device 10 according to the third embodiment. 13A shows a flowchart showing the processing of ST207 in 7 corresponds, and 13B shows a flowchart showing the processing of ST208 in 7 corresponds.

Das heißt, in 13A zeigen ST304 bis ST307 die Müdigkeit-Folgerungsverarbeitung, nachdem durch die Gesichtselement-Beurteilungssektion 5 bestimmt wurde, dass mittels der zweiten Gesicht-Detektionsverarbeitung ein Teil der Gesichtselemente (Gesichtselemente B2) nicht detektiert und andere Gesichtselemente (Gesichtselemente A2) detektiert worden sind. Ferner zeigen in 13B ST308 bis ST311 die Müdigkeit-Folgerungsverarbeitung, nachdem durch die Gesichtselement-Beurteilungssektion 5 bestimmt wurde, dass mittels der zweiten Gesicht-Detektionsverarbeitung ein Teil der Gesichtselemente (Gesichtselemente A2) nicht detektiert und andere Gesichtselemente (Gesichtselemente B2) nicht detektiert worden sind. Sowohl bei ST304 bis ST307 als auch bei ST308 bis 311 handelt es sich um die Verarbeitung, nachdem durch die Gesichtselement-Beurteilungssektion 5 beurteilt wurde, dass mittels der zweiten Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde.That is, in 13A ST304 to ST307 show the fatigue inference processing after it is determined by the facial element judgment section 5 that part of the facial elements (facial elements B2) are not detected and other facial elements (facial elements A2) are detected by the second face detection processing. Furthermore show in 13B ST308 to ST311, the fatigue inference processing after it is determined by the facial element judgment section 5 that a part of the facial elements (facial elements A2) have not been detected and other facial elements (facial elements B2) have not been detected by the second face detection processing. Both for ST304 to ST307 and for ST308 to 311 is the processing after it is judged by the facial element judging section 5 that a part of the facial elements was not detected by the second face detection processing among the plurality of facial elements.

Zunächst wird die in 13A gezeigte Verarbeitung erläutert. Zuerst werden durch die Müdigkeit-Folgerungssektion 12 zweite Gesichtsdaten von dem Gesichtsdetektor 11 erworben (ST304). Die durch die Müdigkeit-Folgerungssektion 12 erworbenen zweiten Gesichtsdaten sind zweite Gesichtsdaten bezüglich anderer Gesichtselemente (Gesichtselemente A2), die sich von dem durch die zweite Gesicht-Detektionsverarbeitung nicht detektierten Teil von Gesichtselementen (Gesichtselemente B2) unterscheiden.First of all, the in 13A Processing shown explained. First, second face data is acquired from the face detector 11 by the fatigue inference section 12 (ST304). The second facial data acquired by the fatigue inference section 12 is second facial data regarding other facial elements (facial elements A2) different from the part of facial elements (facial elements B2) not detected by the second face detection processing.

Dann werden die zweiten Gesichtsdaten durch die Müdigkeit-Folgerungssektion 12 in das in der Gelerntes-Modell-Speichersektion 40 aufgezeichnete gelernte Modell eingegeben (ST305). Dabei gibt die Müdigkeit-Folgerungssektion 12 die zweiten Gesichtsdaten in ein gelerntes Modell ein, bei dem die durch die zweite Gesicht-Detektionsverarbeitung detektierten anderen Gesichtselemente (Gesichtselemente A2) verglichen mit anderen Gesichtselementen als den Gesichtselementen A2 (z. B. Gesichtsdaten B2), einen höheren Beitrag zur Schlussfolgerung der Änderungsgröße leisten. Bei dem Beispiel in 13A ist das gelernte Modell, bei dem die Gesichtselemente A2 als erste Gesichtselemente einen höheren Beitrag zur Schlussfolgerung der Änderungsgröße beitragen, als erstes gelerntes Modell dargestellt. Ferner ist das erste gelernte Modell, bei dem die ersten Gesichtselemente z. B. die Augen des Insassen sind, ein gelerntes Modell, bei dem wie in 11A gezeigt, der Beitrag der Gesichtsdaten bezüglich der Augen größer als der Beitrag der Gesichtsdaten bezüglich des Mundes usw. ist.Then, the second face data is input into the learned model recorded in the learned model storage section 40 by the fatigue inference section 12 (ST305). At this time, the fatigue inference section 12 inputs the second facial data into a learned model in which the other facial elements (facial elements A2) detected by the second face detection processing are compared with facial elements other than the facial elements A2 (e.g., facial data B2). contribute more to the magnitude of change conclusion. In the example in 13A is the learned model in which the facial elements A2 as the first facial elements make a higher contribution to the conclusion of the change size, shown as the first learned model. Furthermore, the first learned model in which the first facial elements e.g. B. are the occupant's eyes, a learned model in which as in 11A shown, the contribution of the facial data related to the eyes is greater than the contribution of the facial data related to the mouth, etc.

Als Nächstes wird durch die Müdigkeit-Folgerungssektion 12 die Änderungsgröße für die mittels des gelernten Modells erhaltene erste Müdigkeitsstufe erworben (ST306). Dann wird durch die Müdigkeit-Folgerungssektion 12 aus der Speichersektion die erste Müdigkeitsstufe erworben, und anhand der ersten Müdigkeitsstufe und der mittels des gelernten Modells erhaltenen Änderungsgröße die zweite Müdigkeitsstufe berechnet (ST307).Next, the change amount for the first level of fatigue obtained by the learned model is acquired by the fatigue inference section 12 (ST306). Then, the first fatigue level is acquired from the storage section by the fatigue inference section 12, and the second fatigue level is calculated based on the first fatigue level and the change quantity obtained using the learned model (ST307).

Andererseits wird die in 13B gezeigte Verarbeitung erläutert. Zunächst werden durch die Müdigkeit-Folgerungssektion 12 zweite Gesichtsdaten von dem Gesichtsdetektor 11 erworben (ST308). Die durch die Müdigkeit-Folgerungssektion 12 erworbenen zweiten Gesichtsdaten sind zweite Gesichtsdaten bezüglich anderer Gesichtselemente (Gesichtselemente B2) als dem durch die zweite Gesicht-Detektionsverarbeitung nicht detektierten Teil von Gesichtselementen (Gesichtselemente A2).On the other hand, the in 13B Processing shown explained. First, second face data is acquired from the face detector 11 by the fatigue inference section 12 (ST308). The second facial data acquired by the fatigue inference section 12 is second facial data regarding facial elements (facial elements B2) other than the part of facial elements (facial elements A2) not detected by the second face detection processing.

Dann werden die zweiten Gesichtsdaten durch die Müdigkeit-Folgerungssektion 12 in das in der Gelerntes-Modell-Speichersektion 40 aufgezeichnete gelernte Modell eingegeben (ST309). Dabei gibt die Müdigkeit-Folgerungssektion 12 die zweiten Gesichtsdaten in ein gelerntes Modell ein, bei dem die durch die zweite Gesicht-Detektionsverarbeitung detektierten anderen Gesichtselemente (Gesichtselemente B2) verglichen mit anderen Gesichtselementen als den Gesichtselementen B2 (z. B. Gesichtsdaten A2), einen höheren Beitrag zur Schlussfolgerung der Änderungsgröße leisten. Bei dem Beispiel in 13B ist das gelernte Modell, bei dem die Gesichtselemente B2 als zweite Gesichtselemente einen höheren Beitrag zur Schlussfolgerung der Änderungsgröße beitragen, als zweites gelerntes Modell dargestellt. Ferner ist das zweite gelernte Modell, bei dem die zweiten Gesichtselemente z. B. der Mund des Insassen sind, ein gelerntes Modell, bei dem wie in 11 B gezeigt, der Beitrag der Gesichtsdaten bezüglich des Mundes größer als der Beitrag der Gesichtsdaten bezüglich der Augen usw. ist.Then, the second face data is input into the learned model recorded in the learned model storage section 40 by the fatigue inference section 12 (ST309). At this time, the fatigue inference section 12 inputs the second facial data into a learned model in which the other facial elements (facial elements B2) detected by the second face detection processing are compared with facial elements other than the facial elements B2 (e.g., facial data A2). contribute more to the magnitude of change conclusion. In the example in 13B the learned model, in which the facial elements B2, as second facial elements, make a higher contribution to the conclusion of the change size, is shown as the second learned model. Furthermore, the second learned model, in which the second facial elements z. B. are the occupant's mouth, a learned model in which as in 11 B shown, the contribution of the facial data related to the mouth is greater than the contribution of the facial data related to the eyes, etc.

Als Nächstes wird durch die Müdigkeit-Folgerungssektion 12 die Änderungsgröße für die mittels des gelernten Modells erhaltene erste Müdigkeitsstufe erworben (ST310). Dann wird durch die Müdigkeit-Folgerungssektion 12 aus der Speichersektion die erste Müdigkeitsstufe erworben, und anhand der ersten Müdigkeitsstufe und der mittels des gelernten Modells erhaltenen Änderungsgröße die zweite Müdigkeitsstufe berechnet (ST311). Hierdurch wird auch wenn von einer Vielzahl von Gesichtselementen ein Teil der Gesichtselemente nicht detektiert wurde, der Müdigkeitszustand des Insassen nicht unsicher, sodass dadurch, dass die Müdigkeit des Insassen unter Verwendung eines gelernten Modells gefolgert werden kann, bei dem mittels des Gesicht-Detektionsverfahrens detektierbare Gesichtselemente einen großen Einfluss auf die Folgerung der Müdigkeit haben, die Zuverlässigkeit des Müdigkeit-Folgerungsergebnisses verbessert werden kann.Next, the change amount for the first level of fatigue obtained by the learned model is acquired by the fatigue inference section 12 (ST310). Then, the first level of fatigue is acquired from the storage section by the fatigue inference section 12, and the second level of fatigue is calculated based on the first level of fatigue and the change quantity obtained using the learned model (ST311). As a result, even if some of the facial elements have not been detected from a large number of facial elements, the tiredness state of the occupant does not become uncertain, so that the occupant's tiredness can be inferred using a learned model in which facial elements that can be detected using the face detection method have a great impact on the inference of fatigue, the reliability of the fatigue inference result can be improved.

Erfolgt beim Betrieb der vorstehend beschriebenen Müdigkeit-Folgerungsvorrichtung 10 nach der zweiten Gesicht-Detektionsverarbeitung eine dritte Gesicht-Detektionsverarbeitung und sind die mittels der zweiten GesichtDetektionsverarbeitung detektierten Gesichtselemente und die mittels der dritten Gesicht-Detektionsverarbeitung detektierten Gesichtselemente gleich, kann durch die Müdigkeit-Folgerungsverarbeitung ab der dritten Gesicht-Detektionsverarbeitung auch unter Verwendung anderer Gesichtselemente die Müdigkeit gefolgert werden. Das heißt, wurde mittels der zweiten Gesicht-Detektionsverarbeitung und der dritten Gesicht-Detektionsverarbeitung von der Vielzahl von Gesichtselementen des Insassen ein Teil der Gesichtselemente nicht detektiert, kann die Müdigkeit-Folgerungssektion 12 die Müdigkeit auch unter Verwendung von dritten Gesichtsdaten folgern, die anhand der mittels der dritten Gesicht-Detektionsverarbeitung detektierten anderen Gesichtselemente erhaltenen wurden.When operating the fatigue inference device 10 described above, if a third face detection processing is carried out after the second face detection processing and the facial elements detected by the second face detection processing and the facial elements detected by the third face detection processing are the same, the fatigue inference processing can be carried out from the third face detection processing also inferred the fatigue using other facial elements become. That is, if a part of the occupant's facial elements was not detected by the second face detection processing and the third face detection processing, the fatigue inference section 12 can also infer the fatigue using third facial data obtained from the means other facial elements detected by the third face detection processing were obtained.

Es wird beispielsweise angenommen, dass ein Insasse kein Accessoire trägt und durch die erste Gesicht-Detektionsverarbeitung des Gesichtsdetektors 11 Augen, Mund und Nase detektiert werden, und dadurch, dass der Insasse eine Sonnenbrille trägt, durch die zweite Gesicht-Detektionsverarbeitung des Gesichtsdetektors 11 die Augen nicht detektiert werden, und Mund und Nase detektiert werden. In diesem Fall wird durch die Müdigkeit-Folgerungssektion 12 unter Verwendung der ersten Gesichtsdaten, die anhand der Augen, der Nase und des Mundes erhalten wurden, die Müdigkeitsstufe berechnet, und anschließend wird unter Verwendung der zweiten Gesichtsdaten, die durch die zweite Gesicht-Detektionsverarbeitung erhalten wurden, die Änderungsgröße berechnet und die zweite Müdigkeitsstufe berechnet. Trägt der Insasse unverändert die Sonnenbrille, wird dann durch die Müdigkeit-Folgerungssektion 12 mittels der dritten Gesichtsdaten, die anhand von Nase und Mund bei der dritten Gesicht-Detektionsverarbeitung erhalten wurden, die dritte Müdigkeitsstufe berechnet. Hierdurch erfolgt bei der Müdigkeit-Folgerungsverarbeitung ab dem Zeitpunkt, an dem ein Teil der Gesichtselemente nicht mehr detektiert wurde, unter Verwendung der durch die Gesicht-Detektionsverarbeitung detektierbaren Gesichtselemente eine Müdigkeitsfolgerung, sodass die Verarbeitungsbelastung der Müdigkeit-Folgerungsvorrichtung 10 reduziert werden kann.For example, assume that an occupant is not wearing an accessory and the eyes, mouth and nose are detected by the first face detection processing of the face detector 11, and the occupant is wearing sunglasses, the eyes are detected by the second face detection processing of the face detector 11 cannot be detected, and the mouth and nose are detected. In this case, the fatigue level is calculated by the fatigue inference section 12 using the first face data obtained from the eyes, nose and mouth, and then using the second face data obtained by the second face detection processing were calculated, the change magnitude was calculated and the second level of fatigue was calculated. If the occupant continues to wear the sunglasses, the third level of fatigue is then calculated by the fatigue inference section 12 using the third face data obtained from the nose and mouth in the third face detection processing. As a result, in the fatigue inference processing, from the point in time at which a part of the facial elements are no longer detected, a fatigue inference is made using the facial elements detectable by the face detection processing, so that the processing load of the fatigue inference device 10 can be reduced.

Außerdem können gelernte Modelle zum Schlussfolgern der Müdigkeitsstufe anhand von Gesichtsdaten erzeugt und die gelernten Modelle in der Gelerntes-Modell-Speichersektion 40 gespeichert werden, und die Müdigkeit-Folgerungssektion 12 durch die Eingabe von dritten Gesichtsdaten in die Gelerntes-Modell-Speichersektion 40 die dritte Müdigkeitsstufe erwerben. Dabei ist es bevorzugt, wenn es sich bei dem gelernten Modell zum Schlussfolgern der dritten Müdigkeitsstufe um ein gelerntes Modell handelt, das einen großen Einfluss auf die Berechnung der Müdigkeitsstufe der dritten Gesichtsdaten hat. Hierdurch kann auch wenn ein Teil der Gesichtselemente nicht mehr detektiert werden kann, unter Verwendung eines gelernten Modells, bei dem mittels des Gesicht-Detektionsverfahrens detektierbare Gesichtselemente einen großen Einfluss auf die Folgerung der Müdigkeit haben, eine Müdigkeitsfolgerung durchgeführt werden, sodass die Zuverlässigkeit des Müdigkeit-Folgerungsergebnisses der Müdigkeit-Folgerungsvorrichtung 10 verbessert werden kann.In addition, learned models for inferring the level of fatigue can be generated from facial data, and the learned models can be stored in the learned model storage section 40, and the fatigue inference section 12 can determine the third level of fatigue by inputting third facial data into the learned model storage section 40 acquire. It is preferred if the learned model for inferring the third level of fatigue is a learned model that has a large influence on the calculation of the level of fatigue of the third facial data. As a result, even if some of the facial elements can no longer be detected, fatigue inference can be carried out using a learned model in which facial elements detectable by means of the face detection method have a great influence on the inference of fatigue, so that the reliability of the fatigue detection can be carried out. Inference result of the fatigue inference device 10 can be improved.

Bei der vorliegenden Ausführungsform wurde die Anwendung eines überwachten Lernens bei einem Lernalgorithmus erläutert, der die Modellerzeugungssektion 32 verwendet, wobei hierauf keine Beschränkung besteht. Bei einem Lernalgorithmus ist abgesehen von einem überwachten Lernen auch ein bestärkendes Lernen, ein unüberwachtes Lernen oder ein halb-überwachtes Lernen anwendbar.In the present embodiment, the application of supervised learning to a learning algorithm using the model generating section 32 has been explained, but is not limited to this. In addition to supervised learning, reinforcement learning, unsupervised learning or semi-supervised learning can also be used in a learning algorithm.

Ferner ist es auch möglich, dass die Modellerzeugungssektion 32 für eine Vielzahl von Müdigkeit-Folgerungsvorrichtungen 10 erzeugten Lerndaten folgend Änderungsgrößen lernt. Die Modellerzeugungsvorrichtung 32 kann auch Lerndaten von einer Vielzahl von Müdigkeit-Folgerungsvorrichtungen 10, die für den gleichen Bereich verwendet werden, erwerben, oder unter Nutzung von Lerndaten, die von einer Vielzahl von Müdigkeit-Folgerungsvorrichtungen 10 gesammelt werden, die in unterschiedlichen Bereichen unabhängig betrieben werden, Änderungsgrößen lernen. Ferner ist es auch möglich, zwischendurch eine Lerndaten sammelnde Müdigkeit-Folgerungsvorrichtung 10 einem Zielobjekt zuzusetzen oder von einem Zielobjekt zu entfernen. Außerdem kann eine Lernvorrichtung 300, die bezüglich einer bestimmten Müdigkeit-Folgerungsvorrichtung Änderungsgrößen gelernt hat, bei einer anderen Müdigkeit-Folgerungsvorrichtung verwendet werden, und bezüglich der anderen Müdigkeit-Folgerungsvorrichtung 10 Änderungsgrößen neu lernen und aktualisieren.Furthermore, it is also possible for the model generating section 32 to learn following change variables generated for a plurality of fatigue inference devices 10. The model generation device 32 may also acquire learning data from a plurality of fatigue inference devices 10 used for the same area, or using learning data collected from a plurality of fatigue inference devices 10 operating independently in different areas ,learning change magnitudes. Furthermore, it is also possible to occasionally add a fatigue inference device 10 that collects learning data to a target object or remove it from a target object. In addition, a learning device 300 that has learned change quantities with respect to a particular fatigue inference device can be used with another fatigue inference device, and relearn and update change quantities with respect to the other fatigue inference device 10.

Als Lernalgorithmus, bei dem die Modellerzeugungssektion 32 verwendet wird, kann ferner auch ein einem anderen bekannten Verfahren, z. B. Gradient-Boosting, genetisches Programmieren, funktionallogisches Programmieren oder Support Vector Machine folgendes maschinelles Lernen ausgeführt werden, bei dem auch ein tiefgehendes Lernen (Deep Learning) verwendet wird, bei dem die Extraktion der Merkmalsgrößen selbst gelernt wird.As a learning algorithm in which the model generation section 32 is used, another known method, e.g. B. gradient boosting, genetic programming, functional logic programming or support vector machine, the following machine learning can be carried out, in which deep learning is also used, in which the extraction of the feature sizes themselves is learned.

Bei den verschiedenen Ausführungsformen, die in der vorliegenden Beschreibung offenbart sind, ist innerhalb dieses Bereichs eine beliebige Kombination der jeweiligen Ausführungsformen möglich, und die jeweiligen Ausführungsformen können auch in geeigneter Weise abgewandelt oder abgekürzt werden.Among the various embodiments disclosed in the present specification, any combination of the respective embodiments is possible within this range, and the respective embodiments may also be appropriately modified or abbreviated.

[Erläuterung der Bezugszeichen][Explanation of reference numerals]

11: BilderwerbssektionImage acquisition section
22: Fahrzeuginformationen-ErwerbssektionVehicle Information Acquisition Section
33: Merkmalspunkt-DetektionssektionFeature point detection section
44: Merkmalsgrößen-BerechnungssektionFeature size calculation section
55: Gesichtselement-BeurteilungssektionFacial element judgment section
1010: Müdigkeit-FolgerungsvorrichtungFatigue inference device
1111: GesichtsdetektorFace detector
1212: Müdigkeit-FolgerungssektionFatigue Inference Section
2020: AbbildungsvorrichtungImaging device
3131: DatenerwerbssektionData acquisition section
3232: ModellerzeugungssektionModel creation section
4040: Gelerntes-Modell-SpeichersektionLearned model storage section
6161: AbbildungsbildIllustration image
7171: Gesichtsbereichfacial area
8181: Linkes AugeLeft eye
8282: Rechtes AugeRight eye
8383: NaseNose
8484: Mundmouth
100100: Müdigkeit-FolgerungssystemFatigue inference system
200200: Fahrzeugseitige SteuerungsvorrichtungVehicle-side control device
300300: LernvorrichtungLearning device
501501: FahrersitzDriver's seat
502502: BeifahrersitzPassenger seat
503503: Fahrerdriver
504504: Beifahrerpassenger

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

JP 2003296712 A [0003]

Claims

A fatigue inference device comprising an image acquisition section that acquires an image image from an imaging device for imaging an occupant in a vehicle, a face detector that performs face detection processing in which a plurality of facial elements of the occupant are detected from the image image, and a fatigue inference device Inference section for inferring the tiredness of the occupant detected based on the image image, characterized in that a first face detection processing is carried out by the face detector as face detection processing and a second face detection processing is carried out after the first face detection processing, and by the fatigue inference section for the In the case where a part of the facial elements was not detected by the second face detection processing of the plurality of facial elements of the occupant, using first facial data obtained from the part of facial elements detected by the first face detection processing and second facial data, obtained from other facial elements detected by the second face detection processing, which are different from the part of the facial elements, the fatigue of the occupant is inferred.

Fatigue inference device Claim 1 , characterized in that by the fatigue inference section, when the part of the facial elements has not been detected by the second face detection processing of the plurality of facial elements, using feature sizes based on the part of the facial elements detected by the first face detection processing were detected as first facial data, and feature sizes inferred from other facial elements detected by the second face detection processing as second facial data, the occupant's fatigue is inferred.

Fatigue inference device Claim 1 , characterized in that by the fatigue inference section, when by the second face detection processing of the plurality of facial elements, the part of the facial elements has not been detected using feature sizes based on the part of the facial elements and other facial elements determined by the first face detection processing as first face data, and feature sizes inferring the occupant's fatigue based on the other elements detected by the second face detection processing as second face data.

Fatigue inference device according to one of the Claims 1 until 3 , characterized in that by the fatigue inference section, when the part of the facial elements has not been detected by the second face detection processing of the plurality of facial elements of the occupant, using a first fatigue level calculated using the first facial data and a change amount the fatigue level based on the first fatigue level, which infers the occupant's fatigue using the second facial data obtained from the other facial elements detected by the second face detection processing.

Fatigue inference device according to one of the Claims 1 until 3 , characterized in that by the fatigue inference section, when the part of the facial elements has not been detected by the second face detection processing of the plurality of facial elements, using the first fatigue level calculated using the first face data and the change amount of the fatigue level acquired by a learned model storage section in which learned models for inferring the change amount of the fatigue level with respect to the first fatigue level are recorded based on the second face data obtained based on the other facial elements detected by the second face detection processing, the occupant's fatigue is concluded.

Fatigue inference device Claim 5 , characterized in that in the learned model storage section a plurality of learned models are recorded, and by the fatigue inference section according to the classification of the other facial elements detected by the second face detection processing, a learned model for acquiring the change amount of the fatigue level from the variety of learned models is selected.

Fatigue inference device Claim 6 , characterized in that in the learned model storage section first learned models in which the facial data with respect to the first facial elements of the occupant's facial elements have a greater influence on the conclusion of the change magnitude of the fatigue level compared to the facial data with respect to the second facial elements of the occupant's facial data that are different from the first facial elements, and second learned models in which the facial data relating to the second facial elements have a greater influence on the inference of the change amount of the fatigue level compared to the facial data relating to the first facial elements are recorded, and the fatigue inference section when the other facial elements detected by the second face detection processing are the first facial elements, acquires the change amount of the fatigue level based on the first learned models, and when the other facial elements detected by the second face detection processing are the second facial elements, acquires the change amount of the fatigue level based on the second learned models.

Fatigue inference device Claim 7 , characterized in that the first facial elements are the eyes and the second facial elements are the mouth.

Fatigue inference device according to one of the Claims 1 until 8th , characterized in that by the fatigue inference section when a third face detection processing is carried out after the second face detection processing, and by the second face detection processing and the third face detection processing of the plurality of facial elements of the occupant, a part of the facial elements is not was detected, using third facial data obtained from the other facial elements detected by the third face detection processing, the fatigue of the occupant is inferred.

A fatigue inference system comprising a vehicle-mounted imaging device that captures an occupant inside the vehicle, an image acquisition section that acquires an image image from the imaging device, a face detector that performs face detection processing in which a plurality of facial elements of the occupant are determined based on the image image are detected, and a fatigue inference section for inferring the fatigue of the occupant detected based on the image image, characterized in that a first face detection processing is carried out by the face detector as face detection processing and after the first face detection processing a second face detection processing is carried out, and by the fatigue inference section in the case that a part of the facial elements has not been detected by the second face detection processing of the plurality of facial elements of the occupant, by means of the first facial data obtained from the part of facial elements detected by the first face detection processing and the second facial data obtained from the other facial elements different from the part of the facial elements detected by the second face detection processing, the fatigue of the occupant is inferred.