DE112020007397T5 - Mouth opening degree calculation device and mouth opening degree calculation method - Google Patents

Mouth opening degree calculation device and mouth opening degree calculation method Download PDF

Info

Publication number
DE112020007397T5
DE112020007397T5 DE112020007397.1T DE112020007397T DE112020007397T5 DE 112020007397 T5 DE112020007397 T5 DE 112020007397T5 DE 112020007397 T DE112020007397 T DE 112020007397T DE 112020007397 T5 DE112020007397 T5 DE 112020007397T5
Authority
DE
Germany
Prior art keywords
opening degree
mouth opening
human
section
degree calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112020007397.1T
Other languages
German (de)
Inventor
Ryosuke KONABE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of DE112020007397T5 publication Critical patent/DE112020007397T5/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

Die Mundöffnungsgrad-Berechnungsvorrichtung (10) umfasst eine Gesichtsteil-Detektionssektion (11) und eine Mundöffnungsgrad-Berechnungssektion (12). Die Gesichtsteil-Detektionssektion (11) detektiert die jeweiligen Teile des Gesichts eines Menschen anhand eines Porträts des Menschen, das die Kamera (20) aufgenommen hat. Die Mundöffnungsgrad-Berechnungssektion (12) berechnet den Mundöffnungsgrad, bei dem es sich um das Ausmaß der Öffnung des Mundes eines Menschen handelt, basierend auf dem Abstand zwischen einem spezifischen Teil des Gesichts des Menschen oberhalb des Mundes und dem Kinn in dem Porträt.The mouth opening degree calculation device (10) comprises a facial part detection section (11) and a mouth opening degree calculation section (12). The face part detection section (11) detects the respective parts of a human's face from a portrait of the human captured by the camera (20). The mouth opening degree calculation section (12) calculates the mouth opening degree, which is the degree of opening of a human's mouth, based on the distance between a specific part of the human's face above the mouth and the chin in the portrait.

Description

[Technisches Gebiet][Technical Field]

Die vorliegende Offenbarung betrifft eine Technik zum Berechnen des Ausmaßes der Öffnung des Mundes eines Menschen.The present disclosure relates to a technique for calculating the amount of opening of a human's mouth.

[Hintergrundtechnologie][background technology]

Eine Technik, bei der anhand einer Änderung des Mundöffnungsgrads, bei dem es sich um das Ausmaß der Öffnung des Mundes des Fahrers eines Fahrzeugs handelt, der Zustand des Fahrers festgestellt wird, ist bekannt. Beispielsweise ist in dem folgenden Patentdokument 1 eine Technik zum Feststellen des Unachtsamkeitsgrades und Wachsamkeitsgrades des Fahrers basierend auf einer zeitlichen Änderung des Mundöffnungsgrads des Fahrers offenbart.A technique in which the state of the driver is detected from a change in the degree of mouth opening, which is the degree of opening of the mouth of the driver of a vehicle, is known. For example, in the following Patent Document 1, there is disclosed a technique for determining the degree of inattentiveness and degree of alertness of the driver based on a change over time in the degree of mouth opening of the driver.

[Dokumente des Standes der Technik][Prior Art Documents]

[Patentdokumente][patent documents]

[Patentdokument 1] Patentveröffentlichung Nr. 2010-241371 A[Patent Document 1] Patent Publication No. 2010-241371 A

[Überblick über die Erfindung][Outline of the Invention]

[Durch die Erfindung zu lösende Aufgabe][Problem to be solved by the invention]

Bei der Technologie des Patentdokuments 1 wird anhand eines Porträts des Fahrers, das durch eine Kamera aufgenommen wurde, der Mund des Fahrers detektiert, und dadurch der Mundöffnungsgrad berechnet. Ist der Mund des Fahrers verdeckt, z. B. weil der Fahrer eine Maske trägt, kann daher die Kamera den Mund des Fahrers nicht aufnehmen, sodass der Mundöffnungsgrad nicht berechnet werden kann.In the technology of Patent Document 1, based on a portrait of the driver captured by a camera, the driver's mouth is detected, and thereby the degree of mouth opening is calculated. Is the driver's mouth covered, e.g. Therefore, for example, because the driver wears a mask, the camera cannot pick up the driver's mouth, so the mouth opening degree cannot be calculated.

Die vorliegende Offenbarung erfolgte zur Lösung des vorstehenden Problems und macht es sich zur Aufgabe, eine Mundöffnungsgrad-Berechnungsvorrichtung bereitzustellen, durch die der Mundöffnungsgrad eines Menschen auch dann berechnet werden kann, wenn der Mund des Menschen verdeckt ist.The present disclosure has been made in order to solve the above problem, and has as an object to provide a mouth opening degree calculation device by which the mouth opening degree of a human can be calculated even when the human's mouth is covered.

[Mittel zum Lösen der Aufgabe][means for solving the task]

Die Mundöffnungsgrad-Berechnungsvorrichtung gemäß der vorliegenden Offenbarung umfasst eine Gesichtsteil-Detektionssektion zum Detektieren der jeweiligen Teile des Gesichts eines Menschen anhand eines Porträts des Menschen, und eine Mundöffnungsgrad-Berechnungssektion zum Berechnen des Mundöffnungsgrads, bei dem es sich um das Ausmaß der Öffnung des Mundes eines Menschen handelt, basierend auf dem Abstand zwischen einem spezifischen Teil des Gesichts des Menschen oberhalb des Mundes und dem Kinn in einem Porträt.The mouth opening degree calculation device according to the present disclosure includes a face part detection section for detecting the respective parts of a human's face from a portrait of the human, and a mouth opening degree calculation section for calculating the mouth opening degree, which is the degree of opening of the mouth of a person Human acts based on the distance between a specific part of the human's face above the mouth and the chin in a portrait.

[Effekte der Erfindung][Effects of the Invention]

Bei der Mundöffnungsgrad-Berechnungsvorrichtung gemäß der vorliegenden Offenbarung kann der Mundöffnungsgrad basierend auf dem Abstand zwischen einem spezifischen Teil des Gesichts eines Menschen oberhalb des Mundes und dem Kinn berechnet werden, sodass die Berechnung des Mundöffnungsgrads auch dann möglich ist, wenn der Mund des Menschen z. B. durch eine Maske verdeckt ist.In the mouth opening degree calculation device according to the present disclosure, the mouth opening degree can be calculated based on the distance between a specific part of a human's face above the mouth and the chin, so that the calculation of the mouth opening degree is possible even when the human's mouth is closed, for example. B. is covered by a mask.

Aufgabe, Charakteristik, Aspekte und Vorteile der vorliegenden Offenbarung werden aus der folgenden detaillierten Erläuterung und den angefügten Zeichnungen deutlicher.Object, characteristic, aspects and advantages of the present disclosure will become more clear from the following detailed explanation and attached drawings.

Figurenlistecharacter list

  • [1] 1 ist eine Ansicht, die den Aufbau einer Mundöffnungsgrad-Berechnungsvorrichtung gemäß einer ersten Ausführungsform zeigt.[ 1 ] 1 12 is a view showing the structure of a mouth opening degree calculation device according to a first embodiment.
  • [2] 2 ist ein Ablaufdiagramm, das den Betrieb der Mundöffnungsgrad-Berechnungsvorrichtung gemäß der ersten Ausführungsform zeigt.[ 2 ] 2 14 is a flow chart showing the operation of the mouth opening degree calculation device according to the first embodiment.
  • [3] 3 ist ein Ablaufdiagramm, das die Mundöffnungsgrad-Berechnungsverarbeitung bei der ersten Ausführungsform zeigt.[ 3 ] 3 Fig. 12 is a flow chart showing the mouth opening degree calculation processing in the first embodiment.
  • [4] 4 ist eine Ansicht, die ein Hardware-Strukturbeispiel der Mundöffnungsgrad-Berechnungsvorrichtung zeigt.[ 4 ] 4 12 is a view showing a hardware structure example of the mouth opening degree calculation device.
  • [5] 4 ist eine Ansicht, die ein Hardware-Strukturbeispiel der Mundöffnungsgrad-Berechnungsvorrichtung zeigt.[ 5 ] 4 12 is a view showing a hardware structure example of the mouth opening degree calculation device.
  • [6] 6 ist eine Ansicht, die den Aufbau einer Mundöffnungsgrad-Berechnungsvorrichtung gemäß einer zweiten Ausführungsform zeigt.[ 6 ] 6 12 is a view showing the structure of a mouth opening degree calculation device according to a second embodiment.
  • [7] 7 ist ein Ablaufdiagramm, das den Betrieb der Mundöffnungsgrad-Berechnungsvorrichtung gemäß der zweiten Ausführungsform zeigt.[ 7 ] 7 14 is a flow chart showing the operation of the mouth opening degree calculation device according to the second embodiment.
  • [8] 8 ist ein Ablaufdiagramm, das eine Mundöffnungsgrad-Korrekturverarbeitung bei der zweiten Ausführungsform zeigt.[ 8th ] 8th Fig. 14 is a flowchart showing mouth opening degree correction processing in the second embodiment.
  • [9] 9 ist eine Ansicht, die den Aufbau einer Mundöffnungsgrad-Berechnungsvorrichtung gemäß einer dritten Ausführungsform zeigt.[ 9 ] 9 12 is a view showing the structure of a mouth opening degree calculation device according to a third embodiment.
  • [10] 10 ist ein Ablaufdiagramm, das die Mundöffnungsgrad-Berechnungsverarbeitung bei der dritten Ausführungsform zeigt.[ 10 ] 10 Fig. 14 is a flow chart showing the mouth opening degree calculation processing in the third embodiment.
  • [11] 11 ist ein Ablaufdiagramm, das eine Mundöffnungsgrad-Korrekturverarbeitung bei der dritten Ausführungsform zeigt.[ 11 ] 11 Fig. 14 is a flowchart showing mouth opening degree correction processing in the third embodiment.
  • [12] 12 ist eine Ansicht, die ein Anwendungsbeispiel der Mundöffnungsgrad-Berechnungsvorrichtung bei einer Insassenzustand-Feststellungsvorrichtung zeigt.[ 12 ] 12 12 is a view showing an application example of the mouth opening degree calculation device to an occupant condition determination device.
  • [13] 13 ist ein Ablaufdiagramm, das den Betrieb einer Gähnen-Feststellungssektion zeigt.[ 13 ] 13 Fig. 12 is a flow chart showing the operation of a yawn determination section.
  • [14] 14 ist ein Ablaufdiagramm, das den Betrieb einer Gespräch-Feststellungssektion zeigt.[ 14 ] 14 Fig. 12 is a flow chart showing the operation of a talk detection section.

[Formen zur Ausführung der Erfindung][Forms for carrying out the invention]

<Erste Ausführungsform><First Embodiment>

1 ist eine Ansicht, die den Aufbau einer Mundöffnungsgrad-Berechnungsvorrichtung 10 gemäß der ersten Ausführungsform zeigt. Wie in 1 gezeigt, umfasst die Mundöffnungsgrad-Berechnungsvorrichtung 10 eine Gesichtsteil-Detektionssektion 11 und eine Mundöffnungsgrad-Berechnungssektion 12, und ist mit einer Kamera 20 zum Aufnehmen des Gesichts eines Menschen, bei dem es sich um einen Benutzer handelt, verbunden. 1 12 is a view showing the structure of a mouth opening degree calculation device 10 according to the first embodiment. As in 1 1, the mouth opening degree calculation device 10 includes a face part detection section 11 and a mouth opening degree calculation section 12, and is connected to a camera 20 for capturing the face of a human who is a user.

Die Gesichtsteil-Detektionssektion 11 detektiert die jeweiligen Teile des Gesichts des Benutzers anhand eines Bildes des Gesichts des Benutzers (im Folgenden „Porträt“), das die Kamera 20 aufgenommen hat. Die Gesichtsteil-Detektionssektion 11 kann von den Teilen eines Gesichts zumindest den Mund sowie das Kinn und spezifische Teile detektieren, die sich oberhalb des Mundes befinden. Als spezifische Teile sind z. B. Augen, Nase, Augenbrauen, Stirnmitte, Mittelpunkt zwischen den Augen usw. denkbar, wobei es sich bevorzugt um die Augen, die Nase oder den Mittelpunkt zwischen den Augen handelt, da Augenbrauen und die Stirnmitte leicht unter den Haaren versteckt sein können.The face part detection section 11 detects the respective parts of the user's face from an image of the user's face (hereinafter, “portrait”) captured by the camera 20 . The face part detection section 11 can detect, of the parts of a face, at least the mouth and the chin and specific parts located above the mouth. As specific parts z. B. eyes, nose, eyebrows, middle of the forehead, midpoint between the eyes, etc. conceivable, which is preferably the eyes, nose or midpoint between the eyes, since eyebrows and the middle of the forehead can easily be hidden under the hair.

Die Mundöffnungsgrad-Berechnungssektion 12 berechnet basierend auf dem Detektionsergebnis der jeweiligen Teile des Gesichts durch die Gesichtsteil-Detektionssektion 11 den Mundöffnungsgrad, bei dem es sich um das Ausmaß der Öffnung des Mundes des Benutzers handelt. Wenn durch die Gesichtsteil-Detektionssektion 11 der Mund des Benutzers detektiert wurde, berechnet die Mundöffnungsgrad-Berechnungssektion 12 den Mundöffnungsgrad anhand der Form des Mundes (z. B. den Abstand zwischen der Oberlippe und der Unterlippe in dem Porträt). Konnte durch die Gesichtsteil-Detektionssektion 11 der Mund des Benutzers nicht detektiert werden, berechnet die Mundöffnungsgrad-Berechnungssektion 12 den Mundöffnungsgrad anhand des Abstands zwischen einem spezifischen Teil in dem Porträt und dem Kinn (auch als „Abstand von einem spezifischen Teil bis zum Kinn“ bezeichnet). Durch die Mundöffnungsgrad-Berechnungssektion 12 kann daher der Mundöffnungsgrad des Benutzers auch dann berechnet werden, wenn der Mund des Benutzers z. B. durch eine Maske verdeckt ist.The mouth opening degree calculation section 12 calculates, based on the detection result of the respective parts of the face by the face part detection section 11, the mouth opening degree, which is the degree of opening of the user's mouth. When the user's mouth is detected by the face part detection section 11, the mouth opening degree calculation section 12 calculates the mouth opening degree based on the shape of the mouth (e.g., the distance between the upper lip and the lower lip in the portrait). When the user's mouth could not be detected by the face part detection section 11, the mouth opening degree calculation section 12 calculates the mouth opening degree from the distance between a specific part in the portrait and the chin (also referred to as "distance from a specific part to the chin") ). Therefore, by the mouth opening degree calculation section 12, the user's mouth opening degree can be calculated even when the user's mouth is e.g. B. is covered by a mask.

Wie in 1 gezeigt, umfasst die Mundöffnungsgrad-Berechnungssektion 12 eine Referenzdaten-Speichersektion 121 und eine Zuverlässigkeitsgrad-Berechnungssektion 122.As in 1 1, the mouth opening degree calculation section 12 includes a reference data storage section 121 and a reliability degree calculation section 122.

Die Referenzdaten-Speichersektion 121 ist ein Speichermedium zum Speichern von Referenzdaten, welche die Beziehung zwischen dem Abstand von einem spezifischen Teil eines Menschen bis zum Kinn und dem Mundöffnungsgrad ausdrücken. Die Mundöffnungsgrad-Berechnungssektion 12 berechnet den Mundöffnungsgrad des Benutzers durch einen Vergleich zwischen dem durch die Gesichtsteil-Detektionssektion 11 detektierten Abstand von spezifischen Teilen des Benutzers bis zum Kinn und den in der Referenzdaten-Speichersektion 121 gespeicherten Referenzdaten.The reference data storage section 121 is a storage medium for storing reference data expressing the relationship between the distance from a specific part of a human to the chin and the mouth opening degree. The mouth opening degree calculation section 12 calculates the mouth opening degree of the user by comparison between the distance from specific parts of the user to the chin detected by the face part detection section 11 and the reference data stored in the reference data storage section 121 .

Bei den Referenzdaten kann es sich um fixe Daten handeln, wobei die Referenzdaten jedoch bevorzugt pro Benutzer einzeln einstellbar sind, da es individuelle Unterschiede bei der Beziehung zwischen dem Abstand von spezifischen Teilen bis zum Kinn und dem Mundöffnungsgrad gibt. Konnten durch die Gesichtsteil-Detektionssektion 11 die spezifischen Teile des Benutzers, Kinn und Mund insgesamt detektiert werden, wird bei der vorliegenden Ausführungsform durch die Mundöffnungsgrad-Berechnungssektion 12 basierend auf der Form des Mundes des Menschen der Mundöffnungsgrad berechnet, und basierend auf dem Abstand von den detektierten spezifischen Teilen des Benutzers bis zum Kinn und dem berechneten Mundöffnungsgrad wird die Beziehung zwischen dem Abstand von den spezifischen Teilen des Benutzers bis zum Kinn und dem Mundöffnungsgrad berechnet, und mittels der Berechnungsergebnisse werden die Referenzdaten aktualisiert. Hierdurch werden die Referenzdaten zu auf den aktuellen Benutzer angepassten Daten.The reference data may be fixed data, but it is preferable that the reference data can be set individually per user because there are individual differences in the relationship between the distance from specific parts to the chin and the degree of mouth opening. In the present embodiment, when the specific parts of the user, chin and mouth could be detected by the facial part detection section 11 as a whole, the mouth opening degree calculation section 12 calculates the mouth opening degree based on the shape of the human's mouth, and based on the distance from the detected specific parts of the user up to the chin and the calculated degree of mouth opening, the relationship between the distance from the specific parts of the user up to the chin and the degree of mouth opening is calculated, and using the calculation results, the reference data is updated. This turns the reference data into data customized for the current user.

Umfasst die Mundöffnungsgrad-Berechnungsvorrichtung 10 ferner eine individuelle Authentifizierungsfunktion (oder ist sie mit einem Gerät kombiniert, das eine individuelle Authentifizierungsfunktion aufweist), können in der Referenzdaten-Speichersektion 121 auch Referenzdaten für einzelne Benutzer gesichert sein.When the mouth opening degree calculation device 10 further includes an individual authentication function (or is combined with an apparatus having an individual authentication function), reference data for individual users can also be saved in the reference data storage section 121 .

Durch die Zuverlässigkeitsgrad-Berechnungssektion 122 wird die Zuverlässigkeit des durch die Mundöffnungsgrad-Berechnungssektion 12 berechneten Mundöffnungsgrads berechnet. Es kann sich um ein beliebiges Zuverlässigkeitsgrad-Berechnungsverfahren handeln, wobei die Zuverlässigkeit beispielsweise basierend auf der Bildqualität (Ausmaß einer Überbelichtung oder Grauwertstauchung) des durch die Kamera 20 aufgenommenen Porträts, der Präzision der durch die Gesichtsteil-Detektionssektion 11 detektierten Teile des Gesichts oder die Präzision der Referenzdaten (z. B. Aktualisierungshäufigkeit der Referenzdaten) berechnet werden kann. Wird die Mundöffnungsgrad-Berechnungsvorrichtung 10 bei einer Applikation verwendet, bei der keine Daten der Zuverlässigkeit des Mundöffnungsgrads erforderlich sind, kann die Zuverlässigkeitsgrad-Berechnungssektion 122 auch weggelassen werden.By the degree of reliability calculation section 122, the reliability of the degree of mouth opening calculated by the degree of mouth opening calculation section 12 is calculated. It may be any degree of reliability calculation method, the reliability based on, for example, the image quality (amount of overexposure or gray scale compression) of the portrait taken by the camera 20, the precision of the parts of the face detected by the face part detection section 11, or the precision of the reference data (e.g. update frequency of the reference data) can be calculated. When the mouth opening degree calculation device 10 is used in an application that does not require data on the reliability of the mouth opening degree, the reliability degree calculation section 122 may be omitted.

Als Nächstes wird anhand der Ablaufdiagramme in 2 und 3 der Betrieb der Mundöffnungsgrad-Berechnungsvorrichtung 10 erläutert.Next, using the flowcharts in 2 and 3 the operation of the mouth opening degree calculation device 10 will be explained.

Mit Referenz auf 2 wird bei Beginn des Betriebs der Mundöffnungsgrad-Berechnungsvorrichtung 10 durch die Gesichtsteil-Detektionssektion 11 ein Porträt des Benutzers von der Kamera 20 erworben (Schritt S101), und anhand des erworbenen Porträts werden die jeweiligen Teile des Gesichts gesucht (Schritt S102).With reference to 2 When the mouth opening degree calculation device 10 starts to operate, the face part detection section 11 acquires a portrait of the user from the camera 20 (step S101), and the acquired portrait searches the respective parts of the face (step S102).

Dann erfolgt durch die Mundöffnungsgrad-Berechnungssektion 12 eine Mundöffnungsgrad-Berechnungsverarbeitung (Schritt S103), bei der es sich um eine Verarbeitung zur Berechnung des Mundöffnungsgrads des Benutzers anhand des Porträts handelt. 3 ist ein Ablaufdiagramm, das die Mundöffnungsgrad-Berechnungsverarbeitung zeigt.Then, the mouth opening degree calculation section 12 performs mouth opening degree calculation processing (step S103), which is processing for calculating the user's mouth opening degree from the portrait. 3 Fig. 12 is a flow chart showing the mouth opening degree calculation processing.

Bei der Mundöffnungsgrad-Berechnungsverarbeitung wird zunächst geprüft, ob durch die Gesichtsteil-Detektionssektion 11 der Mund anhand des Porträts detektiert wurde (Schritt S201). Wurde der Mund detektiert (JA in Schritt S201), berechnet die Mundöffnungsgrad-Berechnungssektion 12 den Mundöffnungsgrad (Schritt S202) anhand der Form des Mundes (z. B. Abstand zwischen der Oberlippe und der Unterlippe in dem Porträt). Außerdem wird geprüft, ob durch die Gesichtsteil-Detektionssektion 11 spezifische Teile und das Kinn anhand des Porträts detektiert wurden (Schritt S203). Wurden spezifische Teile und das Kinn detektiert (JA in Schritt S203), werden bei der Mundöffnungsgrad-Berechnungssektion 12 basierend auf dem Abstand zwischen den detektierten spezifischen Teilen und dem Kinn des Benutzers und dem in Schritt S203 berechneten Mundöffnungsgrad die in der Zuverlässigkeit-Berechnungssektion 122 gespeicherten Referenzdaten aktualisiert (Schritt S204) und die Mundöffnungsgrad-Berechnungsverarbeitung beendet. Wurden die spezifischen Teile und das Kinn nicht detektiert (NEIN in Schritt S203), wird Schritt S204 nicht durchgeführt.In the mouth opening degree calculation processing, it is first checked whether the mouth has been detected from the portrait by the face part detecting section 11 (step S201). When the mouth has been detected (YES in step S201), the mouth opening degree calculation section 12 calculates the mouth opening degree (step S202) based on the shape of the mouth (eg, distance between the upper lip and lower lip in the portrait). Also, it is checked whether specific parts and the chin have been detected from the portrait by the face part detection section 11 (step S203). When specific parts and the chin were detected (YES in step S203), at the mouth opening degree calculation section 12 based on the distance between the detected specific parts and the user's chin and the mouth opening degree calculated in step S203, those in the reliability calculation section 122 are stored Updated reference data (step S204) and ended the mouth opening degree calculation processing. If the specific parts and the chin have not been detected (NO in step S203), step S204 is not performed.

Wurde andererseits anhand des Porträts der Mund nicht detektiert (NEIN in Schritt S201), wird geprüft, ob durch die Gesichtsteil-Detektionssektion 11 spezifische Teile und das Kinn detektiert wurden (Schritte S205 und S206). Wurden die spezifischen Teile und das Kinn detektiert (JA sowohl in Schritt S205 als auch in S206), berechnet die Mundöffnungsgrad-Berechnungssektion 12 den Mundöffnungsgrad des Benutzers basierend auf dem Abstand zwischen den spezifischen Teilen und dem Kinn (Schritt S207).On the other hand, if the mouth was not detected from the portrait (NO in step S201), it is checked whether specific parts and the chin are detected by the face part detection section 11 (steps S205 and S206). When the specific parts and the chin have been detected (YES in both steps S205 and S206), the mouth opening degree calculation section 12 calculates the user's mouth opening degree based on the distance between the specific parts and the chin (step S207).

Wurden die spezifischen Teile oder das Kinn nicht detektiert (NEIN in Schritt S205 oder S206), beurteilt die Mundöffnungsgrad-Berechnungssektion 12 den Misserfolg der Berechnung des Mundöffnungsgrads (Schritt S208). Nach der Durchführung von Schritt S208 kehrt die Verarbeitung zurück zu Schritt S101 in 2. In Schritt S208 kann durch die Mundöffnungsgrad-Berechnungssektion 12 auch eine Mitteilung über den Misserfolg der Berechnung des Mundöffnungsgrads oder die Ausgabe eines ungültigen Werts des Mundöffnungsgrads erfolgen.If the specific parts or the chin were not detected (NO in step S205 or S206), the mouth opening degree calculation section 12 judges the failure of the mouth opening degree calculation (step S208). After performing step S208, the processing returns to step S101 in 2 . In step S208, the mouth opening degree calculation section 12 may also notify that the calculation of the mouth opening degree has failed or that an invalid value of the mouth opening degree is output.

Zurück zu 2 wird, nachdem die Mundöffnungsgrad-Berechnungsverarbeitung (Schritt S103) beendet ist, durch die Zuverlässigkeit-Berechnungssektion 122 der Mundöffnungsgrad-Berechnungssektion 12 die Zuverlässigkeit des bei der Mundöffnungsgrad-Berechnungsverarbeitung berechneten Mundöffnungsgrads berechnet (Schritt S104). Dann gibt die Mundöffnungsgrad-Berechnungssektion 12 die Berechnungsergebnisse des Mundöffnungsgrads und des Zuverlässigkeitsgrads aus (Schritt S105), und die Verarbeitung kehrt zurück zu Schritt S101.Back to 2 after the mouth opening degree calculation processing (step S103) is finished, the reliability of the mouth opening degree calculated in the mouth opening degree calculation processing is calculated by the reliability calculation section 122 of the mouth opening degree calculation section 12 (step S104). Then, the mouth opening degree calculation section 12 outputs the calculation results of the mouth opening degree and the reliability degree (step S105), and the processing returns to step S101.

Auf diese Weise kann bei der Mundöffnungsgrad-Berechnungsvorrichtung 10 gemäß der ersten Ausführungsform der Mundöffnungsgrad basierend auf dem Abstand zwischen spezifischen Teilen eines Gesichts oberhalb des Mundes (Augen, Nase usw.) und dem Kinn berechnet werden, sodass die Berechnung des Mundöffnungsgrads auch dann möglich ist, wenn der Mund des Benutzers z. B. durch eine Maske verdeckt ist.In this way, with the mouth opening degree calculation device 10 according to the first embodiment, the mouth opening degree can be calculated based on the distance between specific parts of a face above the mouth (eyes, nose, etc.) and the chin, so that the mouth opening degree calculation is possible even then , if the user's mouth z. B. is covered by a mask.

4 und 5 sind jeweils Ansichten, die Hardware-Strukturbeispiele der Mundöffnungsgrad-Berechnungsvorrichtung 10 zeigen. Die jeweiligen Funktionen der Bestandteile der in 1 gezeigten Mundöffnungsgrad-Berechnungsvorrichtung 10 werden z. B. durch eine in 4 gezeigte Verarbeitungsschaltung 50 realisiert. Das heißt, die Mundöffnungsgrad-Berechnungsvorrichtung 10 umfasst die Verarbeitungsschaltung 50 zum Detektieren der jeweiligen Teile des Gesichts eines Menschen anhand eines Porträts des Menschen, und zum Berechnen des Mundöffnungsgrads, bei dem es sich um das Ausmaß der Öffnung des Mundes eines Menschen handelt, basierend auf dem Abstand zwischen einer spezifischen Stelle des Gesichts des Menschen oberhalb des Mundes und dem Kinn in einem Porträt. Die Verarbeitungsschaltung 50 kann eine spezielle Hardware sein, sie kann jedoch auch mittels eines Prozessors (auch als zentrale Recheneinheit (CPU: Central Processing Unit), Verarbeitungsvorrichtung, Rechenvorrichtung, Mikroprozessor, Mikrocomputer, DSP (Digital Signal Processor) bezeichnet) gebildet sein, der in einem Speicher abgelegte Programme ausführt. 4 and 5 12 are views showing hardware structure examples of the mouth opening degree calculation device 10, respectively. The respective functions of the components of the in 1 shown mouth opening degree calculation device 10 z. B. by an in 4 processing circuit 50 shown is implemented. That is, the mouth opening degree calculation device 10 includes the processing circuit 50 for detecting the respective parts of a human's face from a portrait of the human, and calculating the mouth opening degree, which is the degree of opening of a human's mouth, based on the distance between a specific part of a person's face above the mouth and chin in a portrait. The processing circuit 50 may be dedicated hardware, but it may also be formed by a processor (also referred to as a central processing unit (CPU), processing device, computing device, microprocessor, microcomputer, DSP (Digital Signal Processor)) that is executes programs stored in memory.

Handelt es sich bei der Verarbeitungsschaltung 50 um eine spezielle Hardware, entspricht die Verarbeitungsschaltung 50 z. B. einer Einfachschaltung, einer komplexen Schaltung, einem programmierten Prozessor, parallelen programmierten Prozessoren, ASIC (Application Specific Integrated Circuit) FPGA (Field-Programmable Gate Array) oder deren Kombination usw. Die jeweiligen Funktionen der Bestandteile der Mundöffnungsgrad-Berechnungsvorrichtung 10 können durch separate Verarbeitungsschaltungen realisiert werden, diese Funktionen können jedoch auch durch eine einzige integrale Verarbeitungsschaltung realisiert werden.If the processing circuit 50 is a special hardware, the processing circuit 50 corresponds to e.g. B. a simple circuit, a complex circuit, a programmed processor, parallel programmed processors, ASIC (Application Specific Integrated Circuit) FPGA (Field-Programmable Gate Array) or their combination, etc. The respective functions of the components of the mouth opening degree calculation device 10 can by separate processing circuits can be realized, but these functions can also be realized by a single integral processing circuit.

5 zeigt ein Beispiel einer Hardwarestruktur der Mundöffnungsgrad-Berechnungsvorrichtung 10 für den Fall, dass die Verarbeitungsvorrichtung 50 mittels eines Prozessors 51 zum Ausführen von Programmen gebildet ist. In diesem Fall werden die Funktionen der Bestandteile der Mundöffnungsgrad-Berechnungsvorrichtung 10 durch eine Software usw. (Software, Firmware oder eine Kombination aus Software und Firmware) realisiert. Die Software usw. wird als Programm dargestellt und in einem Speicher 52 abgelegt. Der Prozessor 51 liest in dem Speicher 52 gespeicherte Programme aus, und führt sie aus, wodurch die verschiedenen Funktionen realisiert werden. Das heißt, die Mundöffnungsgrad-Berechnungsvorrichtung 10 umfasst den Speicher 52 zum Ablegen von Programmen, durch die bei einer Ausführung durch den Prozessor 51 schließlich eine Verarbeitung zum Detektieren der jeweiligen Gesichtsteile des Gesichts eines Menschen anhand eines Porträts des Menschen, und eine Verarbeitung zum Berechnen des Mundöffnungsgrads, bei dem es sich um den Mundöffnungsgrad eines Menschen handelt, basierend auf dem Abstand zwischen einer spezifischen Position des Gesichts des Menschen oberhalb des Mundes und dem Kinn in einem Porträt ausgeführt werden. Anders ausgedrückt, kann auch gesagt werden, dass es sich um Programme handelt, durch die die Abfolge und das Verfahren des Betriebs der Bestandteile der Mundöffnungsgrad-Berechnungsvorrichtung 10 auf einem Computer ausgeführt werden. 5 12 shows an example of a hardware structure of the mouth opening degree calculation device 10 in the case that the processing device 50 is constituted by a processor 51 for executing programs. In this case, the functions of the components of the mouth opening degree calculation device 10 are realized by software, etc. (software, firmware, or a combination of software and firmware). The software etc. is represented as a program and stored in a memory 52 . The processor 51 reads out and executes programs stored in the memory 52, thereby realizing the various functions. That is, the mouth opening degree calculation device 10 includes the memory 52 for storing programs through which, when executed by the processor 51, finally processing for detecting the respective facial parts of a human's face from a portrait of the human, and processing for calculating the mouth opening degree, which is a human's mouth opening degree, based on the distance between a specific position of the human's face above the mouth and the chin in a portrait. In other words, they can also be said to be programs by which the sequence and method of operation of the components of the mouth opening degree calculation device 10 are executed on a computer.

Der Speicher 52 kann ein nichtflüchtiger oder flüchtiger Halbleiterspeicher wie z. B. ein RAM (Random Access Memory), ein ROM (Read Only Memory), ein Flash-Speicher, ein EPROM (Erasable Programmable Read Only Memory), ein EEPROM (Electrically EPROM) usw., ein HDD (Hard Disk Drive), eine Magnetplatte, eine Floppy-Disk, eine optische Platte, eine Compact Disc, eine Minidisk, eine DVD (Digital Versatile Disc) und deren Treibervorrichtung usw., und ferner verschiedene zukünftig verwendete Speichermedien sein.The memory 52 can be a non-volatile or volatile semiconductor memory such as. a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically EPROM), etc., an HDD (Hard Disk Drive), a magnetic disk, a floppy disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc) and its driving device, etc., and further various storage media used in the future.

Vorstehend wurde der Aufbau erläutert, in dem die Funktionen der Bestandteile der Mundöffnungsgrad-Berechnungsvorrichtung 10 durch entweder eine Hardware oder eine Software usw. ausgeführt werden. Hierauf besteht jedoch keine Beschränkung, sodass es sich auch um einen Aufbau handeln kann, bei dem ein Teil der Bestandteile der Mundöffnungsgrad-Berechnungsvorrichtung 10 durch eine spezielle Hardware realisiert wird, und ein anderer Teil der Bestandteile durch eine Software usw. realisiert wird. Es ist z. B. möglich, dass mittels der Verarbeitungsschaltung 50 als spezieller Hardware die Funktionen eines Teils der Bestandteile ausgeführt wird, und die Funktionen eines anderen Teils der Bestandteile dadurch ausgeführt werden, dass die Verarbeitungsschaltung 50 als Prozessor 51 in dem Speicher 52 abgelegte Programme ausliest und ausführt.The structure in which the functions of the constituent parts of the mouth opening degree calculation device 10 are performed by either hardware or software, etc. has been explained above. However, it is not limited to this, and it may be a configuration in which part of the constituent parts of the mouth opening degree calculation device 10 is realized by dedicated hardware and another part of the constituent parts is realized by software and so on. It is Z. B. possible that using the processing circuit 50 as special hardware, the functions of some of the components are performed, and the functions of another part of the components are performed by the processing circuit 50 as a processor 51 in the memory 52 reads and executes programs.

Hierdurch kann die Mundöffnungsgrad-Berechnungsvorrichtung 10 die vorstehend beschriebenen jeweiligen Funktionen durch Hardware, Software usw. oder deren Kombination realisieren.Thereby, the mouth opening degree calculation device 10 can realize the respective functions described above by hardware, software, etc., or their combination.

1 zeigt einen Aufbau, bei dem die Kamera 20 außen an der Mundöffnungsgrad-Berechnungsvorrichtung 10 angebracht ist, die Kamera 20 kann aber auch in die Mundöffnungsgrad-Berechnungsvorrichtung 10 eingebaut sein. Ein Teil der Funktionen der Gesichtsteil-Detektionssektion 11 und der Mundöffnungsgrad-Berechnungssektion 12 kann auch auf einem mit der Mundöffnungsgrad-Berechnungsvorrichtung 10 kommunizierbaren externen Server realisiert werden. 1 FIG. 14 shows a structure in which the camera 20 is attached to the outside of the mouth opening degree calculation device 10, but the camera 20 may be built into the mouth opening degree calculation device 10. FIG. Part of the functions of the face part detection section 11 and the mouth opening degree calculation section 12 can also be realized on an external server communicable with the mouth opening degree calculation device 10 .

Umfasst die Mundöffnungsgrad-Berechnungsvorrichtung 10 ferner eine individuelle Authentifizierungsfunktion oder wird sie zusammen mit einem System verwendet, können auch gesicherte Daten aus der Vergangenheit verwendet werden.When the mouth opening degree calculation device 10 further includes an individual authentication function or when it is used together with a system, saved data from the past can also be used.

<Zweite Ausführungsform><Second embodiment>

Bei der ersten Ausführungsform wird vorausgesetzt, dass die Positionsbeziehung zwischen dem Gesicht des Benutzers und der Kamera 20 konstant ist, tatsächlich ist jedoch anzunehmen, dass sich die Richtung des Gesichts des Benutzers zur Kamera 20 oder der Abstand des Gesichts des Benutzers zur Kamera 20 verändert. Bei einer Änderung der Richtung des Gesichts des Benutzers zur Kamera 20 verändert sich der Abstand zwischen den spezifischen Teilen und dem Kinn in einem Porträt. Bei einer Änderung des Abstands zwischen dem Gesicht des Benutzers und der Kamera 20 verändert sich ferner die Größe des Gesichts des Benutzers in dem Porträt, sodass sich der Abstand zwischen den spezifischen Teilen und dem Kinn in dem Porträt verändert. Daher ist es bei einer Berechnung des Mundöffnungsgrads anhand des Abstands zwischen spezifischen Teilen und dem Kinn in einem Porträt bevorzugt, wenn der berechnete Mundöffnungsgrad unter Berücksichtigung der Richtung und der Größe des Gesichts des Benutzers in dem Porträt korrigiert wird.
Als zweite Ausführungsform wird daher eine Mundöffnungsgrad-Berechnungsvorrichtung 10 vorgeschlagen, die den Mundöffnungsgrad unter Einbeziehung der Richtung und Größe des Gesichts des Benutzers in dem Porträt berechnet.In the first embodiment, it is assumed that the positional relationship between the user's face and the camera 20 is constant, but actually assume that the direction of the user's face to the camera 20 or the distance of the user's face to the camera 20 changes. As the direction of the user's face to the camera 20 changes, the distance between the specific parts and the chin in a portrait changes. Furthermore, when the distance between the user's face and the camera 20 changes, the size of the user's face in the portrait changes, so that the distance between the specific parts and the chin in the portrait changes. Therefore, when calculating the mouth opening degree from the distance between specific parts and the chin in a portrait, it is preferable that the calculated mouth opening degree is corrected taking into account the direction and the size of the user's face in the portrait.
Therefore, as a second embodiment, a mouth opening degree calculating device 10 is proposed which calculates the mouth opening degree considering the direction and size of the user's face in the portrait.

6 ist eine Ansicht, die den Aufbau der Mundöffnungsgrad-Berechnungsvorrichtung 10 gemäß der zweiten Ausführungsform zeigt. Gegenüber dem Aufbau in 1 sind bei dem Aufbau der Mundöffnungsgrad-Berechnungsvorrichtung 10 in 6 zusätzlich eine Gesichtsrichtung-Berechnungssektion 13 und eine Gesichtsgröße-Berechnungssektion 14 sowie bei der Mundöffnungsgrad-Berechnungssektion 12 eine Mundöffnungsgrad-Korrektursektion 123 vorgesehen. 6 12 is a view showing the structure of the mouth opening degree calculation device 10 according to the second embodiment. Compared to the structure in 1 are in the construction of the mouth opening degree calculation device 10 in 6 a face direction calculation section 13 and a face size calculation section 14 and, in the mouth opening degree calculation section 12, a mouth opening degree correction section 123 are additionally provided.

Bei der Gesichtsrichtung-Berechnungssektion 13 wird die Gesichtsrichtung des Benutzers zur Kamera 20 anhand der Positionsbeziehung zwischen den jeweiligen Teilen des Gesichts in einem von der Kamera 20 aufgenommenen Porträt berechnet. Bei der Gesichtsgröße-Berechnungssektion 14 wird durch eine Detektion der Gesichtskontur des Benutzers anhand des von der Kamera 20 aufgenommenen Porträts die Gesichtsgröße des Benutzers berechnet.In the face direction calculation section 13, the user's face direction to the camera 20 is calculated from the positional relationship between the respective parts of the face in a portrait photographed by the camera 20. FIG. In the face size calculation section 14, by detecting the user's face contour from the portrait photographed by the camera 20, the user's face size is calculated.

Bei der Mundöffnungsgrad-Korrektursektion 123 der Mundöffnungsgrad-Berechnungssektion 12 wird basierend auf der durch die Gesichtsrichtung-Berechnungssektion 13 berechneten Gesichtsrichtung des Benutzers und der durch die Gesichtsgröße-Berechnungssektion 14 berechneten Gesichtsgröße des Benutzers der durch die Mundöffnungsgrad-Berechnungssektion 12 berechnete Mundöffnungsgrad des Benutzers korrigiert.In the mouth opening degree correction section 123 of the mouth opening degree calculation section 12, based on the user's face direction calculated by the face direction calculation section 13 and the user's face size calculated by the face size calculation section 14, the user's mouth opening degree calculated by the mouth opening degree calculation section 12 is corrected.

Beispielsweise wird ein Normalzustand angenommen, bei dem die Kamera 20 etwas oberhalb vor dem Gesicht des Benutzers an einer von dem Gesicht 50 cm entfernten Position angeordnet ist. Richtet der Benutzer in diesem Fall den Blick nach unten, verkleinert sich der Abstand zwischen den spezifischen Teilen und dem Kinn in dem Porträt gegenüber dem Normalzustand, und weil der durch die Mundöffnungsgrad-Berechnungssektion 12 berechnete Mundöffnungsgrad kleiner wird als im Normalzustand, führt die Mundöffnungsgrad-Korrektursektion 123 eine Korrektur zur Vergrößerung des durch die Mundöffnungsgrad-Berechnungssektion 12 berechneten Mundöffnungsgrad durch. Nähert sich ferner das Gesicht des Benutzers der Kamera 20, sodass der Abstand zwischen dem Gesicht und der Kamera 20 kleiner als 50 cm wird, vergrößert sich das Gesicht in dem Porträt gegenüber dem Normalzustand, und weil der durch die Mundöffnungsgrad-Berechnungssektion 12 berechnete Mundöffnungsgrad größer wird als im Normalzustand, führt die Mundöffnungsgrad-Korrektursektion 123 eine Korrektur zur Verkleinerung des durch die Mundöffnungsgrad-Berechnungssektion 12 berechneten Mundöffnungsgrad durch. Von der Mundöffnungsgrad-Berechnungssektion 12 wird der Mundöffnungsgrad nach der Korrektur ausgegeben. Hierdurch handelt es sich bei dem von der Mundöffnungsgrad-Berechnungsvorrichtung 12 ausgegebenen Mundöffnungsgrad des Benutzers um einen Wert unter Einbeziehung der Richtung und Größe des Gesichts des Benutzers in dem Porträt.For example, assuming a normal state where the camera 20 is placed slightly above in front of the user's face at a position 50 cm away from the face. In this case, when the user looks down, the distance between the specific parts and the chin in the portrait decreases from the normal state, and since the mouth opening degree calculated by the mouth opening degree calculation section 12 becomes smaller than in the normal state, the mouth opening degree correcting section 123 performs a correction for increasing the mouth opening degree calculated by the mouth opening degree calculating section 12 . Further, when the user's face approaches the camera 20 so that the distance between the face and the camera 20 becomes less than 50 cm, the face in the portrait enlarges from the normal state, and because the mouth opening degree calculated by the mouth opening degree calculating section 12 becomes larger becomes normal, the mouth opening degree correction section 123 performs correction to decrease the mouth opening degree calculated by the mouth opening degree calculation section 12 . From the mouth opening degree calculation section 12, the mouth opening degree after correction is output. Thereby, the mouth opening degree of the user output from the mouth opening degree calculator 12 is a value considering the direction and size of the user's face in the portrait.

Der Betrieb der Zuverlässigkeitsgrad-Berechnungssektion 122 der Mundöffnungsgrad-Berechnungssektion 12 ist der gleiche wie bei der ersten Ausführungsform, wobei auch die Zuverlässigkeitsgrad-Berechnungssektion 122 die Zuverlässigkeit des Mundöffnungsgrads unter Einbeziehung der Richtung und Größe des Gesichts des Benutzers berechnen kann.The operation of the reliability degree calculation section 122 of the mouth opening degree calculation section 12 is the same as in the first embodiment, and the reliability degree calculation section 122 can also calculate the reliability of the mouth opening degree considering the direction and size of the user's face.

7 ist ein Ablaufdiagramm, das den Betrieb der Mundöffnungsgrad-Berechnungsvorrichtung 10 gemäß der zweiten Ausführungsform zeigt. In dem Ablaufdiagramm von 7 ist nach der Mundöffnungsgrad-Berechnungsverarbeitung (Schritt S103) des Ablaufdiagramms in 2 eine Mundöffnungsgrad-Korrekturverarbeitung (Schritt S103a) zur Korrektur des in Schritt S103 berechneten Mundöffnungsgrads zugesetzt. Die übrigen Schritte sind die gleichen wie in 2, sodass hier nur die Mundöffnungsgrad-Korrekturverarbeitung erläutert wird. 7 14 is a flow chart showing the operation of the mouth opening degree calculation device 10 according to the second embodiment. In the flow chart of 7 is after the mouth opening degree calculation processing (step S103) of the flowchart in 2 a mouth opening degree correction processing (step S103a) for correcting the mouth opening degree calculated in step S103 is added. The remaining steps are the same as in 2 , so only the mouth opening degree correction processing will be explained here.

8 ist ein Ablaufdiagramm, das die Mundöffnungsgrad-Korrekturverarbeitung zeigt. Zu Beginn der Mundöffnungsgrad-Korrekturverarbeitung wird überprüft, ob durch die Gesichtsrichtung-Berechnungssektion 13 die Gesichtsrichtung des Benutzers berechnet wurde, und ob durch die Gesichtsgröße-Berechnungssektion 14 die Gesichtsgröße des Benutzers berechnet wurde (Schritte S301 und S302). Wurden die Richtung und die Größe des Gesichts des Benutzers berechnet (JA in den Schritten S301 und S302), wird durch die Mundöffnungsgrad-Korrektursektion 123 basierend auf der Richtung und Größe des Gesichts des Benutzers der mittels der Mundöffnungsgrad-Berechnungsverarbeitung (Schritt S103 in 7) berechnete Mundöffnungsgrad korrigiert (Schritt S303) und die Mundöffnungsgrad-Korrekturverarbeitung beendet. Wurde entweder die Richtung oder die Größe des Gesichts des Benutzers nicht berechnet (NEIN in Schritt S301 oder S302), beurteilt die Mundöffnungsgrad-Berechnungssektion 12 den Misserfolg der Berechnung des Mundöffnungsgrads (Schritt S304). Nach der Durchführung von Schritt S304 kehrt die Verarbeitung zurück zu Schritt S101 in 7. In Schritt S304 kann durch die Mundöffnungsgrad-Berechnungssektion 12 auch eine Mitteilung über den Misserfolg der Berechnung des Mundöffnungsgrads oder die Ausgabe eines ungültigen Werts des Mundöffnungsgrads erfolgen. 8th Fig. 14 is a flow chart showing the mouth opening degree correction processing. To When the mouth opening degree correction processing starts, it is checked whether the user's face direction has been calculated by the face direction calculation section 13 and the user's face size has been calculated by the face size calculation section 14 (steps S301 and S302). When the direction and size of the user's face have been calculated (YES in steps S301 and S302), the mouth opening degree correcting section 123, based on the direction and size of the user's face, corrects the amount obtained by the mouth opening degree calculation processing (step S103 in 7 ) calculated mouth opening degree is corrected (step S303), and the mouth opening degree correction processing ends. If either the direction or the size of the user's face has not been calculated (NO in step S301 or S302), the mouth opening degree calculation section 12 judges the failure of calculation of the mouth opening degree (step S304). After performing step S304, the processing returns to step S101 in 7 . In step S304, the mouth opening degree calculation section 12 may also notify of the failure of the mouth opening degree calculation or the outputting of an invalid value of the mouth opening degree.

Auf diese Weise kann bei der Mundöffnungsgrad-Berechnungsvorrichtung 10 gemäß der zweiten Ausführungsform der Mundöffnungsgrad unter Einbeziehung der Richtung und Größe des Gesichts des Benutzers in einem Porträt berechnet werden, sodass die Berechnung des Mundöffnungsgrads mit einer hohen Präzision auch dann möglich ist, wenn die Positionsbeziehung zwischen dem Gesicht des Benutzers und der Kamera 20 nicht konstant ist.In this way, with the mouth opening degree calculation device 10 according to the second embodiment, the mouth opening degree can be calculated taking into account the direction and size of the user's face in a portrait, so that the calculation of the mouth opening degree is possible with high precision even when the positional relationship between between the user's face and the camera 20 is not constant.

<Dritte Ausführungsform><Third embodiment>

Bei der Mundöffnungsgrad-Berechnungsvorrichtung 10 der ersten und zweiten Ausführungsform wurde ein Misserfolg bei der Berechnung des Mundöffnungsgrads beurteilt, wenn anhand des Porträts spezifische Teile und das Kinn des Benutzers nicht detektiert werden konnten, oder anhand des Porträts die Richtung und Größe des Gesichts nicht berechnet werden konnte. Als dritte Ausführungsform wird eine Mundöffnungsgrad-Berechnungsvorrichtung 10 vorgeschlagen, bei der in einem solchen Fall die Position der spezifischen Teile, die Position des Kinns, die Richtung und die Größe des Gesichts des Benutzers gefolgert wird, und mittels des Folgerungsergebnisses der Mundöffnungsgrad berechnet werden kann.In the mouth opening degree calculation device 10 of the first and second embodiments, a failure in the calculation of the mouth opening degree was judged when specific parts and the chin of the user could not be detected from the portrait, or the direction and size of the face are not calculated from the portrait could. As a third embodiment, a mouth opening degree calculating device 10 is proposed in which, in such a case, the position of the specific parts, the position of the chin, the direction and the size of the user's face are inferred, and the inferred result can be used to calculate the mouth opening degree.

9 ist eine Ansicht, die den Aufbau der Mundöffnungsgrad-Berechnungsvorrichtung 10 gemäß der dritten Ausführungsform zeigt. Im Gegensatz zum Aufbau in 6 sind bei dem Aufbau der Mundöffnungsgrad-Berechnungsvorrichtung 10 in 9 jeweils bei der Gesichtsteil-Detektionssektion 11 eine Historie-Speichersektion 111 und eine Folgerungssektion 112, bei der Gesichtsrichtung-Berechnungssektion 13 eine Historie-Speichersektion 131 und eine Folgerungssektion 132, und bei Gesichtsgröße-Berechnungssektion 14 eine Historie-Speichersektion 141 und eine Folgerungssektion 142 vorgesehen. 9 12 is a view showing the structure of the mouth opening degree calculation device 10 according to the third embodiment. In contrast to the structure in 6 are in the construction of the mouth opening degree calculation device 10 in 9 a history storage section 111 and an inference section 112 in the face part detection section 11, a history storage section 131 and an inference section 132 in the face direction calculation section 13, and a history storage section 141 and an inference section 142 in the face size calculation section 14, respectively.

Die Historie-Speichersektion 111 und die Folgerungssektion 112 der Gesichtsteil-Detektionssektion 11 werden nun erläutert. Die Historie-Speichersektion 111 speichert die Historie der Position der spezifischen Teile des Benutzers, die im vorangehenden Rahmen eines Porträts detektiert wurden, und die Historie der Position des Kinns des Benutzers, das im vorangehenden Rahmen des Porträts detektiert wurde. Können spezifische Teile des Benutzers anhand des aktuellen Porträts nicht detektiert werden, ermittelt die Folgerungssektion 112 anhand der Historie der Position der spezifischen Teile des Benutzers, die in der Historie-Speichersektion 111 gespeichert ist, den geometrischen Ort der Position der spezifischen Teile des Benutzers, und folgert basierend auf dem geometrischen Ort die aktuelle Position der spezifischen Teile des Benutzers. Dabei berechnet die Mundöffnungsgrad-Berechnungssektion 12 den Mundöffnungsgrad basierend auf der gefolgerten aktuellen Position der spezifischen Teile des Benutzers. Kann ferner das Kinn des Benutzers anhand des aktuellen Porträts nicht detektiert werden, ermittelt die Folgerungssektion 112 anhand der Historie der Position des Kinns des Benutzers, die in der Historie-Speichersektion 111 gespeichert ist, den geometrischen Ort der Position des Kinns des Benutzers, und folgert basierend auf dem geometrischen Ort die aktuelle Position des Kinns des Benutzers. Dabei berechnet die Mundöffnungsgrad-Berechnungssektion 12 den Mundöffnungsgrad basierend auf der gefolgerten aktuellen Position des Kinns des Benutzers. Von der Historie der Position der spezifischen Teile und der Historie der Position des Kinns, die in der Historie-Speichersektion 111 gespeichert werden, können auch Positionen der spezifischen Teile und Positionen des Kinns, die vormals durch die Folgerungssektion 112 gefolgert wurden, umfasst sein.The history storage section 111 and the inference section 112 of the face part detection section 11 will now be explained. The history storage section 111 stores the history of the position of the user's specific parts detected in the previous frame of a portrait and the history of the position of the user's chin detected in the previous frame of the portrait. If specific parts of the user cannot be detected from the current portrait, the inference section 112 determines the locus of the position of the user's specific parts from the history of the position of the specific parts of the user stored in the history storage section 111, and infers the current position of the user's specific parts based on the locus. At this time, the mouth opening degree calculation section 12 calculates the mouth opening degree based on the inferred current position of the user's specific parts. Further, when the user's chin cannot be detected from the current portrait, the inference section 112 determines the locus of the user's chin position from the history of the user's chin position stored in the history storage section 111, and infers based on the locus, the current position of the user's chin. At this time, the mouth opening degree calculation section 12 calculates the mouth opening degree based on the inferred current position of the user's chin. From the history of the position of the specific parts and the history of the position of the chin stored in the history storage section 111, positions of the specific parts and positions of the chin previously inferred by the inference section 112 may also be included.

Die Historie-Speichersektion 131 und die Folgerungssektion 132 der Gesichtsrichtung-Berechnungssektion 13 werden nun erläutert. Die Historie-Speichersektion 131 speichert die Historie der Gesichtsrichtung des Benutzers, die in vorangehenden Rahmen von Porträts detektiert wurde. Kann die Gesichtsrichtung des Benutzers anhand des aktuellen Porträts nicht detektiert werden, ermittelt die Folgerungssektion 132 anhand der Historie der Gesichtsrichtung des Benutzers, die in der Historie-Speichersektion 131 gespeichert ist, den geometrischen Ort der Gesichtsrichtung des Benutzers, und folgert basierend auf dem geometrischen Ort die aktuelle Gesichtsrichtung des Benutzers. Dabei korrigiert die Mundöffnungsgrad-Korrektursektion 123 der Mundöffnungsgrad-Berechnungssektion 12 den Mundöffnungsgrad basierend auf der gefolgerten aktuellen Gesichtsrichtung des Benutzers. Von der Historie der Gesichtsrichtung, die in der Historie-Speichersektion 131 gespeichert wird, kann auch eine Gesichtsrichtung, die vormals durch die Folgerungssektion 132 gefolgert wurde, umfasst sein.The history storage section 131 and the inference section 132 of the face direction calculation section 13 will now be explained. The history storage section 131 stores the history of the user's face direction detected in previous frames of portraits. When the user's face direction cannot be detected from the current portrait, the inference section 132 determines the geomet physical location of the user's face direction, and infers the current face direction of the user based on the locus. At this time, the mouth opening degree correction section 123 of the mouth opening degree calculation section 12 corrects the mouth opening degree based on the inferred current face direction of the user. In the history of the face direction stored in the history storage section 131, a face direction previously inferred by the inference section 132 may also be included.

Die Historie-Speichersektion 141 und die Folgerungssektion 142 der Gesichtsgröße-Berechnungssektion 14 werden nun erläutert. Die Historie-Speichersektion 141 speichert die Historie der Gesichtsgröße des Benutzers, die in vorangehenden Rahmen von Porträts detektiert wurde. Kann die Gesichtsgröße des Benutzers anhand des aktuellen Porträts nicht detektiert werden, ermittelt die Folgerungssektion 142 anhand der Historie der Gesichtsgröße des Benutzers, die in der Historie-Speichersektion 141 gespeichert ist, den geometrischen Ort der Gesichtsgröße des Benutzers, und folgert basierend auf dem geometrischen Ort die aktuelle Gesichtsgröße des Benutzers. Dabei korrigiert die Mundöffnungsgrad-Korrektursektion 123 der Mundöffnungsgrad-Berechnungssektion 12 den Mundöffnungsgrad basierend auf der gefolgerten aktuellen Gesichtsgröße des Benutzers. Von der Historie der Gesichtsgröße, die in der Historie-Speichersektion 141 gespeichert wird, kann auch eine Gesichtsgröße, die vormals durch die Folgerungssektion 142 gefolgert wurde, umfasst sein.The history storage section 141 and the inference section 142 of the face size calculation section 14 will now be explained. The history storage section 141 stores the history of the user's face size detected in previous frames of portraits. When the user's face size cannot be detected from the current portrait, the inference section 142 determines the locus of the user's face size from the history of the user's face size stored in the history storage section 141, and infers based on the locus the current face size of the user. At this time, the mouth opening degree correction section 123 of the mouth opening degree calculation section 12 corrects the mouth opening degree based on the inferred current face size of the user. From the history of the face size stored in the history storage section 141, a face size previously inferred by the inference section 142 may also be included.

Der grundsätzliche Betrieb der Mundöffnungsgrad-Berechnungsvorrichtung 10 gemäß der dritten Ausführungsform ist der gleiche wie bei der im Ablaufdiagramm von 7 gezeigte Betrieb bei der zweiten Ausführungsform, wobei sich jedoch die Mundöffnungsgrad-Berechnungsverarbeitung (Schritt S103) und die Mundöffnungsgrad-Korrekturverarbeitung (Schritt S103a) inhaltlich von der zweiten Ausführungsform unterscheiden. Daher werden hier die Mundöffnungsgrad-Berechnungsverarbeitung und die Mundöffnungsgrad-Korrekturverarbeitung bei der dritten Ausführungsform erläutert.The basic operation of the mouth opening degree calculation device 10 according to the third embodiment is the same as that in the flowchart of FIG 7 The operation shown in the second embodiment, however, the mouth opening degree calculation processing (step S103) and the mouth opening degree correction processing (step S103a) are different in content from the second embodiment. Therefore, the mouth opening degree calculation processing and the mouth opening degree correction processing in the third embodiment are explained here.

10 ist ein Ablaufdiagramm, das die Mundöffnungsgrad-Berechnungsverarbeitung bei der dritten Ausführungsform zeigt. Zu Beginn der Mundöffnungsgrad-Berechnungsverarbeitung wird geprüft, ob durch die Gesichtsteil-Detektionssektion 11 der Mund anhand des Porträts detektiert wurde (Schritt S201). Wurde der Mund detektiert (JA in Schritt S201), wird die gleiche Verarbeitung wie in den Schritten 201 bis 204 in 3 ausgeführt. Die Verarbeitung der Schritte S201 bis S204 entspricht derjenigen, die in der ersten Ausführungsform erläutert wurde, sodass hier eine Erläuterung ausgelassen wird. 10 Fig. 14 is a flow chart showing the mouth opening degree calculation processing in the third embodiment. At the start of the mouth opening degree calculation processing, it is checked whether the mouth has been detected from the portrait by the face part detection section 11 (step S201). If the mouth has been detected (YES in step S201), the same processing as in steps 201 to 204 in 3 executed. The processing of steps S201 to S204 is the same as that explained in the first embodiment, so explanation is omitted here.

Wurde anhand des Porträts der Mund nicht detektiert (NEIN in Schritt S201), wird geprüft, ob durch die Gesichtsteil-Detektionssektion 11 spezifische Teile und das Kinn detektiert wurden (Schritte S205 und S206). Wurden spezifische Teile und das Kinn detektiert (JA sowohl in Schritt S205 als auch in S206), berechnet die Mundöffnungsgrad-Berechnungssektion 12 den Mundöffnungsgrad des Benutzers basierend auf dem Abstand zwischen den spezifischen Teilen und dem Kinn (Schritt S207).If the mouth has not been detected from the portrait (NO in step S201), it is checked whether specific parts and the chin have been detected by the face part detection section 11 (steps S205 and S206). When specific parts and the chin have been detected (YES in both steps S205 and S206), the mouth opening degree calculation section 12 calculates the user's mouth opening degree based on the distance between the specific parts and the chin (step S207).

Wurden jedoch keine spezifischen Teile detektiert (NEIN in Schritt S205), stellt die Folgerungssektion 112 der Gesichtsteil-Detektionssektion 11 einen Vergleich mit der Historie der Position der spezifischen Teile, die in der Historie-Speichersektion 111 gespeichert ist, an und beurteilt (Schritt S205a), ob anhand dieser Historie die aktuelle Position der spezifischen Teile gefolgert werden kann (konkreter, ob anhand der Historie der geometrische Ort der Position der spezifischen Teile erzielt werden kann). Kann die aktuelle Position der spezifischen Teile detektiert werden (JA in Schritt S205a), folgert die Folgerungssektion 112 die aktuelle Position der spezifischen Teile (Schritt S205b).However, if no specific parts were detected (NO in step S205), the inference section 112 of the face part detection section 11 makes comparison with the history of the position of the specific parts stored in the history storage section 111 and judges (step S205a) whether the current position of the specific parts can be inferred from this history (more specifically, whether the locus of the position of the specific parts can be obtained from the history). If the current position of the specific parts can be detected (YES in step S205a), the inference section 112 infers the current position of the specific parts (step S205b).

Wurde ferner das Kinn nicht detektiert (NEIN in Schritt S206), stellt die Folgerungssektion 112 der Gesichtsteil-Detektionssektion 11 einen Vergleich mit der Historie der Position des Kinns, die in der Historie-Speichersektion 111 gespeichert ist, an und beurteilt (Schritt S206a), ob anhand dieser Historie die aktuelle Position des Kinns gefolgert werden kann (konkreter, ob anhand der Historie der geometrische Ort der Position des Kinns erzielt werden kann). Kann die aktuelle Position des Kinns detektiert werden (JA in Schritt S206a), folgert die Folgerungssektion 112 die aktuelle Position des Kinns (Schritt S206b).Further, when the chin has not been detected (NO in step S206), the inference section 112 of the face part detection section 11 makes a comparison with the history of the position of the chin stored in the history storage section 111 and judges (step S206a) whether the current position of the chin can be inferred from this history (more specifically, whether the locus of the position of the chin can be obtained from the history). If the current position of the chin can be detected (YES in step S206a), the inference section 112 infers the current position of the chin (step S206b).

Erfolgte eine Folgerung der Position der spezifischen Teile (Schritt S205b) oder eine Folgerung des Kinns (Schritt S206a), wird in Schritt S207 durch die Mundöffnungsgrad-Berechnungssektion 12 mittels dieses Folgerungsergebnisses der Mundöffnungsgrad des Benutzers berechnet.When the position of the specific parts is inferred (step S205b) or the chin is inferred (step S206a), the mouth opening degree calculation section 12 calculates the user's mouth opening degree using this inference result in step S207.

Wurde ferner in Schritt S205a oder S206a beurteilt, dass die aktuelle Position der spezifischen Teile oder des Kinns nicht gefolgert werden kann, beurteilt die Mundöffnungsgrad-Berechnungssektion 12 den Misserfolg der Berechnung des Mundöffnungsgrads (Schritt S208). Nach der Durchführung von Schritt S208 kehrt die Verarbeitung zurück zu Schritt S101 in 7.Further, when it has been judged in step S205a or S206a that the current position of the specific parts or the chin cannot be inferred, the mouth opening degree calculation section 12 judges the failure of the mouth opening degree calculation (step S208). After performing step S208, the processing returns to step S101 in 7 .

11 ist ein Ablaufdiagramm, das die Mundöffnungsgrad-Korrekturverarbeitung bei der dritten Ausführungsform zeigt. Zu Beginn der Mundöffnungsgrad-Korrekturverarbeitung wird überprüft, ob durch die Gesichtsrichtung-Berechnungssektion 13 die Gesichtsrichtung des Benutzers berechnet wurde, und ob durch die Gesichtsgröße-Berechnungssektion 14 die Gesichtsgröße des Benutzers berechnet wurde (Schritte S301 und S302). Wurden die Richtung und die Größe des Gesichts des Benutzers berechnet (JA in den Schritten S301 und S302), wird durch die Mundöffnungsgrad-Korrektursektion 123 basierend auf der Richtung und Größe des Gesichts des Benutzers der mittels der Mundöffnungsgrad-Berechnungsverarbeitung (Schritt S103 in 7) berechnete Mundöffnungsgrad korrigiert (Schritt S303) und die Mundöffnungsgrad-Korrekturverarbeitung beendet. 11 14 is a flowchart showing the mouth opening degree correction processing in the third embodiment. At the beginning of the mouth opening degree correction processing, it is checked whether the user's face direction has been calculated by the face direction calculation section 13 and whether the user's face size has been calculated by the face size calculation section 14 (steps S301 and S302). When the direction and size of the user's face have been calculated (YES in steps S301 and S302), the mouth opening degree correcting section 123, based on the direction and size of the user's face, corrects the amount obtained by the mouth opening degree calculation processing (step S103 in 7 ) calculated mouth opening degree is corrected (step S303), and the mouth opening degree correction processing ends.

Wurde jedoch die Gesichtsrichtung des Benutzers nicht berechnet (NEIN in Schritt S301), stellt die Folgerungssektion 132 der Gesichtsrichtung-Detektionssektion 13 einen Vergleich mit der Historie der Gesichtsrichtung des Benutzers, die in der Historie-Speichersektion 131 gespeichert ist, an und beurteilt (Schritt S301 a), ob anhand dieser Historie die aktuelle Gesichtsrichtung gefolgert werden kann (konkreter, ob anhand der Historie der geometrische Ort der Gesichtsrichtung erzielt werden kann). Kann die aktuelle Gesichtsrichtung gefolgert werden (JA in Schritt S301a), folgert die Folgerungssektion 132 die aktuelle Gesichtsrichtung (Schritt S301b).However, when the user's face direction has not been calculated (NO in step S301), the inference section 132 of the face direction detection section 13 makes comparison with the history of the user's face direction stored in the history storage section 131 and judges (step S301 a) whether the current face direction can be inferred from this history (more specifically, whether the locus of the face direction can be obtained from the history). If the current face direction can be inferred (YES in step S301a), the inference section 132 infers the current face direction (step S301b).

Wurde ferner die Gesichtsgröße des Benutzers nicht berechnet (NEIN in Schritt S302), stellt die Folgerungssektion 142 der Gesichtsgröße-Detektionssektion 14 einen Vergleich mit der Historie der Gesichtsgröße des Benutzers, die in der Historie-Speichersektion 141 gespeichert ist, an und beurteilt (Schritt S302a), ob anhand dieser Historie die aktuelle Gesichtsgröße gefolgert werden kann (konkreter, ob anhand der Historie der geometrische Ort der Gesichtsgröße erzielt werden kann). Kann die aktuelle Gesichtsgröße gefolgert werden (JA in Schritt S302a), folgert die Folgerungssektion 142 die aktuelle Gesichtsgröße (Schritt S302b).Further, when the user's face size has not been calculated (NO in step S302), the inference section 142 of the face size detection section 14 makes comparison with the history of the user's face size stored in the history storage section 141 and judges (step S302a ) whether the current face size can be inferred from this history (more specifically, whether the locus of the face size can be obtained from the history). If the current face size can be inferred (YES in step S302a), the inference section 142 infers the current face size (step S302b).

Wurde in Schritt S301a oder S302a beurteilt, dass die aktuelle Richtung und Größe des Gesichts nicht gefolgert werden kann, beurteilt die Mundöffnungsgrad-Berechnungssektion 12 den Misserfolg der Berechnung des Mundöffnungsgrads (Schritt S304). Nach der Durchführung von Schritt S304 kehrt die Verarbeitung zurück zu Schritt S101 in 7.When it is judged in step S301a or S302a that the current direction and size of the face cannot be inferred, the mouth opening degree calculation section 12 judges the failure of calculation of the mouth opening degree (step S304). After performing step S304, the processing returns to step S101 in 7 .

Daher kann bei der Mundöffnungsgrad-Berechnungsvorrichtung 10 gemäß der dritten Ausführungsform auch dann, wenn anhand des Porträts spezifische Teile und das Kinn des Benutzers nicht detektiert werden konnten, oder anhand des Porträts die Richtung und Größe des Gesichts nicht berechnet werden konnte, durch deren Folgerung die Berechnung des Mundöffnungsgrads durchgeführt werden.Therefore, with the mouth opening degree calculation device 10 according to the third embodiment, even if specific parts and the chin of the user could not be detected from the portrait, or the direction and size of the face could not be calculated from the portrait, by inferring the Calculation of the degree of mouth opening can be carried out.

Bei der dritten Ausführungsform sollte dabei die Zuverlässigkeit-Berechnungssektion 122 eine geringere Zuverlässigkeit des Mundöffnungsgrads beurteilen, je mehr Posten von Daten, die von der Mundöffnungsgrad-Berechnungssektion 12 für die Berechnung des Mundöffnungsgrads verwendet wurden (Position der spezifischen Teile, Position des Kinns, Richtung des Gesichts, Größe des Gesichts) gefolgerte Posten sind (d. h. je mehr Posten nicht detektiert oder berechnet wurden).Here, in the third embodiment, the reliability calculation section 122 should judge a lower reliability of the mouth opening degree the more items of data used by the mouth opening degree calculation section 12 for the calculation of the mouth opening degree (position of the specific parts, position of the chin, direction of the mouth). face, size of face) are inferred items (i.e. the more items not detected or computed).

<Vierte Ausführungsform><Fourth embodiment>

Bei der vierten Ausführungsform handelt es sich um ein konkretes Anwendungsbeispiel, bei dem die Mundöffnungsgrad-Berechnungsvorrichtung 10 verwendet wird. 12 ist eine Ansicht, die ein Beispiel zeigt, bei dem die Mundöffnungsgrad-Berechnungsvorrichtung 10 bei einer Insassenzustand-Feststellungsvorrichtung 30 verwendet wird. Bei der in 12 gezeigten Mundöffnungsgrad-Berechnungsvorrichtung 10 kann es sich hierbei auch um eine solche gemäß der ersten bis dritten Ausführungsform handeln.The fourth embodiment is a concrete application example in which the mouth opening degree calculation device 10 is used. 12 12 is a view showing an example in which the mouth opening degree calculation device 10 is applied to an occupant condition determination device 30. FIG. At the in 12 The mouth-opening-degree calculating device 10 shown in FIG. 1 can also be one according to the first to third embodiments.

Die Insassenzustand-Feststellungsvorrichtung 30 ist eine Onboard-Vorrichtung zur Feststellung des Zustands der Insassen (einschließlich des Fahrers) in einem Fahrzeug, und umfasst eine Gähnen-Feststellungssektion 31 zur Feststellung, ob ein Insasse gähnt, und eine Gespräch-Feststellungssektion 32 zur Feststellung, ob ein Insasse ein Gespräch führt. Beispielsweise stellt die Insassenzustand-Beurteilungsvorrichtung 30 bei einem Insassen, der gähnt, einen geringen Wachsamkeitsgrad fest, und bei einem Insassen, der ein Gespräch führt, beurteilt sie einen hohen Wachsamkeitsgrad. Die Insassenzustand-Feststellungsvorrichtung 30 kann auch nur eine von entweder der Gähnen-Feststellungssektion 31 oder der Gespräch-Feststellungssektion 32 umfassen.The occupant state determination device 30 is an onboard device for determining the state of the occupants (including the driver) in a vehicle, and includes a yawning determination section 31 for determining whether an occupant is yawning and a conversation determining section 32 for determining whether an inmate is having a conversation. For example, the occupant state judgment device 30 judges an occupant who is yawning to have a low level of alertness, and an occupant who is having a conversation judges a high level of alertness. The occupant condition determination device 30 may include only one of either the yawn determination section 31 or the talk determination section 32 .

Bei der vierten Ausführungsform handelt es sich bei dem Benutzer der Mundöffnungsgrad-Berechnungsvorrichtung 10 um einen Insassen eines Fahrzeugs, in dem die Insassenzustand-Feststellungsvorrichtung 30 eingebaut ist. Das heißt, die Kamera 20 nimmt ein Porträt des Insassen auf, und die Mundöffnungsgrad-Berechnungsvorrichtung 10 berechnet den Mundöffnungsgrad des Insassen und dessen Zuverlässigkeitsgrad. Ferner wird die Ausgabe der Mundöffnungsgrad-Berechnungsvorrichtung 10, d. h. der Mundöffnungsgrad des Insassen und dessen Zuverlässigkeitsgrad, der Gähnen-Feststellungssektion 31 und der Gespräch-Feststellungssektion 32 der Insassenzustand-Feststellungsvorrichtung 30 bereitgestellt.In the fourth embodiment, the user of the mouth opening degree calculation device 10 is an occupant of a vehicle on which the occupant condition determination device 30 is installed. That is, the camera 20 takes a portrait of the occupant, and the mouth opening degree calculation device 10 calculates the mouth opening degree of the occupant and its reliability degree. Further, the output of the mouth opening degree calculation device 10, that is, the mouth opening degree of the occupant and its reliability degree, the yawning determination section 31 and the conversation determination section 32 of the occupant condition determination device 30 are provided.

13 ist ein Ablaufdiagramm, das den Betrieb der Gähnen-Feststellungssektion 31 zeigt. Im Folgenden wird anhand von 13 der Betrieb der Gähnen-Feststellungssektion 31 erläutert. 13 FIG. 14 is a flowchart showing the operation of the yawning determination section 31. FIG. The following is based on 13 the operation of the yawn detection section 31 will be explained.

Die Gähnen-Feststellungssektion 31 erwirbt den durch die Mundöffnungsgrad-Berechnungsvorrichtung 10 berechneten Mundöffnungsgrad und dessen Zuverlässigkeitsgrad (Schritt S401). Dann prüft die Gähnen-Feststellungssektion 31, ob sich ein Zustand, in dem der Mundöffnungsgrad des Insassen größer oder gleich einem vorgegebenen Schwellenwert ist, für einen bestimmten Zeitraum oder länger fortsetzt (Schritt S402).The yawning determination section 31 acquires the mouth opening degree calculated by the mouth opening degree calculation device 10 and its reliability degree (step S401). Then, the yawning determination section 31 judges whether a state in which the occupant's mouth opening degree is greater than or equal to a predetermined threshold value continues for a certain period of time or longer (step S402).

Setzt sich ein Zustand, in dem der Mundöffnungsgrad des Insassen größer oder gleich einem vorgegebenen Schwellenwert ist, für einen bestimmten Zeitraum oder länger fort (JA in Schritt S402), prüft die Gähnen-Feststellungssektion 31 ferner, ob der Zuverlässigkeitsgrad des Mundöffnungsgrads größer oder gleich einem vorgegebenen Schwellenwerts ist (Schritt S403). Ist hierbei der Zuverlässigkeitsgrad des Mundöffnungsgrads größer oder gleich dem Schwellenwert (JA in Schritt S403), beurteilt die Gähnen-Feststellungssektion 31, dass der Insasse gähnt (Schritt S404). Ist der Zuverlässigkeitsgrad des Mundöffnungsgrads jedoch niedriger als der Schwellenwert (NEIN in Schritt S403), beurteilt die Gähnen-Feststellungssektion 31 einen Misserfolg der Gähnen-Feststellung (Schritt S405). In Schritt S405 kann durch die Gähnen-Feststellungssektion 31 auch eine Mitteilung über den Misserfolg der Gähnen-Feststellung oder die Ausgabe eines ungültigen Werts der Gähnen-Feststellung erfolgen.When a state in which the occupant's mouth opening degree is greater than or equal to a predetermined threshold value continues for a certain period of time or longer (YES in step S402), the yawning determination section 31 further checks whether the degree of reliability of the mouth opening degree is greater than or equal to one predetermined threshold (step S403). Here, if the degree of reliability of the degree of mouth opening is equal to or greater than the threshold value (YES in step S403), the yawning determination section 31 judges that the occupant is yawning (step S404). However, if the confidence level of the mouth opening degree is lower than the threshold value (NO in step S403), the yawn determination section 31 judges a yawn determination failure (step S405). In step S405, the yawn determination section 31 may also notify of the failure of the yawn determination or the output of an invalid value of the yawn determination.

Setzt sich andererseits ein Zustand, in dem der Mundöffnungsgrad des Insassen größer oder gleich einem vorgegebenen Schwellenwert ist, nicht für einen bestimmten Zeitraum oder länger fort (NEIN in Schritt S402), prüft die Gähnen-Feststellungssektion 31 ferner, ob der Zuverlässigkeitsgrad des Mundöffnungsgrads größer oder gleich einem vorgegebenen Schwellenwerts ist (Schritt S406). Ist hierbei der Zuverlässigkeitsgrad des Mundöffnungsgrads größer oder gleich dem Schwellenwert (JA in Schritt S406), beurteilt die Gähnen-Feststellungssektion 31, dass der Insasse nicht gähnt (Schritt S407). Ist der Zuverlässigkeitsgrad des Mundöffnungsgrads jedoch niedriger als der Schwellenwert (NEIN in Schritt S406), beurteilt die Gähnen-Feststellungssektion 31 einen Misserfolg der Gähnen-Feststellung (Schritt S408). Auch in Schritt S408 kann durch die Gähnen-Feststellungssektion 31 eine Mitteilung über den Misserfolg der Gähnen-Feststellung oder die Ausgabe eines ungültigen Werts der Gähnen-Feststellung erfolgen.On the other hand, when a state in which the occupant's mouth opening degree is greater than or equal to a predetermined threshold value does not continue for a certain period of time or longer (NO in step S402), the yawning determination section 31 further checks whether the degree of reliability of the mouth opening degree is greater than or equal to is equal to a predetermined threshold (step S406). Here, when the confidence level of the mouth opening degree is equal to or greater than the threshold value (YES in step S406), the yawning determination section 31 judges that the occupant is not yawning (step S407). However, if the confidence level of the mouth opening degree is lower than the threshold value (NO in step S406), the yawn determination section 31 judges failure of the yawn determination (step S408). Also in step S408, the yawn determination section 31 may notify of failure of the yawn determination or output of an invalid value of the yawn determination.

Die Gähnen-Feststellungssektion 31 führt den vorstehenden Betrieb wiederholt aus. Bei dem Schwellenwert für den Zuverlässigkeitsgrad, der in Schritt S403 verwendet wird, und dem Schwellenwert für den Zuverlässigkeitsgrad, der in Schritt S406 verwendet wird, kann es sich um denselben Wert oder um unterschiedliche Werte handeln.The yawn detection section 31 repeatedly performs the above operation. The confidence level threshold used in step S403 and the confidence level threshold used in step S406 may be the same value or different values.

14 ist ein Ablaufdiagramm, das den Betrieb der Gespräch-Feststellungssektion 32 zeigt. Im Folgenden wird anhand von 14 der Betrieb der Gespräch-Feststellungssektion 32 erläutert. 14 FIG. 14 is a flow chart showing the operation of the conversation determination section 32. FIG. The following is based on 14 the operation of the talk detection section 32 will be explained.

Die Gespräch-Feststellungssektion 32 erwirbt den durch die Mundöffnungsgrad-Berechnungsvorrichtung 10 berechneten Mundöffnungsgrad und dessen Zuverlässigkeitsgrad (Schritt S501). Dann prüft die Gespräch-Feststellungssektion 32, ob sich der Mundöffnungsgrad des Insassen periodisch ändert (Schritt S502).The conversation determination section 32 acquires the mouth opening degree calculated by the mouth opening degree calculation device 10 and its reliability degree (step S501). Then, the conversation determination section 32 checks whether the occupant's mouth opening degree changes periodically (step S502).

Ändert sich der Mundöffnungsgrad des Insassen periodisch (JA in Schritt S502), prüft die Gespräch-Feststellungssektion 32 ferner, ob der Zuverlässigkeitsgrad des Mundöffnungsgrads größer oder gleich einem vorgegebenen Schwellenwerts ist (Schritt S503). Ist hierbei der Zuverlässigkeitsgrad des Mundöffnungsgrads größer oder gleich dem Schwellenwert (JA in Schritt S503), beurteilt die Gespräch-Feststellungssektion 32, dass der Insasse ein Gespräch führt (Schritt S504). Ist der Zuverlässigkeitsgrad des Mundöffnungsgrads jedoch niedriger als der Schwellenwert (NEIN in Schritt S503), beurteilt die Gespräch-Feststellungssektion 32 einen Misserfolg der Gespräch-Feststellung (Schritt S505). In Schritt S505 kann durch die Gespräch-Feststellungssektion 32 auch eine Mitteilung über den Misserfolg der Gespräch-Feststellung oder die Ausgabe eines ungültigen Werts der Gespräch-Feststellung erfolgen.Further, when the occupant's mouth opening degree changes periodically (YES in step S502), the conversation determination section 32 checks whether the degree of reliability of the mouth opening degree is greater than or equal to a predetermined threshold value (step S503). Here, when the degree of reliability of the degree of mouth opening is equal to or greater than the threshold value (YES in step S503), the conversation determination section 32 judges that the occupant is in conversation (step S504). However, if the confidence level of the mouth opening degree is lower than the threshold value (NO in step S503), the conversation determination section 32 judges a failure of conversation determination (step S505). In step S505, the conversation determination section 32 may also notify of the failure of the conversation determination or the output of an invalid value of the conversation determination.

Ändert sich andererseits der Mundöffnungsgrad des Insassen nicht periodisch (NEIN in Schritt S502), prüft die Gespräch-Feststellungssektion 32 ferner, ob der Zuverlässigkeitsgrad des Mundöffnungsgrads größer oder gleich einem vorgegebenen Schwellenwert ist (Schritt S506). Ist hierbei der Zuverlässigkeitsgrad des Mundöffnungsgrads größer oder gleich dem Schwellenwert (JA in Schritt S506), beurteilt die Gespräch-Feststellungssektion 32, dass der Insasse kein Gespräch führt (Schritt S507). Ist der Zuverlässigkeitsgrad des Mundöffnungsgrads jedoch niedriger als der Schwellenwert (NEIN in Schritt S506), beurteilt die Gespräch-Feststellungssektion 32 einen Misserfolg der Gespräch-Feststellung (Schritt S508). Auch in Schritt S508 kann durch die Gespräch-Feststellungssektion 32 eine Mitteilung über den Misserfolg der Gespräch-Feststellung oder die Ausgabe eines ungültigen Werts der Gespräch-Feststellung erfolgen.On the other hand, when the occupant's mouth opening degree does not change periodically (NO in step S502), the conversation determination section 32 further checks whether the degree of reliability of the mouth opening degree is greater than or equal to a predetermined threshold value (step S506). Here, when the degree of reliability of the degree of mouth opening is equal to or greater than the threshold value (YES in step S506), the conversation determination section 32 judges that the occupant is not in conversation (step S507). However, if the confidence level of the mouth opening degree is lower than the threshold value (NO in step S506), the conversation determination section 32 judges a failure of conversation determination (step S508). Also in step S508, by the conversation determination section 32 a notification of the failure of the talk-statement or the return of an invalid value of the talk-statement.

Die Gespräch-Feststellungssektion 32 führt den vorstehenden Betrieb wiederholt aus. Bei dem Schwellenwert für den Zuverlässigkeitsgrad, der in Schritt S503 verwendet wird, und dem Schwellenwert für den Zuverlässigkeitsgrad, der in Schritt S506 verwendet wird, kann es sich um denselben Wert oder um unterschiedliche Werte handeln.The conversation determination section 32 repeatedly performs the above operation. The confidence level threshold used in step S503 and the confidence level threshold used in step S506 may be the same value or different values.

Da durch die Mundöffnungsgrad-Berechnungsvorrichtung 10 auch dann der Mundöffnungsgrad berechnet werden kann, wenn der Mund des Insassen z. B. durch eine Maske verdeckt ist, ist eine Feststellung des Zustands des Insassen durch die Insassenzustand-Feststellungsvorrichtung 30 auch dann möglich, wenn der Mund des Insassen z. B. durch eine Maske verdeckt ist.Since the mouth opening degree calculation device 10 can calculate the mouth opening degree even if the occupant's mouth is opened e.g. B. is covered by a mask, a determination of the condition of the occupant by the occupant condition determination device 30 is possible even if the mouth of the occupant z. B. is covered by a mask.

Die jeweiligen Ausführungsformen können beliebig kombiniert werden, und die jeweiligen Ausführungsformen können auch in geeigneter Weise abgewandelt oder weggelassen werden.The respective embodiments can be combined arbitrarily, and the respective embodiments can also be appropriately modified or omitted.

Die vorstehende Erläuterung ist in sämtlichen Aspekten eine beispielhafte Darstellung, wobei auch unzählige Abwandlungen, die nicht beispielhaft dargestellt sind, als vorstellbar aufgefasst werden.The above explanation is an example in all respects, and innumerable modifications other than the examples are conceivable.

BezugszeichenlisteReference List

1010
Mundöffnungsgrad-BerechnungsvorrichtungMouth opening degree calculation device
1111
Gesichtsteil-DetektionssektionFace part detection section
1212
Mundöffnungsgrad-BerechnungssektionMouth opening degree calculation section
1313
Gesichtsrichtung-BerechnungssektionFace direction calculation section
1414
Gesichtsgröße-BerechnungssektionFace size calculation section
2020
Kameracamera
121121
Referenzdaten-Speichersektionreference data storage section
122122
Zuverlässigkeitsgrad-BerechnungssektionConfidence Level Calculation Section
123123
Mundöffnungsgrad-KorrektursektionMouth opening degree correction section
111111
Historie-Speichersektionhistory storage section
112112
Folgerungssektioninference section
131131
Historie-Speichersektionhistory storage section
132132
Folgerungssektioninference section
141141
Historie-Speichersektionhistory storage section
142142
Folgerungssektioninference section
3030
Insassenzustand-FeststellungsvorrichtungOccupant condition determination device
3131
Gähnen-FeststellungssektionYawn Detection Section
3232
Gespräch-FeststellungssektionConversation Determination Section
5050
Verarbeitungsschaltungprocessing circuit
5151
Prozessorprocessor
5252
SpeicherStorage

Claims (13)

Mundöffnungsgrad-Berechnungsvorrichtung umfassend eine Gesichtsteil-Detektionssektion zum Detektieren der jeweiligen Teile des Gesichts eines Menschen anhand eines Porträts des Menschen, und eine Mundöffnungsgrad-Berechnungssektion zum Berechnen des Mundöffnungsgrads, bei dem es sich um das Ausmaß der Öffnung des Mundes eines Menschen handelt, basierend auf dem Abstand zwischen einem spezifischen Teil des Gesichts des Menschen oberhalb des Mundes und dem Kinn in einem Porträt.A mouth opening degree calculating device comprising a face part detection section for detecting the respective parts of a human's face from a portrait of the human, and a mouth opening degree calculation section for calculating the mouth opening degree, which is the degree of opening of a human's mouth, based on the distance between a specific part of the human's face above the mouth and the chin in a portrait. Mundöffnungsgrad-Berechnungsvorrichtung nach Anspruch 1, wobei es sich bei den spezifischen Teilen um die Augen, die Nase oder den Mittelpunkt zwischen beiden Augen handelt.mouth opening degree calculation device claim 1 , where the specific parts are the eyes, the nose, or the midpoint between both eyes. Mundöffnungsgrad-Berechnungsvorrichtung nach Anspruch 1, wobei die Gesichtsteil-Detektionssektion eine Historie-Speichersektion zum Speichern der Historie der Position der spezifischen Teile des Menschen in dem Porträt, und eine Folgerungssektion zum Folgern der aktuellen Position der spezifischen Teile des Menschen anhand der Historie der Position der spezifischen Teile des Menschen, wenn anhand des aktuellen Porträts die spezifischen Teile des Menschen nicht detektiert werden können, umfasst, und die Mundöffnungsgrad-Berechnungssektion für den Fall, dass anhand des aktuellen Porträts die spezifischen Teile des Menschen nicht detektiert werden können, den Mundöffnungsgrad basierend auf der gefolgerten aktuellen Position der spezifischen Teile des Menschen berechnet.mouth opening degree calculation device claim 1 , wherein the face part detection section includes a history storage section for storing the history of the position of the specific parts of the human in the portrait, and an inference section for inferring the current position of the specific parts of the human from the history of the position of the specific parts of the human when from the current portrait the specific parts of the human cannot be detected, and the mouth opening degree calculation section in the case that from the current portrait the specific parts of the human cannot be detected, the mouth opening degree based on the inferred current position of the specific calculated parts of man. Mundöffnungsgrad-Berechnungsvorrichtung nach Anspruch 1, wobei die Gesichtsteil-Detektionssektion umfasst eine Historie-Speichersektion zum Speichern der Historie der Position des Kinns des Menschen in dem Porträt, und eine Folgerungssektion zum Folgern der aktuellen Position des Kinns des Menschen anhand der Historie der Position des Kinns des Menschen, wenn anhand des aktuellen Porträts das Kinn des Menschen nicht detektiert werden kann, wobei die Mundöffnungsgrad-Berechnungssektion für den Fall, dass anhand des aktuellen Porträts das Kinn des Menschen nicht detektiert werden kann, den Mundöffnungsgrad basierend auf der gefolgerten aktuellen Position des Kinns des Menschen berechnet.mouth opening degree calculation device claim 1 , wherein the facial part detection section comprises a history storage section for storing the history of the human's chin position in the portrait, and an inference section for inferring the current human's chin position from the history of the human's chin position when based on the current portraits the chin of the person cannot be detected, wherein, in the case where the chin of the human cannot be detected from the current portrait, the mouth opening degree calculation section calculates the mouth opening degree based on the inferred current position of the chin of the human. Mundöffnungsgrad-Berechnungsvorrichtung nach Anspruch 1, ferner umfassend eine Gesichtsrichtung-Berechnungssektion zum Berechnen der Gesichtsrichtung des Menschen anhand des Porträts, wobei die Mundöffnungsgrad-Berechnungssektion den Mundöffnungsgrad unter Einbeziehung der Gesichtsrichtung des Menschen berechnet.mouth opening degree calculation device claim 1 , further comprising a face direction calculation section for calculating the face direction of the human based on the portrait, wherein the mouth opening degree calculation section calculates the mouth opening degree taking into account the face direction of the human. Mundöffnungsgrad-Berechnungsvorrichtung nach Anspruch 5, wobei die Gesichtsrichtung-Berechnungssektion umfasst eine Historie-Speichersektion zum Speichern der Historie der Gesichtsrichtung des Menschen in dem Porträt, und eine Folgerungssektion zum Folgern der aktuellen Gesichtsrichtung des Menschen anhand der Historie der Position des Kinns des Menschen, wenn anhand des aktuellen Porträts die Gesichtsrichtung des Menschen nicht detektiert werden kann, wobei die Mundöffnungsgrad-Berechnungssektion für den Fall, dass anhand des aktuellen Porträts die Gesichtsrichtung des Menschen nicht detektiert werden kann, den Mundöffnungsgrad unter Einbeziehung der gefolgerten aktuellen Gesichtsrichtung des Menschen berechnet.mouth opening degree calculation device claim 5 , wherein the face direction calculation section comprises a history storage section for storing the history of the face direction of the human in the portrait, and an inference section for inferring the current face direction of the human from the history of the position of the chin of the human when based on the current portrait the face direction of the human cannot be detected, wherein when the face direction of the human cannot be detected from the current portrait, the mouth opening degree calculation section calculates the mouth opening degree using the inferred current face direction of the human. Mundöffnungsgrad-Berechnungsvorrichtung nach Anspruch 1, außerdem umfassend eine Gesichtsgröße-Berechnungssektion zum Berechnen der Gesichtsgröße des Menschen in dem Porträt, wobei die Mundöffnungsgrad-Berechnungssektion den Mundöffnungsgrad unter Einbeziehung der Gesichtsgröße des Menschen in dem Porträt berechnet.mouth opening degree calculation device claim 1 , further comprising a face size calculation section for calculating the face size of the human in the portrait, the mouth opening degree calculation section calculating the mouth opening degree taking into account the face size of the human in the portrait. Mundöffnungsgrad-Berechnungsvorrichtung nach Anspruch 7, wobei die Gesichtsgröße-Berechnungssektion umfasst eine Historie-Speichersektion zum Speichern der Historie der Gesichtsgröße des Menschen in dem Porträt, und eine Folgerungssektion zum Folgern der aktuellen Gesichtsgröße des Menschen anhand der Historie der Gesichtsgröße des Menschen, wenn anhand des aktuellen Porträts die Gesichtsgröße des Menschen nicht detektiert werden kann, wobei die Mundöffnungsgrad-Berechnungssektion für den Fall, dass anhand des aktuellen Porträts die Gesichtsgröße des Menschen nicht detektiert werden kann, den Mundöffnungsgrad unter Einbeziehung der gefolgerten aktuellen Gesichtsgröße des Menschen berechnet.mouth opening degree calculation device claim 7 , wherein the face size calculation section comprises a history storage section for storing the history of the face size of the human in the portrait, and an inference section for inferring the current face size of the human from the history of the face size of the human when from the current portrait the face size of the human cannot be detected, wherein when the face size of the human cannot be detected from the current portrait, the mouth opening degree calculation section calculates the mouth opening degree using the inferred current face size of the human. Mundöffnungsgrad-Berechnungsvorrichtung nach Anspruch 1, wobei die Mundöffnungsgrad-Berechnungssektion den Mundöffnungsgrad basierend auf der Form des Mundes des Menschen berechnet, wenn anhand des Porträts der Mund des Menschen detektiert wurde.mouth opening degree calculation device claim 1 wherein the mouth opening degree calculation section calculates the mouth opening degree based on the shape of the human's mouth when the human's mouth is detected from the portrait. Mundöffnungsgrad-Berechnungsvorrichtung nach Anspruch 1, wobei bei der Mundöffnungsgrad-Berechnungssektion Referenzdaten gespeichert sind, welche die Beziehung zwischen dem Abstand zwischen spezifischen Teilen und dem Kinn des Menschen, und dem Mundöffnungsgrad ausdrücken, und die Mundöffnungsgrad-Berechnungssektion den Mundöffnungsgrad durch einen Vergleich des Abstands zwischen den anhand des Porträts detektierten spezifischen Teilen und dem Kinn des Menschen mit den Referenzdaten berechnet.mouth opening degree calculation device claim 1 wherein the mouth opening degree calculation section stores reference data expressing the relationship between the distance between specific parts and the chin of the human and the mouth opening degree, and the mouth opening degree calculation section calculates the mouth opening degree by comparing the distance between the specific ones detected from the portrait Parts and the chin of the people are calculated with the reference data. Mundöffnungsgrad-Berechnungsvorrichtung nach Anspruch 10, wobei die Mundöffnungsgrad-Berechnungssektion den Mundöffnungsgrad basierend auf der Form des Mundes des Menschen berechnet, wenn anhand des Porträts die spezifischen Teile, das Kinn und der Mund des Menschen detektiert wurden, und mittels des Mundöffnungsgrades, der durch den Abstand zwischen den detektierten spezifischen Teilen und dem Kinn des Menschen berechnet wurde, die Referenzdaten aktualisiert.mouth opening degree calculation device claim 10 , wherein the mouth opening degree calculation section calculates the mouth opening degree based on the shape of the mouth of the human when the specific parts, the chin and the mouth of the human were detected from the portrait, and using the mouth opening degree determined by the distance between the detected specific parts and the human chin updated the reference data. Mundöffnungsgrad-Berechnungsvorrichtung nach Anspruch 1, wobei die Mundöffnungsgrad-Berechnungssektion außerdem die Zuverlässigkeit des berechneten Mundöffnungsgrades berechnet.mouth opening degree calculation device claim 1 , wherein the mouth opening degree calculation section also calculates the reliability of the calculated mouth opening degree. Mundöffnungsgrad-Berechnungsverfahren, Detektieren, durch das eine Gesichtsteil-Detektionssektion einer Mundöffnungsgrad-Berechnungsvorrichtung anhand eines Porträts eines Menschen die jeweiligen Teile des Gesichts des Menschen, und Berechnen, durch eine Mundöffnungsgrad-Berechnungssektion der Mundöffnungsgrad-Berechnungsvorrichtung, des Mundöffnungsgrads, bei dem es sich um das Ausmaß der Öffnung des Mundes des Menschen handelt, basierend auf dem Abstand zwischen einem spezifischen Teil des Gesichts des Menschen oberhalb des Mundes und dem Kinn in dem Porträt berechnet.mouth opening degree calculation method, detecting by which a facial part detection section of a mouth opening degree calculation device, based on a portrait of a human, the respective parts of the human's face, and calculating, by a mouth opening degree calculation section of the mouth opening degree calculation device, the mouth opening degree, which is the degree of opening of the human's mouth, based on the distance between a specific part of the human's face above the mouth and the chin in charged to the portrait.
DE112020007397.1T 2020-09-24 2020-09-24 Mouth opening degree calculation device and mouth opening degree calculation method Pending DE112020007397T5 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/035900 WO2022064581A1 (en) 2020-09-24 2020-09-24 Opening-degree calculation device and opening-degree calculation method

Publications (1)

Publication Number Publication Date
DE112020007397T5 true DE112020007397T5 (en) 2023-04-27

Family

ID=80845569

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020007397.1T Pending DE112020007397T5 (en) 2020-09-24 2020-09-24 Mouth opening degree calculation device and mouth opening degree calculation method

Country Status (3)

Country Link
JP (1) JP7217838B2 (en)
DE (1) DE112020007397T5 (en)
WO (1) WO2022064581A1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5208711B2 (en) 2008-12-17 2013-06-12 アイシン精機株式会社 Eye open / close discrimination device and program
JP2011048469A (en) * 2009-08-25 2011-03-10 Seiko Epson Corp Image processing device, image processing method, and image processing program
JP5423379B2 (en) * 2009-08-31 2014-02-19 ソニー株式会社 Image processing apparatus, image processing method, and program
JP2020035122A (en) * 2018-08-29 2020-03-05 オムロン株式会社 Face momentum measurement device

Also Published As

Publication number Publication date
WO2022064581A1 (en) 2022-03-31
JPWO2022064581A1 (en) 2022-03-31
JP7217838B2 (en) 2023-02-03

Similar Documents

Publication Publication Date Title
DE602004005984T2 (en) FACE IDENTIFICATION VERIFICATION USING FRONT AND SIDE VIEWS
DE102018105169A1 (en) Display system for vehicle and control method therefor
DE102019215460A1 (en) Method and device for noise reduction in image recordings
DE112017007011T5 (en) Face direction estimator and face direction estimation method
EP4081950A1 (en) System and method for the quality assurance of data-based models
DE102018113559A1 (en) A method of recognizing a lane mark by validating by line width; Control means; Pitch recognition system; as well as driver assistance system
WO2012113901A2 (en) Method for publicly providing protected electronic documents
DE112020007397T5 (en) Mouth opening degree calculation device and mouth opening degree calculation method
DE112021000126T5 (en) Method and device for detecting a condition of a door or a window
DE4121453C2 (en) Approximation inference device
DE60030603T2 (en) Device for image recognition using partial patterns
DE10205349A1 (en) Fingerprint image acquisition apparatus used in e.g. entrance and exit control in a specific region, has image processor with controller that executes process to divide fingerprint image into unit blocks
DE112019007052T5 (en) Alertness degree estimating device, automatic driving assisting device and alertness estimating method
DE102018122115A1 (en) Method for detecting the surroundings of a vehicle
DE102019127622B4 (en) Defense generator, method for preventing an attack on an AI unit and computer-readable storage medium
EP4180281A1 (en) Feature model and feature model-based control of a washing system
DE112021007503T5 (en) Condition detection device and condition detection method
DE102020202946A1 (en) Method for providing access to a device and a motor vehicle
DE112018007543T5 (en) MULL DETECTION SYSTEM AND METHOD FOR MULL DETECTION
DE112019007033T5 (en) Face detection processing apparatus and face detection processing method
DE102018128612A1 (en) Capture unauthorized attempts to connect to a vehicle network
DE112021007211T5 (en) Fatigue inference device and fatigue inference system
DE102019131639B4 (en) System for providing an explanation data set for an AI module
EP3759644B1 (en) Identification of free seats based on the detection of a repeated texture
DE112020006530T5 (en) Gesture detection device and gesture detection method

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R084 Declaration of willingness to licence