DE102017201328A1 - Method for determining a facial expression - Google Patents

Method for determining a facial expression Download PDF

Info

Publication number
DE102017201328A1
DE102017201328A1 DE102017201328.1A DE102017201328A DE102017201328A1 DE 102017201328 A1 DE102017201328 A1 DE 102017201328A1 DE 102017201328 A DE102017201328 A DE 102017201328A DE 102017201328 A1 DE102017201328 A1 DE 102017201328A1
Authority
DE
Germany
Prior art keywords
determining
sequence
image
images
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017201328.1A
Other languages
German (de)
Inventor
Cornelia Denk
Felix Klanner
Ralph Helmar Rasshofer
Dongshun Cui
Yan Yang
Guangbin Huang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Nanyang Technological University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG, Nanyang Technological University filed Critical Bayerische Motoren Werke AG
Priority to DE102017201328.1A priority Critical patent/DE102017201328A1/en
Publication of DE102017201328A1 publication Critical patent/DE102017201328A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness

Abstract

Es wird Verfahren (200) zur Bestimmung eines Gesichtsausdrucks beschrieben. Das Verfahren (200) umfasst das Ermitteln (201) einer Sequenz von Bildern für eine Sequenz von Zeitpunkten, wobei die Sequenz von Bildern ein Gesicht an der Sequenz von Zeitpunkten anzeigt. Außerdem umfasst das Verfahren das Ermitteln (202), auf Basis der Sequenz von Bildern, eines Veränderungs-Bildes, das eine Veränderung des Gesichts in einem von der Sequenz von Zeitpunkten abgedeckten Zeitraum anzeigt. Das Verfahren (200) umfasst weiter das Bestimmen (203), auf Basis des Veränderungs-Bildes, einer Ausdrucksform des Gesichts.Method (200) for determining a facial expression is described. The method (200) includes determining (201) a sequence of images for a sequence of times, wherein the sequence of images indicates a face at the sequence of times. In addition, the method includes determining (202), based on the sequence of images, a change image indicative of a change in the face in a time period covered by the sequence of times. The method (200) further comprises determining (203), based on the change image, an expression of the face.

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung der Mimik und der Emotionen eines Menschen, insbesondere eines Fahrers eines Fahrzeugs, durch Analyse von Bilddaten.The invention relates to a method for determining the facial expressions and emotions of a human, in particular a driver of a vehicle, by analyzing image data.

Der emotionale Zustand eines Fahrers eines Fahrzeugs gibt typischerweise Hinweise auf den Grad der Aufmerksamkeit und/oder auf das Stressniveau des Fahrers. Des Weiteren kann, basierend auf dem emotionalen Zustand eines Fahrers, Information darüber ermittelt werden, ob der Fahrer in der Lage ist, das Fahrzeug sicher im Straßenverkehr zu führen.The emotional state of a driver of a vehicle typically indicates the degree of attention and / or stress level of the driver. Further, based on the emotional state of a driver, information may be determined as to whether the driver is able to drive the vehicle safely on the road.

Der emotionale Zustand eines Fahrers kann durch Analyse von Bilddaten bezüglich des Fahrers bestimmt werden. Insbesondere kann auf Basis von Bilddaten die Mimik bzw. der Gesichtsausdruck eines Fahrers erkannt und basierend auf der Mimik auf den emotionalen Zustand des Fahrers geschlossen werden. Der erkannte emotionale Zustand des Fahrers kann dann in Fahrerassistenzsystemen verwendet werden, um den Fahrer eines Fahrzeugs bei der Führung des Fahrzeugs zu unterstützen. So kann die Sicherheit im Straßenverkehr erhöht werden.The emotional state of a driver may be determined by analyzing image data relating to the driver. In particular, based on image data, the facial expression of a driver can be recognized and based on the facial expression on the emotional state of the driver can be closed. The detected emotional condition of the driver may then be used in driver assistance systems to assist the driver of a vehicle in driving the vehicle. So the safety on the road can be increased.

Das vorliegende Dokument befasst sich mit der technischen Aufgabe, ein recheneffizientes und zuverlässiges Verfahren zur Erkennung des Gesichtsausdrucks auf Basis von Bilddaten bereitzustellen.The present document addresses the technical problem of providing a computationally efficient and reliable method of recognizing facial expression based on image data.

Die Aufgabe wird durch den unabhängigen Anspruch gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. The object is solved by the independent claim. Advantageous embodiments are described i.a. in the dependent claims.

Gemäß einem Aspekt wird ein Verfahren zur Bestimmung eines Gesichtsausdrucks beschrieben. Das Verfahren kann durch eine Steuereinheit eines Fahrzeugs ausgeführt werden, um die Ausdrucksform eines Gesichts eines Fahrers des Fahrzeugs zu bestimmen. Es kann dann ein Aktuator (z.B. ein Lautsprecher und/oder ein optisches Element zur Ausgabe eines Warnhinweises) des Fahrzeugs in Abhängigkeit von der ermittelten Ausdrucksform des Gesichts des Fahrers des Fahrzeugs angesteuert werden. Mit anderen Worten, es können ein oder mehrere Fahrerassistenzsysteme bereitgestellt werden, die die Ausdrucksform des Gesichts des Fahrers des Fahrzeugs berücksichtigen. So kann die Verkehrssicherheit eines Fahrzeugs erhöht werden.In one aspect, a method for determining facial expression is described. The method may be performed by a control unit of a vehicle to determine the expression of a face of a driver of the vehicle. An actuator (e.g., a speaker and / or an optical element for issuing a warning) of the vehicle may then be driven in response to the determined expression of the driver's face of the vehicle. In other words, one or more driver assistance systems may be provided that take into account the expression of the driver's face of the vehicle. Thus, the traffic safety of a vehicle can be increased.

Das Verfahren umfasst das Ermitteln einer Sequenz von Bildern für eine Sequenz von Zeitpunkten, wobei die Sequenz von Bildern ein Gesicht an der Sequenz von Zeitpunkten anzeigt. Die Sequenz von Bildern kann z.B. mittels einer Bildkamera erfasst werden, die auf das Gesicht eines Menschen, insbesondere auf das Gesicht eines Fahrers eines Fahrzeugs, gerichtet ist. Die Sequenz von Bildern kann z.B. 2, 5, 10 oder mehr Bilder umfassen. Die Bilder können z.B. mit einer bestimmten Bildrate (z.B. von 10, 20 oder mehr Hz) aufeinander folgen. Es können somit Videodaten bzgl. eines Gesichts bereitgestellt werden.The method includes determining a sequence of images for a sequence of times, wherein the sequence of images indicates a face at the sequence of times. The sequence of images may e.g. be detected by means of an image camera, which is directed to the face of a human, in particular on the face of a driver of a vehicle. The sequence of images may e.g. 2, 5, 10 or more images. The images may e.g. at a certain frame rate (e.g., 10, 20, or more Hz). Thus, video data regarding a face can be provided.

Das Verfahren umfasst weiter das Ermitteln, auf Basis der Sequenz von Bildern, eines Veränderungs-Bildes, das eine Veränderung des Gesichts in einem von der Sequenz von Zeitpunkten abgedeckten (Beobachtungs-) Zeitraum anzeigt. Insbesondere kann das Veränderungs-Bild eine kumulierte Veränderung in dem Zeitraum anzeigen.The method further comprises determining, based on the sequence of images, a change image indicative of a change in the face in a period of observation (observation) covered by the sequence of times. In particular, the change image may indicate a cumulative change in the time period.

Zum Ermitteln eines Veränderungs-Bildes können (absolute) Differenzen zwischen entsprechenden Bildpunkten eines ersten Bildes und eines zweiten Bildes der Sequenz von Bildern gebildet werden. Insbesondere kann ein Differenz-Bild zwischen einem ersten Bild und einem zweiten Bild der Sequenz von Bildern ermittelt werden. Beispielsweise kann eines der Bilder der Sequenz von Bildern (z.B. das erste Bild der Sequenz von Bildern) als Referenz-Bild betrachtet werden. Es kann dann für jedes (oder zumindest für einen Teil) der Bilder der Sequenz von Bildern ein Differenz-Bild zu dem Referenz-Bild ermittelt werden. Dabei kann das Differenz-Bild den Absolutwert bzw. den Betrag der Differenz zwischen entsprechenden Bilderpunkten des Bildes und des Referenz-Bildes als Bildpunkt aufweisen.For determining a change image, (absolute) differences between corresponding pixels of a first image and a second image of the sequence of images may be formed. In particular, a difference image between a first image and a second image of the sequence of images can be determined. For example, one of the images of the sequence of images (e.g., the first image of the sequence of images) may be considered a reference image. It can then be determined for each (or at least part) of the images of the sequence of images, a difference image to the reference image. In this case, the difference image may have the absolute value or the amount of the difference between corresponding image points of the image and the reference image as a pixel.

Es kann somit eine Sequenz von Differenz-Bildern der Sequenz von Bildern zu einem Referenz-Bild ermittelt werden. Das Veränderungs-Bild kann dann auf Basis der Sequenz von Differenz-Bildern ermittelt werden. Zu diesem Zweck kann, durch Summieren entsprechender Bildpunkte der Differenz-Bilder, eine Summe der Differenz-Bilder der Sequenz von Differenz-Bildern ermittelt werden. Des Weiteren kann (durch Normierung der Summe der Differenz-Bilder) ein mittleres Differenz-Bild der Sequenz von Differenz-Bildern ermittelt werden. Das Veränderungs-Bild kann dem mittleren Differenz-Bild entsprechen.Thus, a sequence of difference images of the sequence of images to a reference image can be determined. The change image can then be determined based on the sequence of difference images. For this purpose, by summing corresponding pixels of the difference images, a sum of the difference images of the sequence of difference images can be determined. Furthermore, by normalizing the sum of the difference images, a mean difference image of the sequence of difference images can be determined. The change image may correspond to the mean difference image.

Das Verfahren umfasst weiter das Bestimmen, auf Basis des Veränderungs-Bildes, einer Ausdrucksform des Gesichts. Insbesondere kann dabei ein Merkmalsvektor für das Veränderungs-Bild ermittelt werden, wobei der Merkmalsvektor Information in Bezug auf eine Orientierung von Kanten in dem Veränderungs-Bild anzeigt. Die Ausdrucksform des Gesichts kann dann anhand des Merkmalsvektors und anhand eines Klassifikators ermittelt werden. Dabei kann der Klassifikator eingerichtet sein, den Merkmalsvektor einer Ausdrucksform aus einer Mehrzahl von unterschiedlichen Ausdrucksformen zuzuordnen. Als Klassifikator kann vorteilhaft ein künstliches neuronales Netzwerk, insbesondere eine Extreme Learning Machine, verwendet werden.The method further comprises determining, based on the change image, an expression of the face. In particular, a feature vector for the change image can be determined, wherein the feature vector displays information relating to an orientation of edges in the change image. The expression of the face can then be determined on the basis of the feature vector and on the basis of a classifier. In this case, the classifier can be set up to associate the feature vector of an expression form from a plurality of different expression forms. As a classifier can be advantageous artificial neural network, in particular an Extreme Learning Machine.

Durch die Ermittlung der Ausdrucksform eines Gesichts auf Basis eines (einzigen) Veränderungs-Bildes, das die kumulierte Veränderung von Gesichtszügen über einen bestimmten Beobachtungs-Zeitraum anzeigt, kann die Ausdrucksform eines Gesichts in recheneffizienter und präziser Weise ermittelt werden.By determining the expression of a face based on a (single) change image, which indicates the cumulative change of facial features over a particular observation period, the expression of a face can be determined in a computationally efficient and precise manner.

Das Veränderungs-Bild kann eine Vielzahl von Blöcken umfassen (wobei sich die Blöcke zumindest teilweise, z.B. um 50%, überlappen können). Der Merkmalsvektor kann dann Information in Bezug auf die Orientierung von Kanten in der Vielzahl von Blöcken umfassen. Insbesondere kann eine Vielzahl von Histogrammen von orientierten Gradienten (Englisch: Histogram of Oriented Gradients, HOG) für die Vielzahl von Blöcken ermittelt werden. Der Merkmalsvektor kann dann auf Basis der Vielzahl von Histogrammen ermittelt werden. Durch die Unterteilung des Veränderungs-Bildes in unterschiedliche Blöcke können lokale Veränderungen in Teilbereichen eines Gesichts (z.B. in einem Mund-, Augen-, Nasen-, Stirn-Bereich) in präziser Weise berücksichtigt werden. So kann die Zuverlässigkeit der Bestimmung der Ausdrucksform eines Gesichts weiter erhöht werden.The change image may comprise a plurality of blocks (which blocks may at least partially, for example, overlap by 50%). The feature vector may then include information regarding the orientation of edges in the plurality of blocks. In particular, a plurality of histograms of oriented histograms (Histogram of Oriented Gradients, HOG) for the plurality of blocks can be determined. The feature vector can then be determined based on the plurality of histograms. By dividing the change image into different blocks, local changes in portions of a face (e.g., in the area of the mouth, eyes, nose, forehead) can be taken into account in a precise manner. Thus, the reliability of determining the expression of a face can be further increased.

Das Ermitteln des Merkmalsvektors kann das Ermitteln eines vorläufigen Merkmalsvektors für das Veränderungs-Bild umfassen (z.B. anhand der o.g. HOG Merkmale). Es kann dann eine Reduzierung der Dimension des vorläufigen Merkmalsvektors durch eine Hauptkomponentenanalyse des vorläufigen Merkmalsvektors erfolgen, um den Merkmalsvektor bereitzustellen. Insbesondere kann nur eine bestimmte Anzahl von Hauptkomponenten in dem Merkmalsvektor berücksichtigt werden. So kann die Rechenkomplexität des Verfahrens bei substantiell unveränderter Zuverlässigkeit reduziert werden.The determination of the feature vector may include determining a provisional feature vector for the change image (e.g., based on the above-mentioned HOG features). A reduction in the dimension of the preliminary feature vector may then be made by a principal component analysis of the preliminary feature vector to provide the feature vector. In particular, only a certain number of main components can be considered in the feature vector. Thus, the computational complexity of the method can be reduced with substantially unchanged reliability.

Gemäß einem weiteren Aspekt wird eine Steuereinheit beschrieben, die eingerichtet ist, das in diesem Dokument beschriebene Verfahren auszuführen.In another aspect, a controller configured to perform the method described in this document is described.

Gemäß einem weiteren Aspekt wird ein Fahrzeug (insbesondere ein Straßenfahrzeug z.B. ein Personenkraftwagen, ein Lastkraftwagen oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Steuereinheit umfasst.According to a further aspect, a vehicle (in particular a road vehicle, for example a passenger car, a truck or a motorcycle) is described, which comprises the control unit described in this document.

Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.In another aspect, a software (SW) program is described. The SW program can be set up to run on a processor and thereby perform the method described in this document.

Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.In another aspect, a storage medium is described. The storage medium may include a SW program that is set up to run on a processor and thereby perform the method described in this document.

Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.It should be understood that the methods, devices and systems described herein may be used alone as well as in combination with other methods, devices and systems described in this document. Furthermore, any aspects of the methods, devices, and systems described herein may be combined in a variety of ways. In particular, the features of the claims can be combined in a variety of ways.

Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen

  • 1 beispielhafte Komponenten eines Fahrzeugs; und
  • 2 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Bestimmung eines Gesichtsausdrucks.
Furthermore, the invention will be described in more detail with reference to exemplary embodiments. Show
  • 1 exemplary components of a vehicle; and
  • 2 a flowchart of an exemplary method for determining a facial expression.

Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der effizienten und präzisen Bestimmung der Mimik eines Menschen, insbesondere eines Fahrers eines Fahrzeugs. In diesem Zusammenhang zeigt 1 beispielhafte Komponenten eines Fahrzeugs 100. Das Fahrzeug 100 umfasst einen Bildsensor 102, z.B. eine Bildkamera, der eingerichtet ist, Bilddaten bezüglich eines Gesichts eines Fahrers des Fahrzeugs 100 an einer Fahrerposition des Fahrzeugs 100 zu erfassen. Die Bilddaten umfassen dabei eine Sequenz von Bildern des Fahrers für eine entsprechende Sequenz von Zeitpunkten. Die Bilddaten können somit die zeitliche Veränderung des Gesichts eines Fahrers des Fahrzeugs 100 anzeigen. Beispielsweise können Bilder des Gesichts des Fahrers mit einer bestimmten, konstanten Bildrate (z.B. 10, 20, 30 oder mehr Bilder pro Sekunde) erfasst und als Bilddaten bereitgestellt werden.As stated above, the present document deals with the efficient and precise determination of the facial expression of a human, in particular a driver of a vehicle. In this context shows 1 exemplary components of a vehicle 100 , The vehicle 100 includes an image sensor 102 For example, an image camera configured to acquire image data regarding a face of a driver of the vehicle 100 at a driver's position of the vehicle 100 capture. The image data comprise a sequence of images of the driver for a corresponding sequence of times. The image data can thus be the temporal change of the face of a driver of the vehicle 100 Show. For example, images of the driver's face may be captured at a certain, constant frame rate (eg, 10, 20, 30, or more frames per second) and provided as image data.

Das Fahrzeug 100 umfasst weiter eine Steuereinheit 101, die eingerichtet ist, auf Basis der Bilddaten die Mimik bzw. den Gesichtsausdruck des Fahrers des Fahrzeugs 100 zu erkennen. Beispielsweise kann eine Mehrzahl von Ausdrucksformen definiert werden, z.B. ärgerlich, fröhlich, ängstlich, etc. Die Steuereinheit 101 kann dann eingerichtet sein, auf Basis der Bilddaten eine Ausdrucksform aus der Mehrzahl von Ausdrucksformen auszuwählen, um den aktuellen Gesichtsausdruck des Fahrers des Fahrzeugs 100 zu beschreiben. Des Weiteren kann die Steuereinheit 100 eingerichtet sein, zumindest einen Aktuator 103 des Fahrzeugs 100 in Abhängigkeit von dem ermittelten Gesichtsausdruck anzusteuern (z.B. im Rahmen eines Fahrerassistenzsystems).The vehicle 100 further comprises a control unit 101 , which is set up, based on the image data, the facial expression of the driver of the vehicle 100 to recognize. For example, a plurality of expressions may be defined, eg annoying, happy, anxious, etc. The control unit 101 may then be arranged to select one of the plurality of expressions based on the image data to express the current facial expression of the driver of the vehicle 100 to describe. Furthermore, the control unit 100 be set up, at least an actuator 103 of the vehicle 100 depending on the determined facial expression (eg in the context of a driver assistance system).

2 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens 200 zur Bestimmung eines Gesichtsausdrucks. Das Verfahren 200 kann durch die Steuereinheit 101 eines Fahrzeugs 100 ausgeführt werden, um die Ausdrucksform eines Gesichts eines Fahrers des Fahrzeugs 100 zu ermitteln. 2 shows a flowchart of an exemplary method 200 for determining a facial expression. The procedure 200 can through the control unit 101 of a vehicle 100 be executed to the expression of a face of a driver of the vehicle 100 to investigate.

Das Verfahren 200 umfasst das Ermitteln 201 einer Sequenz von Bildern für eine Sequenz von Zeitpunkten. Dabei kann die Sequenz von Bildern ein Gesicht an der Sequenz von Zeitpunkten anzeigen. Die Sequenz von Bildern kann einen bestimmten Beobachtungs-Zeitraum abdecken (z.B. 0,5 Sekunden, 1 Sekunde oder mehr). Alternativ oder ergänzend kann die Sequenz von Bildern eine bestimmte Anzahl von Bildern bzw. Frames (z.B. 10 Bilder oder mehr) umfassen. The procedure 200 includes determining 201 a sequence of images for a sequence of times. The sequence of images may indicate a face at the sequence of times. The sequence of images can cover a certain observation period (eg 0.5 seconds, 1 second or more). Alternatively or additionally, the sequence of images may comprise a certain number of images or frames (eg 10 images or more).

Das Verfahren 200 umfasst weiter das Ermitteln 202, auf Basis der Sequenz von Bildern, eines Veränderungs-Bildes, das eine Veränderung des Gesichts in dem von der Sequenz von Zeitpunkten abgedeckten Beobachtungs-Zeitraum anzeigt. Beispielsweise kann ein Bild, z.B. das erste Bild, der Sequenz von Bildern als Referenz-Bild betrachtet werden. Es können dann Differenz-Bilder der einzelnen Bilder der Sequenz von Bildern relativ zu dem Referenz-Bild ermittelt werden.The procedure 200 further includes determining 202 based on the sequence of images, a change image indicating a change in the face in the observation period covered by the sequence of times. For example, an image, eg the first image, of the sequence of images may be considered a reference image. It can then be determined difference images of the individual images of the sequence of images relative to the reference image.

Zur Ermittlung eines Differenz-Bildes für ein bestimmtes Bild der Sequenz von Bildern kann die Differenz von entsprechenden Bildpunkten des bestimmten Bildes und des Referenz-Bildes gebildet werden. Das Differenz-Bild kann die Absolutwerte bzw. die Beträge der Differenzen der entsprechenden Bildpunkte als Bildpunkte aufweisen. Mit anderen Worten, das Differenz-Bild kann für die einzelnen Bildpunkte des bestimmten Bildes die betragliche Abweichung zu den entsprechenden Bilderpunkten des Referenz-Bildes anzeigen.To obtain a difference image for a particular image of the sequence of images, the difference between corresponding pixels of the particular image and the reference image may be formed. The difference image may have the absolute values or the amounts of the differences of the corresponding pixels as pixels. In other words, the difference image may indicate for the individual pixels of the particular image the amount of deviation from the corresponding image points of the reference image.

Es ergibt sich somit für die Sequenz von Bildern eine entsprechende Sequenz von Differenz-Bildern in Bezug auf ein Referenz-Bild aus der Sequenz von Bildern. Das Veränderungs-Bild kann als Mittelwert der Sequenz von Differenz-Bildern ermittelt werden. Insbesondere kann die Summe von entsprechenden Bildpunkten der Differenz-Bilder der Sequenz von Differenz-Bildern gebildet werden, um ein Summen-Bild für die Sequenz von Differenz-Bildern zu ermitteln. Des Weiteren können die Bildpunkte des Summen-Bildes durch die Anzahl von Bildern der Sequenz von Bildern geteilt werden, um die Bildpunkte zu normalisieren. Das so ermittelt Veränderungs-Bild zeigt somit die kumulierten Veränderungen eines Gesichts über den durch die Sequenz von Zeitpunkten abgedeckten Beobachtungs-Zeitraum an.Thus, for the sequence of images, there is a corresponding sequence of difference images with respect to a reference image from the sequence of images. The change image can be determined as the mean value of the sequence of difference images. In particular, the sum of corresponding pixels of the difference images of the sequence of difference images may be formed to obtain a sum image for the sequence of difference images. Furthermore, the pixels of the sum image may be divided by the number of images of the sequence of images to normalize the pixels. The thus-determined change image thus indicates the cumulative changes of a face over the observation period covered by the sequence of times.

Außerdem umfasst das Verfahren 200 das Bestimmen 203, auf Basis des Veränderungs-Bildes, einer Ausdrucksform des Gesichts. Zu diesem Zweck kann für das Veränderungs-Bild ein HOG (Histogram of Oriented Gradients) Merkmalsvektor ermittelt werden. Dieser Merkmalsvektor kann dann in Zusammenhang mit einem Maschinen-erlernten Klassifikator dazu genutzt werden, die Ausdrucksform des Gesichts zu ermitteln. So kann in effizienter und zuverlässiger Weise der Gesichtsausdruck eines Menschen bestimmt werden.In addition, the process includes 200 the determining 203 , based on the image of change, an expression of the face. For this purpose, a HOG (Histogram of Oriented Gradients) feature vector can be determined for the change image. This feature vector can then be used in conjunction with a machine-learned classifier to determine the expression of the face. Thus, the facial expression of a human can be determined in an efficient and reliable manner.

Zur Ermittlung des Merkmalsvektors des Veränderungs-Bildes kann das Veränderungs-Bild in eine Vielzahl von Blöcken unterteilt werden. Dabei können sich die Blöcke zumindest teilweise überlappen. Es kann dann für jeden Block ein Histogramm von orientierten Gradienten ermittelt werden. Mit anderen Worten, es kann für jeden Block ein Histogramm ermittelt werden, das die Verteilung von Orientierungen von Kanten innerhalb des Blockes anzeigt. Der so ermittelte Merkmalsvektor zeigt somit Information in Bezug auf die Orientierung von Kanten innerhalb von unterschiedlichen Teilbereichen des Veränderungs-Bildes an.For determining the feature vector of the change image, the change image may be divided into a plurality of blocks. The blocks may overlap at least partially. A histogram of oriented gradients can then be determined for each block. In other words, for each block, a histogram indicating the distribution of orientations of edges within the block can be obtained. The feature vector thus determined thus displays information relating to the orientation of edges within different subregions of the change image.

Die Kanten des Veränderungs-Bildes zeigen an, welche Bereiche eines Gesichts sich innerhalb des Beobachtungs-Zeitraums in welcher Weise verändert haben. Beispielsweise kann eine Veränderung der Form des Mundes, der Augen und/oder der Augenbrauen des erfassten Gesichts repräsentiert sein. Die Veränderung der Formen von Teilbereichen eines Gesichts gibt dabei präzise Hinweise auf einen Gesichtsausdruck. Die Information in Bezug auf die Orientierung von Kanten innerhalb des Veränderungs-Bildes kann somit dazu genutzt werden, in präziser und zuverlässiger Weise die Ausdrucksform eines Gesichts zu ermitteln.The edges of the change image indicate which areas of a face have changed in what way within the observation period. For example, a change in the shape of the mouth, eyes and / or eyebrows of the detected face may be represented. The change in the shapes of partial areas of a face provides precise indications of a facial expression. The information relating to the orientation of edges within the change image can thus be used to accurately and reliably determine the expression of a face.

Der die Histogramme (d.h. die HOG Merkmale der unterschiedlichen Blöcke des Veränderungs-Bildes) umfassende, vorläufige Merkmalsvektor weist typischerweise eine relativ hohe Dimension auf. Zur Reduzierung der Dimension des vorläufigen Merkmalsvektors kann eine Hauptkomponentenanalyse (Englisch: Principal Component Analysis) durchgeführt werden, und es kann ein Merkmalsvektor mit reduzierter Dimension bereitgestellt werden, der eine bestimmte Anzahl der Hauptkomponenten des vorläufigen Merkmalsvektors umfasst.The preliminary feature vector comprising the histograms (i.e., the HOG features of the different blocks of the change image) typically has a relatively high dimension. To reduce the dimension of the preliminary feature vector, Principal Component Analysis may be performed, and a reduced dimension feature vector may be provided that includes a certain number of the major components of the preliminary feature vector.

Zur Bestimmung der Ausdrucksform kann ein Klassifikator bereitgestellt werden, der eingerichtet ist, den Raum von möglichen Merkmalsvektoren auf eine Mehrzahl von unterschiedlichen Ausdrucksformen (d.h. Klassen) abzubilden. Beispielsweise können drei unterschiedliche Ausdrucksformen (positiv, neutral, negativ) betrachtet werden.For determining the expression, a classifier may be provided which is adapted to map the space of possible feature vectors to a plurality of different expressions (i.e., classes). For example, three different expressions (positive, neutral, negative) can be considered.

Der Klassifikator kann anhand von Trainingsdaten angelernt werden, wobei die Trainingsdaten eine Vielzahl von Datensätzen umfasst, wobei ein Datensatz einen Merkmalsvektor und eine dem Merkmalsvektor entsprechende Ausdrucksform aus der Mehrzahl von unterschiedlichen Ausdrucksformen umfasst.The classifier may be learned based on training data, wherein the training data comprises a plurality of records, wherein a record comprises a feature vector and an expression of the plurality of different expressions corresponding to the feature vector.

Der Klassifikator kann ein künstliches neuronales Netzwerk umfassen. Insbesondere kann der Klassifikator eine sogenannte Extreme Learning Machine umfassen, die beispielsweise in Huang, Guang-Bin. „An insight into extreme learning machines: random neurons, random features and kernels.“ Cognitive Computation 6.3 (2014): 376-390, beschrieben ist. Die Verwendung einer Extreme Learning Machine ermöglicht eine recheneffiziente und präzise Klassifikation.The classifier may comprise an artificial neural network. In particular, the classifier may include a so-called Extreme Learning Machine, for example, in Huang, Guang-Bin. "An insight into extreme learning machines: random neurons, random features and kernels." Cognitive Computation 6.3 ( 2014 ): 376-390. The use of an Extreme Learning Machine enables a computationally efficient and precise classification.

Das Verfahren 200 kann in rekursiver Weise wiederholt werden. Dabei können wiederholt Sequenzen von Bildern ermittelt und auswertet werden. Die Sequenzen von Bildern können sich dabei zumindest teilweise überlappen. Beispielsweise können die Sequenzen von Bildern mittels eines zeitlich fortschreitenden Fensters aus einem Video ermittelt werden. So können Veränderungen eines Gesichtsausdrucks zeitnah detektiert werden.The procedure 200 can be repeated in a recursive way. Sequences of images can be repeatedly determined and evaluated. The sequences of images may overlap at least partially. For example, the sequences of images can be determined by means of a temporally progressing window from a video. Thus, changes of a facial expression can be detected in a timely manner.

Das in diesem Dokument beschriebene Verfahren 200 ermöglicht es, die Veränderung von Gesichtszügen innerhalb eines Beobachtungs-Zeitraums zu berücksichtigen, um die Ausdrucksform eines Gesichts zu bestimmen. So kann die Genauigkeit der Bestimmung von Gesichtsausdrücken erhöht werden. Durch die Ermittlung eines (einzigen) Veränderungs-Bildes für eine Sequenz von Bildern wird ein recheneffizientes Verfahren ermöglicht. Des Weiteren können durch die Verwendung einer Extreme Learning Machine die Zuverlässigkeit und Effizienz weiter erhöht werden.The procedure described in this document 200 allows to consider the change of facial features within an observation period to determine the expression of a face. Thus, the accuracy of determining facial expressions can be increased. Determining a (single) change image for a sequence of images enables a computationally efficient process. Furthermore, the use of an Extreme Learning Machine can further increase reliability and efficiency.

Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.The present invention is not limited to the embodiments shown. In particular, it should be noted that the description and figures are intended to illustrate only the principle of the proposed methods, apparatus and systems.

Claims (10)

Verfahren (200) zur Bestimmung eines Gesichtsausdrucks, wobei das Verfahren (200) umfasst, - Ermitteln (201) einer Sequenz von Bildern für eine Sequenz von Zeitpunkten; wobei die Sequenz von Bildern ein Gesicht an der Sequenz von Zeitpunkten anzeigt; - Ermitteln (202), auf Basis der Sequenz von Bildern, eines Veränderungs-Bildes, das eine Veränderung des Gesichts in einem von der Sequenz von Zeitpunkten abgedeckten Zeitraum anzeigt; und - Bestimmen (203), auf Basis des Veränderungs-Bildes, einer Ausdrucksform des Gesichts.A method (200) for determining a facial expression, the method comprising (200) - determining (201) a sequence of images for a sequence of times; wherein the sequence of images indicates a face at the sequence of times; - determining (202), based on the sequence of images, a change image indicative of a change in the face in a time period covered by the sequence of times; and - determining (203), based on the change image, an expression of the face. Verfahren (200) gemäß Anspruch 1, wobei das Ermitteln (202) eines Veränderungs-Bildes umfasst, Ermitteln eines Betrags einer Differenz zwischen entsprechenden Bildpunkten eines ersten Bildes und eines zweiten Bildes der Sequenz von Bildern.Method (200) according to Claim 1 wherein determining (202) comprises a change image, determining an amount of a difference between corresponding pixels of a first image and a second image of the sequence of images. Verfahren (200) gemäß einem der vorhergehenden Ansprüche, wobei das Ermitteln (202) eines Veränderungs-Bildes umfasst, - Ermitteln einer Sequenz von Differenz-Bildern der Sequenz von Bildern zu einem Referenz-Bild; wobei ein Differenz-Bild für ein Bild als Bildpunkte die absoluten Differenzen zwischen entsprechenden Bildpunkten des Bildes und des Referenz-Bildes umfasst; und -Ermitteln des Veränderungs-Bildes auf Basis der Sequenz von Differenz-Bildern.The method (200) of any one of the preceding claims, wherein said determining (202) comprises a change image. - determining a sequence of difference images of the sequence of images to a reference image; wherein a difference image for an image as pixels comprises the absolute differences between corresponding pixels of the image and the reference image; and Determining the change image based on the sequence of difference images. Verfahren (200) gemäß Anspruch 3, wobei das Ermitteln (202) eines Veränderungs-Bildes umfasst, - Ermitteln einer Summe der Differenz-Bilder der Sequenz von Differenz-Bildern, durch Summieren entsprechender Bildpunkte der Differenz-Bilder; und/oder - Ermitteln eines mittleren Differenz-Bildes der Sequenz von Differenz-Bildern.Method (200) according to Claim 3 wherein determining (202) comprises a change image, - determining a sum of the difference images of the sequence of difference images by summing corresponding pixels of the difference images; and / or - determining a mean difference image of the sequence of difference images. Verfahren (200) gemäß einem der vorhergehenden Ansprüche, wobei das Bestimmen (203) einer Ausdrucksform umfasst, - Ermitteln eines Merkmalsvektors für das Veränderungs-Bild; wobei der Merkmalsvektor Information in Bezug auf eine Orientierung von Kanten in dem Veränderungs-Bild anzeigt; und - Ermitteln der Ausdrucksform anhand des Merkmalsvektors und anhand eines Klassifikators; wobei der Klassifikator eingerichtet ist, den Merkmalsvektor einer Ausdrucksform aus einer Mehrzahl von unterschiedlichen Ausdrucksformen zuzuordnen.The method (200) of any of the preceding claims, wherein said determining (203) comprises an expression Determining a feature vector for the change image; wherein the feature vector indicates information regarding an orientation of edges in the change image; and - determining the expression using the feature vector and a classifier; wherein the classifier is arranged to associate the feature vector of one of a plurality of different expressions. Verfahren (200) gemäß Anspruch 5, wobei - das Veränderungs-Bild eine Vielzahl von Blöcken umfasst; und - der Merkmalsvektor Information in Bezug auf die Orientierung von Kanten in der Vielzahl von Blöcken umfasst.Method (200) according to Claim 5 wherein: the change image comprises a plurality of blocks; and - the feature vector comprises information relating to the orientation of edges in the plurality of blocks. Verfahren (200) gemäß Anspruch 6, wobei das Ermitteln des Merkmalsvektors umfasst, - Ermitteln einer Vielzahl von Histogrammen von orientierten Gradienten für die Vielzahl von Blöcken; und - Ermitteln des Merkmalsvektors auf Basis der Vielzahl von Histogrammen.Method (200) according to Claim 6 wherein determining the feature vector comprises, determining a plurality of histograms of oriented gradients for the plurality of blocks; and - Determining the feature vector based on the plurality of histograms. Verfahren (200) gemäß einem der Ansprüche 5 bis 7, wobei das Ermitteln des Merkmalsvektors umfasst, - Ermitteln eines vorläufigen Merkmalsvektors für das Veränderungs-Bild; und - Reduzieren einer Dimension des vorläufigen Merkmalsvektors durch eine Hauptkomponentenanalyse des vorläufigen Merkmalsvektors.Method (200) according to one of Claims 5 to 7 wherein determining the feature vector comprises, - determining a provisional feature vector for the change image; and reducing a dimension of the preliminary feature vector by a principal component analysis of the preliminary feature vector. Verfahren (200) gemäß einem der Ansprüche 5 bis 8, wobei der Klassifikator umfasst, - ein künstliches neuronales Netzwerk; und/oder - eine Extreme Learning Machine.Method (200) according to one of Claims 5 to 8th wherein the classifier comprises, - an artificial neural network; and / or - an Extreme Learning Machine. Verfahren (200) gemäß einem der vorhergehenden Ansprüche, wobei - die Sequenz von Bildern ein Gesicht eines Fahrers eines Fahrzeugs (100) anzeigt; und - das Verfahren (200) umfasst, Steuern eines Aktuators (103) des Fahrzeugs (100) in Abhängigkeit von der Ausdrucksform des Gesichts des Fahrers des Fahrzeugs (100).Method (200) according to one of the preceding claims, wherein the sequence of images indicates a face of a driver of a vehicle (100); and - The method (200) comprises controlling an actuator (103) of the vehicle (100) in dependence on the expression of the face of the driver of the vehicle (100).
DE102017201328.1A 2017-01-27 2017-01-27 Method for determining a facial expression Pending DE102017201328A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017201328.1A DE102017201328A1 (en) 2017-01-27 2017-01-27 Method for determining a facial expression

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017201328.1A DE102017201328A1 (en) 2017-01-27 2017-01-27 Method for determining a facial expression

Publications (1)

Publication Number Publication Date
DE102017201328A1 true DE102017201328A1 (en) 2018-08-02

Family

ID=62843503

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017201328.1A Pending DE102017201328A1 (en) 2017-01-27 2017-01-27 Method for determining a facial expression

Country Status (1)

Country Link
DE (1) DE102017201328A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200117885A1 (en) * 2018-10-11 2020-04-16 Hyundai Motor Company Apparatus and Method for Controlling Vehicle
WO2020151339A1 (en) * 2019-01-24 2020-07-30 平安科技（深圳）有限公司 Abnormality processing method and apparatus based on unmanned vehicle, and related devices
CN113792663A (en) * 2021-09-15 2021-12-14 东北大学 Detection method and device for drunk driving and fatigue driving of driver and storage medium
CN113792663B (en) * 2021-09-15 2024-05-14 东北大学 Method, device and storage medium for detecting drunk driving and fatigue driving of driver

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047662A1 (en) 2003-09-03 2005-03-03 Gorodnichy Dmitry O. Second order change detection in video
US20130300900A1 (en) 2012-05-08 2013-11-14 Tomas Pfister Automated Recognition Algorithm For Detecting Facial Expressions

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047662A1 (en) 2003-09-03 2005-03-03 Gorodnichy Dmitry O. Second order change detection in video
US20130300900A1 (en) 2012-05-08 2013-11-14 Tomas Pfister Automated Recognition Algorithm For Detecting Facial Expressions

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HASSABALLAH, M.; ABDELMGEID, A.; ALSHAZLY, H.: Image Features Detection, Description and Matching. In: Image Feature Detectors and Descriptors. Springer International Publishing, 2016. S. 11-45
JAIN, R.; KASTURI, R.; SCHUNCK, B.: Machine Vision. New York: McGraw-Hill, 1995. Seiten Seiten 406-416, 459-479

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200117885A1 (en) * 2018-10-11 2020-04-16 Hyundai Motor Company Apparatus and Method for Controlling Vehicle
US11010594B2 (en) * 2018-10-11 2021-05-18 Hyundai Motor Company Apparatus and method for controlling vehicle
WO2020151339A1 (en) * 2019-01-24 2020-07-30 平安科技（深圳）有限公司 Abnormality processing method and apparatus based on unmanned vehicle, and related devices
CN113792663A (en) * 2021-09-15 2021-12-14 东北大学 Detection method and device for drunk driving and fatigue driving of driver and storage medium
CN113792663B (en) * 2021-09-15 2024-05-14 东北大学 Method, device and storage medium for detecting drunk driving and fatigue driving of driver

Similar Documents

Publication Publication Date Title
DE102015203354B4 (en) SETTINGS OF VEHICLE OPERATOR MONITORING AND OPERATIONS
DE102014222617B4 (en) Vehicle detection method and vehicle detection system
DE102018128289A1 (en) METHOD AND DEVICE FOR AUTONOMOUS SYSTEM PERFORMANCE AND CLASSIFICATION
DE112011105445B4 (en) Red-eye detection device
DE112008000020B4 (en) Device and program for correcting the iris color
DE102012222963A1 (en) Apparatus and method for detecting a three-dimensional object using an image of the surroundings of a vehicle
DE102012223360A1 (en) Apparatus and method for detecting an obstacle to an all-round surveillance system
DE102014211889A1 (en) Image processing apparatus and image processing method for removing rain streaks from image data
DE102017215283A1 (en) Method for anonymizing an image for a camera system of a motor vehicle, image processing device, camera system and motor vehicle
DE102019204139A1 (en) Training for artificial neural networks with better utilization of the learning data sets
DE102020125989A1 (en) System for controlling autonomous vehicles to reduce motion sickness
DE102017201328A1 (en) Method for determining a facial expression
DE102017124600A1 (en) Semantic segmentation of an object in an image
DE102016120066A1 (en) A computer implemented method for controlling an object recognition system
WO2019242955A1 (en) Method for producing a test data record, method for testing, method for operating a system, apparatus, control system, computer program product, computer-readable medium, production and use
DE102020126953B3 (en) System and method for detecting a spatial orientation of a portable device
DE102018113621A1 (en) A method of training a convolutional neural network for processing image data for use in a driving support system
DE102009024066A1 (en) Method and device for classifying situations
DE102019209463A1 (en) Method for determining the trust value of an object of a class
DE102018114229A1 (en) Method for determining a movement state of an object depending on a movement mask and a generated boundary frame, driver assistance system and motor vehicle
EP3155588B1 (en) Whole-body image recording and image processing system and method for operating same
Wang et al. Enhancing YOLOv7-Based Fatigue Driving Detection through the Integration of Coordinate Attention Mechanism
DE102020122853A1 (en) Method and device for predicting the termination of an automated driving function
DE112019007788T5 (en) Driver availability detection device and driver availability detection method
DE102019106770A1 (en) Method and system for on-board diagnosis in a vehicle

Legal Events

Date Code Title Description
R081 Change of applicant/patentee

Owner name: BAYERISCHE MOTOREN WERKE AKTIENGESELLSCHAFT, DE

Free format text: FORMER OWNERS: BAYERISCHE MOTOREN WERKE AKTIENGESELLSCHAFT, 80809 MUENCHEN, DE; NANYANG TECHNOLOGICAL UNIVERSITY, SINGAPUR/SINGAPORE, SG

R082 Change of representative
R163 Identified publications notified
R081 Change of applicant/patentee

Owner name: BAYERISCHE MOTOREN WERKE AKTIENGESELLSCHAFT, DE

Free format text: FORMER OWNERS: BAYERISCHE MOTOREN WERKE AKTIENGESELLSCHAFT, 80809 MUENCHEN, DE; NANYANG TECHNOLOGICAL UNIVERSITY, SINGAPUR, SG

R082 Change of representative
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R012 Request for examination validly filed