JP2020057111A - Facial expression determination system, program and facial expression determination method - Google Patents
Facial expression determination system, program and facial expression determination method Download PDFInfo
- Publication number
- JP2020057111A JP2020057111A JP2018186029A JP2018186029A JP2020057111A JP 2020057111 A JP2020057111 A JP 2020057111A JP 2018186029 A JP2018186029 A JP 2018186029A JP 2018186029 A JP2018186029 A JP 2018186029A JP 2020057111 A JP2020057111 A JP 2020057111A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- facial expression
- expression
- input video
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本開示は、表情判定システム、プログラム及び表情判定方法に関する。より詳細には、本開示は、入力映像から表情を判定するための表情判定システム、プログラム及び表情判定方法に関する。 The present disclosure relates to a facial expression determination system, a program, and a facial expression determination method. More specifically, the present disclosure relates to a facial expression determination system, a program, and a facial expression determination method for determining a facial expression from an input video.
従来、画像入力部が入力した画像中の表情を判断する画像処理装置(表情判定システム)があった(例えば特許文献1参照)。 2. Description of the Related Art Conventionally, there has been an image processing apparatus (expression determination system) that determines an expression in an image input by an image input unit (for example, see Patent Document 1).
このような画像処理装置においては、微表情以外の顔の動き(例えば瞬き、痙攣、眼球の移動、及び顔全体の動き等)を微表情と誤検出することを低減することが望まれている。 In such an image processing apparatus, it is desired to reduce erroneous detection of a facial movement (for example, blinking, convulsions, movement of an eyeball, movement of the entire face, etc.) other than a facial expression as a facial expression. .
本開示の目的は、誤検出の低減を図ることが可能な表情判定システム、プログラム及び表情判定方法を提供することにある。 An object of the present disclosure is to provide a facial expression determination system, a program, and a facial expression determination method capable of reducing false detection.
本開示の一態様の表情判定システムは、検出部と、処理部と、を備える。前記検出部は、顔を含む入力映像から、前記入力映像のうち前記顔の部分に変化が発生している対象期間を検出する検出処理を行う。前記処理部は、前記対象期間での前記入力映像に基づいて、少なくとも微表情が表れているか否かを判定する判定処理を行う。 A facial expression determination system according to an embodiment of the present disclosure includes a detection unit and a processing unit. The detection unit performs a detection process of detecting, from an input video including a face, a target period in which a change occurs in the face of the input video. The processing unit performs a determination process of determining whether at least a faint expression is present based on the input video in the target period.
本開示の一態様のプログラムは、コンピュータシステムに、検出処理と、判定処理と、を実行させる。前記検出処理では、顔を含む入力映像から、前記入力映像のうち前記顔の部分に変化が発生している対象期間を検出する。前記判定処理では、前記対象期間での前記入力映像に基づいて、少なくとも微表情が表れているか否かを判定する。 A program according to an embodiment of the present disclosure causes a computer system to execute a detection process and a determination process. In the detection processing, a target period in which a change occurs in the face portion of the input video is detected from an input video including a face. In the determination processing, it is determined whether at least a faint expression is present based on the input video in the target period.
本開示の一態様の表情判定方法は、検出処理と、判定処理と、を含む。前記検出処理では、顔を含む入力映像から、前記入力映像のうち前記顔の部分に変化が発生している対象期間を検出する。前記判定処理では、前記対象期間での前記入力映像に基づいて、少なくとも微表情が表れているか否かを判定する。 A facial expression determination method according to an aspect of the present disclosure includes a detection process and a determination process. In the detection processing, a target period in which a change occurs in the face portion of the input video is detected from an input video including a face. In the determination processing, it is determined whether at least a faint expression is present based on the input video in the target period.
本開示によれば、誤検出の低減を図ることが可能な表情判定システム、プログラム及び表情判定方法を提供することができる。 According to the present disclosure, it is possible to provide a facial expression determination system, a program, and a facial expression determination method capable of reducing false detection.
以下に説明する実施形態は、本開示の種々の実施形態の一つに過ぎない。本開示の実施形態は、下記実施形態に限定されることはなく、この実施形態以外も含み得る。また、下記の実施形態は、本開示に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。 The embodiments described below are merely one of various embodiments of the present disclosure. Embodiments of the present disclosure are not limited to the following embodiments, and may include other embodiments. In addition, various modifications can be made to the following embodiments in accordance with the design and the like without departing from the technical idea according to the present disclosure.
(実施形態)
(1)概要
本実施形態の表情判定システム1は、検出部20と、処理部30とを備える。検出部20は、顔を含む入力映像から、入力映像のうち顔の部分に変化が発生している対象期間を検出する検出処理を行う。処理部30は、対象期間での入力映像に基づいて、少なくとも微表情が表れているか否かを判定する。
(Embodiment)
(1) Overview The facial
ここにおいて、「入力映像」は、判定対象の人の顔を時系列で撮影した複数の映像を含む。「顔の部分に発生する変化」とは、微表情又はマクロ表情が表れることに起因して発生する変化に限らず、瞬き、痙攣、眼球の移動、及び顔全体の動き等に起因して発生する変化も含み得る。「微表情」とは、抑制された感情に基づいて一瞬表れて消える顔の動きである。微表情が表れる時間長は例えば1秒以下であり、一般的に0.2秒〜0.5秒程度の時間長である。したがって、瞬き、痙攣、眼球の移動、及び顔全体の動き等に起因して顔の部分に発生する変化は微表情には含まれない。なお、微表情は、感情に基づいて発生する僅かな顔の動き(微細表情)を含んでもよく、微細表情が表れる時間長は1秒以上でもよい。なお、微表情の定義はこの限りではなく、今後の微表情に関する研究によって変わり得る。微表情の種類、つまり微表情として表れる感情の種類には複数の種類があり、例えば「怒り」、「嫌悪」、「恐怖」、「悲しみ」、「軽蔑」、「喜び」及び「驚き」等の種類がある。微表情の種類によって、変化する顔の部位(目、眉、唇、頬等)と変化の仕方(変化量、変化方向、変化時間等)が異なっている。 Here, the “input image” includes a plurality of images obtained by photographing the face of the person to be determined in chronological order. "Changes that occur in the face" are not limited to changes that occur due to the appearance of micro- or macro-expressions, but also occur due to blinking, convulsions, eye movement, and movement of the entire face. Changes may also be included. “Minor expression” is a facial movement that appears and disappears momentarily based on suppressed emotions. The time length during which the fine expression appears is, for example, 1 second or less, and is generally about 0.2 second to 0.5 second. Therefore, changes that occur in the face portion due to blinking, convulsions, eyeball movement, movement of the entire face, and the like are not included in the micro-expression. Note that the fine expression may include a slight facial movement (fine expression) generated based on the emotion, and the time length during which the fine expression appears may be 1 second or more. Note that the definition of a micro-expression is not limited to this, and may change depending on future research on micro-expressions. There are a plurality of types of sub-expressions, that is, types of emotions expressed as sub-expressions, such as "anger", "disgust", "fear", "sadness", "contempt", "joy" and "surprise". There are different types. The part of the face that changes (eye, eyebrows, lips, cheeks, etc.) and the way of change (the amount of change, the direction of change, the time of change, etc.) differ depending on the type of micro-expression.
上述のように、本実施形態の表情判定システム1では、検出部20によって顔の部分に変化が発生していると検出された対象期間での入力映像に基づいて処理部30が微表情が表れているか否かを判定している。したがって、微表情が表れていないのに微表情が表れていると誤検出する可能性を低減でき、誤検出の低減を図ることが可能な表情判定システムを提供することができる。
As described above, in the facial
(2)詳細
本実施形態の表情判定システム1は、例えば、接客、テーマパーク、医療、介護、広告に対する受け手の反応の検出、面接、自動車等の運転手の状態監視、セキュリティ、ゲート(例えば、建物の出入口、入出国ゲート又は検問所等)を通過する人物の監視等の用途に適用される。表情判定システム1は、各種の用途において、判定対象の人の顔を撮影するカメラからの入力映像に基づいて、判定対象の人の顔に微表情が表れているか否かを少なくとも判定する。例えば、表情判定システム1が服飾店で使用される場合、カメラは、売り場内で商品を選んでいる客の顔を撮影可能な場所に配置される。表情判定システム1は、商品を選んでいるときの客の顔に表れる微表情を判定し、判定結果を店員に通知する。これにより、店員は客の感情を考慮しながら、客の好む商品を勧める等の適切な接客対応を行うことができる。
(2) Details The facial
以下、本実施形態に係る表情判定システム1について図面を参照して詳しく説明する。
Hereinafter, the facial
(2.1)構成
本実施形態の表情判定システム1は、入力部10と、検出部20と、処理部30と、出力部40と、記憶部50と、を備える。
(2.1) Configuration The facial
入力部10は、カメラ2からの入力映像を受け付ける。カメラ2は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ又はCCD(Charge Coupled Device)イメージセンサ等のイメージセンサを備える。カメラ2は、判定対象の人の顔を正面から撮影可能な位置に設置されている。カメラ2は、微表情を撮影可能な時間間隔、例えば20〜100FPS(Frames Per Second)程度のフレームレートで撮影エリアを撮影しており、各フレームの映像のデータを入力部10に出力する。カメラ2のフレームレートは固定値でもよいし、判定対象の人の動き又は撮影条件等に合わせて適宜変更されてもよい。入力部10は、カメラ2から入力された映像のデータを検出部20に出力する。本実施形態では、入力部10には、判定対象の人の顔を撮影するカメラ2から入力映像が直接入力されているが、カメラ2の映像を蓄積するサーバなどから入力されてもよい。また、別の装置で撮影した映像を蓄積するサーバから映像を入力してもよい。
The
検出部20は、例えば、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを主構成とする。マイクロコントローラのメモリに記録されたプログラムを、マイクロコントローラのプロセッサが実行することにより、検出部20の各機能が実現される。プログラムは、メモリに記録されていてもよいし、インターネット等の電気通信回線を通して提供されてもよく、メモリカード等の非一時的な記録媒体に記録されて提供されてもよい。
The
検出部20は、カメラ2が時系列で撮影した複数の入力映像から、顔の部分が変化している対象期間、つまり微表情が表れている可能性が高い対象期間を検出する。検出部20は、対象期間の検出結果を処理部30に出力する。
The
具体的には、検出部20は、カメラ2から入力される各フレームの入力映像に対して顔の部分を検出する顔検出処理を実行して、顔の部分の部分画像G1(図2参照)を抽出する。検出部20は、顔の部分の部分画像G1を、縦方向及び横方向にそれぞれ複数に分割(図2では例えば6つに分割)して、複数の画素ブロックB1を作成する。
Specifically, the
検出部20は、各フレームの入力映像に対して、複数の画素ブロックB1の各々について、LBP(Local Binary Pattern)特徴量のヒストグラムを求め、ヒストグラムの演算結果を記憶部50に記憶する。なお、検出部20は、LBP特徴量のヒストグラムを求めているが、LBP特徴量以外のヒストグラムでもよく、例えば輝度の勾配方向の分布(ヒストグラム)を求めることによってHOG(Histogram of Oriented Gradients)特徴量を利用してもよい。
The
また、検出部20は、記憶部50に記憶された各フレームでの演算結果に基づいて、複数の画素ブロックB1の各々について、あるフレーム(以下、注目フレームともいう)でのヒストグラムと、Nフレーム(Nは1以上の整数であり、本実施形態では例えばN=11であるがNの値は適宜変更可能である。)前のフレームでのヒストグラムとNフレーム後のフレームでのヒストグラムとの平均値との、カイ2乗距離を計算する。ここで、Nフレーム分の時間長は、微表情が表れる時間長(最大値、最小値、平均値又は中央値)の約半分に設定されている。検出部20は、複数の画素ブロックB1のうち、カイ2乗距離が大きいものから所定個数(例えば12個)の画素ブロックB1で求めたカイ2乗距離の平均値を求める。そして、検出部20は、Nフレーム前のフレームで求めたカイ2乗距離の平均値とNフレーム後のフレームで求めたカイ2乗距離の平均値との平均を、注目フレームで求めたカイ2乗距離の平均値から減算した値(Contrasted Difference Vector)C1を求める。図3は各フレームで値C1を計算した結果を示している。検出部20は、値C1が閾値L1以上でありかつ値C1が最大となるフレームを中央フレームとし、中央フレームのNフレーム前を対象期間の開始フレーム、中央フレームのNフレーム後を対象期間の終了フレームとして求める。そして、検出部20は、開始フレームから終了フレームまでの期間を、入力映像のうち顔の部分に変化が発生している対象期間として検出する。ここで、各フレームの入力映像にはフレームを特定するためのフレーム番号が割り当てられており、検出部20は、開始フレーム及び終了フレームのフレーム番号を対象期間の検出結果として処理部30に出力する。なお、検出部20は、対象期間の時間情報を検出結果として処理部30に出力してもよい。
In addition, the
なお、検出部20が、対象期間を検出するアルゴリズムは上記のアルゴリズムに限定されず、フレーム間で各画素の画素値(濃淡値)の差分の変化量を求め、この変化量から対象期間を検出するようなアルゴリズムでもよい。
Note that the algorithm by which the
処理部30は、例えば、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを主構成とする。マイクロコントローラのメモリに記録されたプログラムを、マイクロコントローラのプロセッサが実行することにより、処理部30の各機能が実現される。プログラムは、メモリに記録されていてもよいし、インターネット等の電気通信回線を通して提供されてもよく、メモリカード等の非一時的な記録媒体に記録されて提供されてもよい。 The processing unit 30 has, for example, a microcontroller having one or more processors and one or more memories as a main configuration. The functions of the processing unit 30 are realized by the processor of the microcontroller executing the program recorded in the memory of the microcontroller. The program may be recorded in a memory, may be provided through an electric communication line such as the Internet, or may be recorded in a non-temporary recording medium such as a memory card and provided.
処理部30は、検出部20によって検出された対象期間での入力映像に基づいて、微表情が表れているか否かの判定を少なくとも行う。上述のように、微表情には複数の種類がある。本実形態の処理部30は、対象期間での入力映像に基づいて、微表情が表れていると判定した場合に、複数の種類の中から、対象期間に表れた微表情の種類を更に判定する判定処理を行う。「(1)概要」では微表情の種類として7種類の分類を例示したが、以下の実施形態では、微表情が「Positive」、「Negative」及び「Surprise」の3種類に分類される場合について説明する。すなわち、処理部30は、対象期間における顔の変化が微表情であるか否かを判定し、微表情であると判定した場合は微表情の種類が「Positive」、「Negative」及び「Surprise」のうちいずれの微表情に該当するを判定する。なお、処理部30が、対象期間における顔の変化のうち微表情以外の変化を「非表情」と判定する場合、処理部30は、対象期間における顔の変化が「Positive」、「Negative」、「Surprise」及び「非表情」のうちのいずれに該当するかを判定してもよい。
The processing unit 30 determines at least whether or not a fine expression is present, based on the input video detected by the
本実施形態では、処理部30は認識部31と判定部32とを含む。認識部31は、対象期間での入力映像に基づいて、対象期間での入力映像における顔の部分の変化が、複数の種類のそれぞれに該当する確度を表す確度情報を複数の種類ごとに求める。判定部32は、認識部31が求めた複数の種類ごとの確度情報に基づいて、少なくとも微表情が表れているか否かを判定する判定処理を行う。
In the present embodiment, the processing unit 30 includes a
以下、認識部31及び判定部32の機能について説明する。
Hereinafter, the functions of the
本実施形態の認識部31は、複数の種類ごとの確度情報に加えて、入力映像における顔の部分の変化が微表情ではない確度を表す確度情報を更に求める。また、本実施形態の認識部31(処理部30)は、機械学習で作成された学習済みモデルを用いて判定処理を行う。
The recognizing
ここで、機械学習の推論フェーズで使用される学習済みモデルは、例えば、処理部30が教師データを用いて機械学習を行うことによって作成される。機械学習の学習フェーズでは、教師データとして、「Positive」、「Negative」及び「Surprise」の3種類の微表情がそれぞれ表れたときの顔映像と、各顔映像の正解データとが対応付けて用意されている。また、本実施形態では、教師データとして、感情以外の要因で顔の部分が変化した顔映像、つまり「非表情」と判定されるべき顔映像と、その正解データとが対応付けて用意されている。 Here, the learned model used in the inference phase of machine learning is created, for example, by the processing unit 30 performing machine learning using teacher data. In the learning phase of machine learning, face images when three types of micro-expressions, “Positive”, “Negative”, and “Surprise”, respectively appear as teacher data, and the correct answer data of each face image are prepared in association with each other. Have been. Further, in the present embodiment, as the teacher data, a face image in which the face part has changed due to a factor other than the emotion, that is, a face image to be determined to be “non-expression” and its correct answer data are prepared in association with each other. I have.
表情判定システム1は、3種類の微表情がそれぞれ表れたときの顔映像、及び感情以外の要因で顔の部分が変化したときの顔映像についてLBP特徴量を3次元に拡張したLBP−TOP(Three Orthogonal Planes)特徴量をそれぞれ算出し、それぞれを正解データと対応付けて機械学習を行うことで、学習済みモデルを作成する。表情判定システム1は、作成した学習済みモデルを記憶部50に保存する。
The facial
表情判定システム1が行う機械学習のアルゴリズムは、例えば、教師あり学習のアルゴリズムであるサポートベクトルマシン(Support Vector Machine)を使うことができる。なお、教師データは、3種類の微表情がそれぞれ表れたときの顔映像を少なくとも含んでいればよく、感情以外の要因で顔の部分が変化したときの顔映像は必須ではない。また、教師データは、感情以外の要因で顔の部分が変化したときの顔映像であって、表情判定システム1が微表情であると誤判定したときの顔映像を含んでいてもよい。なお、処理部30には、表情判定システム1以外のシステムで機械学習を行うことによって作成された学習済みモデルが組み込まれてもよい。
As a machine learning algorithm performed by the facial
認識部31は、機械学習の推論フェーズでは学習済みモデルを用いて、対象期間での入力映像(具体的には、入力映像のうち顔部分の部分映像)に対して認識処理を行う。すなわち、認識部31は、各対象期間での入力映像に基づいてLBP−TOP特徴量を算出する。認識部31は、各対象期間で算出したLBP−TOP特徴量に基づいて、学習済みモデルにより、微表情の複数の種類ごとの確度情報(スコア)と、感情以外の要因で発生した動きに該当する確度を示す確度情報とをそれぞれ求める。ここで、認識部31は、微表情以外の顔の動きを「非表情」に分類する。表1は、検出部20によって検出された5つの対象期間T1〜T5のそれぞれで認識部31が求めた確度情報を示している。認識部31は、対象期間T1〜T5のそれぞれで発生した顔の動きが、3種類の微表情及び非表情のそれぞれに該当する確度を表す確度情報を求めている。なお、対象期間T1〜T5のそれぞれで、3種類の微表情及び非表情のそれぞれに該当する確度を表す確度情報は1以下の数値であり、それらの合計は1になる。
In the inference phase of machine learning, the recognizing
なお、認識部31が、対象期間における顔の部分の変化が、感情以外の要因に起因する確度(つまり「非表情」に該当する確度)を示す確度情報を求めることは必須ではない。認識部31は、対象期間における顔の部分の変化が、微表情の複数の種類のそれぞれに該当する確度を示す確度情報のみを求めてもよい。
It is not essential that the recognizing
また、処理部30は、対象期間における顔の部分の変化が3種類の微表情のどれに該当するかを判定しているが、微表情の種類は上記の3種類に限定されない。微表情の種類は1種類でも複数種類でもよく、例えばP.Ekmanが定義した「怒り」、「嫌悪」、「恐怖」、「悲しみ」、「軽蔑」、「喜び」及び「驚き」の7種類でもよい。 Further, the processing unit 30 determines which of the three types of sub-expressions the change of the face portion during the target period corresponds to, but the types of sub-expressions are not limited to the above three types. There may be one or more types of micro-expressions, for example, seven types of "anger", "disgust", "fear", "sadness", "contempt", "joy" and "surprise" defined by P. Ekman May be.
判定部32は、微表情の複数の種類と非表情とのそれぞれについて求めた確度情報に基づいて、各対象期間で微表情が表れているか否かを少なくとも判定する。本実施形態の判定部32は、各対象期間で微表情が表れていると判定した場合、認識部31が求めた微表情の種類ごとの確度情報に基づいて、どの種類の微表情が表れたのかを判定する。
The
判定部32は、各対象期間T1〜T5において、「Positive」、「Negative」、「Surprise」及び「非表情」のそれぞれの確度情報のうち、確度情報の値が最大のものが当該対象期間に表れた顔の動きであると判定する(表1参照)。例えば、「非表情」の確度情報の値が最大であれば、判定部32は、対象期間において微表情が表れていないと判定する。また、「Positive」、「Negative」及び「Surprise」のうちいずれかの確度情報の値が最大であれば、判定部32は、確度情報の値が最大である微表情が表れたと判定する。ここで、対象期間において「Positive」、「Negative」及び「Surprise」のうちいずれかの微表情の確度情報が最大となった場合でも、確度情報の値が所定の基準値以下である場合、判定部32は「微表情ではない」と判定してもよい。
In each of the target periods T <b> 1 to T <b> 5, the
認識部31は、各対象期間における顔の動きが「Positive」、「Negative」、「Surprise」及び「非表情」のそれぞれに該当する確度を表す確度情報を求めているが、「非表情」の確度情報は求めなくてもよい。この場合、各対象期間における「Positive」、「Negative」及び「Surprise」の確度情報のうち最大の確度情報の値が所定の基準値以下であれば、判定部32は、「非表情」つまり微表情ではないと判定すればよい。
The
なお、本実施形態では、検出部20と処理部30とは互いに別々のマイクロコントローラで実現されているが、1つのマイクロコントローラで実現されてもよい。
In the present embodiment, the
なお、本実施形態では、LBP−TOP特徴量とSVMを用いた機械学習による教師有り学習アルゴリズムを説明したが、機械学習の方法は別の方法を用いても良い。例えば、ディープラーニング(深層学習)等でもよい。例えば、ディープラーニングのアルゴリズムは、3次元カーネルを用いたネットワークを用いて学習する方法でもよい。また、ディープラーニングのアルゴリズムは、フレームごとの顔部分の部分画像に対して2次元カーネルを用いたネットワークから出力される特徴量をリカレントニューラルネットワークにより学習する方法でもよい。 In the present embodiment, the supervised learning algorithm based on the machine learning using the LBP-TOP feature amount and the SVM has been described, but another machine learning method may be used. For example, deep learning (deep learning) may be used. For example, the deep learning algorithm may be a method of learning using a network using a three-dimensional kernel. Further, the algorithm of deep learning may be a method of learning a feature amount output from a network using a two-dimensional kernel using a recurrent neural network for a partial image of a face portion for each frame.
出力部40は、各対象期間において判定部32が判定した判定結果を報知部3に出力する。報知部3は、例えば表情判定システム1のユーザ(例えば接客業であれば接客を行う店員)が装着した透過型のヘッドマウントディスプレイである。出力部40は、報知部3に対して処理部30の判定結果を無線送信する。報知部3は、出力部40から無線送信された判定結果を受信すると、例えば、ユーザの眼前に配置される透過型スクリーンに判定結果を表示する。処理部30の判定結果が複数種類の微表情のいずれかであれば、報知部3は、判定された微表情に対応する感情の名称を表示する。処理部30の判定結果が「非表情」であれば、報知部3は、例えば「微表情ではない」のようなメッセージを表示する。したがって、表情判定システム1のユーザは、報知部3に表示された判定結果をもとに、判定対象の人(例えば客)の顔に表れた微表情を把握しながら接客を行うことができ、適切な接客対応を行うことができる。なお、報知部3は、例えばユーザの耳に装着されるヘッドホンを備えてもよく、処理部30の判定結果をヘッドホンから音声等で出力してもよい。また、処理部30の判定結果が「非表情」である場合に、報知部3は、「微表情ではない」のようなメッセージを表示しなくてもよい。
The
なお、処理部30の判定結果が「非表情」であれば、出力部40は「非表情」の判定結果を報知部3に出力しなくてもよい。この場合、対象期間における顔の動きが微表情のいずれかの種類に該当すると判定された場合のみ、報知部3から判定結果が報知される。
If the determination result of the processing unit 30 is “non-expression”, the
記憶部50は、例えば、EEPROM(Electrically Erasable Programmable Read-Only Memory)等の電気的に書換え可能な不揮発性メモリ、及びRAM(Random Access Memory)等の揮発性メモリ等を備える。記憶部50は、ハードディスクドライブ等の外部記憶装置を備えてもよい。記憶部50は、機械学習により作成された学習済みモデル等を記憶する。また、記憶部50は、カメラ2から入力部10に入力された入力映像を記憶してもよいし、検出部20及び処理部30の処理途中のデータ及び処理結果等を記憶してもよい。
The
(2.2)動作
以下、本実施形態の表情判定システム1の動作を図4に基づいて説明する。
(2.2) Operation Hereinafter, the operation of the facial
入力部10は、フレーム毎にカメラ2から入力映像が入力されると、カメラ2からの入力映像に対して顔検出処理を実行し(S1)、顔の部分の部分画像G1を検出部20に出力する。なお、検出部20が、入力映像から人の顔を検出できなければ、S2以降の処理は行わず、次フレームの入力映像が入力されると顔検出処理を再び実行する。
When an input image is input from the
検出部20は、各フレームで顔の部分の部分画像G1が入力されると、部分画像G1に変化が発生している対象期間、つまり顔の部分に動きがある対象期間を検出する検出処理を行う(S2)。
When the partial image G1 of the face portion is input in each frame, the
ステップS2の検出処理の結果、検出部20が対象期間を検出しなければ(S3:No)、ステップS1に戻り、カメラ2から次フレームの入力映像が入力されると、検出部20が顔検出処理を再び行う。
As a result of the detection processing in step S2, if the
ステップS2の検出処理の結果、検出部20が対象期間を検出すると(S3:Yes)、認識部31が、対象期間の入力映像(部分画像G1)について、学習済みモデルを用いて、3種類の微表情及び非表情のそれぞれの確度情報を求める認識処理を行う(S4)。
As a result of the detection processing in step S2, when the
認識部31が確度情報を求めると、判定部32が、認識部31が求めた複数の種類ごとの確度情報に基づいて、少なくとも微表情が表れているか否かを判定する判定処理を行う(S5)。例えば、判定部32は、「Positive」、「Negative」、「Surprise」及び「非表情」のうち、確度情報の値が最大のものが当該対象期間に表れた顔の動きに該当すると判定する。
When the
そして、出力部40が、判定部32の判定結果を報知部3に出力する出力処理を行うと(S6)、報知部3は判定部32の判定結果をユーザに報知する。したがって、ユーザは、報知部3による報知内容に基づいて、判定対象の人の顔に微表情が表れたか否か、微表情が表れたのであればその種類を把握できる。
Then, when the
表情判定システム1は、カメラ2から1フレームの入力映像が入力されるごとに、ステップS1〜S6の処理を繰り返し行っており、入力映像に映っている人の顔の表情を判定する。
The facial
なお、いくつかのステップは同時動作してもよい。例えば、あるフレームにおけるS1からS6までの処理と、別のフレームにおけるS1からS6までの処理が同時動作してもよい。また、あるフレームにおけるS1からS3までの処理と、別のフレームにおけるS4からS6までの動作がオーバーラップしてもよい。これにより、S4の処理に多くの時間がかかっても、リアルタイム処理性能を高めることができる。 Note that some steps may be performed simultaneously. For example, the processing from S1 to S6 in one frame and the processing from S1 to S6 in another frame may operate simultaneously. Further, the processing from S1 to S3 in a certain frame and the operations from S4 to S6 in another frame may overlap. As a result, the real-time processing performance can be improved even if much time is required for the processing in S4.
(3)変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、表情判定システム1と同様の機能は、表情判定方法、コンピュータプログラム、又はプログラムを記録した非一時的な記録媒体等で具現化されてもよい。一態様に係る表情判定方法は、検出処理と、判定処理とを有する。検出処理では、顔を含む入力映像から、入力映像のうち顔の部分に変化が発生している対象期間を検出する。判定処理では、対象期間での入力映像に基づいて、少なくとも微表情が表れているか否かを判定する。一態様に係る(コンピュータ)プログラムは、コンピュータシステムに、検出処理と、判定処理と、を実行させるためのプログラムである。
(3) Modifications The above embodiments are merely one of various embodiments of the present disclosure. The above embodiment can be variously modified according to the design and the like as long as the object of the present disclosure can be achieved. Further, the same functions as those of the facial
以下、上記の実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。 Hereinafter, modified examples of the above embodiment will be listed. The modifications described below can be applied in appropriate combinations.
本開示における表情判定システム1は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における表情判定システム1としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
The facial
また、表情判定システム1における複数の機能が、1つの筐体内に集約されていることは表情判定システム1に必須の構成ではなく、表情判定システム1の構成要素は、複数の筐体に分散して設けられていてもよい。例えば、表情判定システム1の検出部20と処理部30とがそれぞれ別々のシステムに備えられていてもよい。さらに、表情判定システム1の少なくとも一部の機能、例えば、検出部20及び処理部30の一部の機能がクラウド(クラウドコンピューティング)等によって実現されてもよい。
It is not an essential configuration of the
上記の実施形態では、表情判定システム1が判定結果を報知部3に出力しているが、表情判定システム1が報知部3を備えていてもよい。また、表情判定システム1は、カメラ2からの入力映像に基づいて判定処理を行っているが、表情判定システム1がカメラ2を備えていてもよい。
In the above embodiment, the facial
上記の実施形態において、測定データなどの2値の比較において、「以上」としているところは「より大きい」であってもよい。つまり、2値の比較において、2値が等しい場合を含むか否かは、基準値等の設定次第で任意に変更できるので、「以上」か「より以上」かに技術上の差異はない。同様に、「以下」としているところは「未満」であってもよい。 In the above embodiment, in the comparison of the binary values of the measurement data and the like, “over” may be “greater”. In other words, whether or not the comparison of the two values includes the case where the two values are equal can be arbitrarily changed depending on the setting of the reference value or the like, so that there is no technical difference between “more than” and “more than”. Similarly, what is described as “below” may be “less than”.
(3.1)変形例1
図5に示すように、変形例1の表情判定システム1は受付部60を更に備える点で、上記実施形態と相違する。受付部60は、検出部20の検出処理及び処理部30の判定処理のうち少なくとも一方の対象処理の処理内容を設定するための設定情報を受け付ける。受付部60が受け付けた設定情報に基づいて対象処理の処理内容が設定される。ここにおいて、処理部30の判定処理は、認識部31の認識処理と判定部32の判定処理とを含む。
(3.1)
As shown in FIG. 5, the facial
受付部60は、例えば、キーボード、マウス、タッチパネル、又は音声入力装置等のHMI(Human Machine Interface)を備える。例えば、ユーザは、HMIを用いて、プルダウンメニューで提示された複数の設定情報の中から所望の設定情報を選択したり、テキストボックスに設定情報を入力したりすることで、設定情報を入力する。受付部60は、ユーザがHMIを用いて入力した設定情報を受け付ける。受付部60が設定情報を受け付けると、検出部20及び処理部30の少なくとも一方が、受付部60が受け付けた設定情報に基づいて対象処理の処理内容を設定する。
The receiving
ここで、設定情報により設定される検出処理の処理内容は、例えば、検出部20が検出処理を行う入力映像の種類、つまりカメラ2の種類と、検出部20の検出アルゴリズムとの少なくとも1つを含む。カメラ2の種類は、例えば、2種類のRGBカメラ(例えば高性能のRGBカメラと低性能のRGBカメラ)及び赤外線(IR)カメラのいずれかである。検出部20の検出アルゴリズムは、例えば高性能のRGBカメラの入力映像に適合した検出アルゴリズムX1と、低性能のRGBカメラの入力映像に適合した検出アルゴリズムX2と、赤外線(IR)カメラの入力映像に適合した検出アルゴリズムX3とを含む。例えば、表情判定システム1では、周囲が明るい場合は高性能又は低性能のRGBカメラに適合した検出アルゴリズムX1,X2を使用し、周囲が暗い場合は赤外線カメラに適合した検出アルゴリズムX3を使用すればよい。
Here, the processing content of the detection processing set by the setting information includes, for example, at least one of the type of the input video on which the
設定情報により設定される判定処理の処理内容は、認識部31により認識される微表情の種類の数(例えば多、中、少)と、要求される適合率(例えば高又は低)と、認識部31の認識アルゴリズムと、判定部32の判定アルゴリズムとの少なくとも1つを含む。認識部31の認識アルゴリズムは、例えば3種類の認識アルゴリズムY1〜Y3を含む。認識アルゴリズムY1は、微表情であるか否かの確度情報のみを求めるアルゴリズムである。認識アルゴリズムY2は、「Positive」、「Negative」、「Surprise」及び「非表情」のそれぞれの確度情報を求めるアルゴリズムである。認識アルゴリズムY3は、P.Ekmanが定義した「怒り」、「嫌悪」、「恐怖」、「悲しみ」、「軽蔑」、「喜び」及び「驚き」の7種類と「非表情」のそれぞれの確度情報を求めるアルゴリズムである。判定部32の判定アルゴリズムは、例えば2種類の判定アルゴリズムZ1、Z2を含む。判定アルゴリズムZ1は、微表情であるか否かを判定する基準値を第1基準値に設定するアルゴリズムである。判定アルゴリズムZ2は、微表情であるか否かを判定する基準値を第1基準値よりも大きい第2基準値に設定するアルゴリズムである。
The processing content of the determination process set by the setting information includes the number of types of micro-expressions recognized by the recognition unit 31 (for example, many, medium, and small), the required matching rate (for example, high or low), the recognition At least one of a recognition algorithm of the
変形例1の表情判定システム1では、検出部20及び処理部30の少なくとも一方が、受付部60が受け付けた設定情報に基づいて対象処理の処理内容を設定している。したがって、表情判定システム1のユーザは、対象処理の処理内容を所望の処理内容に設定することができる。なお、設定情報は、検出部20の検出処理、認識部31の認識処理、及び判定部32の判定処理のうち全ての処理内容に関する設定情報を含んでいなくてもよい。設定情報は、検出部20の検出処理、認識部31の認識処理、及び判定部32の判定処理のうち少なくとも一部の対象処理に関する設定情報を含んでいればよい。
In the facial
また、変形例1において、受付部60が、設定情報として、表情判定システム1の用途を表す用途情報を受け付けた場合、対象処理の処理内容が用途に応じた処理内容に設定されてもよい。
Further, in the first modification, when the receiving
この場合、記憶部50には、表情判定システム1が適用される複数の用途を示す用途情報に対応付けて、検出部20の検出処理及び処理部30の判定処理の処理内容がそれぞれ記憶されている。表2は、複数の用途のそれぞれでの処理内容の一例である。なお、表2に示した用途ごとの処理内容は一例であり、用途の種類及び用途ごとの処理内容は適宜変更が可能である。
In this case, the
検出部20及び処理部30は、受付部60が受け付けた用途情報をもとに、検出部20の検出処理及び処理部30の判定処理の処理内容を記憶部50から読み出して、検出部20の検出処理及び処理部30の判定処理の処理内容を設定する。これにより、表情判定システム1のユーザがHMIを用いて用途情報を入力すると、表情判定システム1は、検出部20の検出処理及び処理部30の判定処理の処理内容を用途情報に対応して予め設定されている処理内容に設定する。したがって、ユーザは用途情報を入力するだけで、表情判定システム1の処理内容が用途に応じた処理内容が設定されるので、ユーザの設定の手間を低減できる。
The
また、受付部60が、設定情報として、用途情報を受け付けた後に、対象処理の処理内容を変更する変更情報を受け付けた場合、対象処理の処理内容が、用途に応じた処理内容から変更情報に応じて変更されてもよい。
When the receiving
表情判定システム1のユーザが、HMIを用いて用途情報を入力した後に変更情報を入力すると、検出部20及び処理部30は、変更情報に対応した対象処理の処理内容を変更情報に基づいて変更する。これにより、検出部20の検出処理及び処理部30の判定処理の処理内容が、用途に応じて予め設定された処理内容から変更されるので、用途に応じて予め設定された処理内容から処理内容を微調整できる。
When the user of the facial
例えば、表情判定システム1のユーザは、表情判定システム1の用途が同じ場合でも、表情判定システム1の利用目的に応じて処理内容を変更することができる。例えば表情判定システム1の用途が介護の場合、被介護者の何らかの感情変化をとらえることを目的として、初期設定では、認識部31が認識アルゴリズムY1を使用するように設定されているが、介護内容に不満を感じている利用者を見つけるような目的では認識アルゴリズムが認識アルゴリズムY2に変更される。認識部31は、認識アルゴリズムY2を使用することによって、微表情の種類を認識できるので、表情判定システム1のユーザは利用者の感情を把握できる。
For example, the user of the facial
また、表情判定システム1のユーザは、表情判定システム1の用途が同じでも、時間帯に応じて表情判定システム1の処理内容を変更することができる。例えば、表情判定システム1のユーザは、昼間はRGBカメラ用の検出アルゴリズムX1又はX2を使用し、夜間は赤外線カメラ用の検出アルゴリズムX3を使用するように処理内容を設定できる。これにより、表情判定システム1のユーザは、用途に応じて予め設定された処理内容を、時間帯に応じて微調整することができる。
Further, the user of the facial
また、検出部20及び処理部30は、許容される処理量及び処理能力などに応じて、検出アルゴリズム、認識アルゴリズム及び判定アルゴリズムのうちの少なくとも1つを変更してもよい。例えば、処理部30は、処理部30の処理量及び処理能力が所定の許容値よりも低ければ認識アルゴリズムを認識アルゴリズムY2に設定し、処理量及び処理能力が許容値よりも高ければ認識アルゴリズムを認識アルゴリズムY3に設定する。
Further, the
(3.2)その他の変形例
カメラ2は、判定対象の人の顔を正面から撮影可能な位置に設置されているとしたが、判定対象の人の顔を斜めから撮影した映像を入力しても良い。その場合、カメラ2で、人の顔を斜め方向から撮影した映像を正面方向から撮影した映像に変換する前処理を入れても良い。これにより、カメラ2に対して正面を向いていない人の顔の微表情も検出・認識できる。
(3.2) Other Modifications Although the
上記実施形態の表情判定システム1では、カメラ2から入力部10にフレーム毎の入力映像が入力されており、検出部20は、入力部10に入力されるフレーム毎の入力映像に基づいて検出処理を行っているが、複数フレームに1回の割合で検出処理を行ってもよい。
In the facial
また、検出部20は、入力部10に入力される入力映像から顔の部分の部分映像を検出しているが、例えば表情判定システム1の用途等の条件に応じて、入力映像において顔の部分を検出する範囲が予め設定されていてもよい。例えば、表情判定システム1の用途に応じて、入力映像において判定対象の人の顔が映る範囲が決まっている場合、検出部20は、入力映像において顔検出を行う範囲を用途に応じて決定してもよい。
The
上記実施形態において、検出部20はクラウドによって実現されてもよい。すなわち、表情判定システム1は、入力部10に入力されたカメラ2の入力映像をクラウド上に送信し、クラウドによって顔を検出する検出処理と対象期間を検出する検出処理との少なくとも一方を行えばよい。これにより、表情判定システム1の処理負荷を低減でき、またクラウド上のサービスで検出処理を実現できる。
In the above embodiment, the
また、顔に表れる表情の記述法として、FACS(Facial Action Coding System)がある。FACSでは、複数の動作単位(AU:Action Unit)を要素にして顔面動作を記述する。上記実施形態において、検出部20は、顔の表情の基本要素であるAUを定量化し、AUの値が所定の判定値を超える期間を対象期間として検出するアルゴリズムを使用してもよい。例えば、表情判定システム1は、瞬きに対応するAU45を定量化し、AU45の値が判定値を超える期間を対象期間外として判定するアルゴリズムを使用してもよい。
Also, there is a FACS (Facial Action Coding System) as a description method of a facial expression appearing on a face. In the FACS, a facial action is described using a plurality of action units (AU: Action Unit) as elements. In the above embodiment, the
上記実施形態では、検出部20は、入力映像に基づいて顔の部分に変化がある対象期間を検出しているが、入力映像だけではなく判定対象の人の生体情報(心拍、心電位、脳波等)を各種のセンサで検出した結果に基づいて対象期間を検出してもよい。検出部20は、入力映像と生体情報とに基づいて対象期間を検出するので、対象期間の検出精度が向上するという利点がある。
In the above embodiment, the
上記実施形態では、検出部20は、対象期間の検出結果を出力しているが、対象期間の検出結果に加えて、微表情が発生している確度を示す確度情報(スコア)を求め、この確度情報を処理部30に出力してもよい。処理部30は、検出部20から確度情報が入力された場合、検出部20から入力された確度情報を認識部31により算出される確度情報に反映させてもよい。例えば、認識部31は、微表情の種類ごとに求めた確度情報に、検出部20から入力された確度情報を加算又は減算して、微表情の種類ごとの確度情報を求めてもよい。
In the above embodiment, the
また、検出部20は、検出処理に使用した検出アルゴリズムの情報を処理部30に出力してもよい。処理部30は、検出部20が使用する検出アルゴリズムに応じて微表情の種類ごとに設定されるバイアス値を、微表情の種類ごとに求めた確度情報に重畳してもよい。
The
また、検出部20は、カメラ2の撮影情報及び撮影環境のうち少なくとも一方の情報を処理部30に出力してもよい。カメラ2の撮影情報は、例えばカメラ2の入力映像に関する情報であり、入力映像の解像度、ホワイトバランス、フレームレート等である。カメラ2の撮影環境は、カメラ2が設置されている場所又はカメラ2の撮影範囲に関する情報である。表情判定システム1の用途が車載機器であれば、カメラ2の撮影環境は例えば車室内又は車室外であり、表情判定システム1の用途がテーマパークであれば、カメラ2の撮影環境は例えば屋内又は屋外である。処理部30は、検出部20から入力される、撮影情報及び撮影環境の少なくとも一方の情報に基づいて、複数の学習済みモデルの中から認識部31が認識処理に使用する学習済みモデルを選択できる。
The
また、検出部20は、カメラ2等から入力される撮影地点の位置情報(例えばGPS(Global Positioning System)を用いて得られる情報)を処理部30に出力してもよい。認識部31は、例えば、検出部20から入力される位置情報に基づいて、撮影地点が含まれる地域(例えば、日本、北米、欧州等)に応じた学習済みモデルを使用することができ、例えば該当地域で作成された学習済みモデルを用いて認識処理を行うことができる。
Further, the
また上記実施形態において、検出部20は、顔の表情の基本要素であるAUを定量化した値を処理部30に出力してもよい。例えば、機械学習の学習済みモデルが、入力映像に加えてAUを定量化した値を教師データとして作成されている場合、認識部31は、入力映像とAUを定量化した値とを入力データとして認識処理を行えばよい。
In the above embodiment, the
また、認識部31はクラウドによって実現されてもよい。すなわち、表情判定システム1は、対象期間における入力映像をクラウド上に送信し、クラウドによって認識処理を行ってもよい。これにより、表情判定システム1の処理負荷を低減でき、またクラウド上のサービスを利用して認識処理を実現できる。
Further, the
また、認識部31は、処理部30が備えるプロセッサ及びネットワーク帯域の余力に応じて、認識処理の処理内容(例えば認識アルゴリズム、ディープラーニングのネットワーク構成、認識処理に使用する学習済みモデルの種類等)を変更してもよい。認識部31は、処理部30が備えるプロセッサ及びネットワーク帯域の余力に応じて、認識処理の処理内容を変更することで、認識処理の負荷を変更でき、認識処理によって表情判定システム1が行う他の処理に与える影響を軽減できる。
In addition, the
また、認識部31が使用する学習済みモデルは、入力映像に加えて生体情報(心拍、心電位、脳波等)を教師データとして機械学習された学習済みモデルでもよい。このような学習済みモデルを用いて認識処理を行うことで、認識処理の精度を高めることができる。
Further, the learned model used by the
また、認識部31は、2段階で認識処理を行うように構成されてもよい。例えば、認識部31は、1段目の認識処理では、対象期間における入力映像に基づいて、微表情であるか否かの認識処理を行い、1段目の認識処理で微表情であると認識された場合に、2段目の認識処理で微表情の種類ごとに確度情報を求める処理を行う。認識部31が2段階で認識処理を行うように構成されている場合、1段目の認識処理と2段目の認識処理のうちの一方の認識処理をクラウドで行ってもよい。例えば、認識部31が、2段目の認識処理をクラウドで行うように構成されていれば、微表情の種類だけを認識できるクラウドサービスを利用して微表情の種類を認識する認識処理を実行できる。
The
また、認識部31が認識処理に使用するアルゴリズムは、ラッセルの円環モデル上で、対象期間における顔の動きが対応する点を特定することで、判定対象の人の感情を認識するアルゴリズムであってもよい。これにより、認識部31は、判定対象の人の快・不快・覚醒度等に基づく感情を認識できる。
The algorithm used by the recognizing
また、認識部31は、認識処理によって求めた確度情報に加えて、認識処理の処理内容(例えば、認識アルゴリズム、ディープラーニングのネットワーク構成、学習済みモデルの種類、学習済みモデルの性能等)に関する情報を判定部32に出力してもよい。判定部32は、認識処理の処理内容に応じて設定された基準値を用いて判定処理を行うことができ、判定精度が向上するという利点がある。
The recognizing
また、判定部32は、判定結果を記憶部50に記憶しておき、比較的短い時間で複数人の顔に微表情が表れた場合に直前の数フレームでの判定結果を統合して、判定処理を行ってもよい。例えば、表情判定システム1の用途がサイネージ(Signage)である場合、判定部32は、広告等を複数人が見た時に、複数人の顔にそれぞれ表れた感情を統合することで、複数人が平均してどのような感情を抱くかを判定できる。
In addition, the
また、判定部32は、所定のフレーム数内での認識部31の認識結果を統合して判定処理を行ってもよい。例えば、表情判定システム1が、演劇等を見ている観客の反応を調べるために使用される場合、観客の感情を変化させるような事象(例えば役者の台詞及び行動等)が発生してから所定時間内に観客の顔にどのような微表情が平均して表れるのかを判定できる。
The
また、上記実施形態において、出力部40は、判定部32による判定結果(微表情ではないとの結果、又は微表情である場合は微表情の種類)とともに、その確度情報を報知部3等の外部システムに出力してもよい。また、出力部40は、認識部31が求めた微表情の種類ごとの確度情報、及び微表情ではないことの確度情報を報知部3等の外部システムに出力してもよい。この場合、外部システムは、表情判定システム1から出力される判定結果及び確度情報を、判定対象の人の感情を認識する他のシステムの認識結果と組み合わせることができる。したがって、外部システムは、判定対象の人の感情をより高い精度で判定することができる。
Further, in the above-described embodiment, the
なお、出力部40は、判定部32による判定結果のうち、最も可能性が高い認識結果1つだけでなく、可能性が高い複数の結果を出力してもよい。例えば、確度の高いM個(Mは2以上の整数)を出力してもよい。これにより、マルチモーダル処理等、他の感情認識装置と組み合わせたより複雑な感情推定に応用できる。
Note that the
(まとめ)
以上説明したように、第1の態様に係る表情判定システム(1)は、検出部(20)と、処理部(30)と、を備える。検出部(20)は、顔を含む入力映像から、入力映像のうち顔の部分に変化が発生している対象期間を検出する検出処理を行う。処理部(30)は、対象期間での入力映像に基づいて、少なくとも微表情が表れているか否かを判定する判定処理を行う。
(Summary)
As described above, the facial expression determination system (1) according to the first aspect includes the detection unit (20) and the processing unit (30). The detection unit (20) performs a detection process of detecting, from an input video including a face, a target period in which a change occurs in a face portion of the input video. The processing unit (30) performs a determination process of determining whether at least a faint expression is present based on the input video in the target period.
この態様によれば、検出部(20)によって顔の部分に変化が発生していると検出された対象期間での入力映像に基づいて処理部(30)が微表情が表れているか否かを判定している。したがって、微表情が表れていないのに微表情が表れていると誤検出する可能性を低減でき、誤検出の低減を図ることが可能な表情判定システム(1)を提供することができる。 According to this aspect, the processing unit (30) determines whether or not a minute expression is present based on the input video in the target period in which the detection unit (20) has detected that a change has occurred in the face portion. Has been determined. Accordingly, it is possible to provide a facial expression determination system (1) that can reduce the possibility of erroneous detection that a subtle facial expression is present even though a subtle facial expression is not present, and that can reduce erroneous detection.
第2の態様に係る表情判定システム(1)では、第1の態様において、微表情には複数の種類がある。処理部(30)は、判定処理において、微表情が表れていると判定した場合に、複数の種類の中から、対象期間に表れた微表情の種類を更に判定する。 In the facial expression determination system (1) according to the second aspect, in the first aspect, there are a plurality of types of fine facial expressions. The processing unit (30) further determines, from the plurality of types, the type of the fine expression appearing in the target period, when it is determined in the determination process that the fine expression appears.
この態様によれば、微表情が表れているか否かだけでなく、微表情の種類まで判定できる。 According to this aspect, it is possible to determine not only whether or not a subtle expression is present but also the type of subexpression.
第3の態様に係る表情判定システム(1)では、第1又は2の態様において、処理部(30)は認識部(31)と判定部(32)とを含む。認識部(31)は、対象期間での入力映像に基づいて、対象期間での入力映像における顔の部分の変化が、複数の種類のそれぞれに該当する確度を表す確度情報を複数の種類ごとに求める。判定部(32)は、認識部(31)が求めた複数の種類ごとの確度情報に基づいて、少なくとも微表情が表れているか否かを判定する。 In the facial expression determination system (1) according to the third aspect, in the first or second aspect, the processing unit (30) includes a recognition unit (31) and a determination unit (32). The recognizing unit (31) generates, based on the input video in the target period, certainty information indicating the degree of change in the face portion in the input video in the target period corresponding to each of the plurality of types, for each of the plurality of types. Ask. The determination unit (32) determines whether at least a micro-expression is present based on the accuracy information for each of the plurality of types obtained by the recognition unit (31).
この態様によれば、誤検出の低減を図ることが可能な表情判定システム(1)を提供することができる。 According to this aspect, it is possible to provide a facial expression determination system (1) capable of reducing false detection.
第4の態様に係る表情判定システム(1)では、第3の態様において、認識部(31)は、判定処理において、複数の種類ごとの確度情報に加えて、入力映像における顔の部分の変化が微表情ではないことの確度を表す確度情報を更に求める。 In the facial expression determination system (1) according to the fourth aspect, in the third aspect, the recognition unit (31) includes, in the determination processing, a change in a face portion in the input video in addition to the accuracy information for each of the plurality of types. Is further obtained.
この態様によれば、誤検出の低減を図ることが可能な表情判定システム(1)を提供することができる。 According to this aspect, it is possible to provide a facial expression determination system (1) capable of reducing false detection.
第5の態様に係る表情判定システム(1)では、第1〜4のいずれかの態様において、処理部(30)は、機械学習で作成された学習済みモデルを用いて判定処理を行う。 In the facial expression determination system (1) according to a fifth aspect, in any of the first to fourth aspects, the processing unit (30) performs the determination process using a learned model created by machine learning.
この態様によれば、誤検出の低減を図ることが可能な表情判定システム(1)を提供することができる。 According to this aspect, it is possible to provide a facial expression determination system (1) capable of reducing false detection.
第6の態様に係る表情判定システム(1)は、第1〜5のいずれかの態様において、検出処理及び判定処理のうち少なくとも一方の対象処理の処理内容を設定するための設定情報を受け付ける受付部(60)を更に備える。受付部(60)が受け付けた設定情報に基づいて対象処理の処理内容が設定される。 A facial expression determination system (1) according to a sixth aspect, in any one of the first to fifth aspects, accepts setting information for setting processing content of at least one target process of the detection process and the determination process. A part (60) is further provided. The processing content of the target process is set based on the setting information received by the receiving unit (60).
この態様によれば、対象処理の処理内容を変更可能な表情判定システム(1)を提供することができる。 According to this aspect, it is possible to provide a facial expression determination system (1) capable of changing the processing content of the target processing.
第7の態様に係る表情判定システム(1)では、第6の態様において、受付部(60)が、設定情報として、表情判定システム(1)の用途を表す用途情報を受け付けた場合、対象処理の処理内容が用途に応じた処理内容に設定される。 In the facial expression determination system (1) according to the seventh aspect, in the sixth aspect, when the receiving unit (60) receives, as setting information, use information indicating the use of the facial expression determination system (1), the target process Is set to the processing content according to the application.
この態様によれば、対象処理の処理内容を、用途に応じた処理内容に変更可能な表情判定システム(1)を提供することができる。 According to this aspect, it is possible to provide a facial expression determination system (1) capable of changing the processing content of the target processing to the processing content according to the application.
第8の態様に係る表情判定システム(1)では、第7の態様において、受付部(60)が、設定情報として、用途情報を受け付けた後に変更情報を受け付けた場合、対象処理の処理内容が、用途に応じた処理内容から変更情報に応じて変更される。変更情報は、対象処理の処理内容を変更するための情報である。 In the facial expression determination system (1) according to the eighth aspect, in the seventh aspect, when the receiving unit (60) receives the change information after receiving the application information as the setting information, the processing content of the target processing is The processing content is changed according to the change information from the processing content according to the application. The change information is information for changing the processing content of the target process.
この態様によれば、対象処理の処理内容を、用途に応じた処理内容から変更可能な表情判定システム(1)を提供することができる。 According to this aspect, it is possible to provide a facial expression determination system (1) capable of changing the processing content of the target processing from the processing content according to the application.
第9の態様に係るプログラムは、コンピュータシステムに、検出処理と、判定処理と、を実行させる。検出処理では、顔を含む入力映像から、入力映像のうち顔の部分に変化が発生している対象期間を検出する。判定処理では、対象期間での入力映像に基づいて、少なくとも微表情が表れているか否かを判定する。 A program according to a ninth aspect causes a computer system to execute a detection process and a determination process. In the detection process, a target period in which a change occurs in the face portion of the input video is detected from the input video including the face. In the determination process, it is determined whether or not at least a faint expression is present based on the input video in the target period.
この態様によれば、判定処理では、検出処理によって顔の部分に変化が発生していると検出された対象期間での入力映像に基づいて、微表情が表れているか否かを判定している。したがって、微表情が表れていないのに微表情が表れていると誤検出する可能性を低減でき、誤検出の低減を図ることが可能なプログラムを提供することができる。 According to this aspect, in the determination process, it is determined whether or not a fine expression is present based on the input video in the target period in which the change in the face portion is detected by the detection process. . Therefore, it is possible to provide a program that can reduce the possibility of erroneous detection that a subtle facial expression is present even though a subtle facial expression is not present, and that can reduce erroneous detection.
第10の態様に係る表情判定方法は、検出処理と、判定処理と、を含む。検出処理では、顔を含む入力映像から、入力映像のうち顔の部分に変化が発生している対象期間を検出する。判定処理では、対象期間での入力映像に基づいて、少なくとも微表情が表れているか否かを判定する。 The facial expression determination method according to the tenth aspect includes a detection process and a determination process. In the detection process, a target period in which a change occurs in the face portion of the input video is detected from the input video including the face. In the determination process, it is determined whether or not at least a faint expression is present based on the input video in the target period.
この態様によれば、判定処理では、検出処理によって顔の部分に変化が発生していると検出された対象期間での入力映像に基づいて、微表情が表れているか否かを判定している。したがって、微表情が表れていないのに微表情が表れていると誤検出する可能性を低減でき、誤検出の低減を図ることが可能な表情判定方法を提供することができる。 According to this aspect, in the determination process, it is determined whether or not a fine expression is present based on the input video in the target period in which the change in the face portion is detected by the detection process. . Therefore, it is possible to reduce the possibility of erroneously detecting that a subtle facial expression is present even though the subtle facial expression is not present, and to provide a facial expression determination method capable of reducing erroneous detection.
上記態様に限らず、上記実施形態に係る表情判定システム(1)の種々の構成(変形例を含む)は、表情判定方法、(コンピュータ)プログラム、又はプログラムを記録した非一時的記録媒体等で具現化可能である。 Not limited to the above-described aspect, various configurations (including modified examples) of the facial expression determination system (1) according to the above-described embodiment include a facial expression determination method, a (computer) program, a non-temporary recording medium on which the program is recorded, and the like. It can be embodied.
第2〜第8の態様に係る構成については、表情判定システム(1)に必須の構成ではなく、適宜省略可能である。 The configurations according to the second to eighth aspects are not essential components of the facial expression determination system (1) and can be omitted as appropriate.
1 表情判定システム
20 検出部
30 処理部
31 認識部
32 判定部
60 受付部
Claims (10)
前記対象期間での前記入力映像に基づいて、少なくとも微表情が表れているか否かを判定する判定処理を行う処理部と、を備える、
表情判定システム。 From an input video including a face, a detection unit that performs a detection process of detecting a target period in which a change occurs in the face portion of the input video,
Based on the input video in the target period, a processing unit that performs a determination process to determine whether at least a subtle facial expression is appearing,
Facial expression judgment system.
前記処理部は、前記判定処理において、前記微表情が表れていると判定した場合に、前記複数の種類の中から、前記対象期間に表れた前記微表情の種類を更に判定する、
請求項1に記載の表情判定システム。 There are several types of the micro-expression,
The processing unit, in the determination process, when it is determined that the fine expression is appearing, from the plurality of types, further determines the type of the fine expression appeared in the target period,
The facial expression determination system according to claim 1.
前記認識部は、前記対象期間での前記入力映像に基づいて、前記対象期間での前記入力映像における前記顔の部分の変化が、前記複数の種類のそれぞれに該当する確度を表す確度情報を前記複数の種類ごとに求め、
前記判定部は、前記認識部が求めた前記複数の種類ごとの前記確度情報に基づいて、少なくとも前記微表情が表れているか否かを判定する、
請求項1又は2に記載の表情判定システム。 The processing unit includes a recognition unit and a determination unit,
The recognition unit, based on the input video in the target period, the change of the face portion in the input video in the target period, the accuracy information representing the accuracy corresponding to each of the plurality of types, Ask for multiple types,
The determining unit is configured to determine whether at least the micro-expression is present based on the accuracy information for each of the plurality of types obtained by the recognition unit.
The expression determination system according to claim 1.
請求項3に記載の表情判定システム。 The recognition unit, in the determination process, in addition to the accuracy information for each of the plurality of types, further obtains accuracy information representing the accuracy of the change of the face portion in the input video is not the fine expression,
The expression determination system according to claim 3.
請求項1〜4のいずれか1項に記載の表情判定システム。 The processing unit performs the determination process using a learned model created by machine learning,
The facial expression determination system according to claim 1.
前記受付部が受け付けた前記設定情報に基づいて前記対象処理の処理内容が設定される、
請求項1〜5のいずれか1項に記載の表情判定システム。 Further comprising a receiving unit that receives setting information for setting the processing content of at least one of the target process of the detection process and the determination process,
The processing content of the target process is set based on the setting information received by the receiving unit,
The facial expression determination system according to claim 1.
請求項6に記載の表情判定システム。 When the receiving unit receives, as the setting information, use information indicating a use of the facial expression determination system, a process content of the target process is set to a process content corresponding to the use.
The facial expression determination system according to claim 6.
請求項7に記載の表情判定システム。 When the receiving unit receives the change information for changing the processing content of the target process after receiving the usage information as the setting information, the processing content of the target process is changed from the processing content corresponding to the usage. Changed according to the change information,
The facial expression determination system according to claim 7.
顔を含む入力映像から、前記入力映像のうち前記顔の部分に変化が発生している対象期間を検出する検出処理と、
前記対象期間での前記入力映像に基づいて、少なくとも微表情が表れているか否かを判定する判定処理と、を実行させるための、
プログラム。 For computer systems,
From an input video including a face, a detection process of detecting a target period in which a change occurs in the face portion of the input video,
Based on the input video in the target period, a determination process to determine whether at least a subtle facial expression is appearing,
program.
前記対象期間での前記入力映像に基づいて、少なくとも微表情が表れているか否かを判定する判定処理と、を含む、
表情判定方法。 From an input video including a face, a detection process of detecting a target period in which a change occurs in the face portion of the input video,
Based on the input video in the target period, a determination process to determine whether at least a micro-expression is appearing,
Expression determination method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018186029A JP2020057111A (en) | 2018-09-28 | 2018-09-28 | Facial expression determination system, program and facial expression determination method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018186029A JP2020057111A (en) | 2018-09-28 | 2018-09-28 | Facial expression determination system, program and facial expression determination method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020057111A true JP2020057111A (en) | 2020-04-09 |
Family
ID=70107260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018186029A Pending JP2020057111A (en) | 2018-09-28 | 2018-09-28 | Facial expression determination system, program and facial expression determination method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020057111A (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112487980A (en) * | 2020-11-30 | 2021-03-12 | 深圳市广信安科技股份有限公司 | Micro-expression-based treatment method, device, system and computer-readable storage medium |
CN113762107A (en) * | 2021-08-23 | 2021-12-07 | 海宁奕斯伟集成电路设计有限公司 | Object state evaluation method and device, electronic equipment and readable storage medium |
WO2022064660A1 (en) | 2020-09-25 | 2022-03-31 | 富士通株式会社 | Machine learning program, machine learning method, and inference device |
CN114373214A (en) * | 2022-01-14 | 2022-04-19 | 平安普惠企业管理有限公司 | User psychological analysis method, device, equipment and storage medium based on micro expression |
JP2022189703A (en) * | 2021-06-11 | 2022-12-22 | 株式会社ライフクエスト | Emotion estimation device, emotion estimation method, and program |
WO2024013936A1 (en) * | 2022-07-14 | 2024-01-18 | 日本電気株式会社 | Video processing system, video processing device, and video processing method |
WO2024053017A1 (en) * | 2022-09-07 | 2024-03-14 | 日本電信電話株式会社 | Expression recognition support device, and control device, control method and program for same |
CN117808536A (en) * | 2024-02-23 | 2024-04-02 | 蓝色火焰科技成都有限公司 | Interactive advertisement evaluation method, system and delivery terminal |
CN118172822A (en) * | 2024-05-14 | 2024-06-11 | 中国科学技术大学 | Cross-frame rate micro-expression recognition method and device |
CN118247829A (en) * | 2024-05-28 | 2024-06-25 | 沈阳东航智能科技有限公司 | Data processing method and system based on large model |
-
2018
- 2018-09-28 JP JP2018186029A patent/JP2020057111A/en active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022064660A1 (en) | 2020-09-25 | 2022-03-31 | 富士通株式会社 | Machine learning program, machine learning method, and inference device |
CN112487980A (en) * | 2020-11-30 | 2021-03-12 | 深圳市广信安科技股份有限公司 | Micro-expression-based treatment method, device, system and computer-readable storage medium |
JP2022189703A (en) * | 2021-06-11 | 2022-12-22 | 株式会社ライフクエスト | Emotion estimation device, emotion estimation method, and program |
JP7442838B2 (en) | 2021-06-11 | 2024-03-05 | 株式会社ライフクエスト | Emotion estimation device, emotion estimation method, and program |
CN113762107B (en) * | 2021-08-23 | 2024-05-07 | 海宁奕斯伟集成电路设计有限公司 | Object state evaluation method, device, electronic equipment and readable storage medium |
CN113762107A (en) * | 2021-08-23 | 2021-12-07 | 海宁奕斯伟集成电路设计有限公司 | Object state evaluation method and device, electronic equipment and readable storage medium |
CN114373214A (en) * | 2022-01-14 | 2022-04-19 | 平安普惠企业管理有限公司 | User psychological analysis method, device, equipment and storage medium based on micro expression |
WO2024013936A1 (en) * | 2022-07-14 | 2024-01-18 | 日本電気株式会社 | Video processing system, video processing device, and video processing method |
WO2024053017A1 (en) * | 2022-09-07 | 2024-03-14 | 日本電信電話株式会社 | Expression recognition support device, and control device, control method and program for same |
CN117808536A (en) * | 2024-02-23 | 2024-04-02 | 蓝色火焰科技成都有限公司 | Interactive advertisement evaluation method, system and delivery terminal |
CN117808536B (en) * | 2024-02-23 | 2024-05-14 | 蓝色火焰科技成都有限公司 | Interactive advertisement evaluation method, system and delivery terminal |
CN118172822A (en) * | 2024-05-14 | 2024-06-11 | 中国科学技术大学 | Cross-frame rate micro-expression recognition method and device |
CN118247829A (en) * | 2024-05-28 | 2024-06-25 | 沈阳东航智能科技有限公司 | Data processing method and system based on large model |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020057111A (en) | Facial expression determination system, program and facial expression determination method | |
US11222239B2 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
JP7229174B2 (en) | Person identification system and method | |
US10832069B2 (en) | Living body detection method, electronic device and computer readable medium | |
CN108876833A (en) | Image processing method, image processing apparatus and computer readable storage medium | |
IL261696A (en) | System and method for training object classifier by machine learning | |
US20170011258A1 (en) | Image analysis in support of robotic manipulation | |
JP5218168B2 (en) | Imaging device, moving object detection method, moving object detection circuit, program, and monitoring system | |
US20210248427A1 (en) | Method and system of neural network object recognition for image processing | |
CN110738116B (en) | Living body detection method and device and electronic equipment | |
CN113221771B (en) | Living body face recognition method, device, apparatus, storage medium and program product | |
JP7151959B2 (en) | Image alignment method and apparatus | |
CN108027973A (en) | Crowded resolver, crowded analytic method and crowded analysis program | |
US11216704B2 (en) | Recognition system using multimodality dataset | |
JP2020013553A (en) | Information generating method and apparatus applicable to terminal device | |
US20230334907A1 (en) | Emotion Detection | |
JP2015002477A (en) | Information processing apparatus, information processing system, and information processing method | |
CN110728188A (en) | Image processing method, device, system and storage medium | |
US20240168548A1 (en) | Dynamic content presentation for extended reality systems | |
US20240046701A1 (en) | Image-based pose estimation and action detection method and apparatus | |
JP5088463B2 (en) | Monitoring system | |
CN111861956A (en) | Picture processing method and device, electronic equipment and medium | |
KR20220010560A (en) | Systems and methods for determining an action performed by an object within an image | |
US20240045992A1 (en) | Method and electronic device for removing sensitive information from image data | |
JP2019029747A (en) | Image monitoring system |