JP5276454B2 - Facial expression measurement method, facial expression measurement program, and facial expression measurement apparatus - Google Patents
Facial expression measurement method, facial expression measurement program, and facial expression measurement apparatus Download PDFInfo
- Publication number
- JP5276454B2 JP5276454B2 JP2009009462A JP2009009462A JP5276454B2 JP 5276454 B2 JP5276454 B2 JP 5276454B2 JP 2009009462 A JP2009009462 A JP 2009009462A JP 2009009462 A JP2009009462 A JP 2009009462A JP 5276454 B2 JP5276454 B2 JP 5276454B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- feature
- feature point
- points
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Abstract
Description
本発明は、画像処理技術を用いて、被検者の顔面に現れる表情の変化を捉えるための技術に関する。 The present invention relates to a technique for capturing changes in facial expressions that appear on the face of a subject using image processing techniques.
画像処理技術の発達に伴い、人の表情から精神状態や感情を推定するという試みが数多く行われている。しかし、そういった精神状態や感情を特定するための、画一的な基準やアルゴリズムが確立された訳ではなく、これらを特定するための様々な測定・解析方法が提案され、実験や臨床試験等が行われている。 With the development of image processing technology, many attempts have been made to estimate mental states and emotions from human facial expressions. However, uniform standards and algorithms for identifying such mental states and emotions have not been established, and various measurement and analysis methods for identifying these have been proposed, and experiments and clinical trials have been conducted. Has been done.
たとえば、特許文献１では、客観的に顔面運動を解析することを目的に、フレーム画像間の画素の移動を算出する画素移動算出手段と、画素移動算出手段により得られたフレーム画像間の各画素の移動量及び移動方向に基づき、顔面中の任意の領域の運動を解析する解析手段と、解析結果を出力する出力手段を備えた顔面運動解析装置に関する発明が開示されている。
この文献では、解析手段としてオプティカルフローを用いており、顔全体の中から変化の大きい部分を捉えることができるほか、画像中の任意の領域を指定して、その領域における移動量の平均値等を求めることができるようになっている。
For example, in Patent Document 1, for the purpose of objectively analyzing facial movement, a pixel movement calculation unit that calculates pixel movement between frame images and each pixel between frame images obtained by the pixel movement calculation unit Discloses an invention relating to a facial motion analysis apparatus provided with an analysis means for analyzing the motion of an arbitrary region in the face and an output means for outputting an analysis result based on the amount and direction of movement of the face.
In this document, optical flow is used as an analysis means, and it is possible to capture a large change part from the entire face, and specify an arbitrary area in the image, and the average value of the movement amount in that area, etc. Can be requested.
また、特許文献２では、人の表情から精神状態や感情を推定するために、人の特徴点を抽出し、表情の左右対称度、目の緊張度、頬の緊張度、口角の角度などをもとに、心因性疾病の度合いを判断するという技術が開示されている。
この文献では、左右対称となる部位を特徴点として定め、その対称となる特徴点どうしのＸ座標・Ｙ座標の差を、それぞれ２乗した上で重みづけしたものを加算し、表情の左右対称度を表す診断データＸ１を計算している。また、目のまわりにあって左右対称となる部位を特徴点として定め、その対称となる特徴点の間の寸法を、それぞれ重みづけして加算し、目の緊張度を表す診断データＸ２を計算している。また、頬面の重心となる部位を特徴点として定め、その対称となる特徴点の間の寸法を、それぞれ重みづけして加算し、頬の緊張度を表す診断データＸ３を計算している。また、左右口角の内側と外側となる部位を特徴点として定め、その対称となる特徴点の間の寸法を、それぞれ重みづけして加算し、口角の角度を表す診断データＸ４を計算している。
Moreover, in patent document 2, in order to estimate a mental state and an emotion from a person's facial expression, a person's feature point is extracted, and the left-right symmetry level of the expression, the eye tension level, the cheek tension level, the angle of the mouth corner, etc. A technique for determining the degree of psychogenic illness is disclosed.
In this document, a symmetrical part is defined as a feature point, and the difference between the X and Y coordinates of the symmetrical feature points is added after weighting each of the squares to add the left-right symmetry of the expression. It is calculated diagnostic data X 1 representing a degree. Further, a symmetrical part around the eye is defined as a feature point, and the dimensions between the symmetrical feature points are respectively weighted and added, and diagnostic data X 2 representing the degree of eye tension is obtained. I'm calculating. Also, determine the site of the center of gravity of the buccal as feature points, the dimension between the feature point as its symmetry, respectively summed weighted, and calculated diagnostic data X 3 representing the tone of the cheeks . In addition, the inside and outside of the left and right mouth corners are defined as feature points, the dimensions between the symmetrical feature points are respectively weighted and added, and the diagnostic data X 4 representing the mouth corner angle is calculated. Yes.
また、特許文献３では、非同期遠隔会議において、使用者の音声、表情・動作、生体情報のデータから抽出した多様な心理状態推定情報を遠隔地にて表示することを目的に、顔画像の複数の特徴点の相対的移動変化量から、心理状態を推定するという技術が開示されている。
この文献では、顔画像の唇の左右端２点、右眉の左右端２点、左眉の左右端２点の相対的移動変化量から、「驚き」、「面白さ」、「困惑」、「納得」、「面白さ」、などといった心理状態を推定している。また、移動変化量（位置変化率）として、各点のＸ座標、Ｙ座標の変化をＸＹ平面にプロットし、そのプロットされた点がどの領域に属するかで、心理状態を特定している。
Moreover, in patent document 3, in asynchronous remote conference, in order to display various psychological state estimation information extracted from the user's voice, facial expression / motion, and biological information data, a plurality of face images are displayed. A technique of estimating a psychological state from a relative movement change amount of the feature point is disclosed.
In this document, "surprise", "fun", "confused" Psychological conditions such as “consent” and “fun” are estimated. In addition, as the movement change amount (position change rate), changes in the X coordinate and Y coordinate of each point are plotted on the XY plane, and the psychological state is specified according to which region the plotted point belongs.
被検者の顔面に現れる表情の変化から、被検者の心理状況や病変を発見するためには、観察者の能力等に依存しない客観的な評価方法が望まれる。そのためには、統一化された測定方法と、その測定された結果に基づく定量的な分析方法が求められる。
また、精神疾患の症状の一つとして、被検者の顔面の左側の動きと右側の動きとの間に時間的なズレ（時間差）があることが知られている。したがって、そのような左側の動きと右側の動きとの間の時間差を求めるための技術が求められる。
An objective evaluation method that does not depend on the ability of the observer or the like is desired in order to discover the psychological state or lesion of the subject from the change in facial expression that appears on the face of the subject. For this purpose, a unified measurement method and a quantitative analysis method based on the measurement result are required.
In addition, as one of the symptoms of mental illness, it is known that there is a temporal shift (time difference) between the left-side movement and the right-side movement of the subject's face. Therefore, there is a need for a technique for determining the time difference between such left side movement and right side movement.
ところが、特許文献１によるオプティカルフローを用いる場合には、フレーム画像間の各画素を解析する必要があるため、解析そのものに時間を要する。また、オプティカルフローでは、各画素が被検者顔面のどの部位に対応しているかを特定することが難しく、とくに、外見上の特徴が少ない部位にあっては、その領域を各フレーム間で対応させることが困難であるといった問題がある。したがって、左側の動きと右側の動きとの間の時間的差異を高精度で求めることができない。 However, in the case of using the optical flow according to Patent Document 1, it is necessary to analyze each pixel between frame images, so that the analysis itself takes time. In the optical flow, it is difficult to specify which part of the subject's face corresponds to each pixel. Especially, in the part with few appearance features, the area is corresponded between each frame. There is a problem that it is difficult to do. Therefore, the temporal difference between the left side movement and the right side movement cannot be obtained with high accuracy.
また、特許文献２による特徴点抽出を用いる場合には、表情の左右対称度、眼の緊張度、頬の緊張度、口角の角度をもって心因性疾病の度合いを判断しているが、いずれの場合も、被検者顔面の左右の特徴点間の「相対的な」位置関係をもとに判断を行っており、左側の動きと右側の動きとの間の時間的差異を求めることできない。 In addition, when using feature point extraction according to Patent Document 2, the degree of psychogenic illness is determined based on the left-right symmetry of the expression, the eye tension, the cheek tension, and the angle of the mouth corner. In this case as well, the determination is made based on the “relative” positional relationship between the left and right feature points of the subject's face, and the temporal difference between the left side movement and the right side movement cannot be obtained.
また、特許文献３による移動変化量を用いる場合には、移動変化量（位置変化率）を、各点のＸ座標、Ｙ座標の変化としてＸＹ平面にプロットさせ、そのプロットされた点がどの領域に属するかで、心理状態を特定しているので、左側の動きと右側の動きとの間の時間的差異を求めることできない。 When the movement change amount according to Patent Document 3 is used, the movement change amount (position change rate) is plotted on the XY plane as changes in the X coordinate and Y coordinate of each point, and in which region the plotted point is Since the psychological state is specified depending on whether or not it belongs to, the temporal difference between the left side movement and the right side movement cannot be obtained.
そこで、本件発明では、撮影された被検者の動画像から、被検者の顔面の左側の動きと右側の動きを高速で精度よく測定するとともに、両者の動きについての時間的差異もあわせて測定することができる技術を提供する。 Therefore, in the present invention, from the captured moving image of the subject, the left side movement and the right side movement of the subject's face are measured at high speed and with high accuracy, and the time difference between both movements is also combined. Provide technology that can be measured.
前述した課題を解決するため、本発明第１の構成による表情測定方法は、被検者の顔の動画像を取得する手順１と、前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出する手順２と、前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点として抽出する手順３と、前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を右側可動特徴点として抽出する手順４と、前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出する手順５と、前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出する手順６と、によって、前記被検者の表情の左右の変化をそれぞれ測定することを特徴としている。
また、本発明第７の構成による表情測定プログラムは、被検者の顔面の動画像を取得するステップＳ１と、前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出するステップＳ２と、前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点として抽出するステップＳ３と、前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を右側可動特徴点として抽出するステップＳ４と、前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出するステップＳ５と、前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出するステップＳ６と、によって、前記被検者の表情の左右の変化をそれぞれ測定することを特徴としている。
また、本発明第８の構成による表情測定装置は、被検者の顔面の動画像を撮影するカメラと、前記カメラの画像を取り込んで情報処理を行う情報処理装置を備え、前記情報処理装置は、前記カメラによって撮影された前記被検者の顔面の動画像を取得して、前記被検者の表情の左右の変化をそれぞれ測定するため、被検者の顔の動画像を取得する手順１と、前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出する手順２と、前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点として抽出する手順３と、前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を右側可動特徴点として抽出する手順４と、前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出する手順５と、前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出する手順６と、からなる表情測定プログラムを備えたことを特徴としている。
In order to solve the above-described problem, a facial expression measuring method according to the first configuration of the present invention includes a procedure 1 for acquiring a moving image of a face of a subject, and each frame of the moving image on the face of the subject. The procedure 2 for extracting one or more feature points as non-moving feature points from a portion where the change in the position of the epidermis is small even if the subject changes the facial expression, and for each frame of the moving image, the subject And extracting one or more feature points as left-side movable feature points from a region where the change in the position of the epidermis is not small when the subject changes facial expressions, For each frame, one or more feature points are extracted as right movable feature points from a portion on the right side of the subject's face that does not have a small change in the position of the epidermis when the subject changes facial expressions. For step 4 and each frame of the moving image, Based on the positional relationship between the feature point and the left movable feature point, the procedure 5 for calculating the left feature amount of the subject's face as the left feature amount, and the fixed feature point for each frame of the moving image And the step 6 for calculating the right feature amount of the subject's face as the right feature amount based on the positional relationship between the right movable feature points, and the left and right changes in the facial expression of the subject respectively It is characterized by measuring.
The expression measurement program according to the seventh configuration of the present invention includes a step S1 of acquiring a moving image of the face of the subject, and the subject on the face of the subject for each frame of the moving image. Step S2 for extracting one or more feature points as immovable feature points from a region where the change in the position of the epidermis is small even if the facial expression is changed, and each frame of the moving image is located on the left side of the subject's face. Step S3 for extracting one or more feature points as left-side movable feature points from a region where the change in the position of the epidermis is not small when the subject changes his facial expression, and for each frame of the moving image, the subject Step S4 for extracting one or more feature points as right-hand movable feature points from a portion on the right side of the examiner's face where the change in the position of the epidermis is not small when the subject changes his facial expression; For each frame of the statue , Step S5 for calculating the left side feature quantity of the subject's face as a left side feature quantity based on the positional relationship between the stationary feature point and the left movable feature point, and for each frame of the moving image, Based on the positional relationship between the immovable feature point and the right movable feature point, step S6 for calculating the right feature amount of the subject's face as the right feature amount, and right and left of the subject's facial expression. It is characterized by measuring each change.
According to an eighth aspect of the present invention, there is provided a facial expression measuring apparatus comprising: a camera that captures a moving image of a subject's face; and an information processing apparatus that captures an image of the camera and performs information processing. Procedure 1 for acquiring a moving image of the face of the subject in order to acquire a moving image of the face of the subject photographed by the camera and to measure left and right changes in the expression of the subject respectively. For each frame of the moving image, one or more feature points are extracted as non-moving feature points from a part of the face of the subject that has a small change in the position of the epidermis even if the subject changes facial expressions. Step 2 for each frame of the moving image, and one or more features from a portion that is on the left side of the subject's face and whose change in the position of the epidermis is not small when the subject changes the expression Procedure 3 for extracting a point as a left movable feature point; For each frame of the moving image, one or more feature points are located on the right side of the subject's face, and one or more feature points from a portion where the change in the position of the epidermis is not small when the subject changes his / her facial expression Step 4 for extracting as a point, and for each frame of the moving image, based on the positional relationship between the stationary feature point and the left movable feature point, the feature amount on the left side of the subject's face is set as the left feature amount. For each frame of the moving image and calculating step 5, the right side feature amount of the subject's face is calculated as the right side feature amount based on the positional relationship between the stationary feature point and the right movable feature point. A facial expression measurement program comprising the steps 6 and 6 is provided.
また、本発明第２の構成による表情測定方法は、第１の発明の構成に加え、前記手順２では、前記被検者の目頭、鼻の位置あるいはこれらの部位に貼り付けたマーカの位置から不動特徴点を抽出し、前記手順３および手順４では、前記被検者の眉毛の両端、眼尻、頬、口角の位置あるいはこれらの部位に貼り付けたマーカの位置から左側可動特徴点および右側可動特徴点をそれぞれ抽出することを特徴としている。 In addition to the configuration of the first invention, the facial expression measuring method according to the second configuration of the present invention is based on the procedure 2 from the position of the subject's eyes, nose, or markers attached to these parts. The immovable feature points are extracted, and in steps 3 and 4, the left movable feature point and the right side are determined from the positions of both ends of the eyebrows, the buttocks, the cheeks, and the corners of the subject's eyebrows. It is characterized by extracting each movable feature point.
また、本発明第３の構成による表情測定方法は、第１または第２の発明の構成に加え、前記手順２では、前記不動特徴点を１以上抽出し、前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ１以上抽出し、前記手順５では、前記不動特徴点１つと前記左側可動特徴点１つとの間の距離を前記左側特徴量として算出し、前記手順６では、前記不動特徴点１つと前記右側可動特徴点１つとの間の距離を前記右側特徴量として算出することを特徴としている。
また、本発明第４の構成による表情測定方法は、第１または第２の発明の構成に加え、前記手順２では、前記不動特徴点を１以上抽出し、前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ２以上抽出し、前記手順５では、前記不動特徴点１つと前記左側可動特徴点２つの３点で定まる、角度、面積もしくは内積等の特徴量を前記左側特徴量として算出し、前記手順６では、前記不動特徴点１つと前記右側可動特徴点２つの３点で定まる、角度、面積もしくは内積等の特徴量を前記右側特徴量として算出することを特徴としている。
また、本発明第５の構成による表情測定方法は、第１または第２の発明の構成に加え、前記手順２では、前記不動特徴点を２以上抽出し、前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ１以上抽出し、前記手順５では、前記不動特徴点２つと前記左側可動特徴点１つの３点で定まる、角度、面積、内積もしくは前記不動特徴点を基準とした座標系における前記左側可動特徴点の座標等の特徴量を前記左側特徴量として算出し、前記手順６では、前記不動特徴点２つと前記右側可動特徴点１つの３点で定まる、角度、面積、内積もしくは前記不動特徴点を基準とした座標系における前記右側可動特徴点の座標等の特徴量を前記右側特徴量として算出することを特徴としている。
また、本発明第６の構成による表情測定方法は、第１または第２の発明の構成に加え、前記手順２では、前記不動特徴点を２以上抽出し、前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ２以上抽出し、前記手順５では、前記不動特徴点を基準とする座標系における前記不動特徴点２つと前記左側可動特徴点１つの３点または前記不動特徴点１つと前記左側可動特徴点２つの３点で定まる三角形の重心位置の座標等の特徴量を前記左側特徴量として算出し、前記手順６では、前記不動特徴点を基準とする座標系における前記不動特徴点２つと前記右側可動特徴点１つの３点または前記不動特徴点１つと前記右側可動特徴点２つの３点で定まる三角形の重心位置の座標等の特徴量を前記右側特徴量として算出することを特徴としている。
In addition to the configuration of the first or second invention, the facial expression measuring method according to the third configuration of the present invention extracts one or more of the immovable feature points in the procedure 2, and in the procedure 3 and the procedure 4, One or more of each of the left movable feature point and the right movable feature point is extracted, and in step 5, a distance between the one stationary feature point and the one left movable feature point is calculated as the left feature amount, The procedure 6 is characterized in that a distance between the one stationary feature point and the one right movable feature point is calculated as the right feature amount.
In addition to the configuration of the first or second invention, the facial expression measuring method according to the fourth configuration of the present invention extracts one or more immovable feature points in the procedure 2, and in the procedure 3 and the procedure 4, Two or more of the left movable feature point and the right movable feature point are extracted, and in step 5, a feature quantity such as an angle, an area, or an inner product, which is determined by the three fixed feature points and the left movable feature point. Is calculated as the left feature amount, and in step 6, a feature amount such as an angle, area, or inner product, which is determined by the three fixed feature points and the two right movable feature points, is calculated as the right feature amount. It is characterized by.
In addition to the configuration of the first or second invention, the expression measuring method according to the fifth configuration of the present invention extracts two or more of the immovable feature points in the procedure 2, and in the procedure 3 and the procedure 4, One or more each of the left movable feature point and the right movable feature point are extracted, and in the procedure 5, an angle, an area, an inner product, or the fixed feature determined by three points of the two stationary feature points and the one of the left movable feature points. A feature quantity such as the coordinates of the left movable feature point in the coordinate system with respect to the point is calculated as the left feature quantity, and in the procedure 6, the two fixed feature points and the one right movable feature point are determined. A feature amount such as an angle, an area, an inner product, or a coordinate of the right movable feature point in a coordinate system based on the fixed feature point is calculated as the right feature amount.
In addition to the configuration of the first or second invention, the facial expression measuring method according to the sixth configuration of the present invention extracts two or more immovable feature points in the procedure 2, and in the procedure 3 and the procedure 4, Two or more of the left movable feature point and the right movable feature point are extracted, respectively, and in the procedure 5, three of the two stationary feature points and one of the left movable feature points in the coordinate system based on the stationary feature points or A feature amount such as a coordinate of the center of gravity of a triangle defined by three points, the one fixed feature point and the two left movable feature points, is calculated as the left feature amount. In step 6, coordinates based on the fixed feature point are calculated. In the system, feature values such as the coordinates of the center of gravity of a triangle determined by the three points of the two fixed feature points and the one of the right movable feature points or the three points of the one fixed feature point and the two right movable feature points are used as the right feature amount. When It is characterized by calculating Te.
本発明第１の構成による表情測定方法、第７の構成による表情測定プログラムならびに第８の構成による表情測定装置によれば、被検者が表情を変えてもその表皮の位置の変化が小さい部位から不動特徴点を抽出し、被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から左右の可動特徴点をそれぞれ抽出し、不動特徴点および可動特徴点の位置関係をもとに、被検者の顔面の左右の特徴量をそれぞれ算出するので、撮影された被検者の動画像から、被検者の顔面の左側の動きと右側の動きを高速で精度よく測定できるとともに、両者の動きについての時間的差異もあわせて観察することができる。
また、表情としての変化が僅かであっても、被検者の顔の左右の非対称性の要因を排除した定量的な指標により、被検者の表情の変化を捉え、かつ、その変化をきたした部分を被検者の左側の表情の状況と、右側の表情の状況とに分離して観察することが可能となる。
According to the expression measuring method according to the first configuration of the present invention, the expression measuring program according to the seventh configuration, and the expression measuring apparatus according to the eighth configuration, even if the subject changes the expression, the change in the position of the epidermis is small. The fixed feature points are extracted from the left and right movable feature points from areas where the change in the epidermis position is not small when the subject changes their facial expressions, and the positional relationship between the fixed feature points and the movable feature points is determined. Based on the subject's left and right feature values, the left and right movements of the subject's face are measured at high speed and accurately from the captured moving images of the subject. It is possible to observe the time difference between the two movements.
In addition, even if there is a slight change in facial expression, the change in the facial expression of the subject is captured by a quantitative index that eliminates the cause of the left-right asymmetry of the subject's face. It is possible to separately observe the portion that has been subjected to the facial expression on the left side of the subject and the facial expression on the right side.
また、本発明第２の構成による表情測定方法によれば、被検者の目頭、鼻の位置あるいはこれらの部位に貼り付けたマーカの位置から不動特徴点を抽出し、被検者の眉毛の両端、眼尻、頬、口角の位置あるいはこれらの部位に貼り付けたマーカの位置から可動特徴点を抽出するので、前述した効果がより顕著に現れる。 Further, according to the facial expression measuring method according to the second configuration of the present invention, the stationary feature point is extracted from the position of the subject's eye, nose or the marker attached to these parts, and the eyebrows of the subject Since the movable feature points are extracted from the positions of both ends, the buttocks, the cheeks, the corners of the mouth, or the positions of the markers attached to these parts, the above-described effect appears more remarkably.
本発明第３の構成による表情測定方法によれば、不動特徴点１つと可動特徴点１つの２点で定まる距離を用いて特徴量を算出しており、本発明第４の構成による表情測定方法によれば、不動特徴点１つと可動特徴点２つの３点で定まる角度、面積もしくは内積等を用いて特徴量を算出しており、本発明第５の構成による表情測定方法によれば、不動特徴点２つと可動特徴点１つの３点で定まる角度、面積、内積もしくは不動特徴点を基準とした座標系における可動特徴点の座標等を用いて特徴量を算出しており、本発明第６の構成による表情測定方法によれば、不動特徴点２つと可動特徴点２つの４点で定まる特定の座標系での三角形の重心位置の座標等を用いて特徴量を算出しているので、前述した効果に加え、被検者の顔面の左側の動きと右側の動きをより高速かつ高精度で測定することができる。 According to the expression measuring method according to the third configuration of the present invention, the feature amount is calculated using a distance determined by two points, one fixed feature point and one movable feature point, and the expression measuring method according to the fourth configuration of the present invention. According to the present invention, the feature amount is calculated using an angle, an area, an inner product, or the like determined by three fixed feature points and two movable feature points. The feature amount is calculated using the coordinates of the movable feature point in the coordinate system based on the angle, area, inner product, or fixed feature point determined by the three feature points and the one of the movable feature points. According to the expression measurement method with the above configuration, the feature amount is calculated using the coordinates of the center of gravity position of the triangle in a specific coordinate system determined by the four fixed feature points and the two movable feature points. Movement on the left side of the subject's face Can be measured right movement more quickly and accurately.
本発明の実施形態を実施例１ないし実施例３にて説明する。 Embodiments of the present invention will be described in Examples 1 to 3.
実施例１を図１〜図８に基づいて説明する。
図１は、実施例１にかかる表情測定装置の構成を示す説明図である。
図１において、表情測定装置１０は、情報処理装置（計算機１１）と、ビデオカメラ１２を備える。計算機１１は外部装置としてディスプレイ１１ｆとキーボード１１ｇを備えており、検査者２は、ディスプレイ１１ｆとキーボード１１ｇにより表情測定装置１０を制御し、あるいは、表情測定結果の観察等を行う。
また、ビデオカメラ１２は被検者１の顔部を撮影するものであり、計算機１１の内部に備えるビデオキャプチャ１１ｅによって映像を取得する。ビデオカメラ１２のフレームレートは３０〜６０ＦＰＳ（Frame Per Second）程度である。
計算機１１は、このほか、ＣＰＵ（中央演算処理装置）１１ａと、クロック１１ｂと、ディスプレイ１１ｆに画像信号を送信するグラフィックカード１１ｃと、キーボード１１ｇからの入力信号を受信する入力端子１１ｄと、プログラム記憶領域１４およびデータ記憶領域１５の記憶領域が確保された記憶装置１３と、メモリ１６をその内部に備える。
メモリ１６には、被検者１の表情を測定する過程で生成される各種のデータ（たとえば、不動特徴点座標１６ａ、左側可動特徴点座標１６ｂ、右側可動特徴点座標１６ｃ、元画像データ１６ｄなど）が一時的に記憶される。これらの各データの内容については、後で説明する。
Example 1 will be described with reference to FIGS.
FIG. 1 is an explanatory diagram of the configuration of the facial expression measuring apparatus according to the first embodiment.
In FIG. 1, the facial expression measuring device 10 includes an information processing device (computer 11) and a video camera 12. The computer 11 includes a display 11f and a keyboard 11g as external devices, and the examiner 2 controls the facial expression measuring device 10 with the display 11f and the keyboard 11g, or observes the facial expression measurement result.
The video camera 12 captures the face of the subject 1 and acquires video by a video capture 11 e provided in the computer 11. The frame rate of the video camera 12 is about 30 to 60 FPS (Frame Per Second).
In addition, the computer 11 includes a CPU (Central Processing Unit) 11a, a clock 11b, a graphic card 11c that transmits an image signal to the display 11f, an input terminal 11d that receives an input signal from the keyboard 11g, and a program storage. The storage device 13 in which the storage areas of the area 14 and the data storage area 15 are secured, and the memory 16 are provided therein.
In the memory 16, various data generated in the process of measuring the facial expression of the subject 1 (for example, immovable feature point coordinates 16a, left movable feature point coordinates 16b, right movable feature point coordinates 16c, original image data 16d, etc. ) Is temporarily stored. The contents of each data will be described later.
データ記憶領域１５には、被検者１の表情測定結果である顔面の左側および右側の特徴量が、左側特徴量１５ａおよび右側特徴量１５ｂの時系列データとして記録され、あわせて、画像データ１５ｃが動画データとして記録される。
そして、プログラム記憶領域１４には、ビデオキャプチャ１１ｅによって取得された画像を元画像データ１６ｄとして記録するビデオ画像取得プログラム１４ａと、元画像データ１６ｄから被検者１の表情の左右の変化を測定する表情測定プログラム１４ｂが記録されている。表情測定プログラム１４ｂの処理内容については後で説明する。
In the data storage area 15, the left and right feature quantities of the face, which are the facial expression measurement results of the subject 1, are recorded as time series data of the left feature quantity 15a and the right feature quantity 15b, and together with the image data 15c. Are recorded as moving image data.
In the program storage area 14, a video image acquisition program 14a that records an image acquired by the video capture 11e as original image data 16d, and changes in the left and right facial expressions of the subject 1 are measured from the original image data 16d. A facial expression measurement program 14b is recorded. The processing content of the facial expression measurement program 14b will be described later.
なお、表情測定装置１０には、被検者１に赤外領域の光を照射する赤外照明１７を備え、ビデオカメラ１２は赤外領域の像を撮影する赤外カメラとすることが好ましい。具体的には、赤外照明１７に特定領域の赤外光を通過させるＩＲフィルタ（たとえば、７６０ｎｍ以下の波長の光を遮断するようにしたものが好適である）を備えて、これを被検者１に向けて照射するとともに、ビデオカメラ１２のレンズの手前に同様のＩＲフィルタ（たとえば、８５０ｎｍ以上の波長の光のみを透過するようにしたものが好適である）を備えて、被検者１の反射光を撮影するようにする。 The facial expression measuring device 10 is preferably provided with an infrared illumination 17 that irradiates the subject 1 with light in the infrared region, and the video camera 12 is preferably an infrared camera that captures an image in the infrared region. Specifically, the IR illumination 17 is equipped with an IR filter that allows infrared light in a specific region to pass (for example, a filter that blocks light having a wavelength of 760 nm or less is suitable). The subject 1 is irradiated with the same IR filter (for example, the one capable of transmitting only light having a wavelength of 850 nm or more is suitable) in front of the lens of the video camera 12 and the subject. The reflected light of 1 is photographed.
このように、被験者に赤外照明を照射して、その反射光を赤外カメラで撮影するので、外光（白熱電灯や自然光等）や設置環境の影響を受けずに被検者の表情の変化を的確にとらえることができるようになる。 In this way, the subject is irradiated with infrared illumination, and the reflected light is photographed with an infrared camera, so that the facial expression of the subject can be affected without being affected by external light (incandescent light, natural light, etc.) or the installation environment. You will be able to capture changes accurately.
続いて、表情測定プログラム１４ｂの処理の流れを図２のフロチャートに基づいて説明する。
ビデオ画像取得プログラム１４ａにより、被検者１の顔画像が元画像データ１６ｄとして記録される度に、表情測定プログラム１４ｂがステップＳ１〜ステップＳ７の処理を行う。すなわち、ビデオ画像取得プログラム１４ｂは、ビデオカメラ１２のフレームレートと同じ間隔で繰り返し処理を行うこととなる。
Next, the processing flow of the facial expression measurement program 14b will be described based on the flowchart of FIG.
Each time the face image of the subject 1 is recorded as the original image data 16d by the video image acquisition program 14a, the facial expression measurement program 14b performs the processing of step S1 to step S7. That is, the video image acquisition program 14b repeatedly performs processing at the same interval as the frame rate of the video camera 12.
表情測定プログラム１４ｂが起動すると、被検者の顔の動画像の１フレーム分の画像を元画像データ１６ｄから取得するステップＳ１の処理が行われる。 When the facial expression measurement program 14b is activated, the process of step S1 for acquiring an image for one frame of the moving image of the face of the subject from the original image data 16d is performed.
続いて、ステップＳ２では、取得した元画像データ１６ｄの１フレーム分の画像について、被検者１の顔面にあって被検者１が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出する。
不動特徴点は、表情の変化が現れにくい、被検者１の目頭、鼻の位置から抽出し、あるいは、これらの部位に貼り付けたマーカの位置から抽出するとよい。
例えば、図３に示すように、被検者１の目頭３１Ｌ、３１Ｒのほか、鼻の部位に貼り付けたマーカ３３の位置をこの画像データから算出し、その座標を不動特徴点座標１６ａとしてメモリ１６に記録する。
具体的な抽出方法については、このあとの実施例２〜３で説明する。
Subsequently, in step S2, for the image of one frame of the acquired original image data 16d, the change in the position of the epidermis is small even if the subject 1 changes the facial expression on the face of the subject 1. One or more feature points are extracted as immovable feature points.
The immovable feature points may be extracted from the positions of the eyes 1 and the nose of the subject 1 where changes in facial expressions are unlikely to appear, or may be extracted from the positions of markers attached to these parts.
For example, as shown in FIG. 3, in addition to the eyes 31L and 31R of the subject 1, the position of the marker 33 attached to the nose site is calculated from this image data, and the coordinates are stored as immovable feature point coordinates 16a. 16 is recorded.
A specific extraction method will be described in Examples 2 to 3 below.
次に、ステップＳ３（Ｓ４）では、取得した元画像データ１６ｄの１フレーム分の画像について、被検者１の顔面の左側（右側）にあって被検者１が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点（右側可動特徴点）として抽出する。
左側可動特徴点（右側可動特徴点）は、表情の変化が現れやすい、被検者１の眉毛の両端、眼尻、頬、口角の位置から抽出し、あるいは、これらの部位に貼り付けたマーカの位置から抽出するとよい。
例えば、図３に示すように、被検者１の眼尻３２Ｌ、３２Ｒのほか、頬の部位に貼り付けたマーカ３５Ｌ、３５Ｒ、口角の部位に貼り付けたマーカ３６Ｌ、３６Ｒの位置を画像データから算出し、その座標を左側可動特徴点座標１６ｂ（右側可動特徴点座標１６ｃ）としてメモリ１６に記録する。
具体的な抽出方法については、このあとの実施例２〜３で説明する。
Next, in step S3 (S4), when the subject 1 changes the facial expression on the left side (right side) of the face of the subject 1 with respect to the image of one frame of the acquired original image data 16d. One or more feature points are extracted as left movable feature points (right movable feature points) from a portion where the change in the position of the epidermis is not small.
Left-side movable feature points (right-side movable feature points) are markers that are easily extracted from the positions of the eyebrows at both ends of the eyebrows, the corner of the eye, cheeks, and corners of the mouth, where the facial expression is likely to change. It is good to extract from the position of.
For example, as shown in FIG. 3, in addition to the eye corners 32L and 32R of the subject 1, the positions of the markers 35L and 35R pasted on the cheek region and the markers 36L and 36R pasted on the mouth corner region are image data. And the coordinates are recorded in the memory 16 as left movable feature point coordinates 16b (right movable feature point coordinates 16c).
A specific extraction method will be described in Examples 2 to 3 below.
次に、ステップＳ５（Ｓ６）では、取得した元画像データ１６ｄの１フレーム分の画像について、不動特徴点および左側可動特徴点（右側可動特徴点）の位置関係をもとに、被検者１の顔面の左側（右側）の特徴量を左側特徴量（右側特徴量）として算出する。
なお、算出された特徴量は、左側特徴量１５ａ（右側特徴量１５ｂ）としてデータ記憶領域１５に記録する。
Next, in step S5 (S6), the subject 1 is based on the positional relationship between the stationary feature point and the left movable feature point (right movable feature point) for the image of one frame of the acquired original image data 16d. The feature amount on the left side (right side) of the face is calculated as the left side feature amount (right feature amount).
The calculated feature value is recorded in the data storage area 15 as the left feature value 15a (right feature value 15b).
なお、ステップＳ７として、元画像データ１６ｄに、これらの特徴点（不動特徴点、左側可動特徴点、右側可動特徴点）を付加した画像を生成して、画像データ１５ｃとして、データ記憶領域１５に記録させる処理を加えることで、画像データと左右の特徴量を併せてディスプレイ１１ｆに表示させることが可能となる。 In step S7, an image in which these feature points (immovable feature points, left movable feature points, right movable feature points) are added to the original image data 16d is generated and stored in the data storage area 15 as image data 15c. By adding the recording process, it is possible to display the image data and the left and right feature quantities together on the display 11f.
このように、被検者が表情を変えてもその表皮の位置の変化が小さい部位から不動特徴点を抽出し、被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から左右の可動特徴点をそれぞれ抽出し、不動特徴点および可動特徴点の位置関係をもとに、被検者の顔面の左右の特徴量をそれぞれ算出するので、撮影された被検者の動画像から、被検者の顔面の左側の動きと右側の動きを高速で精度よく測定できるとともに、両者の動きについての時間的差異もあわせて観察することができる。
また、表情としての変化が僅かであっても、被検者の顔の左右の非対称性の要因を排除した定量的な指標により、被検者の表情の変化を捉え、かつ、その変化をきたした部分を被検者の左側の表情の状況と、右側の表情の状況とに分離して観察することが可能となる。
また、被検者の目頭、鼻の位置あるいはこれらの部位に貼り付けたマーカの位置から不動特徴点を抽出し、被検者の眉毛の両端、眼尻、頬、口角の位置あるいはこれらの部位に貼り付けたマーカの位置から可動特徴点を抽出するので、前述した効果がより顕著に現れる。
Thus, even if the subject changes the facial expression, the stationary feature point is extracted from the part where the change in the epidermis position is small, and the part where the change in the epidermis position is not small when the subject changes the facial expression The left and right movable feature points are extracted from each, and the left and right feature quantities of the subject's face are calculated based on the positional relationship between the immovable feature points and the movable feature points. From the image, it is possible to measure the left side movement and the right side movement of the subject's face at high speed and with high accuracy, and also observe temporal differences in both movements.
In addition, even if there is a slight change in facial expression, the change in the facial expression of the subject is captured by a quantitative index that eliminates the cause of the left-right asymmetry of the subject's face. It is possible to separately observe the portion that has been subjected to the facial expression on the left side of the subject and the facial expression on the right side.
In addition, immovable feature points are extracted from the positions of the subject's eyes, nose, or markers attached to these parts, and the positions of both ends of the eyebrows, the corners of the eyes, the cheeks, the mouth corners, or these parts Since the movable feature point is extracted from the position of the marker pasted on the above, the above-described effect appears more prominently.
ここで、被検者１の表情を表す特徴量の算出については、次の４つのパターンが考えられる。 Here, the following four patterns can be considered for the calculation of the feature amount representing the facial expression of the subject 1.
すなわち、パターン１としては、ステップＳ２にて、不動特徴点を１以上抽出し、ステップＳ３（ステップＳ４）では、左側可動特徴点（右側可動特徴点）をそれぞれ１以上抽出し、ステップＳ５（ステップＳ６）では、不動特徴点１つと左側可動特徴点（右側可動特徴点）１つとの間の距離を、左側特徴量（右側特徴量）として算出するという方法がある。
図３の例でいえば、ステップＳ２にて鼻部分のマーカ３３に対応する不動特徴点を抽出し、ステップＳ３（ステップＳ４）にて左口角（右口角）付近のマーカ３６Ｌ（３６Ｒ）に対応する左側可動特徴点（右側不動特徴点）を抽出する。
そして、図４（ａ）に示すように、ステップＳ５では、マーカ３３に対応する不動特徴点と、マーカ３６Ｌに対応する左側可動特徴点との間の距離ＸＬを左側特徴量として算出し、ステップＳ６では、不動特徴点とマーカ３６Ｒに対応する右側可動特徴点との間の距離ＸＲを右側特徴量として算出する。
図４（ｂ）は、距離ＸＬおよび距離ＸＲを表す時系列データであり、被検者１の頬の緊張度合いを左右それぞれについて観察することができる。
このように、不動特徴点１つと可動特徴点１つの２点で定まる距離を用いて特徴量を算出しているので、前述した効果に加え、被検者の顔面の左側の動きと右側の動きをより高速かつ高精度で測定することができる。
That is, as pattern 1, one or more immovable feature points are extracted in step S2, one or more left movable feature points (right movable feature points) are extracted in step S3 (step S4), and step S5 (step In S6), there is a method of calculating a distance between one immovable feature point and one left movable feature point (right movable feature point) as a left feature amount (right feature amount).
In the example of FIG. 3, the stationary feature point corresponding to the nose marker 33 is extracted in step S2, and the marker 36L (36R) near the left mouth corner (right mouth corner) is corresponded in step S3 (step S4). The left movable feature point (right fixed feature point) is extracted.
Then, as shown in FIG. 4 (a), in step S5, calculated as the left feature amount distance X L between the stationary feature point corresponding to the marker 33, the left movable feature point corresponding to the marker 36L, in step S6, to calculate the distance X R between the right movable feature points corresponding to the stationary feature point and the marker 36R as the right feature amount.
4 (b) is a time-series data representing the distance X L and distance X R, it can be observed for each of the left and right tension degree of the examinee 1 cheek.
As described above, since the feature amount is calculated using the distance determined by the two fixed feature points and the movable feature point, in addition to the above-described effects, the left side movement and the right side movement of the subject's face are calculated. Can be measured at higher speed and with higher accuracy.
また、パターン２としては、ステップＳ２にて、不動特徴点を１以上抽出し、ステップＳ３（ステップＳ４）では、左側可動特徴点（右側可動特徴点）をそれぞれ２以上抽出し、ステップＳ５（ステップＳ６）では、不動特徴点１つと左側可動特徴点（右側可動特徴点）２つの３点で定まる、角度、面積もしくは内積等の特徴量を左側特徴量（右側特徴量）として算出するという方法がある。
図３の例でいえば、ステップＳ２にて鼻部分のマーカ３３に対応する不動特徴点を抽出し、ステップＳ３（ステップＳ４）にて左頬（右頬）部分のマーカ３５Ｌ（３５Ｒ）と、左口角（右口角）付近のマーカ３６Ｌ（３６Ｒ）に対応する左側可動特徴点（右側不動特徴点）を抽出する。
そして、図５（ａ）に示すように、ステップＳ５では、マーカ３５Ｌおよびマーカ３６Ｌに対応する左側可動特徴点と、マーカ３３に対応する不動特徴点とを結んだ２直線のなす角度θＬを左側特徴量として算出し、ステップＳ６では、マーカ３５Ｒおよびマーカ３６Ｒに対応する右側可動特徴点と、マーカ３３に対応する不動特徴点とを結んだ２直線のなす角度θＲを右側特徴量として算出する方法がある。
図５（ｂ）は、角度θＬおよび角度θＲを表す時系列データであり、被検者１の頬の緊張度合いを左右それぞれについて観察することができる。
この実施例では、三点のなす角度を以って被検者の表情を定量化しているが、このほかにも、三点で定義される三角形の面積や、三点で作られる２つのベクトルで定義される内積の値を以って定量化する例が考えられる。
このように、不動特徴点１つと可動特徴点２つの３点で定まる角度、面積もしくは内積等を用いて特徴量を算出しているので、前述した効果に加え、被検者の顔面の左側の動きと右側の動きをより高速かつ高精度で測定することができる。
Further, as pattern 2, one or more immovable feature points are extracted in step S2, and two or more left movable feature points (right movable feature points) are extracted in step S3 (step S4), and step S5 (step In S6), a method of calculating a feature quantity such as an angle, an area, or an inner product, which is determined by three points of one immovable feature point and a left movable feature point (right movable feature point), as a left feature quantity (right feature quantity). is there.
In the example of FIG. 3, the stationary feature point corresponding to the nose portion marker 33 is extracted in step S2, and the left cheek (right cheek) portion marker 35L (35R) is extracted in step S3 (step S4). The left movable feature point (right fixed feature point) corresponding to the marker 36L (36R) near the left mouth corner (right mouth corner) is extracted.
Then, as shown in FIG. 5A, in step S5, an angle θ L formed by two straight lines connecting the left movable feature point corresponding to the marker 35L and the marker 36L and the immovable feature point corresponding to the marker 33 is set. As the left feature amount, in step S6, an angle θ R formed by two straight lines connecting the right movable feature point corresponding to the marker 35R and the marker 36R and the immovable feature point corresponding to the marker 33 is calculated as the right feature amount. There is a way to do it.
FIG. 5B is time series data representing the angle θ L and the angle θ R , and the degree of cheek tension of the subject 1 can be observed for each of the left and right sides.
In this embodiment, the facial expression of the subject is quantified by the angle formed by the three points. In addition to this, the area of the triangle defined by the three points and two vectors formed by the three points are also used. An example of quantification using the value of the inner product defined in (1) can be considered.
As described above, the feature amount is calculated using an angle, an area, an inner product, or the like determined by three fixed feature points and two movable feature points. In addition to the above-described effect, the feature amount is calculated on the left side of the subject's face. Movement and right-hand movement can be measured with higher speed and higher accuracy.
また、パターン３としては、ステップＳ２にて、不動特徴点を２以上抽出し、ステップＳ３（ステップＳ４）では、左側可動特徴点（右側可動特徴点）をそれぞれ１以上抽出し、ステップＳ５（ステップＳ６）では、不動特徴点２つと左側可動特徴点（右側可動特徴点）１つの３点で定まる、角度、面積、内積もしくは不動特徴点を基準とした座標系における左側可動特徴点（右側可動特徴点）の座標等の特徴量を左側特徴量（右側特徴量）として算出するという方法がある。
図３の例でいえば、ステップＳ２にて両眼の目頭３１Ｌおよび３１Ｒに対応する不動特徴点を抽出し、ステップＳ３（ステップＳ４）にて左頬（右側）部分のマーカ３５Ｌ（３５Ｒ）に対応する左側可動特徴点（右側不動特徴点）を抽出する。
そして、図６（ａ）に示すように、ステップＳ５では、目頭３１Ｒに対応する不動特徴点およびマーカ３５Ｌに対応する左側可動特徴点と、目頭３１Ｌに対応する不動特徴点とを結んだ２直線のなす角度θＬを左側特徴量として算出し、ステップＳ６では、目頭３１Ｌに対応する不動特徴点およびマーカ３５Ｒに対応する右側可動特徴点と、目頭３１Ｒに対応する不動特徴点とを結んだ２直線のなす角度θＲを右側特徴量として算出する方法がある。
図６（ｂ）は、角度θＬおよび角度θＲを表す時系列データであり、被検者１の頬の緊張度合いを左右それぞれについて観察することができる。
この実施例では、三点のなす角度を以って被検者の表情を定量化しているが、このほかにも、三点で定義される三角形の面積や、三点で作られる２つのベクトルで定義される内積の値を以って定量化する例が考えられる。
As pattern 3, two or more immovable feature points are extracted in step S2, and one or more left movable feature points (right movable feature points) are extracted in step S3 (step S4), and step S5 (step In S6), the left movable feature point (right movable feature) in the coordinate system based on the angle, area, inner product, or fixed feature point determined by the three fixed feature points and the left movable feature point (right movable feature point). There is a method of calculating a feature quantity such as a point) as a left feature quantity (right feature quantity).
In the example of FIG. 3, the immovable feature points corresponding to the eyes 31L and 31R of both eyes are extracted in step S2, and the left cheek (right side) marker 35L (35R) is extracted in step S3 (step S4). The corresponding left movable feature point (right fixed feature point) is extracted.
As shown in FIG. 6A, in step S5, two straight lines connecting the immovable feature point corresponding to the eye head 31R and the left movable feature point corresponding to the marker 35L and the immovable feature point corresponding to the eye head 31L. the angle theta L calculated as the left feature amount, at step S6, connecting the right movable feature points corresponding to the immobile features and markers 35R corresponding to inner corner 31L, a stationary feature point corresponding to the inner corner 31R 2 There is a method of calculating an angle θ R formed by a straight line as a right-hand side feature amount.
6 (b) is a time-series data representing the angle theta L and the angle theta R, it can be observed for each of the left and right tension degree of the examinee 1 cheek.
In this embodiment, the facial expression of the subject is quantified by the angle formed by the three points. In addition to this, the area of the triangle defined by the three points and two vectors formed by the three points are also used. An example of quantification using the value of the inner product defined in (1) can be considered.
また、パターン３の変形例として、被検者１の表情が変化しても、これら２つ不動特徴点の位置変化は小さいという性質を用いてもよい。すなわち、図７（ａ）に示すように、ステップＳ５では、左側可動特徴点の座標を不動特徴点基準の座標系に変換し、マーカ３５Ｌに対応する左側可動特徴点の座標（ＸＬ，ＹＬ）を左側特徴量として算出し、ステップＳ６では、右側可動特徴点の座標を不動特徴点基準の座標系に変換し、マーカ３５Ｒに対応する右側可動特徴点の座標（ＸＲ，ＹＲ）を右側特徴量として算出する方法がある。なお、図７（ａ）では、目頭３１Ｌおよび３１ＲをＸ軸方向上（横方向）におき、その中点を原点として不動特徴点基準の座標系を構築している。
図７（ｂ）は、座標（ＸＬ，ＹＬ）および座標（ＸＲ，ＹＲ）を表す時系列データであり、被検者１の頬の緊張度合いを左右それぞれについて観察することができる。
このように、不動特徴点２つと可動特徴点１つの３点で定まる角度、面積、内積もしくは不動特徴点を基準とした座標系における可動特徴点の座標等を用いて特徴量を算出しているので、前述した効果に加え、被検者の顔面の左側の動きと右側の動きをより高速かつ高精度で測定することができる。
Further, as a modification of the pattern 3, even if the facial expression of the subject 1 changes, the property that the position change of these two immovable feature points is small may be used. That is, as shown in FIG. 7A, in step S5, the coordinates of the left movable feature point are converted to the coordinate system based on the fixed feature point and the coordinates of the left movable feature point corresponding to the marker 35L ( XL , Y). L ) is calculated as the left feature amount, and in step S6, the coordinates of the right movable feature point corresponding to the marker 35R (X R , Y R ) are converted to the coordinate system based on the fixed feature point. Is calculated as the right-hand side feature amount. In FIG. 7 (a), the eye heads 31L and 31R are placed on the X-axis direction (horizontal direction), and a coordinate system based on a fixed feature point is constructed with the midpoint as the origin.
FIG. 7B is time-series data representing coordinates (X L , Y L ) and coordinates (X R , Y R ), and the degree of cheek tension of the subject 1 can be observed for each of the left and right sides. .
As described above, the feature amount is calculated using the angle, area, inner product, or the coordinates of the movable feature point in the coordinate system based on the stationary feature point, which are determined by the two stationary feature points and the one movable feature point. Therefore, in addition to the effects described above, the left side movement and right side movement of the subject's face can be measured at higher speed and with higher accuracy.
また、パターン４としては、ステップＳ２にて、不動特徴点を２以上抽出し、ステップＳ３（ステップＳ４）では、左側可動特徴点（右側可動特徴点）をそれぞれ２以上抽出し、ステップＳ５（ステップＳ６）では、不動特徴点を基準とした座標系における不動特徴点２つと左側可動特徴点（右側可動特徴点）の座標等の特徴量を左側特徴量（右側特徴量）として算出するという方法がある。
図３の例でいえば、ステップＳ２にて両眼の目頭３１Ｌおよび３１Ｒに対応する不動特徴点を抽出し、ステップＳ３（ステップＳ４）にて左眼尻（右眼尻）部分３２Ｌ（３２Ｒ）と、左口角（右口角）付近のマーカ３６Ｌ（３６Ｒ）に対応する左側可動特徴点（右側不動特徴点）を抽出する。
そして、図８（ａ）に示すように、ステップＳ５では、左側可動特徴点の座標を不動特徴点基準の座標系に変換し、左眼尻３２Ｌ、マーカ３６Ｌおよび目頭３１Ｌの三点で定義される三角形の重心位置座標（ＸＬ，ＹＬ）を左側特徴量として算出し、ステップＳ６では、右側可動特徴点の座標を不動特徴点基準の座標系に変換し、右眼尻３２Ｒ、マーカ３６Ｒおよび目頭３１Ｒの三点で定義される三角形の重心位置座標（ＸＲ，ＹＲ）を左側特徴量として算出する方法がある。
図８（ｂ）は、座標（ＸＬ，ＹＬ）および座標（ＸＲ，ＹＲ）を表す時系列データであり、被検者１の頬の緊張度合いを左右それぞれについて観察することができる。
このように、不動特徴点２つと可動特徴点２つの４点で定まる特定の座標系での三角形の重心位置の座標等を用いて特徴量を算出しているので、前述した効果に加え、被検者の顔面の左側の動きと右側の動きをより高速かつ高精度で測定することができる。
Also, as pattern 4, two or more immovable feature points are extracted in step S2, and in step S3 (step S4), two or more left movable feature points (right movable feature points) are extracted, and step S5 (step In S6), a feature amount such as coordinates of two immovable feature points and a left movable feature point (right movable feature point) in the coordinate system with the immovable feature point as a reference is calculated as a left feature amount (right feature amount). is there.
In the example of FIG. 3, the stationary feature points corresponding to the eyes 31L and 31R of both eyes are extracted in step S2, and the left eye corner (right eye corner) portion 32L (32R) is extracted in step S3 (step S4). Then, the left movable feature point (right fixed feature point) corresponding to the marker 36L (36R) near the left mouth corner (right mouth corner) is extracted.
Then, as shown in FIG. 8A, in step S5, the coordinates of the left movable feature point are converted into a coordinate system based on the fixed feature point and defined by three points of the left eye corner 32L, the marker 36L, and the eye 31L. The coordinates of the center of gravity of the triangle (X L , Y L ) are calculated as the left side feature quantity, and in step S6, the coordinates of the right movable feature point are converted to the coordinate system based on the stationary feature point, and the right eye corner 32R and the marker 36R. In addition, there is a method of calculating the center-of-gravity position coordinates (X R , Y R ) of the triangle defined by the three points of the eye 31R as the left side feature amount.
FIG. 8B is time-series data representing coordinates (X L , Y L ) and coordinates (X R , Y R ), and the cheek tension level of the subject 1 can be observed for each of the left and right sides. .
As described above, the feature amount is calculated using the coordinates of the center of gravity of the triangle in a specific coordinate system defined by the four fixed feature points and the two movable feature points. The left side movement and right side movement of the examiner's face can be measured at higher speed and with higher accuracy.
なお、パターン３やパターン４のように、２つ不動特徴点を用いる場合には、ステップＳ７で画像データ１５ｃを生成するにあたり、元画像データ１６ｄの各画素を不動特徴点基準の座標系に変換しておくことが好ましい。元画像データ１６ｄを不動特徴点の座標系に変換することで、被検者１の頭の動きといった外乱要素を取り除いた形で被検者１を観察することができる。 When two fixed feature points are used as in pattern 3 and pattern 4, each pixel of the original image data 16d is converted into a fixed feature point based coordinate system when generating the image data 15c in step S7. It is preferable to keep it. By converting the original image data 16d into the coordinate system of the stationary feature points, the subject 1 can be observed in a form in which disturbance elements such as the movement of the head of the subject 1 are removed.
実施例２を図９に基づいて説明する。
実施例２は、被検者１の顔が撮影された元画像データ１６ｄから、被検者１の顔面に貼り付けたマーカの位置を特定するための方法について説明している。
A second embodiment will be described with reference to FIG.
The second embodiment describes a method for specifying the position of the marker pasted on the face of the subject 1 from the original image data 16d obtained by photographing the face of the subject 1.
前述した通り、実施例１の図３における元画像データ１６ｄでは、被検者１の鼻の中央付近にマーカ３３を貼り付け、左頬、右頬にそれぞれマーカ３５Ｌ、３５Ｒを貼り付け、左右それぞれの口角付近にマーカ３６Ｌ、３６Ｒを貼り付けた状態で撮影が行われている。
そして、マーカ３３、３５Ｌ、３５Ｒ、３６Ｌ、３６Ｒは白と黒の２色で構成されており、元画像データ１６ｄの各画素の明るさで閾値を定め、画像処理を行うことで、これらマーカを抜き出すことが可能である。すなわち、元画像データ１６ｄの画素のうち、マーカの外輪を抽出するため、一定値以上の暗さとなる部分を図９（ａ）のように抜き出す。抜き出した画像には、マーカ３５Ｒ、３６Ｒ、３３、３６Ｌ、３５Ｌに対応する領域９１ａ〜９５ａのほか、マーカに対応しない領域９６〜９９が含まれることがある。したがって、抜き出した領域がマーカであることを確認するために、図９（ａ）の各領域９１ａ〜９５ａ、９６〜９９の中から、一定値以上の明るさとなる部分を図９（ｂ）のように抜き出す。領域９１ｂ〜９５ｂのように、白と黒の２色で構成される領域であれば、これらがマーカであると判断して、各領域９１ａ〜９５ａの中心部分が不動特徴点、左側可動特徴点あるいは右側可動特徴点として特定される。
As described above, in the original image data 16d in FIG. 3 of Example 1, the marker 33 is pasted near the center of the nose of the subject 1, and the markers 35L and 35R are pasted on the left cheek and the right cheek, respectively. Photographing is performed with the markers 36L and 36R pasted in the vicinity of the mouth corner.
The markers 33, 35L, 35R, 36L, and 36R are composed of two colors, white and black. By setting a threshold value based on the brightness of each pixel of the original image data 16d and performing image processing, these markers are displayed. It is possible to extract. That is, in order to extract the outer ring of the marker from the pixels of the original image data 16d, a portion that is darker than a certain value is extracted as shown in FIG. The extracted image may include areas 96 a to 99 a that do not correspond to the markers, in addition to the areas 91 a to 95 a that correspond to the markers 35 R, 36 R, 33, 36 L, and 35 L. Therefore, in order to confirm that the extracted region is a marker, a portion having a brightness of a certain value or more is selected from the regions 91a to 95a and 96 to 99 in FIG. 9A. So as to extract. If the region is composed of two colors, white and black, as in the regions 91b to 95b, it is determined that these are markers, and the central portion of each of the regions 91a to 95a is a fixed feature point and a left movable feature point. Alternatively, it is specified as a right movable feature point.
実施例３を図１０〜図１２に基づいて説明する。
実施例３は、被検者１の顔が撮影された元画像データ１６ｄから、マーカを用いることなしに被検者１の眼の位置を、特定するための方法について説明している。
A third embodiment will be described with reference to FIGS.
The third embodiment describes a method for specifying the position of the eye of the subject 1 without using a marker from the original image data 16d obtained by photographing the face of the subject 1.
眼の位置の抽出にあたっては、まず、元画像データ１６ｄの各画素の濃度値を縦方向で微分して、その微分された画素によって構成される画像を生成し、その微分画像の画素値を横方向で積算して得られるヒストグラムを作成する。
図１０において、１０１は元画像データ１６ｄの微分画像であり、被検者１の瞼の淵部分などといった被検者の眼の特徴的部分が現れる。積算方向１０２に従って、各画素の明るさを積算してゆくと、その横方向ヒストグラムが１０３の通りとなり、ヒストグラムが最大値１０４を取るライン１０５上に瞼があると推測できる。
In extracting the position of the eye, first, the density value of each pixel of the original image data 16d is differentiated in the vertical direction to generate an image composed of the differentiated pixels, and the pixel value of the differentiated image is calculated horizontally. Create a histogram obtained by integrating in the direction.
In FIG. 10, 101 is a differential image of the original image data 16d, and a characteristic portion of the eye of the subject such as a heel portion of the subject 1 appears. When the brightness of each pixel is integrated according to the integration direction 102, the horizontal histogram becomes 103, and it can be estimated that there is a wrinkle on the line 105 where the histogram takes the maximum value 104.
その後、微分画像１０１から、ライン１０５の周囲の領域１０６を切り出すとともに、切り出した微分画像の画素値を縦方向で積算して得られるヒストグラムを作成する。
図１１において、１１１はその切り出し画像であり、被験者のプルキンエ像を取る瞳孔の中心部分が現れる。積算方向１１２に従って各画素の明るさを積算してゆくと、そのヒストグラムが１１３の通りとなり、ヒストグラムが極大値１１４Ｌ、１１４Ｒを取る２つのライン１１５Ｌ、１１５Ｒ上に眼の中心があると推測できる。そして、３つのライン１０５、１１５Ｌ、１１５Ｒの交差する２点を基準として、被検者の左眼の領域１１６Ｌ、右眼の領域１１６Ｒを特定することができる。
Thereafter, a region 106 around the line 105 is cut out from the differential image 101, and a histogram obtained by integrating the pixel values of the cut out differential image in the vertical direction is created.
In FIG. 11, 111 is the cut-out image, and the central part of the pupil that takes the Purkinje image of the subject appears. When the brightness of each pixel is integrated according to the integration direction 112, the histogram becomes 113, and it can be estimated that the center of the eye is on the two lines 115L and 115R where the histogram takes the maximum values 114L and 114R. The left eye region 116L and the right eye region 116R of the subject can be identified with reference to two points where the three lines 105, 115L, and 115R intersect.
そして、あらかじめ図１２に示すようなテンプレート画像を用意しておき、図１１で特定した各領域１１６Ｌ、１１６Ｒの範囲内で、被検者１の目頭や眼尻の詳細な位置を特定する。特定にあたっては、テンプレートマッチング技術を適用し、相関の最も高い場所を眼尻や目頭を表す不動特徴点、左側可動特徴点あるいは右側可動特徴点として特定する。 Then, a template image as shown in FIG. 12 is prepared in advance, and the detailed positions of the eyes and buttocks of the subject 1 are specified within the areas 116L and 116R specified in FIG. In the identification, a template matching technique is applied, and the place with the highest correlation is identified as an immovable feature point representing the buttocks or the eye, a left movable feature point, or a right movable feature point.
なお、眼部領域の推定やテンプレートマッチングにおいては、被検者１の瞬きや、元画像データ１６ｄに含まれるノイズの影響もあり、眼尻や目頭の位置が推定できない場合や、推定した位置と実際の位置との差（誤差）が大きくなる場合が考えられる。
こういった問題を解消するため、ひとつ前のコマにて撮影したフレーム画像で特定された眼尻や目頭の位置の情報を活用しながら、あるいは、別の画像処理技術を活用しながら、眼尻や目頭の位置を特定することが好ましい。
Note that in the estimation of the eye region and template matching, there is an influence of the blink of the subject 1 and the noise included in the original image data 16d, and the position of the eye corner or the eye cannot be estimated. A case where the difference (error) from the actual position becomes large can be considered.
To solve these problems, use the information about the position of the buttocks and the eyes identified in the frame image taken in the previous frame, or use another image processing technology. It is preferable to specify the position of the eyes.
本発明は、人の表情から精神状態や感情を推定するために用いられ、特に、撮影された被検者の動画像から、被検者の顔面の左側の動きと右側の動きを高速で精度よく測定するとともに、両者の動きについての時間的差異もあわせて測定することができる。 The present invention is used to estimate a mental state and emotion from a human facial expression. In particular, the left side movement and the right side movement of the subject's face are accurately detected at high speed from the captured moving image of the subject. In addition to measuring well, it is possible to measure the time difference between the movements of both.
１ 被検者
２ 検査者
１０ 表情測定装置
１１ 計算機
１１ａ ＣＰＵ
１１ｂ クロック
１１ｃ グラフィックカード
１１ｄ 入力端子
１１ｅ ビデオキャプチャ
１１ｆ ディスプレイ
１１ｇ キーボード
１２ ビデオカメラ
１３ 記憶装置
１４ プログラム記憶領域
１４ａ ビデオ画像取得プログラム
１４ｂ 表情測定プログラム
１５ データ記憶領域
１５ａ 左側特徴量
１５ｂ 右側特徴量
１５ｃ 画像データ
１６ メモリ
１６ａ 不動特徴点座標
１６ｂ 左側可動特徴点座標
１６ｃ 右側可動特徴点座標
１６ｄ 元画像データ
１７ 赤外照明
３３、３５Ｌ、３５Ｒ、３６Ｌ、３６Ｒ マーカ
３１Ｌ、３１Ｒ 目頭
３２Ｌ、３２Ｒ 眼尻
９１ａ〜９５ａ、９１ｂ〜９５ｂ、９６〜９９ 領域
１０１ 微分画像
１０２、１１２ 積算方向
１０３ 横方向ヒストグラム
１０４ 最大値
１０５ 横方向ライン
１０６ 切り出し領域
１１１ 切り出し画像
１１３ 縦方向ヒストグラム
１１４Ｌ、１１４Ｒ 極大値
１１５Ｌ、１１５Ｒ 縦方向ライン
１１６Ｌ 左眼領域
１１６Ｒ 右眼領域
1 Subject 2 Inspector 10 Facial Expression Measuring Device 11 Computer 11a CPU
11b Clock 11c Graphic card 11d Input terminal 11e Video capture 11f Display 11g Keyboard 12 Video camera 13 Storage device 14 Program storage area 14a Video image acquisition program 14b Facial expression measurement program 15 Data storage area 15a Left side feature 15b Right side feature 15c Image data 16 Memory 16a Immovable feature point coordinate 16b Left movable feature point coordinate 16c Right movable feature point coordinate 16d Original image data 17 Infrared illumination 33, 35L, 35R, 36L, 36R Markers 31L, 31R Eyes 32L, 32R Eyes 91a-95a, 91b -95b, 96-99 Region 101 Differential image 102, 112 Integration direction 103 Horizontal histogram 104 Maximum value 105 Horizontal line 106 Cutout region 111 Cutout image 113 Vertical Direction histogram 114L, 114R maxima 115L, 115R longitudinal line 116L left-eye area 116R right-eye area
Claims (8)
前記動画像の各コマについて、その画素の濃度値を縦方向で微分して、その微分された画素によって構成される微分画像を生成し、その微分画像の画素値を横方向で積算して得られる第１のヒストグラムを生成し、第１のヒストグラムが最大値に対応する前記微分画像の第１のラインを指定し、前記微分画像から、第１のラインを含む周囲領域を切り出す手順１Ａと、
第１のラインを含む周囲領域の画素値を縦方向で積算して得られる第２のヒストグラムを生成し、第２のヒストグラムの２つの極大値に対応する第２のラインおよび第３のラインを指定し、第２のラインおよび第３のラインが第１のラインと交差する２点を基準として、前記被検者の左眼の領域および右眼の領域を特定する手順１Ｂと、
前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出する手順２と、
前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点として抽出する手順３と、
前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を右側可動特徴点として抽出する手順４と、
前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出する手順５と、
前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出する手順６と、
を含み、
手順２ではさらに、前記左眼の領域および前記右眼の領域から前記被検者の両眼にかかる不動特徴点を抽出し、
手順３ではさらに、前記左眼の領域から前記被検者の左眼にかかる左側可動特徴点を抽出し、
手順４ではさらに、前記右眼の領域から前記被検者の右眼にかかる右側可動特徴点を抽出する、
ことによって、前記被検者の表情の左右の変化をそれぞれ測定する表情測定方法。 Procedure 1 for acquiring a moving image of a subject's face;
For each frame of the moving image, the pixel density value is differentiated in the vertical direction to generate a differential image composed of the differentiated pixels, and the pixel values of the differentiated image are accumulated in the horizontal direction. A first histogram is generated, the first histogram designates a first line of the differential image corresponding to a maximum value, and a surrounding area including the first line is cut out from the differential image;
A second histogram obtained by vertically integrating pixel values in the surrounding area including the first line is generated, and the second line and the third line corresponding to the two maximum values of the second histogram are obtained. A procedure 1B for specifying the left eye region and the right eye region of the subject with reference to two points where the second line and the third line intersect the first line,
For each frame of the moving image, a procedure for extracting one or more feature points as non-moving feature points from a part on the face of the subject whose change in the position of the epidermis is small even if the subject changes his / her expression 2,
For each frame of the moving image, one or more feature points are located on the left side of the subject's face, and one or more feature points from the part where the change in the position of the epidermis is not small when the subject changes his facial expression Procedure 3 to extract as points,
For each frame of the moving image, one or more feature points are located on the right side of the subject's face, and one or more feature points from the portion where the change in the position of the epidermis is not small when the subject changes his / her facial expression Procedure 4 to extract as points;
For each frame of the moving image, on the basis of the positional relationship between the immovable feature point and the left movable feature point, a procedure 5 for calculating a left feature amount of the subject's face as a left feature amount;
For each frame of the moving image, based on the positional relationship between the immovable feature point and the right movable feature point, a procedure 6 for calculating a right feature amount of the subject's face as a right feature amount;
Including
In step 2, a stationary feature point applied to both eyes of the subject is further extracted from the left eye region and the right eye region,
In step 3, a left movable feature point applied to the subject's left eye is further extracted from the left eye region,
In step 4, a right movable feature point on the right eye of the subject is further extracted from the right eye region.
It allows the expression method of measuring the subject's facial expression of the left and right of each changed.
前記手順３および手順４では、前記被検者の眉毛の両端、眼尻、頬、口角の位置あるいはこれらの部位に貼り付けたマーカの位置から左側可動特徴点および右側可動特徴点をそれぞれ抽出する
ことを特徴とする請求項１に記載の表情測定方法。 In the procedure 2, an immovable feature point is extracted from the position of the eye of the subject, the position of the nose or the marker attached to these parts,
In the procedure 3 and the procedure 4, the left movable feature point and the right movable feature point are extracted from the positions of both ends of the eyebrows of the subject, the buttocks, the cheeks, the mouth corners, or the positions of the markers attached to these parts, respectively. The facial expression measuring method according to claim 1.
前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ１以上抽出し、
前記手順５では、前記不動特徴点１つと前記左側可動特徴点１つとの間の距離を前記左側特徴量として算出し、
前記手順６では、前記不動特徴点１つと前記右側可動特徴点１つとの間の距離を前記右側特徴量として算出する
ことを特徴とする請求項１または請求項２に記載の表情測定方法。 In step 2, one or more immovable feature points are extracted,
In the procedure 3 and the procedure 4, one or more of the left movable feature point and the right movable feature point are extracted,
In the procedure 5, a distance between the one stationary feature point and the one left movable feature point is calculated as the left feature amount,
The expression measuring method according to claim 1, wherein in the procedure 6, a distance between the one stationary feature point and the one right movable feature point is calculated as the right feature amount.
前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ２以上抽出し、
前記手順５では、前記不動特徴点１つと前記左側可動特徴点２つの３点で定まる、角度、面積もしくは内積等の特徴量を前記左側特徴量として算出し、
前記手順６では、前記不動特徴点１つと前記右側可動特徴点２つの３点で定まる、角度、面積もしくは内積等の特徴量を前記右側特徴量として算出する
ことを特徴とする請求項１または請求項２に記載の表情測定方法。 In step 2, one or more immovable feature points are extracted,
In the procedure 3 and the procedure 4, two or more of the left movable feature point and the right movable feature point are extracted,
In the procedure 5, a feature quantity such as an angle, an area, or an inner product, which is determined by three points, the one stationary feature point and the two left movable feature points, is calculated as the left feature quantity.
In the step 6, a feature quantity such as an angle, an area, or an inner product, which is determined by three points of the one stationary feature point and the two right movable feature points, is calculated as the right feature quantity. Item 3. The facial expression measurement method according to Item 2.
前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ１以上抽出し、
前記手順５では、前記不動特徴点２つと前記左側可動特徴点１つの３点で定まる、角度、面積、内積もしくは前記不動特徴点を基準とした座標系における前記左側可動特徴点の座標等の特徴量を前記左側特徴量として算出し、
前記手順６では、前記不動特徴点２つと前記右側可動特徴点１つの３点で定まる、角度、面積、内積もしくは前記不動特徴点を基準とした座標系における前記右側可動特徴点の座標等の特徴量を前記右側特徴量として算出する
ことを特徴とする請求項１または請求項２に記載の表情測定方法。 In step 2, two or more immovable feature points are extracted,
In the procedure 3 and the procedure 4, one or more of the left movable feature point and the right movable feature point are extracted,
In the procedure 5, an angle, an area, an inner product, or a coordinate of the left movable feature point in a coordinate system based on the stationary feature point, which is determined by the two stationary feature points and the left movable feature point, etc. A quantity is calculated as the left-side feature quantity,
In step 6, the angle, area, inner product, or the coordinates of the right movable feature point in the coordinate system based on the stationary feature point, which are determined by the two stationary feature points and the right movable feature point, are determined. The expression measuring method according to claim 1, wherein an amount is calculated as the right-side feature amount.
前記手順３および前記手順４では、前記左側可動特徴点および前記右側可動特徴点をそれぞれ２以上抽出し、
前記手順５では、前記不動特徴点を基準とする座標系における前記不動特徴点２つと前記左側可動特徴点１つの３点または前記不動特徴点１つと前記左側可動特徴点２つの３点で定まる三角形の重心位置の座標等の特徴量を前記左側特徴量として算出し、
前記手順６では、前記不動特徴点を基準とする座標系における前記不動特徴点２つと前記右側可動特徴点１つの３点または前記不動特徴点１つと前記右側可動特徴点２つの３点で定まる三角形の重心位置の座標等の特徴量を前記右側特徴量として算出する
ことを特徴とする請求項１または請求項２に記載の表情測定方法。 In step 2, two or more immovable feature points are extracted,
In the procedure 3 and the procedure 4, two or more of the left movable feature point and the right movable feature point are extracted,
In the procedure 5, a triangle defined by three points of the two fixed feature points and the one of the left movable feature points or three points of the one fixed feature point and the two left movable feature points in a coordinate system based on the fixed feature point. Calculating the feature amount such as the coordinates of the center of gravity position as the left feature amount,
In the procedure 6, in the coordinate system based on the fixed feature point, a triangle defined by the two fixed feature points and the three right movable feature points or the three fixed point and the right movable feature point. The facial expression measuring method according to claim 1, wherein a feature amount such as a coordinate of the center of gravity position of the subject is calculated as the right feature amount.
前記動画像の各コマについて、その画素の濃度値を縦方向で微分して、その微分された画素によって構成される微分画像を生成し、その微分画像の画素値を横方向で積算して得られる第１のヒストグラムを生成し、第１のヒストグラムが最大値に対応する前記微分画像の第１のラインを指定し、前記微分画像から、第１のラインを含む周囲領域を切り出すステップ１Ａと、
第１のラインを含む周囲領域の画素値を縦方向で積算して得られる第２のヒストグラムを生成し、第２のヒストグラムの２つの極大値に対応する第２のラインおよび第３のラインを指定し、第２のラインおよび第３のラインが第１のラインと交差する２点を基準として、前記被検者の左眼の領域および右眼の領域を特定するステップ１Ｂと、
前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出するステップＳ２と、
前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点として抽出するステップＳ３と、
前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を右側可動特徴点として抽出するステップＳ４と、
前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出するステップＳ５と、
前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出するステップＳ６と、
を含み、
ステップＳ２ではさらに、前記左眼の領域および前記右眼の領域から前記被検者の両眼にかかる不動特徴点を抽出し、
ステップＳ３ではさらに、前記左眼の領域から前記被検者の左眼にかかる左側可動特徴点を抽出し、
ステップＳ４ではさらに、前記右眼の領域から前記被検者の右眼にかかる右側可動特徴点を抽出する、
ことによって、前記被検者の表情の左右の変化をそれぞれ測定する表情測定プログラム。 Acquiring a moving image of the face of the subject;
For each frame of the moving image, the pixel density value is differentiated in the vertical direction to generate a differential image composed of the differentiated pixels, and the pixel values of the differentiated image are accumulated in the horizontal direction. Generating a first histogram to be generated, designating a first line of the differential image corresponding to a maximum value of the first histogram, and cutting out a surrounding region including the first line from the differential image;
A second histogram obtained by vertically integrating pixel values in the surrounding area including the first line is generated, and the second line and the third line corresponding to the two maximum values of the second histogram are obtained. Specifying the left eye region and the right eye region of the subject with reference to two points where the second line and the third line intersect the first line,
For each frame of the moving image, a step of extracting one or more feature points as non-moving feature points from a portion of the face of the subject that has a small change in the position of the epidermis even when the subject changes facial expressions. S2,
For each frame of the moving image, one or more feature points are located on the left side of the subject's face, and one or more feature points from the part where the change in the position of the epidermis is not small when the subject changes his facial expression Step S3 for extracting as a point;
For each frame of the moving image, one or more feature points are located on the right side of the subject's face, and one or more feature points from the portion where the change in the position of the epidermis is not small when the subject changes his / her facial expression Step S4 for extracting as a point;
For each frame of the moving image, a step S5 of calculating a left side feature amount of the subject's face as a left side feature amount based on a positional relationship between the immovable feature point and the left movable feature point;
For each frame of the moving image, a step S6 of calculating a right-side feature amount of the subject's face as a right-side feature amount based on the positional relationship between the immovable feature point and the right-side movable feature point;
Including
In step S2, a stationary feature point applied to both eyes of the subject is further extracted from the left eye region and the right eye region,
In step S3, a left movable feature point applied to the subject's left eye is further extracted from the left eye region,
In step S4, a right movable feature point on the right eye of the subject is further extracted from the right eye region.
It allows expression measurement program to measure the subject's facial expression of the left and right of each changed.
前記情報処理装置は、前記カメラによって撮影された前記被検者の顔面の動画像を取得して、前記被検者の表情の左右の変化をそれぞれ測定するため、
被検者の顔の動画像を取得するステップＳ１と、
前記動画像の各コマについて、その画素の濃度値を縦方向で微分して、その微分された画素によって構成される微分画像を生成し、その微分画像の画素値を横方向で積算して得られる第１のヒストグラムを生成し、第１のヒストグラムが最大値に対応する前記微分画像の第１のラインを指定し、前記微分画像から、第１のラインを含む周囲領域を切り出すステップ１Ａと、
第１のラインを含む周囲領域の画素値を縦方向で積算して得られる第２のヒストグラムを生成し、第２のヒストグラムの２つの極大値に対応する第２のラインおよび第３のラインを指定し、第２のラインおよび第３のラインが第１のラインと交差する２点を基準として、前記被検者の左眼の領域および右眼の領域を特定するステップ１Ｂと、
前記動画像の各コマについて、前記被検者の顔面にあって前記被検者が表情を変えてもその表皮の位置の変化が小さい部位から１以上の特徴点を不動特徴点として抽出するステップＳ２と、
前記動画像の各コマについて、前記被検者の顔面の左側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を左側可動特徴点として抽出するステップＳ３と、
前記動画像の各コマについて、前記被検者の顔面の右側にあって前記被検者が表情を変えたときにその表皮の位置の変化が小さくない部位から１以上の特徴点を右側可動特徴点として抽出するステップＳ４と、
前記動画像の各コマについて、前記不動特徴点および前記左側可動特徴点の位置関係をもとに、前記被検者の顔面の左側の特徴量を左側特徴量として算出するステップＳ５と、
前記動画像の各コマについて、前記不動特徴点および前記右側可動特徴点の位置関係をもとに、前記被検者の顔面の右側の特徴量を右側特徴量として算出するステップＳ６と、
を含み、
ステップＳ２ではさらに、前記左眼の領域および前記右眼の領域から前記被検者の両眼にかかる不動特徴点を抽出し、
ステップＳ３ではさらに、前記左眼の領域から前記被検者の左眼にかかる左側可動特徴点を抽出し、
ステップＳ４ではさらに、前記右眼の領域から前記被検者の右眼にかかる右側可動特徴点を抽出する、
ことからなる表情測定プログラムを備えた表情測定装置。 A camera that captures a moving image of the face of the subject, and an information processing device that captures the image of the camera and performs information processing;
The information processing apparatus acquires a moving image of the face of the subject photographed by the camera and measures left and right changes in the expression of the subject,
Step S1 for acquiring a moving image of the face of the subject;
For each frame of the moving image, the pixel density value is differentiated in the vertical direction to generate a differential image composed of the differentiated pixels, and the pixel values of the differentiated image are accumulated in the horizontal direction. Generating a first histogram to be generated, designating a first line of the differential image corresponding to a maximum value of the first histogram, and cutting out a surrounding region including the first line from the differential image;
A second histogram obtained by vertically integrating pixel values in the surrounding area including the first line is generated, and the second line and the third line corresponding to the two maximum values of the second histogram are obtained. Specifying the left eye region and the right eye region of the subject with reference to two points where the second line and the third line intersect the first line,
For each frame of the moving image, a step of extracting one or more feature points as non-moving feature points from a portion of the face of the subject that has a small change in the position of the epidermis even when the subject changes facial expressions. S 2 and
For each frame of the moving image, one or more feature points are located on the left side of the subject's face, and one or more feature points from the part where the change in the position of the epidermis is not small when the subject changes his facial expression Step S3 to extract as points,
For each frame of the moving image, one or more feature points are located on the right side of the subject's face, and one or more feature points from the portion where the change in the position of the epidermis is not small when the subject changes his / her facial expression Step S4 for extracting as points,
For each frame of the moving image, on the basis of the positional relationship between the stationary feature point and the left moveable feature point, a step S 5 for calculating a feature quantity of the left face of the subject as the left feature quantity,
For each frame of the moving image, a step S6 of calculating a right-side feature amount of the subject's face as a right-side feature amount based on a positional relationship between the immovable feature point and the right-side movable feature point;
Including
In step S2, a stationary feature point applied to both eyes of the subject is further extracted from the left eye region and the right eye region,
In step S3, a left movable feature point applied to the subject's left eye is further extracted from the left eye region,
In step S4, a right movable feature point on the right eye of the subject is further extracted from the right eye region.
Expression measuring apparatus equipped with an expression measurement program consists.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009009462A JP5276454B2 (en) | 2009-01-20 | 2009-01-20 | Facial expression measurement method, facial expression measurement program, and facial expression measurement apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009009462A JP5276454B2 (en) | 2009-01-20 | 2009-01-20 | Facial expression measurement method, facial expression measurement program, and facial expression measurement apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010166939A JP2010166939A (en) | 2010-08-05 |
| JP5276454B2 true JP5276454B2 (en) | 2013-08-28 |
Family
ID=42699620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009009462A Expired - Fee Related JP5276454B2 (en) | 2009-01-20 | 2009-01-20 | Facial expression measurement method, facial expression measurement program, and facial expression measurement apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5276454B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104469179B (en) * | 2014-12-22 | 2017-08-04 | 杭州短趣网络传媒技术有限公司 | A kind of method being attached to dynamic picture in mobile video |
| JP6467966B2 (en) * | 2015-02-13 | 2019-02-13 | オムロン株式会社 | Health care assistance device and health care assistance method |
| JP6651366B2 (en) * | 2015-03-31 | 2020-02-19 | ポーラ化成工業株式会社 | Extraction method of determinants of facial appearance impression |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002236759A (en) * | 2001-02-08 | 2002-08-23 | New Industry Research Organization | Remote nursing system |
| JP2003044873A (en) * | 2001-08-01 | 2003-02-14 | Univ Waseda | Method for generating and deforming three-dimensional model of face |
| JP2005196645A (en) * | 2004-01-09 | 2005-07-21 | Nippon Hoso Kyokai <Nhk> | Information presentation system, information presentation device and information presentation program |
| JP2006305260A (en) * | 2005-04-28 | 2006-11-09 | Ichiro Hagiwara | Expression diagnosis assisting apparatus |
| JP4799105B2 (en) * | 2005-09-26 | 2011-10-26 | キヤノン株式会社 | Information processing apparatus and control method therefor, computer program, and storage medium |
| JP2008204200A (en) * | 2007-02-20 | 2008-09-04 | Space Vision:Kk | Face analysis system and program |
-
2009
- 2009-01-20 JP JP2009009462A patent/JP5276454B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010166939A (en) | 2010-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4876687B2 (en) | Attention level measuring device and attention level measuring system | |
| EP2772828B1 (en) | Individual body discrimination device and individual body discrimination method | |
| JP6521845B2 (en) | Device and method for measuring periodic fluctuation linked to heart beat | |
| Poppe et al. | AMAB: Automated measurement and analysis of body motion | |
| CN108875485A (en) | A kind of base map input method, apparatus and system | |
| Datcu et al. | Noncontact automatic heart rate analysis in visible spectrum by specific face regions | |
| JP6908743B2 (en) | How to extract the part that determines the appearance of the face, how to extract the determinants of the appearance of the face, how to distinguish the appearance of the face | |
| US20080304736A1 (en) | Method of estimating a visual evaluation value of skin beauty | |
| JP2011150595A (en) | Apparatus, method and program for evaluating face shape | |
| JP2010104754A (en) | Emotion analyzer | |
| JP2007252891A (en) | Estimation method of evaluation value by visual recognition of beauty of skin | |
| JP2023073375A (en) | Skin distortion measuring method | |
| JP2009082338A (en) | Skin discrimination method using entropy | |
| CN114999646A (en) | Newborn exercise development assessment system, method, device and storage medium | |
| JP5276454B2 (en) | Facial expression measurement method, facial expression measurement program, and facial expression measurement apparatus | |
| JP2008046691A (en) | Face image processor and program for computer | |
| CN111275754B (en) | Face acne mark proportion calculation method based on deep learning | |
| JP6709868B1 (en) | Analysis method, analysis system, and analysis program | |
| KR101779840B1 (en) | Apparatus and method for analyzing face based on smile detection | |
| JP6886773B2 (en) | How to extract the part that determines the appearance of the face, how to extract the determinants of the appearance of the face, how to distinguish the appearance of the face | |
| JP2007252892A (en) | Estimation method of evaluation value by visual recognition of three-dimensional shape of skin surface | |
| Malasinghe et al. | Remote heart rate extraction using microsoft kinecttm V2. 0 | |
| JPH11283040A (en) | Operation controller and computer readable recording medium for recording operation analysis program | |
| Wong | Contactless heart rate monitor for multiple persons in a video | |
| Rawat et al. | Real-Time Heartbeat Sensing with Face Video using a Webcam and OpenCV |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130411 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130514 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130517 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |