JP2009087303A - Expression estimation device, expression estimation method, and vehicle controller - Google Patents

Expression estimation device, expression estimation method, and vehicle controller Download PDF

Info

Publication number
JP2009087303A
JP2009087303A JP2007259969A JP2007259969A JP2009087303A JP 2009087303 A JP2009087303 A JP 2009087303A JP 2007259969 A JP2007259969 A JP 2007259969A JP 2007259969 A JP2007259969 A JP 2007259969A JP 2009087303 A JP2009087303 A JP 2009087303A
Authority
JP
Japan
Prior art keywords
feature
facial expression
feature point
target person
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007259969A
Other languages
Japanese (ja)
Other versions
JP5092663B2 (en
Inventor
Haruo Matsuo
治夫 松尾
Abdellah Kiat
アブデラ キアツト
Original Assignee
Nissan Motor Co Ltd
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd, 日産自動車株式会社 filed Critical Nissan Motor Co Ltd
Priority to JP2007259969A priority Critical patent/JP5092663B2/en
Publication of JP2009087303A publication Critical patent/JP2009087303A/en
Application granted granted Critical
Publication of JP5092663B2 publication Critical patent/JP5092663B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

<P>PROBLEM TO BE SOLVED: To judge expression of a face of an object person with high accuracy. <P>SOLUTION: This expression estimation device is provided with: an imaging apparatus 4 which photographs face images of a driver 2; a feature point output part 8 which extracts a plurality of feature points of the face from among the face images picked up by the imaging apparatus 4; and an expression estimation part 9 which estimates the expression of the face of the object person according to variation of the feature points from positions of the plurality of feature points extracted from the normal face images of the object person to positions of the extracted feature points. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、車両の乗員の表情に応じた車両制御等の処理に適用して好適な、対象人物の顔の表情を推定する技術に関する。   The present invention relates to a technique for estimating a facial expression of a target person, which is suitable for processing such as vehicle control in accordance with the facial expression of a vehicle occupant.
従来より、カメラにより撮像された対象人物の実写顔画像と予め記憶されている表情毎の顔画像データとを照合し、実写顔画像に最も類似している顔画像データを特定することにより、対象人物の顔の表情を判定する技術が知られている(特許文献1参照)。
特開2001−43345号公報(請求項1参照)
Conventionally, by comparing the real face image of the target person captured by the camera with the face image data for each facial expression stored in advance, the face image data most similar to the real face image is identified. A technique for determining the facial expression of a person is known (see Patent Document 1).
JP 2001-43345 A (refer to claim 1)
従来技術では、実写顔画像と照合される表情毎の顔画像データは複数の顔画像を表情毎に平均化することにより生成されるが、目、鼻等の形状は対象人物によって大きく異なる。このため従来技術によれば、実写顔画像と顔画像データの照合精度(類似度)が低下し、対象人物の顔の表情を誤って判定することがある。   In the prior art, facial image data for each facial expression that is collated with a live-action facial image is generated by averaging a plurality of facial images for each facial expression, but the shapes of eyes, nose, etc. vary greatly depending on the target person. For this reason, according to the prior art, the matching accuracy (similarity) between the real face image and the face image data is lowered, and the facial expression of the target person may be erroneously determined.
本発明は、このような課題を解決するためになされたものであり、その目的は、対象人物の顔の表情を精度高く判定可能な表情推定技術を提供することにある。   The present invention has been made to solve such a problem, and an object of the present invention is to provide a facial expression estimation technique capable of accurately determining the facial expression of a target person.
本発明は、顔画像の中から顔の特徴点を抽出し、対象人物の平常時の顔画像から抽出された複数の特徴点の位置から前記抽出された特徴点の位置への特徴点の変化によって、対象人物の顔の表情を推定する。   The present invention extracts facial feature points from a face image, and changes the feature points from the positions of a plurality of feature points extracted from the normal face image of the target person to the extracted feature point positions. Thus, the facial expression of the target person is estimated.
本発明によれば、対象人物ごとに異なる特徴点の形状に依存することなく、対象人物の顔の表情を推定するため、対象人物の顔の表情を精度高く判定することができる。   According to the present invention, the facial expression of the target person's face is estimated without depending on the shape of the feature point that differs for each target person, so that the facial expression of the target person's face can be determined with high accuracy.
以下、図面を参照して、本発明の実施形態となる表情推定装置の構成及びその動作について説明する。   Hereinafter, the configuration and operation of a facial expression estimation apparatus according to an embodiment of the present invention will be described with reference to the drawings.
〔表情推定装置の構成〕
始めに、図1乃至図3を参照して、本発明の実施形態となる表情推定装置の構成について説明する。
[Configuration of facial expression estimation device]
First, the configuration of a facial expression estimation apparatus according to an embodiment of the present invention will be described with reference to FIGS. 1 to 3.
本発明の実施形態となる表情推定装置1は、図示しない車両に搭載され、図1に示すように、車両の運転者(乗員)2の顔に向けて照明光Lを照射する照明器具3と、照明光Lによって照明された運転者2の顔を含む映像Gを撮影する撮像装置4と、撮像装置4によって撮影された映像Gから運転者2の顔の表情とその強度(度合い)を示す信号を生成,出力するマイクロコンピュータ5とを主な構成要素として備える。   A facial expression estimation device 1 according to an embodiment of the present invention is mounted on a vehicle (not shown), and as shown in FIG. 1, a lighting fixture 3 that irradiates illumination light L toward the face of a driver (occupant) 2 of the vehicle, The imaging device 4 that captures the image G including the face of the driver 2 illuminated by the illumination light L, and the facial expression of the driver 2 from the image G captured by the imaging device 4 and the intensity (degree) thereof are shown. The microcomputer 5 which produces | generates and outputs a signal is provided as a main component.
マイクロコンピュータ5は、CPU(Central Processing Unit)等の演算処理部と各種データを記憶するROM(Read Only Memory)やRAM(Random Access Memory)等の記憶部6を備え、記憶部6内に予め記憶されたコンピュータプログラムを演算処理部が実行することにより、顔画像取得部7,特徴点出力部8,表情推定部9,及び表情信号出力部10として機能する。また特徴点出力部8は図2に示すように顔特徴検出部11と顔特徴点追跡部12を備え、表情推定部9は図3に示すように顔特徴点正規化部21,特徴計算部22,表情クラス分け部23,及び表情強度計算部24を備える。マイクロコンピュータ5内のこれら各部の機能(動作)の詳細については後述する。   The microcomputer 5 includes an arithmetic processing unit such as a CPU (Central Processing Unit) and a storage unit 6 such as a ROM (Read Only Memory) and a RAM (Random Access Memory) that store various data, and is stored in the storage unit 6 in advance. When the computer processing unit executes the computer program, the facial image acquisition unit 7, the feature point output unit 8, the facial expression estimation unit 9, and the facial expression signal output unit 10 function. The feature point output unit 8 includes a face feature detection unit 11 and a face feature point tracking unit 12 as shown in FIG. 2, and the facial expression estimation unit 9 includes a face feature point normalization unit 21 and a feature calculation unit as shown in FIG. 22, a facial expression classification unit 23, and a facial expression strength calculation unit 24. Details of functions (operations) of these units in the microcomputer 5 will be described later.
照明器具3は、出来る限り影ができないように運転者2の顔に照明光Lを照射する。照明光Lとしては、運転者2に眩しさを感じさせないようにするために可視光よりも近赤外光を用いることが望ましい。撮像装置4は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を用いた小型のものにより構成され、撮影された映像Gをフレーム単位で時系列的に順次出力する。照明器具3及び撮像装置4は、表情推定装置1専用に備えられたものである必要はなく、他の用途のために予め車室内に設けられている場合にはそれを代用してもよい。   The luminaire 3 irradiates the driver 2 with the illumination light L so as not to shadow as much as possible. As the illumination light L, it is desirable to use near infrared light rather than visible light so that the driver 2 does not feel dazzling. The imaging device 4 is constituted by a small device using an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and sequentially outputs the captured video G in a time series in units of frames. The lighting fixture 3 and the imaging device 4 do not need to be provided exclusively for the facial expression estimation device 1, and may be used in the case where they are provided in advance in the vehicle interior for other purposes.
〔表情推定処理〕
このような構成を有する表情推定装置1は、以下に示す表情推定処理を実行することにより運転者2の顔の表情を推定する。以下、図4乃至図19を参照して、この表情推定処理を実行する際の表情推定装置1の動作について説明する。なお本実施形態の表情推定処理は、特徴点検出処理,特徴点追跡処理,特徴点正規化処理,特徴計算処理,表情クラス分け処理,及び表情強度計算処理に大別される。そこで以下では本実施形態の表情推定処理をこれらの処理に分けて順に説明する。
[Expression estimation processing]
The facial expression estimation apparatus 1 having such a configuration estimates the facial expression of the driver 2 by executing facial expression estimation processing described below. Hereinafter, with reference to FIG. 4 to FIG. 19, the operation of the facial expression estimation apparatus 1 when executing this facial expression estimation process will be described. The facial expression estimation process of this embodiment is roughly divided into a feature point detection process, a feature point tracking process, a feature point normalization process, a feature calculation process, a facial expression classification process, and a facial expression strength calculation process. Therefore, hereinafter, the facial expression estimation process of the present embodiment will be described in order by dividing it into these processes.
〔特徴点検出処理〕
始めに、図4に示すフローチャートを参照して、運転者2の顔画像から運転者の顔の特徴点を複数検出する特徴点検出処理を実行する際の表情推定装置1の動作について説明する。
[Feature point detection processing]
First, with reference to the flowchart shown in FIG. 4, the operation of the facial expression estimation apparatus 1 when executing a feature point detection process for detecting a plurality of feature points of the driver's face from the face image of the driver 2 will be described.
図4に示すフローチャートは、車両のイグニッションスイッチがオフ状態からオン状態に切り換えられ、表情推定装置1に電力が供給されたタイミングで開始となり、特徴点検出処理はステップS1の処理に進む。なおこの特徴点検出処理は各フレームの顔画像毎に繰り返し実行される。   The flowchart shown in FIG. 4 starts when the ignition switch of the vehicle is switched from the off state to the on state and power is supplied to the facial expression estimation device 1, and the feature point detection process proceeds to step S1. This feature point detection process is repeatedly executed for each face image of each frame.
ステップS1の処理では、顔画像取得部7が、撮像装置4を介して運転者2の顔を含む映像Gを取得し、取得した映像Gの中から運転者2の顔画像(縦240画素×横320画素)をフレーム画像毎に抽出する。そして顔特徴検出部11が、顔画像取得部7により抽出された運転者2の顔画像を構成する画素の濃度分布に基づいて、図5(a)に示すような横エッジ画像を検出する。この横エッジ画像は、顔画像の縦の各列について画素濃度の極小値(眉,瞳等の黒い部分,図5(a)に示す白色領域)を抽出することにより検出できる。これにより、ステップS1の処理は完了し、特徴点検出処理はステップS2の処理に進む。   In the process of step S <b> 1, the face image acquisition unit 7 acquires a video G including the face of the driver 2 via the imaging device 4, and the driver 2's face image (vertical 240 pixels × (320 pixels wide) is extracted for each frame image. Then, the face feature detection unit 11 detects a horizontal edge image as shown in FIG. 5A based on the density distribution of the pixels constituting the face image of the driver 2 extracted by the face image acquisition unit 7. This horizontal edge image can be detected by extracting the minimum value of the pixel density (black area such as eyebrows and pupils, white area shown in FIG. 5A) for each vertical column of the face image. Thereby, the process of step S1 is completed and the feature point detection process proceeds to the process of step S2.
ステップS2の処理では、特徴点検出部11が、図5(b)に示すようにステップS1の処理により検出された横エッジ画像からノイズ成分を除去する。ノイズ成分は、濃度の極小値を示す画素のうち、濃度変化が設定値未満の画素と8近傍(上下,左右,各斜め方向の各上下)に濃度の極小値を示す画素がない画素(独立点)とをエッジ画像から削除することにより除去できる。これにより、ステップS2の処理は完了し、特徴点検出処理はステップS3の処理に進む。   In the process of step S2, the feature point detector 11 removes noise components from the horizontal edge image detected by the process of step S1, as shown in FIG. Among the pixels showing the minimum density value, the noise component is a pixel whose density change is less than the set value and a pixel having no minimum density value in the vicinity of 8 (up and down, left and right, and up and down in each diagonal direction) (independent Can be removed from the edge image. Thereby, the process of step S2 is completed, and the feature point detection process proceeds to the process of step S3.
ステップS3の処理では、特徴点検出部11が、ノイズ成分が除去されたエッジ画像を構成する各画素の8近傍での連接状態を分析することにより、傾きが所定値以上のエッジ画像を削除する。また特徴点検出部11は、横方向への繋がり長さが所定値以上のエッジ画像については、濃度変化が最も小さい画素を削除することにより、横方向への繋がり長さが所定値以下の複数のエッジ画像に分割する。そして特徴点検出部11は、図5(c)に示すようなこれらの処理後の各エッジ画像を運転者2の顔の特徴点(以下、顔特徴点と略記)の候補として設定する。なお本明細書中において“顔特徴点”とは運転者2の顔の表情を特徴付ける目,鼻,口,眉等を意味する。これにより、ステップS3の処理は完了し、特徴点検出処理はステップS4の処理に進む。   In the process of step S3, the feature point detection unit 11 deletes an edge image having a slope greater than or equal to a predetermined value by analyzing a connection state in the vicinity of 8 of each pixel constituting the edge image from which the noise component is removed. . The feature point detection unit 11 deletes a pixel having the smallest density change for an edge image having a horizontal connection length of a predetermined value or more, thereby removing a plurality of horizontal connection lengths of the predetermined value or less. Is divided into edge images. Then, the feature point detection unit 11 sets each of the processed edge images as shown in FIG. 5C as a candidate for the facial feature point of the driver 2 (hereinafter abbreviated as a facial feature point). In the present specification, “face feature points” mean eyes, nose, mouth, eyebrows and the like that characterize the facial expression of the driver 2. Thereby, the process of step S3 is completed, and the feature point detection process proceeds to the process of step S4.
ステップS4の処理では、特徴点検出部11が、ステップS3の処理により設定された顔特徴点の候補数が所定値以下であるか否かを判別する。判別の結果、顔特徴点の候補数が所定値未満である場合、特徴点検出部11は、ステップS10の処理として顔特徴点を精度高く検出できないと判断し、一連の特徴点検出処理を終了する。一方、顔特徴点の候補数が所定値未満でない場合には、特徴点検出部11は特徴点検出処理をステップS5の処理に進める。   In the process of step S4, the feature point detection unit 11 determines whether or not the number of face feature point candidates set by the process of step S3 is equal to or less than a predetermined value. If the number of face feature point candidates is less than the predetermined value as a result of the discrimination, the feature point detection unit 11 determines that the face feature point cannot be detected with high accuracy as the process of step S10, and ends the series of feature point detection processes. To do. On the other hand, when the number of face feature point candidates is not less than the predetermined value, the feature point detection unit 11 advances the feature point detection process to the process of step S5.
ステップS5の処理では、特徴点検出部11が、各顔特徴点を識別できるように図6(a)に示すように各顔特徴点に対し固有の番号(ラベル)を付与することにより顔特徴点のラベリングを行う。これにより、ステップS5の処理は完了し、特徴点検出処理はステップS6の処理に進む。   In the process of step S5, the feature point detection unit 11 assigns a unique number (label) to each face feature point as shown in FIG. 6A so that each face feature point can be identified. Do point labeling. Thereby, the process of step S5 is completed, and the feature point detection process proceeds to the process of step S6.
ステップS6の処理では、特徴点検出部11が、図6(b)に示すように、ラベリングされた顔特徴点の全ての組み合わせと、記憶部6に予め記憶されている顔特徴点(ノード)と顔特徴点間の位置関係(ブランチ)を示すデータとを照合する。具体的には特徴点検出部11は、3つの顔特徴点の組み合わせを作成し、図7に示すような運転者2の右目の位置を示す顔特徴点EyeRを基準位置とする3つの顔特徴点の位置関係に近似する位置関係を有する顔特徴点の組み合わせが作成した組み合わせの中にあるか否かを照合する。なお、各顔特徴点は一定の距離範囲を有し、照合処理は顔特徴点の距離範囲内に記憶部6に記憶されている顔特徴点が何個存在するか計数することにより行う。これにより、ステップS6の処理は完了し、特徴点検出処理はステップS7の処理に進む。   In the process of step S6, the feature point detection unit 11 performs all combinations of the labeled face feature points and face feature points (nodes) stored in advance in the storage unit 6 as shown in FIG. 6B. And data indicating the positional relationship (branch) between the facial feature points. Specifically, the feature point detection unit 11 creates a combination of three face feature points, and has three face features with the face feature point EyeR indicating the position of the right eye of the driver 2 as shown in FIG. 7 as a reference position. It is checked whether or not a combination of face feature points having a positional relationship that approximates the positional relationship of the points is within the created combination. Each face feature point has a certain distance range, and the matching process is performed by counting the number of face feature points stored in the storage unit 6 within the distance range of the face feature points. Thereby, the process of step S6 is completed, and the feature point detection process proceeds to the process of step S7.
ステップS7の処理では、特徴点検出部11が、照合数が所定値以上であるか否かを判別する。判別の結果、照合数が所定値以上でない場合、特徴点検出部11は、ステップS10の処理として顔特徴点を精度高く検出できないと判断し、一連の特徴点検出処理を終了する。一方、照合数が所定値以上である場合には、特徴点検出部11は特徴点検出処理をステップS8の処理に進める。   In the process of step S7, the feature point detection unit 11 determines whether or not the number of collations is a predetermined value or more. As a result of the determination, if the number of collations is not equal to or greater than the predetermined value, the feature point detection unit 11 determines that the face feature point cannot be detected with high accuracy as the process of step S10, and ends the series of feature point detection processes. On the other hand, when the number of collations is equal to or greater than the predetermined value, the feature point detection unit 11 advances the feature point detection process to the process of step S8.
ステップS8の処理では、特徴点検出部11が、図6(c)に示すように、ラベリングされた顔特徴点の組み合わせのうち、記憶部6に記憶されている顔特徴点間の位置関係を示すデータに一致又は最も近似している組み合わせ(図6(c)中、直線により結ばれた顔特徴点の組み合わせ)を選択する。これにより、ステップS8の処理は完了し、特徴点検出処理はステップS9の処理に進む。   In the process of step S8, as shown in FIG. 6C, the feature point detection unit 11 determines the positional relationship between the facial feature points stored in the storage unit 6 among the combinations of the labeled facial feature points. A combination (a combination of face feature points connected by a straight line in FIG. 6C) that matches or most closely matches the data shown is selected. Thereby, the process of step S8 is completed, and the feature point detection process proceeds to the process of step S9.
ステップS9の処理では、特徴点検出部11が、ステップS8の処理により選択された顔特徴点の組み合わせについて、記憶部6に記憶されている顔特徴点間の位置関係を示すデータとの一致度合いを示す評価値を算出し、算出された評価値が最小評価値未満であるか否かを判別する。そして判別の結果、評価値が最小評価値未満である場合、特徴点検出部11は、ステップS10の処理として顔特徴点を精度高く検出できないと判断し、一連の特徴点検出処理を終了する。一方、評価値が最小評価値未満でない場合には、特徴点検出部11はステップS11の処理として顔特徴点を検出できたと判断し、一連の顔特徴点検出処理を終了する。なお各顔特徴点間には重み付けの係数が予め設定されており、顔特徴点の重み付けの係数を積算した値を評価値とする。また重み付けの係数は、距離関係が重要な顔特徴点間ほど大きく設定され、逆に距離関係の重要性が低い顔特徴点間ほど小さく設定されている。具体的には、右目と左目間の重み付けの係数をA,鼻と顎間の重み付けの係数をBとした場合、距離関係の重要度が相対的に高い係数Aの方が距離関係の重要度が相対的に低い係数Bよりも大きな値に設定される。   In the process of step S9, the degree of coincidence between the feature point detection unit 11 and the data indicating the positional relationship between the face feature points stored in the storage unit 6 for the combination of the face feature points selected in the process of step S8. Is calculated, and it is determined whether or not the calculated evaluation value is less than the minimum evaluation value. If the evaluation value is less than the minimum evaluation value as a result of the determination, the feature point detection unit 11 determines that the face feature point cannot be detected with high accuracy as the processing in step S10, and ends the series of feature point detection processing. On the other hand, if the evaluation value is not less than the minimum evaluation value, the feature point detection unit 11 determines that the face feature point has been detected as the process of step S11, and ends the series of face feature point detection processing. A weighting coefficient is set in advance between the face feature points, and a value obtained by integrating the weighting coefficients of the face feature points is used as an evaluation value. The weighting coefficient is set to be larger between the facial feature points where the distance relationship is important, and conversely, the weighting coefficient is set to be smaller between the facial feature points where the distance relationship is less important. Specifically, when the weighting coefficient between the right eye and the left eye is A, and the weighting coefficient between the nose and chin is B, the coefficient A having a relatively high distance relationship is more important for the distance relationship. Is set to a value larger than the relatively low coefficient B.
この一連の特徴点検出処理によれば、例えば図8に示すように、右目(EyeR),左目(EyeL),右眉(BrowR),左眉(BrowL),右鼻孔(NoseR),左鼻孔(NoseL),口又は唇(Lip),顎(Chin),右上眼鏡フレーム(GlasUR),左上眼鏡フレーム(GlasUL),右下眼鏡フレーム(GlasBR),左下眼鏡フレーム(GlasBL),眼鏡フレーム(GlasC)という13個の顔特徴点を運転者2の顔画像から検出することができる。なお運転者2の鼻の位置については、右鼻孔の位置と左鼻孔の位置の中点位置としてもよい。以下では鼻の位置を単一として運転者2の顔特徴点の数を合計12点として説明する。   According to this series of feature point detection processing, for example, as shown in FIG. 8, the right eye (EyeR), left eye (EyeL), right eyebrow (BrowR), left eyebrow (BrowL), right nostril (NoseR), left nostril ( NoseL), mouth or lips (Lip), chin (Chin), upper right eyeglass frame (GlasUR), upper left eyeglass frame (GlasUL), lower right eyeglass frame (GlasBR), lower left eyeglass frame (GlasBL), eyeglass frame (GlasC) Thirteen face feature points can be detected from the face image of the driver 2. The nose position of the driver 2 may be a midpoint position between the right nostril position and the left nostril position. The following description will be made assuming that the nose position is single and the number of facial feature points of the driver 2 is 12 in total.
〔特徴点追跡処理〕
次に、図9に示すフローチャートを参照して、前回の顔画像から検出された顔特徴点の今回の顔画像内における位置(座標値)を検出する特徴点追跡処理を実行する際の表情推定装置1の動作について説明する。
(Feature point tracking process)
Next, referring to the flowchart shown in FIG. 9, facial expression estimation when executing a feature point tracking process for detecting the position (coordinate value) in the current face image of the face feature point detected from the previous face image The operation of the device 1 will be described.
図9に示すフローチャートは、上記ステップS11の処理において顔特徴点を検出できたと判断された後に顔画像取得部7から顔画像のデータが入力されたタイミングで開始となり、特徴点追跡処理はステップS21の処理に進む。   The flowchart shown in FIG. 9 starts at the timing when face image data is input from the face image acquisition unit 7 after it is determined that the face feature points have been detected in the process of step S11, and the feature point tracking process is performed in step S21. Proceed to the process.
ステップS21の処理では、顔特徴点追跡部12が、各顔特徴点を検出する際に基準点として利用する顔特徴点(以下、基準特徴点と略記)が今回の顔画像について設定されているか否かを判別することにより、この処理が最初の処理ステップであるか否かを判別する。判別の結果、この処理が最初の処理ステップである場合、顔特徴点追跡部12は特徴点追跡処理をステップS24の処理に進める。一方、この処理が最初の処理ステップではない場合には、顔特徴点追跡部12は特徴点追跡処理をステップS22の処理に進める。   In the process of step S21, is the face feature point (hereinafter abbreviated as the reference feature point) used as the reference point when the face feature point tracking unit 12 detects each face feature point set for the current face image? By determining whether or not, it is determined whether or not this process is the first processing step. If it is determined that this process is the first process step, the face feature point tracking unit 12 advances the feature point tracking process to the process of step S24. On the other hand, if this process is not the first process step, the face feature point tracking unit 12 advances the feature point tracking process to the process of step S22.
ステップS22の処理では、顔特徴点追跡部12が、顔特徴点の中に左目に対応する顔特徴点EyeLがあるか否かを判別する。なおこの処理の詳細については右目に対応する顔特徴点の検出方法を例として後述する。判別の結果、左目に対応する顔特徴点EyeLがない場合、顔特徴点追跡部12は、ステップS27の処理として顔特徴点の追跡処理が失敗したと判断した後、一連の特徴点追跡処理を終了する。一方、左目に対応する顔特徴点EyeLがある場合には、顔特徴点追跡部12は特徴点追跡処理をステップS23の処理に進める。なお本実施形態では、左目及び右目に対応する顔特徴点EyeL, EyeRが検出されない場合に特徴点追跡処理を終了したが、左目及び右目に対応する顔特徴点EyeL, EyeRにその他の顔特徴点を検出対象として加えても良い。   In step S22, the face feature point tracking unit 12 determines whether or not there is a face feature point EyeL corresponding to the left eye among the face feature points. The details of this process will be described later using a method for detecting a face feature point corresponding to the right eye as an example. If the face feature point EyeL corresponding to the left eye is not found as a result of the determination, the face feature point tracking unit 12 determines that the face feature point tracking process has failed as the process of step S27, and then performs a series of feature point tracking processes. finish. On the other hand, when there is a face feature point EyeL corresponding to the left eye, the face feature point tracking unit 12 advances the feature point tracking process to the process of step S23. In the present embodiment, the feature point tracking process is terminated when the face feature points EyeL and EyeR corresponding to the left eye and the right eye are not detected, but other face feature points are added to the face feature points EyeL and EyeR corresponding to the left eye and the right eye. May be added as a detection target.
ステップS23の処理では、顔特徴点追跡部12が、左目EyeLに対応する顔特徴点を基準特徴点に設定する。これにより、ステップS23の処理は完了し、特徴点追跡処理はステップS26の処理に進む。   In the process of step S23, the face feature point tracking unit 12 sets a face feature point corresponding to the left eye EyeL as a reference feature point. Thereby, the process of step S23 is completed, and the feature point tracking process proceeds to the process of step S26.
ステップS24の処理では、顔特徴点追跡部12が、図11(a)に示すように、特徴点検出処理又は前回の特徴点追跡処理により検出された右目に対応する顔特徴点EyeRの近傍領域Rから右目に対応する顔特徴点を探索し、右目に対応する顔特徴点EyeRがあるか否かを判別する。判別の結果、右目に対応する顔特徴点EyeRがない場合、顔特徴点追跡部12は特徴点追跡処理をステップS21の処理に戻す。一方、右目に対応する顔特徴点EyeRがある場合には、顔特徴点追跡部12は特徴点追跡処理をステップS25の処理に進める。 In the process of step S24, as shown in FIG. 11A, the face feature point tracking unit 12 is a neighborhood region of the face feature point EyeR corresponding to the right eye detected by the feature point detection process or the previous feature point tracking process. A face feature point corresponding to the right eye is searched from R 0 to determine whether or not there is a face feature point EyeR corresponding to the right eye. If there is no face feature point EyeR corresponding to the right eye as a result of the discrimination, the face feature point tracking unit 12 returns the feature point tracking process to the process of step S21. On the other hand, when there is a face feature point EyeR corresponding to the right eye, the face feature point tracking unit 12 advances the feature point tracking process to the process of step S25.
ステップS25の処理では、顔特徴点追跡部12が、右目に対応する顔特徴点EyeRを基準特徴点に設定する。これにより、ステップS25の処理は完了し、特徴点追跡処理はステップS26の処理に進む。   In the process of step S25, the face feature point tracking unit 12 sets the face feature point EyeR corresponding to the right eye as a reference feature point. Thereby, the process of step S25 is completed, and the feature point tracking process proceeds to the process of step S26.
ステップS26の処理では、顔特徴点追跡部12が、設定された基準特徴点に基づいて基準特徴点として設定された顔特徴点以外の顔特徴点(次の顔特徴点)を検出する。具体的には、顔特徴点追跡部12は、図11(b)に示すように、前回の顔特徴点追跡処理により基準顔特徴点として検出された前回基準特徴点とこの前回基準特徴点に隣接して前回検出された他の前回顔特徴点(例えば左目)との間の距離(重心位置間の距離)等の相対的な位置関係を算出し、その算出された相対的な位置関係がそのまま今回既に検出された座標値が既知の基準特徴点EyeRと検出対象となっている隣接した座標値が不明の他の顔特徴点との位置関係に対応すると仮定し、隣接した他の顔特徴点が存在するであろうと推定される位置の近傍範囲を探索範囲Rとして設定する。そして顔特徴点追跡部12は、設定された探索範囲R内で他の顔特徴点を探索する。このような処理によれば、他の顔特徴点の探索範囲を狭い範囲に絞ることができるので、検出処理時間を短縮できると同時に検出対象でないノイズ等を顔特徴点として誤って検出することを抑制できる。そして他の顔特徴点が検出できた場合、顔特徴点追跡部12は一連の顔特徴点追跡処理を終了する。一方、他の顔特徴点が検出できない場合には、顔特徴点追跡部12は顔特徴点追跡処理をステップS28の処理に進める。 In the process of step S26, the face feature point tracking unit 12 detects a face feature point (next face feature point) other than the face feature point set as the reference feature point based on the set reference feature point. Specifically, as shown in FIG. 11B, the face feature point tracking unit 12 uses the previous reference feature point detected as the reference face feature point by the previous face feature point tracking process and the previous reference feature point. The relative positional relationship such as the distance (distance between the center of gravity positions) between the adjacent previous detected facial feature points (for example, the left eye) adjacent to the previous one is calculated, and the calculated relative positional relationship is Assuming that the reference feature point EyeR whose coordinate value has already been detected this time corresponds to the positional relationship between the target coordinate point EyeR and the other target feature point whose unknown coordinate value is unknown, A range near the position where a point is estimated to exist is set as a search range R 1 . The face feature point tracking unit 12 searches for other facial feature points in the search range R 1 that has been set. According to such processing, the search range of other facial feature points can be narrowed down to a narrow range, so that the detection processing time can be shortened, and at the same time, noise that is not a detection target can be erroneously detected as facial feature points. Can be suppressed. If another face feature point can be detected, the face feature point tracking unit 12 ends the series of face feature point tracking processing. On the other hand, when other face feature points cannot be detected, the face feature point tracking unit 12 advances the face feature point tracking process to the process of step S28.
ステップS28の処理では、顔特徴点追跡部12が、前回の基準特徴点の座標値と現在設定されている基準特徴点の座標値を用いて基準特徴点の移動量を算出し、前回の顔特徴点の座標値を算出された移動量だけ移動させた座標値を顔特徴点の座標値として算出する。これにより、ステップS28の処理は完了し、一連の特徴点追跡処理は終了する。   In the process of step S28, the face feature point tracking unit 12 calculates the movement amount of the reference feature point using the coordinate value of the previous reference feature point and the coordinate value of the currently set reference feature point, and the previous face A coordinate value obtained by moving the coordinate value of the feature point by the calculated movement amount is calculated as the coordinate value of the face feature point. Thereby, the process of step S28 is completed and a series of feature point tracking processes are completed.
この特徴点追跡処理によれば、右目に対応する顔特徴点EyeRを基準特徴点に設定した場合には図11(a)に示すような顔特徴点の座標値(位置関係)の情報が得られ、左目に対応する顔特徴点EyeLを基準特徴点に設定した場合には図11(b)に示すような顔特徴点の座標値(位置関係)の情報が得られる。なお図11(a),(b)は本実施形態における顔画像の大きさを10分の1の大きさに縮小した状態の座標値を示す。また本実施形態において基準特徴点となる右目に対応する顔特徴点EyeRの座標は、図12に示すように、右目付近の濃淡画像信号に対し各画素列(縦方向)の画素列に反った濃淡信号値(画素値)の分布を調べ、淡(白)→濃(黒)と変化する点(濃度の立ち上がりエッジ部,図中○記号で表記)と濃(黒)→淡(白)と変化する点(濃度の立ち下がりエッジ部,図中×記号で表記)を検出し、立ち上がりエッジ部の横方向に反った連続状態(繋がり状態)を調べることにより右目の左端ELと右端ERを検出し、立ち上がりエッジ部のうち縦方向の最も上方にあるエッジ部の画素点を目の上端EUとし、この上端EUが属する画素列中における立ち下がりエッジ部の画素点を目の下端EBとし、目の上端EUと下端EBの中点を顔特徴点EyeRとしての右目の座標(代表位置)とする。   According to this feature point tracking process, when the face feature point EyeR corresponding to the right eye is set as the reference feature point, information on the coordinate value (positional relationship) of the face feature point as shown in FIG. When the face feature point EyeL corresponding to the left eye is set as the reference feature point, information on the coordinate value (positional relationship) of the face feature point as shown in FIG. 11B is obtained. 11A and 11B show coordinate values in a state where the size of the face image in the present embodiment is reduced to 1/10. Further, in this embodiment, the coordinates of the face feature point EyeR corresponding to the right eye serving as the reference feature point are warped in the pixel columns (vertical direction) for the grayscale image signal near the right eye, as shown in FIG. Examine the distribution of light and dark signal values (pixel values), and change from light (white) to dark (black) (rising edge of the density, indicated by a circle in the figure) and dark (black) to light (white). Detects the changing point (concentration falling edge, indicated by x in the figure), and detects the left end EL and right end ER of the right eye by examining the continuous state (connected state) of the rising edge in the horizontal direction Then, the pixel point of the edge portion at the uppermost edge in the vertical direction among the rising edge portions is the upper end EU of the eye, the pixel point of the falling edge portion in the pixel column to which the upper end EU belongs is the lower end EB of the eye, The coordinates of the right eye as the facial feature point EyeR, with the midpoint of the top EU and bottom EB ( And table position).
〔特徴点正規化処理〕
次に、図12に示すフローチャートを参照して、特徴点正規化処理を実行する際の表情推定装置1の動作について説明する。
[Feature point normalization]
Next, the operation of the facial expression estimation apparatus 1 when executing the feature point normalization process will be described with reference to the flowchart shown in FIG.
図12に示すフローチャートは、初回の特徴点検出処理又は特徴点追跡処理が終了する度毎に開始となり、特徴点正規化処理はステップS31の処理に進む。   The flowchart shown in FIG. 12 is started every time the first feature point detection process or feature point tracking process ends, and the feature point normalization process proceeds to the process of step S31.
ステップS31の処理では、顔特徴点正規化部21が、左右の目に対応する顔特徴点の座標中心位置を重心位置(x,y)として算出する。これにより、ステップS31の処理は完了し、特徴点正規化処理はステップS32の処理に進む。   In the process of step S31, the face feature point normalization unit 21 calculates the coordinate center position of the face feature points corresponding to the left and right eyes as the barycentric position (x, y). Thereby, the process of step S31 is completed, and the feature point normalization process proceeds to the process of step S32.
ステップS32の処理では、顔特徴点正規化部21が、左右の目に対応する顔特徴点を結ぶ直線を定義し、定義された直線の水平軸に対する傾き角度θを算出する。これにより、ステップS3の処理は完了し、特徴点正規化処理はステップS32の処理に進む。   In step S32, the face feature point normalization unit 21 defines a straight line connecting the face feature points corresponding to the left and right eyes, and calculates an inclination angle θ of the defined straight line with respect to the horizontal axis. Thereby, the process of step S3 is completed, and the feature point normalization process proceeds to the process of step S32.
ステップS33の処理では、顔特徴点正規化部21が、左右の目に対応する顔特徴点を結ぶ直線が水平になるようにステップS1の処理により算出された重心位置(x,y)を中心として各顔特徴点を傾き角度−θだけ回転移動させる。これにより、ステップS33の処理は完了し、特徴点正規化処理はステップS34の処理に進む。   In the process of step S33, the face feature point normalization unit 21 centers the centroid position (x, y) calculated by the process of step S1 so that the straight line connecting the face feature points corresponding to the left and right eyes is horizontal. Each facial feature point is rotated and moved by an inclination angle −θ. Thereby, the process of step S33 is completed, and the feature point normalization process proceeds to the process of step S34.
ステップS34の処理では、顔特徴点正規化部21が、左右の目のうち一方の目の目尻と重心位置(x,y)間の水平方向距離が単位長さ1になるように顔特徴点の座標値を変換する。これにより、ステップS34の処理は完了し、一連の特徴点検出処理は終了する。   In the process of step S34, the face feature point normalizing unit 21 sets the face feature point so that the horizontal distance between the eye corner of one eye and the center of gravity (x, y) of the left and right eyes is unit length 1. Convert the coordinate value of. Thereby, the process of step S34 is completed, and a series of feature point detection processes ends.
この特徴点正規化処理によれば、複数の顔画像間で向きや傾き又は長さ等の空間的な位置関係を統一することができるので、複数の顔画像間で個人差(顔立ち自体の差異や姿勢の差に基づく差異等)が生じても、顔特徴点の位置関係を容易に比較することができると共に、個人差により誤検出を抑制できる。   According to this feature point normalization processing, spatial positional relationships such as orientation, inclination, or length can be unified among a plurality of face images, so individual differences (differences in facial features themselves) between a plurality of face images. Even if a difference or the like based on a difference in posture occurs, the positional relationship between facial feature points can be easily compared, and erroneous detection can be suppressed due to individual differences.
〔特徴計算処理〕
次に、図15を参照して、正規化された顔特徴点の位置情報に基づいて顔画像毎に運転者2の顔の特徴を計算する特徴計算処理を実行する際の表情推定装置1の動作について説明する。
[Feature calculation processing]
Next, referring to FIG. 15, the facial expression estimation apparatus 1 performs a feature calculation process for calculating the facial feature of the driver 2 for each facial image based on the normalized facial feature point position information. The operation will be described.
特徴計算処理では、始めに特徴計算部22が、図15に示すように正規化された顔特徴点の座標値に基づいて顔特徴点間の距離や向き,方向,顔特徴点付近での濃度変化等を特徴量パラメータとして算出する。本実施形態では、特徴計算部22は、目の縦横比a,目と口端の間の縦方向距離a,目と眉の間の縦方向距離a等のn個の特徴量パラメータを算出し、特徴量P{a,a,a,…,a}を得る。次に特徴計算部22は、運転者2の特徴量パラメータの平均値(平常時の運転者の表情を示す特徴量パラメータ)を算出し、平均特徴量Q{a1AV,a2AV,a3AV,…,anAV}を得る。運転者2の特徴量パラメータの平均値は、直近の一定時間内の各特徴量パラメータの平均値を算出したり、直近の一定時間内の各特徴量パラメータの度数分布から最頻度の値を抽出したりすることにより算出できる。そして最後に特徴計算部22は、特徴量P{a,a,a,…,a}と平均特徴量Q{a1AV,a2AV,a3AV,…,anAV}の各特徴量パラメータの差分値を特徴ベクトルX{x,x,x,…,x}として算出する。特徴ベクトルX{x,x,x,…,x}の各要素は0〜1の間の実数値に正規化されている。このように特徴計算処理では、運転者2の平常時の表情からの顔特徴点の位置変化量を特徴ベクトルX{x,x,x,…,x}として算出する。 In the feature calculation process, first, the feature calculation unit 22 performs distances, directions, directions, and densities near the face feature points between the face feature points based on the normalized coordinate values of the face feature points as shown in FIG. A change or the like is calculated as a feature amount parameter. In the present embodiment, the feature calculation unit 22 includes n feature parameter parameters such as the aspect ratio a 1 of the eye, the vertical distance a 2 between the eyes and the mouth edge, and the vertical distance a 3 between the eyes and the eyebrows. , And a feature amount P {a 1 , a 2 , a 3 ,..., A n } is obtained. Next, the feature calculation unit 22 calculates an average value of the feature amount parameters of the driver 2 (a feature amount parameter indicating a driver's expression during normal times), and calculates an average feature amount Q {a 1AV , a 2AV , a 3AV , ..., a nAV }. For the average value of the feature parameter of driver 2, the average value of each feature parameter within the latest fixed time is calculated, or the most frequent value is extracted from the frequency distribution of each feature parameter within the latest fixed time It can be calculated by doing. Finally feature calculation unit 22, feature amount P {a 1, a 2, a 3, ..., a n} and average feature quantity Q {a 1AV, a 2AV, a 3AV, ..., a nAV} each feature The difference value of the quantity parameter is calculated as a feature vector X {x 1 , x 2 , x 3 ,..., X n }. Each element of the feature vector X {x 1 , x 2 , x 3 ,..., X n } is normalized to a real value between 0 and 1. In this way, in the feature calculation process, the position change amount of the facial feature point from the normal expression of the driver 2 is calculated as the feature vector X {x 1 , x 2 , x 3 ,..., X n }.
〔表情クラス分け処理〕
次に、図16を参照して、特徴ベクトルX{x,x,x,…,x}を用いて運転者2の顔の表情を顔画像毎に判定する表情クラス分け処理を実行する際の表情推定装置1の動作について説明する。
[Facial expression classification processing]
Next, referring to FIG. 16, facial expression classification processing for determining facial expressions of driver 2 for each facial image using feature vectors X {x 1 , x 2 , x 3 ,..., X n }. The operation of the facial expression estimation apparatus 1 when executed will be described.
表情クラス分け処理では、始めに表情クラス分け部23が、喜び(Happy),怒り(Anger),驚き(Surprise)等の各表情を示す表情クラス毎にラベリングされた特徴ベクトル群の領域を特徴空間(原点は平均特徴量)内に形成した表情モデルを記憶部6から読み出し、読み出された表情モデルを利用して特徴計算処理により算出された特徴ベクトルX{x,x,x,…,x}を特徴空間にマッピングする。そして最後に表情クラス分け部23は、特徴ベクトルX{x,x,x,…,x}と各表情クラスの位置関係を求め、特徴ベクトルがどの表情クラスに属するのかを判定することにより、特徴ベクトルX{x,x,x,…,x}により表される運転者2の顔の表情を特定する。 In the facial expression classification process, first, the facial expression classification unit 23 displays a region of feature vector groups labeled for each facial expression class indicating each facial expression such as happiness, anger, surprise, etc. The facial expression model formed within (the origin is the average feature amount) is read from the storage unit 6, and the feature vector X {x 1 , x 2 , x 3 , calculated by the feature calculation processing using the read facial expression model is used. .., X n } are mapped to the feature space. Finally, the facial expression classifying unit 23 obtains the positional relationship between the feature vectors X {x 1 , x 2 , x 3 ,..., X n } and each facial expression class, and determines which facial expression class the feature vector belongs to. Thus, the facial expression of the driver 2 represented by the feature vector X {x 1 , x 2 , x 3 ,..., X n } is specified.
具体的には図16に示す例では、特徴ベクトルX1は表情クラスAに属するので、表情クラス分け部23は運転者2の表情は表情クラスAが示す表情であると判定する。また同様に、特徴ベクトルX2は表情クラスBに属するので、表情クラス分け部23は運転者2の表情は表情クラスBが示す表情であると判定する。一方、特徴ベクトルX3はどの表情クラスにも属さないので特徴ベクトルX3のクラスは該当無しとなるが、この場合表情クラス分け部23は、特徴ベクトルXの終点位置と各表情クラスA,Bの中心位置Ac,Bcとの各距離の比に基づいて各表情クラスへの帰属割合を算出し、特徴ベクトルXが属する表情クラスを決定することが望ましい。   Specifically, in the example shown in FIG. 16, the feature vector X1 belongs to the expression class A, so the expression classification unit 23 determines that the expression of the driver 2 is the expression indicated by the expression class A. Similarly, since the feature vector X2 belongs to the expression class B, the expression classification unit 23 determines that the expression of the driver 2 is the expression indicated by the expression class B. On the other hand, since the feature vector X3 does not belong to any expression class, the class of the feature vector X3 is not applicable. In this case, the expression classifying unit 23 determines the end point position of the feature vector X and the center of each of the expression classes A and B. It is desirable to calculate the attribution ratio to each facial expression class based on the ratio of each distance to the positions Ac and Bc, and determine the facial expression class to which the feature vector X belongs.
〔表情強度計算処理〕
次に、図17,18を参照して、特徴ベクトルX{x,x,x,…,x}とその特徴ベクトルが属する表情クラスの情報を用いて運転者2の顔の表情の強度(度合い)を顔画像毎に判定する表情強度計算処理を実行する際の表情推定装置1の動作について説明する。
[Facial expression strength calculation processing]
Next, referring to FIGS. 17 and 18, the facial expression of the driver 2 using the feature vector X {x 1 , x 2 , x 3 ,..., X n } and information on the facial expression class to which the feature vector belongs. The operation of the facial expression estimation apparatus 1 when executing facial expression strength calculation processing for determining the strength (degree) of each facial image will be described.
表情強度計算処理では、始めに表情強度計算部24が、記憶部6に予め記憶されている図17に示すような特徴ベクトルX{x,x,x,…,x}の各要素の重み付け係数(特徴重み)Wとオフセット値Offsetを表情クラス毎に示すテーブルを参照して、表情クラス分け処理により判定された表情クラスに対応する各要素の重み付け係数Wとオフセット値Offsetを決定する。次に、表情強度計算部24は、特徴ベクトルX{x,x,x,…,x}の各要素に対応する重み付け係数Wを乗算した後、得られた乗算値とオフセット値Offsetを加算することにより運転者の顔の表情2の強度(0〜1の値)を算出する。そして最後に表情強度計算部24は、特徴ベクトルX{x,x,x,…,x}が属する表情クラスが示す表情とその強度の情報を出力する。例えば出力先が車室内の表示画面に各種情報を表示する表示制御部である場合、表示制御部は図19に示すように1軸の棒グラフで運転者2の表情とその強度を表示画面上に表示する。これにより運転者2は自身の現在の状態を視覚的に認識することができる。 In the expression intensity calculation process, first, the expression intensity calculation unit 24 stores each of feature vectors X {x 1 , x 2 , x 3 ,..., X n } as shown in FIG. Referring to the table showing the element weighting factor (feature weight) W and offset value Offset for each expression class, the weighting factor W and offset value Offset of each element corresponding to the expression class determined by the expression classifying process are determined. To do. Next, the facial expression strength calculation unit 24 multiplies the weighting coefficient W corresponding to each element of the feature vector X {x 1 , x 2 , x 3 ,..., X n }, and then obtains the multiplied value and the offset value. The intensity of the facial expression 2 (value of 0 to 1) of the driver is calculated by adding Offset. Finally, the facial expression strength calculation unit 24 outputs the facial expression and the strength information indicated by the facial expression class to which the feature vector X {x 1 , x 2 , x 3 ,..., X n } belongs. For example, when the output destination is a display control unit that displays various types of information on the display screen in the passenger compartment, the display control unit displays the facial expression of the driver 2 and its intensity on the display screen as a one-axis bar graph as shown in FIG. indicate. As a result, the driver 2 can visually recognize his current state.
なお、例えば出力先が車両の走行状態を制御する車両制御装置である場合には、車両制御装置は出力情報に基づいて例えば表示装置,空調装置,乗員が着座しているシートの状態,車両の走行状態等を制御して運転者2の状態が肯定的側(詳しくは後述)になるように車両制御を行っても良い。 For example, when the output destination is a vehicle control device that controls the traveling state of the vehicle, the vehicle control device, based on the output information, for example, the display device, the air conditioner, the state of the seat on which the occupant is seated, The vehicle control may be performed such that the driving state is controlled so that the state of the driver 2 is on the positive side (described later in detail).
表情の強度は0.5を中心として1に近い方が車両の運転に対して肯定的(Positive)、0に近い方が車両の運転に対して否定的(Negative)となるように設定されている。車両の運転に対して肯定的とは、運転者2が、運転においていらいらや不安,心配,退屈,眠気を感じでなく、車両の運転を積極的に楽しんでいる,車両状態が完全に制御できている、又はリラックスしている状態を示す。この場合、運転者2の表情は活き活きとしており、場合によっては微笑みや幸せ(Happy)に似た表情を見せる。例えば幸せの表情では、運転者2の口の端が上がり、目尻が下がるので、特徴量パラメータの一つである目と口端の間の縦方向距離aは短くなる傾向にある。そこで縦方向距離aに対応する重み付け係数wの値を大きく設定することにより、表情の強度が0.5以上、すなわち運転者2が車両の運転に対し肯定的と判定されるように設定されている。 The intensity of facial expression is set so that the value closer to 1 around 0.5 is positive for driving the vehicle, and the one close to 0 is negative for driving the vehicle. Yes. Positive for driving the vehicle is that the driver 2 is actively enjoying driving the vehicle without feeling frustrated, anxious, worried, bored or drowsy in driving. Indicates a state of being relaxed or relaxed. In this case, the expression of the driver 2 is lively, and in some cases, an expression resembling a smile or happiness is displayed. For example, in the happy expression, a raised edge of the driver 2 of the mouth, since the outer corner of the eye drops, longitudinal distance a 2 between the eyes and the mouth end, which is one of the feature parameters tends to be shorter. Therefore, by setting the weighting coefficient w 2 corresponding to the longitudinal distance a 2 to be large, the facial expression strength is set to 0.5 or more, that is, the driver 2 is determined to be positive for driving the vehicle. Has been.
一方、車両の運転に対して否定的とは、運転者2が周囲環境や技量等によって車両を思った通りに制御できない状態を示し、運転者はいらいらや不安,心配,退屈,眠気を感じる。また急激な周囲環境の変化のために運転者2が驚き(Surprise)や硬直により車両を制御できていない状態である場合もある。そして例えば驚きの表情では、運転者2は目を大きく見開き、眉が上に上がり、場合によっては口が開くために、特徴量パラメータである目の縦横比aと目と眉の間の縦方向距離aが大きくなる傾向にある。そこで縦横比a及び縦方向距離aに対応する重み付け係数w,wの値を負値に設定することにより、表情の強度が0.5以下、すなわち運転者2が所領の運転に対し否定的と判定されるように設定されている。 On the other hand, negative for driving the vehicle indicates a state in which the driver 2 cannot control the vehicle as expected by the surrounding environment and skill, and the driver feels annoyed, anxious, anxious, bored and sleepy. Further, the driver 2 may not be able to control the vehicle due to surprise or rigidity due to a sudden change in the surrounding environment. For example, in a surprised expression, the driver 2 widens his eyes, raises his eyebrows upward, and sometimes opens his mouth, so that the aspect ratio a 1 of the eye, which is a feature parameter, and the length between the eyes and the eyebrows. tends direction distance a 3 increases. Therefore, by setting the values of the weighting factors w 1 and w 3 corresponding to the aspect ratio a 1 and the vertical distance a 3 to negative values, the intensity of the facial expression is 0.5 or less, that is, the driver 2 can drive in the area. On the other hand, it is set to be determined as negative.
本発明の実施形態となる表情推定装置1によれば、撮像装置4が、運転者2の顔画像を撮像し、特徴点出力部8が、撮像装置4により撮像された顔画像の中から顔の特徴点を複数抽出し、表情推定部9が、対象人物の平常時の顔画像から抽出された複数の特徴点の位置から抽出された特徴点の位置への特徴点の変化に応じて、対象人物の顔の表情を推定するので、運転者毎に異なる目や鼻等の形状に基づいて運転者の顔の表情を推定するのではなく、形状に依存しない目や鼻等の位置関係に基づいて運転者の顔の表情を推定することができるので、運転者の顔の表情を精度高く判定できる。   According to the facial expression estimation device 1 according to the embodiment of the present invention, the imaging device 4 captures the face image of the driver 2, and the feature point output unit 8 detects the face from the face images captured by the imaging device 4. A plurality of feature points are extracted, and the facial expression estimation unit 9 changes the feature points to the extracted feature point positions from the plurality of feature point positions extracted from the normal face image of the target person, Since the facial expression of the target person is estimated, the facial expression of the driver is not estimated based on the shape of the eyes and nose that differs for each driver. Since the facial expression of the driver can be estimated based on this, the facial expression of the driver can be determined with high accuracy.
また、特徴点検出処理において、特に目の縦横比、目と口端間の縦方向距離、及び目と眉間の縦方向距離に対して重み付けを大きくすることで、目、口及び眉以外に対して検出される特徴点の影響を受けにくくすることができる。   In addition, in the feature point detection process, particularly for the aspect ratio of the eyes, the vertical distance between the eyes and the mouth edge, and the vertical distance between the eyes and the eyebrows, the weight is increased, so that It is possible to reduce the influence of the detected feature points.
〔実験例〕
最後に、従来の表情推定装置を用いて運転者2の表情を推定した実験結果と本発明の実施形態となる表情推定装置1を用いて運転者2の表情を推定した実験結果とをそれぞれ図20,21に示す。図20に示すように、従来の表情推定装置によれば、運転者は実際にはSleepyと表記されているタイミングにおいてのみ眠そうな表情を表しているのにも係わらず、その他のタイミングにおいても眠そうな表情と誤って判定しまう誤判定(破線の枠内で示すプロット)が頻繁に生じている。すなわち認識した表情クラスと正しい表情クラスとが一致しないタイミングが多い。これに対して、本発明の実施形態となる表情推定装置1によれば、図21に示すように、ほぼ運転者が実際に眠そうな表情を表しているタイミングにおいてのみ眠そうな表情であると判定している。すなわち認識した表情クラスと正しい表情クラスの一致精度が高いという結果が得られた。 以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、この実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論である。
[Experimental example]
Finally, an experimental result of estimating the facial expression of the driver 2 using the conventional facial expression estimation device and an experimental result of estimating the facial expression of the driver 2 using the facial expression estimation device 1 according to the embodiment of the present invention are respectively shown. 20 and 21. As shown in FIG. 20, according to the conventional facial expression estimation device, the driver actually expresses a sleepy expression only at the timing described as Sleepy, but also at other timings. There are frequent misjudgments (plots shown in broken lines) that are misjudged as sleepy expressions. That is, there are many timings when the recognized facial expression class does not match the correct facial expression class. On the other hand, according to the facial expression estimation apparatus 1 according to the embodiment of the present invention, as shown in FIG. 21, the facial expression is likely to sleep only at the timing when the driver actually expresses the facial expression that is likely to sleep. It is determined. In other words, the result was that the accuracy of matching the recognized facial expression class with the correct facial expression class was high. As mentioned above, although embodiment which applied the invention made by the present inventors was described, this invention is not limited by description and drawing which make a part of indication of this invention by this embodiment. That is, it is needless to say that other embodiments, examples, operation techniques, and the like made by those skilled in the art based on the present embodiment are all included in the scope of the present invention.
本発明の実施形態となる表情推定装置の構成を示すブロック図である。It is a block diagram which shows the structure of the facial expression estimation apparatus used as embodiment of this invention. 図1に示す特徴点出力部の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the feature point output part shown in FIG. 図1に示す表情推定部の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the facial expression estimation part shown in FIG. 本発明の実施形態となる特徴点検出処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of the feature point detection process used as embodiment of this invention. (a)顔画像から検出されたエッジ画像,(b)ノイズ成分が除去されたエッジ画像,及び顔特徴点の候補を示す図である。It is a figure which shows the candidate of (a) the edge image detected from the face image, (b) the edge image from which the noise component was removed, and a face feature point. (a)ラベリング処理後の顔特徴点,(b)照合処理後の顔特徴点,及び(c)選択処理後の顔特徴点を示す図である。It is a figure which shows (a) the face feature point after a labeling process, (b) the face feature point after a collation process, and (c) the face feature point after a selection process. 照合処理を説明するための顔特徴点の組み合わせを示す模式図である。It is a schematic diagram which shows the combination of the face feature point for demonstrating collation processing. 特徴点検出処理により得られた顔特徴点の一例を示す図である。It is a figure which shows an example of the face feature point obtained by the feature point detection process. 本発明の実施形態となる特徴点追跡処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of the feature point tracking process used as embodiment of this invention. (a)基準特徴点の追跡方法,及び(a)基準特徴点を利用して他の顔特徴点を追跡する方法を説明するための模式図である。It is a schematic diagram for demonstrating (a) the tracking method of a reference | standard feature point, and (a) the method of tracking another face feature point using a reference | standard feature point. 右目の位置を示す基準特徴点EyeRと他の顔特徴点の位置関係を示す模式図である。FIG. 6 is a schematic diagram showing a positional relationship between a reference feature point EyeR indicating the position of the right eye and other face feature points. (a)右目の位置を示す特徴点EyeRを基準特徴点とした時の顔特徴点の位置、(b)左目の位置を示す顔特徴点EyeLを基準特徴点とした時の顔特徴点の位置を示す図である。(A) The position of the face feature point when the feature point EyeR indicating the position of the right eye is the reference feature point, (b) The position of the face feature point when the face feature point EyeL indicating the position of the left eye is the reference feature point FIG. 本発明の実施形態となる特徴点正規化処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of the feature point normalization process used as embodiment of this invention. 図13に示す正規化処理後の顔特徴点の座標の一例を示す図である。It is a figure which shows an example of the coordinate of the face feature point after the normalization process shown in FIG. 本発明の実施形態となる特徴計算処理を説明するための模式図である。It is a schematic diagram for demonstrating the feature calculation process used as embodiment of this invention. 本発明の実施形態となる表情クラス分け処理を説明するための特徴空間を示す模式図である。It is a schematic diagram which shows the feature space for demonstrating the facial expression classification process used as embodiment of this invention. 特徴ベクトルX{x,x,x,…,x}の各要素の重み付け係数Wとオフセット値Offsetを表情クラス毎に示すテーブルの一例である。Feature vector X {x 1, x 2, x 3, ..., x n} is an example of a table indicating a weighting factor W and the offset value Offset for each element for each expression class. 本発明の実施形態となる表情強度計算処理を説明するための模式図である。It is a schematic diagram for demonstrating the expression intensity | strength calculation process used as embodiment of this invention. 図18に示す表情強度計算処理により出力される運転者の表情とその強度の一例を示す図である。It is a figure which shows an example of a driver | operator's facial expression output by the facial expression strength calculation process shown in FIG. 18, and its intensity | strength. 従来の表情推定装置により推定された運転者の表情の遷移状態を示す図である。It is a figure which shows the transition state of a driver | operator's facial expression estimated by the conventional facial expression estimation apparatus. 本発明の実施形態となる表情推定装置により推定された運転者の表情の遷移状態を示す図である。It is a figure which shows the transition state of a driver | operator's facial expression estimated by the facial expression estimation apparatus used as embodiment of this invention.
符号の説明Explanation of symbols
1:表情推定装置
2:運転者
3:照明器具
4:撮像装置
5:マイクロコンピュータ
6:記憶部
7:顔画像取得部
8:特徴点出力部
9:表情推定部
10:表情信号出力部
11:顔特徴検出部
12:顔特徴点追跡部12
21:顔特徴点正規化部
22:特徴計算部
23:表情クラス分け部
24:表情強度計算部
1: facial expression estimation device 2: driver 3: lighting fixture 4: imaging device 5: microcomputer 6: storage unit 7: face image acquisition unit 8: feature point output unit 9: facial expression estimation unit 10: facial expression signal output unit 11: Face feature detection unit 12: Face feature point tracking unit 12
21: Face feature point normalization unit 22: Feature calculation unit 23: Expression classification unit 24: Expression intensity calculation unit

Claims (10)

  1. 対象人物の顔画像を取得する取得手段と、
    前記取得手段により取得された顔画像の中から顔の特徴点を複数抽出する抽出手段と、
    前記対象人物の平常時の顔画像から抽出された複数の特徴点の位置から前記抽出された特徴点の位置への特徴点の変化に応じて対象人物の顔の表情を推定する推定手段と、
    を備えることを特徴とする表情推定装置。
    An acquisition means for acquiring a face image of the target person;
    Extraction means for extracting a plurality of facial feature points from the face image acquired by the acquisition means;
    Estimating means for estimating facial expression of the target person according to a change of the feature point from the position of the plurality of feature points extracted from the normal face image of the target person to the position of the extracted feature point;
    A facial expression estimation device comprising:
  2. 請求項1記載の表情推定装置であって、
    前記抽出手段は、前記対象人物の目、口、及び眉に対応する位置を前記特徴点として抽出することを特徴とする表情推定装置。
    The facial expression estimation apparatus according to claim 1,
    The expression estimation apparatus, wherein the extraction unit extracts positions corresponding to eyes, mouths, and eyebrows of the target person as the feature points.
  3. 請求項2に記載の表情推定装置において、
    前記抽出手段は、前記対象人物の目,口,及び眉に対応する位置を前記特徴点としていずれかを抽出し、前記推定手段は、目の縦横比、目と口端間の縦方向距離,及び目と眉間の縦方向距離を少なくとも含む複数の特徴量パラメータを算出し、各特徴量パラメータの平常時からの変化量によって対象人物の顔の表情を推定することを特徴とする表情推定装置。
    The facial expression estimation apparatus according to claim 2,
    The extraction means extracts any of the positions corresponding to the eyes, mouth, and eyebrows of the target person as the feature points, and the estimation means includes an aspect ratio of the eyes, a vertical distance between the eyes and the mouth edge, And a facial expression estimation device that calculates a plurality of feature amount parameters including at least a vertical distance between eyes and eyebrows, and estimates a facial expression of the target person based on a change amount of each feature amount parameter from a normal time.
  4. 請求項3に記載の表情推定装置において、
    前記推定手段は、複数の特徴量パラメータの平常時からの変化量を要素とする特徴ベクトルを定義し、表情を示すクラス毎にラベリングされた特徴ベクトル群の領域を特徴空間内に形成した表情モデルに基づいて定義された特徴ベクトルを特徴空間にマッピングし、特徴ベクトルがどのクラスに属するのかを判定することにより、対象人物の顔の表情を推定することを特徴とする表情推定装置。
    In the facial expression estimation apparatus according to claim 3,
    The estimation means defines a feature vector having a change amount from a normal time of a plurality of feature quantity parameters as an element, and an expression model in which an area of a feature vector group labeled for each class indicating an expression is formed in the feature space A facial expression estimation apparatus characterized in that a facial expression of a target person is estimated by mapping a feature vector defined on the basis of a feature space to a feature space and determining which class the feature vector belongs to.
  5. 対象人物の平常時の顔画像から抽出された複数の特徴点の位置と、撮像された顔画像から抽出された複数の顔の特徴点との変化に応じて前記対象人物の顔の表情を推定することを特徴とする表情推定方法。   Estimating facial expressions of the target person according to changes in the positions of the plurality of feature points extracted from the normal face image of the target person and the feature points of the plurality of faces extracted from the captured face image A facial expression estimation method characterized by:
  6. 対象人物の顔画像を取得する取得手段と、
    前記取得手段により取得された顔画像の中から顔の特徴点を複数抽出する抽出手段と、
    前記対象人物の平常時の顔画像から抽出された複数の特徴点の位置から前記抽出された特徴点の位置への特徴点の変化に応じて対象人物の顔の表情を推定する推定手段と、
    前記推定手段により推定された運転者の顔の表情に基づいて運転者が車両の運転に対し肯定的又は否定的であるか否かを判定する判定手段と、
    前記判定手段の判定結果を運転者に提示する提示手段と、
    を備えることを特徴とする車両制御装置。
    An acquisition means for acquiring a face image of the target person;
    Extraction means for extracting a plurality of facial feature points from the face image acquired by the acquisition means;
    Estimating means for estimating facial expression of the target person according to a change of the feature point from the position of the plurality of feature points extracted from the normal face image of the target person to the position of the extracted feature point;
    Determining means for determining whether the driver is positive or negative for driving the vehicle based on the facial expression of the driver estimated by the estimating means;
    Presenting means for presenting the determination result of the determining means to the driver;
    A vehicle control device comprising:
  7. 請求項6に記載の車両制御装置において、
    前記抽出手段は、前記対象人物の目、口、及び眉に対応する位置を前記特徴点としていずれかを抽出することを特徴とする車両制御装置。
    The vehicle control device according to claim 6,
    The vehicle extracting apparatus according to claim 1, wherein the extraction unit extracts any one of positions corresponding to eyes, mouths, and eyebrows of the target person as the feature points.
  8. 請求項7に記載の車両制御装置において、
    前記抽出手段は、前記対象人物の目、口、及び眉に対応する位置を前記特徴点として抽出し、前記推定手段は、目の縦横比,目と口端間の縦方向距離,及び目と眉間の縦方向距離を少なくとも含む複数の特徴量パラメータを算出し、各特徴量パラメータの平常時からの変化量に基づいて対象人物の顔の表情を推定することを特徴とする車両制御装置。
    The vehicle control device according to claim 7, wherein
    The extraction means extracts positions corresponding to the eyes, mouth, and eyebrows of the target person as the feature points, and the estimation means includes an aspect ratio of eyes, a vertical distance between eyes and mouth edges, and eyes A vehicle control apparatus that calculates a plurality of feature amount parameters including at least a vertical distance between eyebrows and estimates a facial expression of a target person based on a change amount of each feature amount parameter from a normal time.
  9. 請求項8に記載の車両制御装置において、
    前記推定手段は、複数の特徴量パラメータの平常時からの変化量を要素とする特徴ベクトルを定義し、表情を示すクラス毎にラベリングされた特徴ベクトル群の領域を特徴空間内に形成した表情モデルに基づいて定義された特徴ベクトルを特徴空間にマッピングし、特徴ベクトルがどのクラスに属するのかを判定することにより、対象人物の顔の表情を推定することを特徴とする車両制御装置。
    The vehicle control device according to claim 8, wherein
    The estimation means defines a feature vector having a change amount from a normal time of a plurality of feature quantity parameters as an element, and an expression model in which an area of a feature vector group labeled for each class indicating an expression is formed in the feature space A vehicle control apparatus that maps a feature vector defined based on the feature space to a feature space and estimates a facial expression of the target person by determining which class the feature vector belongs to.
  10. 請求項8又は請求項9に記載の車両制御装置において、
    前記判定手段は、前記複数の特徴量パラメータ及び前記表情毎に予め設定された重み付け係数を対応する特徴量パラメータに乗算し、得られた乗算値の積算値と閾値の大小関係を比較することにより運転者が車両の運転に対し肯定的又は否定的であるか否かを判定することを特徴とする車両制御装置。
    In the vehicle control device according to claim 8 or 9,
    The determination means multiplies the corresponding feature amount parameter by a weighting coefficient set in advance for each of the plurality of feature amount parameters and the facial expression, and compares the obtained multiplication value with a threshold value. A vehicle control device that determines whether or not a driver is positive or negative for driving a vehicle.
JP2007259969A 2007-10-03 2007-10-03 Vehicle control device Expired - Fee Related JP5092663B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007259969A JP5092663B2 (en) 2007-10-03 2007-10-03 Vehicle control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007259969A JP5092663B2 (en) 2007-10-03 2007-10-03 Vehicle control device

Publications (2)

Publication Number Publication Date
JP2009087303A true JP2009087303A (en) 2009-04-23
JP5092663B2 JP5092663B2 (en) 2012-12-05

Family

ID=40660604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007259969A Expired - Fee Related JP5092663B2 (en) 2007-10-03 2007-10-03 Vehicle control device

Country Status (1)

Country Link
JP (1) JP5092663B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068719A (en) * 2010-09-21 2012-04-05 Fujitsu Ltd Image processing program and image processing device
JP2013228847A (en) * 2012-04-25 2013-11-07 Nippon Hoso Kyokai <Nhk> Facial expression analyzing device and facial expression analyzing program
JP2014119879A (en) * 2012-12-14 2014-06-30 Nippon Hoso Kyokai <Nhk> Face expression evaluation result smoothing device and face expression evaluation result smoothing program
KR101787255B1 (en) * 2016-05-11 2017-11-15 이화여자대학교 산학협력단 Facial expression recognition method based on ratio of facial ladnmark's distance

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0676058A (en) * 1992-06-22 1994-03-18 Masashige Furukawa Expression encoding device and emotion discriminating device
JP2005056388A (en) * 2003-07-18 2005-03-03 Canon Inc Image processing apparatus, image processing method and imaging device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0676058A (en) * 1992-06-22 1994-03-18 Masashige Furukawa Expression encoding device and emotion discriminating device
JP2005056388A (en) * 2003-07-18 2005-03-03 Canon Inc Image processing apparatus, image processing method and imaging device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068719A (en) * 2010-09-21 2012-04-05 Fujitsu Ltd Image processing program and image processing device
JP2013228847A (en) * 2012-04-25 2013-11-07 Nippon Hoso Kyokai <Nhk> Facial expression analyzing device and facial expression analyzing program
JP2014119879A (en) * 2012-12-14 2014-06-30 Nippon Hoso Kyokai <Nhk> Face expression evaluation result smoothing device and face expression evaluation result smoothing program
KR101787255B1 (en) * 2016-05-11 2017-11-15 이화여자대학교 산학협력단 Facial expression recognition method based on ratio of facial ladnmark's distance

Also Published As

Publication number Publication date
JP5092663B2 (en) 2012-12-05

Similar Documents

Publication Publication Date Title
CN104081757B (en) Image processing equipment, image processing method, image processing system
JP4307496B2 (en) Facial part detection device and program
JP4137969B2 (en) Eye detection device, eye detection method, and program
JP4534700B2 (en) Person detection apparatus and method
US8837773B2 (en) Apparatus which detects moving object from image and method thereof
JP5801237B2 (en) Part estimation apparatus, part estimation method, and part estimation program
US8055016B2 (en) Apparatus and method for normalizing face image used for detecting drowsy driving
KR101510798B1 (en) Portable Facial Expression Training System and Methods thereof
JP4501003B2 (en) Face posture detection system
JP4912206B2 (en) Image processing method, image processing apparatus, image processing system, and computer program
JP4445454B2 (en) Face center position detection device, face center position detection method, and program
JP2007257043A (en) Occupant state estimating device and occupant state estimating method
JP5661043B2 (en) External light reflection determination device, line-of-sight detection device, and external light reflection determination method
US20120219228A1 (en) Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
US9298995B2 (en) Red-eye determination device
JP4992823B2 (en) Face detection apparatus and face detection method
US8571266B2 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
JP2003150942A (en) Eye position tracing method
JP5092663B2 (en) Vehicle control device
JP2004038531A (en) Method and device for detecting position of object
US20130329964A1 (en) Image-processing device and image-processing program
JP2009205283A (en) Image processing apparatus, method and program
JPH08287216A (en) In-face position recognizing method
CN101383005A (en) Method for separating passenger target image and background by auxiliary regular veins
JP3732757B2 (en) Image recognition method and image recognition apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111004

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120821

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120903

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150928

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees