New! boolean search, graphs, thumbnail grids and downloads

Face direction detector and face direction detection method

Info

Publication number
JP2008186247A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
face direction
face
individual difference
direction
difference
Prior art date
Application number
JP2007019335A
Other languages
Japanese (ja)
Inventor
Toshiya Irie
俊也 入江
Original Assignee
Oki Electric Ind Co Ltd
沖電気工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a face direction detector allowing achievement of sufficient detection accuracy by reducing influence upon the detection accuracy by an individual difference when detecting a face direction from two-dimensional characteristic point coordinates even if the face direction detection device is a small device such as a portable device. <P>SOLUTION: A face direction decision device 100 has: an image input part 101 for entering a face of a user as an image; a characteristic point extraction part 102 for extracting a characteristic point of the face of the user from the image; a face direction decision part 103 for deciding the face direction of the user based on a prescribed threshold from the characteristic point; an individual difference adjustment part 104 for acquiring individual difference information for adjusting the individual difference about each the face direction of each the user; and an individual difference information storage part 105 updating the threshold by use of the individual difference information and registering it in each the user. By updating the threshold, the face direction detection wherein the individual difference of the user is considered can be performed. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、顔向き検出装置および顔向き検出方法にかかり、特に、入力画像から利用者の顔部分の特徴点を検出し、その顔向きを判別することによってポインタを操作する非接触インタフェースに用いられる顔向き検出装置および顔向き検出方法に関する。 The present invention relates to a face orientation detection device and face direction detection method, in particular, to detect the feature points of the face part of the user from the input image, using the contactless interface to manipulate the pointer by determining the face orientation on the face orientation detecting apparatus and face direction detection method is.

近年、非接触インタフェースの技術が一般的になってきており、例えばカメラ等から入力した画像から利用者の顔の向きや視線の方向を検出することで装置を操作する方法が数多く提案されている。 Recently, a non-contact interface technology is becoming common, a method of operating a device by detecting the direction and the direction of the sight line of the face of the user from the image input from, for example, a camera or the like has been proposed . 顔向きを検出する方法には、大別すると各方向の顔画像のパターンをテンプレートとして入力画像とマッチングを行う方法と、顔部品(目、口、鼻など)の顔の特徴点を検出してから幾何学的に顔向きを検出する方法がある。 The method of detecting a face orientation roughly divided into a method of performing an input image matching the pattern in each direction of the face image as a template, a face parts (eyes, mouth, nose, etc.) to detect the feature points of the face of there is a geometrically method for detecting the face direction from.

前者の方法は、精度を高めるためには非常に多くのデータ処理、計算処理を行う必要があるため、リアルタイム性を必要とするポインタ操作等に用いるには不適であり、特に携帯端末などの処理性能が非力な装置には適用できない。 The former method, a large number of data processing in order to increase the accuracy, it is necessary to the calculation processing is performed, are unsuitable for use in the pointer operation or the like that requires real-time, in particular treatment such as a portable terminal performance can not be applied to the powerless equipment.

後者の方法は、比較的精度が上げやすい。 The latter method is relatively easy to accuracy is raised. 特に物体の3次元形状を比較的簡単な計算で扱う因子分解法を用いることで、精度の高い顔向きが得られる方法が提案されている(例えば、特許文献1参照。)。 In particular, the use of the factorization method of handling a three-dimensional shape of an object in a relatively simple calculation method for accurate face direction is obtained has been proposed (e.g., see Patent Document 1.). しかし、因子分解法を用いる方法は、現在の携帯端末、例えば携帯電話などに適用するには、入力画像の解像度と画質、端末の処理性能を考慮すると、十分な精度・性能が得られない。 However, a method using a factorization method, the current mobile terminals, for example, to apply to a mobile phone, etc., the resolution and quality of an input image, in consideration of the processing performance of the terminal, no sufficient accuracy and performance. そのため、そのような機器で顔向き検出を用いた非接触インタフェースを実現するために、単純に2次元的ないくつかの顔特徴点の座標計算のみを利用するか、あるいは2次元特徴点座標と顔領域の抽出との併用で顔向きを判断する方法が提案されている(例えば、特許文献2〜4参照。)。 Therefore, in order to realize a non-contact interface using face orientation detected by such devices, simply either by using only the coordinate calculation of two-dimensional some facial feature points, or the two-dimensional feature point coordinates how to determine the face orientation in combination with the extraction of the face region it has been proposed (e.g., see Patent Document 2-4.).

特許第3822483号公報 Patent No. 3822483 Publication 特開平4−281578号公報 JP-A-4-281578 JP 特開平10−274516号公報 JP-A-10-274516 JP 特開平11−281661号公報 JP-A-11-281661 JP 特許第2570966号公報 Patent No. 2570966 Publication

しかしながら、2次元の特徴点座標から顔向きを検出する場合、個人差による検出精度への影響が大きく、十分な検出精度を得ることが難しいという問題がある。 However, when detecting the face orientation from a two-dimensional feature point coordinates, greatly influence on the detection accuracy of individual differences, there is a problem that it is difficult to obtain a sufficient detection accuracy. そのため、例えば特許文献5では、利用者の個人差、すなわち身体的特徴をあらかじめ測定し、補正する手段を設けることを提案している。 Therefore, for example, Patent Document 5, individual difference of the user, i.e. measured in advance the physical characteristics, it is proposed to provide means for correcting.

しかし、特許文献5では、その個人差の取得手段が機械的な取得であることを示唆する記載があるのみで、実現手段が提示されていなかった。 However, in Patent Document 5, means for obtaining the individual difference is only a description suggesting that it is a mechanical acquisition, implementation means has not been presented. また、機械的な手段によって身体的な特徴の差を取得することは、利用者にとっては測定作業が煩雑あり、容易に使用できるというものではなかった。 Furthermore, obtaining a difference in physical characteristics by mechanical means, there complicated measurement task for the user, it was not as readily available. さらに携帯機器などの小機器では、装置の製造コストの観点や、容積・重量の観点から、機械的な測定手段を持つことも困難であるという課題があった。 In yet small devices such as portable devices, the viewpoint and the manufacturing cost of the apparatus, in terms of volume and weight, there is a problem that it is difficult to have a mechanical measuring means.

本発明は、上記背景技術が有する問題点に鑑みてなされたものであり、本発明の目的は、携帯機器などの小機器であっても、2次元の特徴点座標から顔向きを検出する場合に、個人差による検出精度への影響を軽減し、十分な検出精度を得ることの可能な、新規かつ改良された顔向き検出装置および顔向き検出方法を提供することである。 The present invention has been made in view of the problems described above background art has an object of the present invention, even in small devices such as portable devices, in the case of detecting a face orientation from a two-dimensional feature point coordinates to, to reduce the impact on the detection accuracy of individual differences, it possible to obtain a sufficient detection accuracy, it is to provide a new and improved face orientation detection device and the face direction detecting method.

上記課題を解決するため、本発明の第1の観点によれば情報処理装置の利用者の顔向きを判定して該情報処理装置のアプリケーションで利用するための顔向き判定装置が提供される。 To solve the above problems, first the face orientation determining apparatus for use in applications according to an aspect determines the user's face orientation of the information processing apparatus the information processing apparatus of the present invention is provided. 本発明の顔向き判定装置(100)は、利用者の顔を画像として入力する画像入力部(101)と、前記画像から、利用者の顔の特徴点を抽出する特徴点抽出部(102)と、所定の閾値に基づいて前記特徴点から利用者の顔向きを判定し、アプリケーションに情報を送信する顔向き判定部(103)と、利用者ごとの各顔向きについて個人差を調整するための個人差情報を取得する個人差調整部(104)と、前記閾値を前記個人差情報を用いて更新して利用者ごとに登録する個人差情報格納部(105)と、を備えたことを特徴とする(請求項1)。 The face orientation determining apparatus of the present invention (100) includes an image input unit for inputting a face of a user as an image (101), from the image, the feature point extracting unit that extracts feature points of the face of the user (102) If, it is determined the user's face orientation from the feature point based on a predetermined threshold value, the face orientation determining unit that transmits information to the application (103), for adjusting the individual difference for each face orientation of each user personal difference adjustment unit for acquiring individual difference information (104), individual difference information storage unit to be registered for each user the threshold value is updated by using the individual difference information (105), further comprising a and wherein (claim 1).

さらに、各種情報を表示する表示部(107)と、前記顔向き判定部により判定された顔向きに応じて、前記表示部上に表示されるポインタを制御するポインタ制御部(106)と、を備えて構成することができる(請求項2)。 Further, the display unit that displays various information (107), according to the face orientation determining the determined face orientation by the unit, pointer control unit which controls a pointer displayed on said display unit (106), the it can be configured with (claim 2).

かかる構成によれば、利用者に対して正面および各方向の顔向きの動作、すなわち顔向きを検出してポインタ等を操作する非接触インタフェースが持つ検出動作を一通り行わせ、その時の特徴点の状態を検出し、それぞれの検出動作について、利用者に最適な検出の閾値を算出し、閾値を更新する制御部を設けることで、利用者の個人差を加味した顔向き検出を行うことができるため、装置の製造コストを上げることなく、利用者が容易に顔向き検出の精度の向上させることが期待できる。 According to such a configuration, the front and the operation in each direction of the face orientation to the user, i.e. to perform one through a detecting operation with the contactless interface to manipulate the pointer or the like by detecting the face orientation, the feature point at that time detecting the state, for each of the detecting operation, and calculates a threshold for optimal detection to the user, by providing the control unit for updating the threshold value, it is possible to perform the face orientation detecting considering the individual difference of the user it therefore without increasing the manufacturing cost of the apparatus can be expected to be the user to easily improve the accuracy of the face orientation detection. ポインタのほかにも、顔向き判定部により判定された顔向きに応じて表示装置の画面のスクロールや、表示部に表示されるキャラクター(例えばゲームの自機など)の移動などにも利用することができる。 In addition to the pointer, scrolling or the screen of the display device in accordance with the determined face orientation by the face orientation determining unit, also be utilized for such movement of a character displayed on the display unit (for example, a game of its own equipment) can.

なお上記において、構成要素に付随して括弧書きで記した参照符号は、説明の便宜のために、後述の実施形態および図面における対応する構成要素を一例として記したに過ぎず、本発明がこれに限定されるものではない。 Note that in the above, reference signs noted in parentheses in association with the components, for convenience of explanation, only noted as an example of the corresponding components in the embodiments and drawings described below, the present invention this It is not limited to. 以下も同様である。 The following is the same.

本発明の顔向き判定装置においてはさまざまな応用が可能であるが、そのいくつかの例を挙げれば以下の通りである。 Although the face orientation determining apparatus of the present invention can be various applications, as follows to name a few of the examples.

前記個人差調整部(104)は、前記利用者に対して各顔向きの動作を一通り行わせるための指示を出し、前記画像入力部から入力される各顔向きの画像から前記個人差情報を取得するようにしてもよい(請求項4)。 The personal difference adjustment unit (104) issues an instruction for performing one through the operation of each face direction with respect to said user, said individual difference information from the image for each face orientation that is input from the image input unit may be acquired (claim 4).

前記個人差調整部(104)は、前記利用者に対して各顔向きの動作を一通り行わせるための指示を出すにあたり、各種情報を表示する表示部(107)に図形または画像で指示を出すようにしてもよい(請求項5)。 The personal difference adjustment unit (104), when issuing an instruction for performing one through the operation of each face direction with respect to the user, the display unit for displaying various information instructed by the graphics or image to (107) may be so put out (claim 5).

前記個人差調整部(104)は、前記利用者の各顔向きの動作が不適正なもの(向き過ぎ)である場合に、前記利用者に警告(警告音、警告画面の表示など)を発するようにしてもよい(請求項6)。 The personal difference adjustment unit (104), the operation of each of the face orientation of the user in the case of improper thing (direction too), the warning to the user issues a (warning sound, display, such as a warning screen) mAY way (claim 6).

上記課題を解決するため、本発明の第2の観点によれば、利用者の顔向きを判定する顔向き判定方法が提供される。 To solve the above problems, according to the second aspect of the present invention, it determines the face orientation determining method users of face direction is provided. 本発明の顔向き判定方法は、利用者の顔を画像として入力する画像入力工程と、前記画像から、利用者の顔の特徴点を抽出する特徴点抽出工程と、所定の閾値に基づいて前記特徴点から利用者の顔向きを判定する顔向き判定工程と、利用者ごとの各顔向きについて個人差を調整するための個人差情報を取得する個人差調整工程と、前記閾値を前記個人差情報を用いて更新して利用者ごとに登録する個人差情報格納工程と、を含むことを特徴とする(請求項7)。 Face orientation determining method of the present invention, the face of the user an image input step of inputting an image, from the image, a feature point extraction step of extracting feature points of the face of the user, based on a predetermined threshold value and determining the face orientation determining process the user's face orientation from the feature point, and personal difference adjustment step of acquiring the individual difference information for adjusting the individual differences for each face orientation of each user, the personal differences the threshold and individual difference information storage step of updating to be registered for each user using the information, characterized in that it comprises a (claim 7).

かかる方法によれば、利用者に対して正面および各方向の顔向きの動作、すなわち顔向きを検出してポインタ等を操作する非接触インタフェースが持つ検出動作を一通り行わせ、その時の特徴点の状態を検出し、それぞれの検出動作について、利用者に最適な検出の閾値を算出し、閾値を更新する制御部を設けることで、利用者の個人差を加味した顔向き検出を行うことができるため、装置の製造コストを上げることなく、利用者が容易に顔向き検出の精度の向上させることが期待できる。 According to this method, the front and the operation in each direction of the face orientation to the user, i.e. to perform one through a detecting operation with the contactless interface to manipulate the pointer or the like by detecting the face orientation, the feature point at that time detecting the state, for each of the detecting operation, and calculates a threshold for optimal detection to the user, by providing the control unit for updating the threshold value, it is possible to perform the face orientation detecting considering the individual difference of the user it therefore without increasing the manufacturing cost of the apparatus can be expected to be the user to easily improve the accuracy of the face orientation detection.

本発明の顔向き判定方法においてもさまざまな応用が可能であるが、そのいくつかの例を挙げれば以下の通りである。 Is also a variety of applications in the face orientation determining method of the present invention are possible, as follows to name a few of the examples.

前記個人差調整工程は、前記利用者に対して各顔向きの動作を一通り行わせるための指示を出す工程と、前記画像入力部から入力される各顔向きの画像から前記個人差情報を取得する工程と、を含むようにしてもよい(請求項8)。 The individual difference adjusting step includes the steps of issuing an instruction for performing one through the operation of each face direction with respect to said user, said personal difference information from the images of the face direction inputted from the image input unit a step of acquiring may also include a (claim 8).

前記利用者に対して各顔向きの動作を一通り行わせるための指示を出す工程において、各種情報を表示する表示部に図形または画像で指示を出すようにしてもよい(請求項9)。 In the step of issuing an instruction for performing one through the operation of each face direction with respect to said user, may also be instructs graphically or image on the display unit for displaying various information (claim 9).

前記個人差調整工程において、前記利用者の各顔向きの動作が不適正なもの(向き過ぎ)である場合に、前記利用者に警告(警告音、警告画面の表示など)を発するようにしてもよい(請求項10)。 In the personal difference adjustment process, the operation of each of the face orientation of the user in the case of improper thing (direction too), the warning to the user to emit a (warning sound, display, such as a warning screen) also good (claim 10).

また、本発明の他の観点によれば、コンピュータを、上記本発明の第1の観点にかかる顔向き検出装置として機能させるためのプログラムと、そのプログラムを記録した、コンピュータにより読み取り可能な記録媒体が提供される。 According to another aspect of the present invention, a computer, a first program to function as a face orientation detecting apparatus according to the aspect, it records the program, a computer readable recording medium of the present invention There is provided. ここで、プログラムはいかなるプログラム言語により記述されていてもよい。 Here, the program may be described by any programming language. また、記録媒体としては、例えば、CD−ROM、DVD−ROM、フレキシブルディスク、フラッシュメモリ、携帯端末装置の内蔵メモリなど、プログラムを記録可能な記録媒体として現在一般に用いられている記録媒体、あるいは将来用いられるいかなる記録媒体をも採用することができる。 As the recording medium, for example, CD-ROM, DVD-ROM, a flexible disk, a flash memory, such as internal memory of the portable terminal device, a recording medium currently used for general programs as a recording medium capable of recording or future, any recording medium to be used can be employed.

以上のように、本発明によれば、携帯機器などの小機器であっても、2次元の特徴点座標から顔向きを検出する場合に、個人差による検出精度への影響を軽減し、十分な検出精度を得ることが可能である。 As described above, according to the present invention, even in small devices such as portable devices, in case of detecting a face orientation from a two-dimensional feature point coordinates, and reduce the impact on the detection accuracy of individual differences, enough it is possible to obtain a Do detection accuracy. その他の本発明の優れた効果については、以下の発明を実施するための最良の形態の説明においても説明する。 The excellent effect of the other present invention, also described in the description of the best mode for carrying out the following inventions.

以下に添付図面を参照しながら、本発明にかかる顔向き検出装置および顔向き検出方法の好適な実施形態について詳細に説明する。 With reference to the accompanying drawings, preferred embodiments of such a face orientation detecting device and the face orientation detecting method of the present invention will be described in detail. なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 In the specification and drawings, components having substantially the same functional configuration are repeated explanation is omitted by referring to the figures.

図1は、本発明の一実施形態の構成を示す説明図である。 Figure 1 is an explanatory diagram showing a configuration of an embodiment of the present invention. 本実施形態では、顔向きを正面・上・下・左・右の5つの方向に判定し、ポインタをその方向に動かす(正面の場合は動かさない)場合を例に挙げて説明する。 In the present embodiment, it is determined face orientation into five directions of front, up, down, left and right, moving the pointer in that direction (not moved in case of the front) when the is described as an example.

本実施形態にかかる顔向き検出装置100は、図1に示したように、画像入力部101と、特徴点抽出部102と、顔向き判定部103と、個人差調整部104と、個人差情報格納部105と、ポインタ制御部106と、表示部107を含んで構成されている。 Face orientation detecting apparatus 100 according to the present embodiment, as shown in FIG. 1, an image input unit 101, a feature point extraction unit 102, a face orientation determining unit 103, an individual difference adjustment unit 104, individual difference information a storage unit 105, a pointer control unit 106 is configured to include a display unit 107. なお、本実施形態の説明に直接関係がない、様々な機能を実現するための処理部や接続関係は説明および図示を省略する。 Incidentally, there is no directly related to the description of the present embodiment, the processing unit and the connection relationship for realizing various functions is omitted and illustrated. 以下、各構成要素について詳細に説明する。 Hereinafter is a detailed description of each component.

画像入力部101は、利用者の顔が含まれた画像を連続した複数の画像としてリアルタイムに取得する処理部であり、例えばカメラデバイスである。 The image input unit 101 is a processing unit that acquires in real time as a plurality of consecutive images an image includes a face of a user, for example, a camera device. 取得した画像は特徴点抽出部102へ送られる。 Acquired image is sent to the feature point extracting unit 102.

特徴点抽出部102は、画像入力部101より入力された画像から、画像ごとに顔領域および顔部品(例えば、目、口、鼻、眉毛など)の位置を特定し、それぞれの特徴点の位置を2次元の座標として抽出する処理部である。 Feature point extraction unit 102 from the image input from the image input unit 101, the face area and face components each image (e.g., the eyes, mouth, nose, eyebrows, etc.) to locate the position of each feature point which is a processing unit that extracts as a two-dimensional coordinate. 抽出した特徴点座標は顔向き判定部103および個人差調整部104へ送られる。 Extracted feature point coordinates are sent to the face orientation determining unit 103 and the individual difference adjustment unit 104.

顔向き判定部103は、得られた特徴点座標と予め決められた顔向き判定式により、顔の向きを正面・上・下・左・右のいずれかとして判定し、その結果を顔向き情報として出力する処理部である。 Face orientation determining unit 103, the resulting predetermined face orientation determining equation point coordinates feature, it is judged as either the orientation of the face front, top, bottom, left and right, face orientation information and the results a processing unit for outputting as. 顔向き情報はポインタ制御部106へ送る。 Face direction information and sends it to the pointer control unit 106.

個人差調整部104は、利用者の身体的特徴を抽出するために、表示部107を使って対話的に利用者へ個人差情報の測定を行わせ、抽出した個人差情報を個人差情報格納部105へ登録する処理部である。 Individual difference adjustment unit 104, in order to extract the physical characteristics of the user, to perform the measurement of the individual difference information to the interactive user with the display unit 107, individual difference information stored in the extracted individual difference information is a processing unit to be registered in section 105.

個人差情報格納部105は、利用者が一旦個人差情報を登録した以降、顔向き判定部103の顔向き判定式にその個人差の修正を加える処理部である。 Personal difference information storage unit 105, after the user has temporarily registers the personal difference information, a processing unit requiring modifications of the individual differences in the face orientation determining expression of the face orientation determining unit 103.

ポインタ制御部106は、顔向き判定部103の結果に基づき、ポインタを移動させる制御部である。 Pointer control unit 106, based on the result of the face orientation determining unit 103 is a control unit for moving the pointer.

表示部107は、ポインタ制御部106から得たポインタの移動結果の表示や個人差調整部104に従って、利用者に対して個人差情報取得のための指示情報を表示する。 Display unit 107, in accordance with the display and individual difference adjustment unit 104 of the move result of pointer obtained from the pointer control unit 106, displays the instruction information for the individual difference information acquisition to the user. また、装置が持つその他の機能に必要な情報を表示する。 In addition, to display the information necessary for the other functions of device.

本実施形態は以上のように構成されている。 The present embodiment is configured as described above. 以下に本実施形態の動作について説明する。 A description will be given of the operation of the present embodiment below.

(本実施形態の動作) (Operation of the present exemplary embodiment)
まず、ポインタ操作の動作を説明する。 First, the operation of the pointer operation.

利用者がカメラの前に自分の顔をかざすと、画像入力部101から利用者の顔が含まれた画像がリアルタイムに特徴点抽出部102に送られる。 When the user holds up his face in front of the camera, the image includes a face of a user from the image input unit 101 is transmitted to the feature point extraction unit 102 in real time. 特徴点抽出部102は、入力された画像から顔領域と顔部品を抽出し、それぞれの顔部品の特徴点座標として出力する。 Feature point extraction unit 102 extracts a face region and face parts from the input image, and outputs the feature point coordinates of the respective facial parts. この顔部品探索の方法には、例えば、特開2003−281539号公報「顔部品探索装置および顔部品探索方法」に開示された技術を用いることが可能である。 The method of the face parts search, for example, it is possible to use the technique disclosed in JP-A-2003-281539 "face parts searching apparatus and face part searching method".

図2は、抽出特徴点の一例を示す説明図である。 Figure 2 is an explanatory diagram showing an example of extracting the feature points. 図2に示した一例では、左目(LE)201、右目(RE)202、鼻(UM)203,口右端(RM)204,口下(DM)205、口左端(LM)206、左眉(LEB)207、右眉(REB)208を特徴点の例として示しているが、これら特徴点をすべて抽出する必要はなく、任意のものを抽出することができる。 In the example shown in Figure 2, the left eye (LE) 201, the right eye (RE) 202, nose (UM) 203, mouth right end (RM) 204, mouth under (DM) 205, mouth left end (LM) 206, the left eyebrow ( LEB) 207, are shown on the right eyebrow (REB) 208 as an example of feature points, it is not necessary to extract all of these characteristic points can be extracted arbitrary. また、顔の他の箇所を特徴点として設定してもよい。 It is also possible to set the other parts of the face as a feature point. 本実施形態では、図2の“×”印に示す「眉2点、目2点、口4点」(参照符号201〜208)を特徴点として抽出するものとする。 In the present embodiment, it is assumed that the extraction "×" shows a token of FIG. 2, "eyebrows two points, the eye 2 points, the mouth 4 points" (the reference number 201 to 208) as a feature point.

特徴点抽出部102で抽出された特徴点座標は顔向き判定部103に送られ、予め決められた判定式により顔向きの方向を判定する。 Feature point coordinates extracted by the feature point extracting unit 102 is sent to the face orientation determining unit 103 determines the orientation of the face direction by a predetermined judgment formula.

以下に顔向きの具体的な判定方法の例を示す。 The following shows an example of a specific determination method of the face orientation on. 上下方向の判定、左右方向の判定、正面方向の判定の順で説明する。 Determination of the vertical direction, the determination of the left-right direction, will be described in the order of determination in the front direction.

[上下方向の判定] [Judgment of the up-and-down direction]
まず、上下方向の判定方法を、図3および図4を参照しながら説明する。 First, the vertical determination method will be described with reference to FIGS.
まず図3に示す両目−口上の三角形における角度(∠LE)304、角度(∠RE)305を計算する(ステップS401)。 First, both eyes shown in Figure 3 - angle (∠LE) 304 in the triangle of the note verbale, angle (∠RE) 305 to calculate the (step S401). これらは左目(LE)301、右目(RE)302、口上(UM)303の3点の特徴点座標より容易に算出できる。 These are the left eye (LE) 301, the right eye (RE) 302, can be easily calculated from the feature point coordinates of the three points of the note verbale (UM) 303.

次に、算出した角度(∠LE)304と角度(∠RE)305の平均(以下、両目−口上角度と称する)と、予め決められた上向き閾値および下向き閾値とを比較する(ステップS402、ステップS403)。 Then, the calculated angle (∠LE) 304 and the angle (∠RE) 305 average (hereinafter, both eyes - is referred to as a note verbale angle) and is compared with the upward threshold and down threshold predetermined (step S402, step S403). 個人差はあるものの、人間の顔の特性から、上を向いた場合はこの角度が小さくなり、下を向くと大きくなることを利用し、上向き閾値以上であれば上方向(ステップS404)、下向き閾値以下であれば下向きと判定する(ステップS405)。 Although individual differences are, the characteristics of a human face, if upturned this angle becomes small, by utilizing the fact that increases as facing downward, upper equal to or greater than the upward threshold direction (step S 404), the downward if the threshold value or less is determined as the downward (step S405).

ここで、一般的には正面状態を予め登録しておき、正面状態の両目−口上角度(∠LE、∠REの平均)と検出された顔画像の両目−口上角度(∠LE、∠REの平均)の差分を計算し、予め決められた正面顔との差分の閾値とを比較して上下向きを判定することで、利用者の身体的特徴の差による検出精度の低下をある程度軽減できる。 Here, in general registered in advance front state, in front of the state both eyes - note verbale angle of the detected face image (∠LE, average of ∠RE) eyes - note verbale angle (∠LE, of ∠RE calculate the difference between the average), by determining a predetermined front face and the upper and lower direction is compared with a threshold value of the difference, a decrease in detection accuracy due to the difference of the user's physical characteristics can be reduced to some extent.

[左右方向の判定] [Judgment of the left and right direction]
次に、左右方向の判定方法を、図5および図6を参照しながら説明する。 Then, the left-right direction determination method will be described with reference to FIGS.
まず、図5(a)に示したように、両目中心(CE)509と、左内眉と目中心のX座標距離:距離(REB.x−CE.x)511を算出する(ステップS601)。 First, as shown in FIG. 5 (a), and the eyes center (CE) 509, X-coordinate distance of the left internal eyebrows and eyes center: Distance (REB.x-CE.x) 511 calculates a (Step S601) .

次に、図5(b)、(c)に示したように、距離(CE.x−LEB.x)、距離(REB.x−CE.x)から、以下の式に基づいて左右眉の目中心分割割合を算出する(ステップS602)。 Next, FIG. 5 (b), the as shown (c), the distance (CE.x-LEB.x), the distance from (REB.x-CE.x), the left and right eyebrows on the basis of the following formula to calculate the eye center split ratio (step S602). これらの距離と割合は、それぞれの特徴点座標から容易に計算できる。 These distances and proportions, can be easily calculated from each of the feature point coordinates.
右眉−目中心割合=距離(REB.x−CE.x)÷距離(CE.x−LEB.x)% Right eyebrow - eye center ratio = distance (REB.x-CE.x) ÷ distance (CE.x-LEB.x)%
左眉−目中心割合=距離(CE.x−LEB.x)÷距離(REB.x−CE.x)% Left eyebrow - eye center ratio = distance (CE.x-LEB.x) ÷ distance (REB.x-CE.x)%

この算出結果から、左向きの判定は左眉−目中心割合と左向き判定閾値(例えば160%など)を比較し(ステップS603)、閾値を超えていれば、左向きであるとみなす(ステップS605)。 From the calculation result, the determination of the leftward left eyebrow - compares the eyes center proportions and left determination threshold (for example, 160%) (step S 603), it exceeds the threshold, considered to be leftward (step S 605).

右向き判定は、同様に右眉−目中心割合と右向き判定閾値(例えば160%など)を比較し(ステップS604)、閾値を超えていれば、右向きであるとみなす(ステップS606)。 Right decision, as well Migimayu - compares the eye center percentage and the right determination threshold value (for example, 160%) (step S604), if it exceeds the threshold, considered to be a right (step S606).

[正面方向の判定] [Judgment of the front direction]
次に、正面方向の判定方法を説明する。 Next, the front direction of the determination method.
正面方向の判定は、総合判定として、上記で説明した上下/左右の各方向の判定でいずれでもない場合に正面とみなす。 The determination of the front direction, as a comprehensive decision, regarded as the front if it is not any in the determination of the direction of the upper and lower / left and right as described above.

このように判定された顔向き情報は、ポインタ制御部106へ送られ、ポインタ制御部106は、その顔向き情報に従って、ポインタやカーソルを上下左右に移動させる。 Determined face orientation information thus is sent to the pointer control unit 106, the pointer control unit 106, in accordance with the face direction information, moving a pointer or cursor up, down, left, and right. ポインタ移動の場合は、例えば入力画像毎にその顔向き情報が示す方向に動かす。 In the case of pointer movement, for example, move in the direction indicated by the face direction information for each input image. カーソルの場合は、同じ顔向き情報が画像数分連続したら表示部上のアイコンやメニュー単位に、顔向き情報が示す方向に移動させる。 In the case of the cursor, the same face direction information to icons and menu unit on the display unit After several consecutive minutes image is moved in the direction indicated by the face direction information.

以上がポインタ操作の動作の説明である。 This concludes the description of the operation of the pointer operation.

次に個人差調整の動作について、図7〜図12、図13Aおよび図13Bを参照しながら説明する。 Next, the operation of the individual difference adjustment, 7 to 12 will be described with reference to FIGS. 13A and 13B. ここでは上下方向の調整方法について説明するが、左右方向も動作は同様である。 Here, a description will be given up-and-down direction of the adjustment method, but the left and right direction operation is the same.

表示部107に画像入力部101から入力される画像を表示しながら、個人差調整部104は表示部107に、利用者に対して正面状態を撮影するように指示する(ステップS1001)。 While displaying the image inputted from the image input unit 101 to the display unit 107, individual difference adjustment unit 104 on the display unit 107, an instruction to photograph the front status to the user (step S1001). 具体的には図7(a)に示した一例のように、「正面を向いてください」と画面表示する。 As an example specifically shown in FIG. 7 (a), the screen displays "Please facing the front." このとき、顔向き判定の上下判定と同様に、正面状態における両目−口上角度(∠LE、∠REの平均値):∠LE−RE_Neutralを算出し保持する(ステップS1002)。 In this case, as well as up and down the determination of the face orientation determination, both eyes in front of state - note verbale angle (∠LE, the average value of the ∠RE): calculated to hold the ∠LE-RE_Neutral (step S1002).

次に、個人差調整部104は表示部107に、利用者に対して上に向くように指示する(ステップS1003)。 Next, individual difference adjustment unit 104 on the display unit 107, and instructs to face on to the user (step S 1003). 具体的には図7(b)に示した一例のように、「上を向いてください」と画面表示する。 As an example specifically shown in FIG. 7 (b), the screen displays "Please facing up." このとき、利用者は正面状態から上方向を向くが、ここで入力画像を連続して処理し、利用者が上を向き過ぎて特徴点抽出部102が顔部品の特徴点座標を検出できなくなるか(ステップS1004)、一定時間利用者が顔向きを移動させなくなった時点(ステップS1006)の両目−口上角度(∠LE、∠REの平均値):とLE−RE_Upを保持する(ステップS1005)。 At this time, the user faces upward direction from the front state, and treated sequentially input image here, the feature point extracting unit 102 can not be detected feature point coordinates of the face part too facing above user or (step S1004), both eyes at the time of a certain period of time the user is no longer moving the face direction (step S1006) - note verbale angle (∠LE, the average value of the ∠RE): holding the LE-RE_Up (step S1005) .

さらに個人差調整部104は、利用者に対して下を向くように指示する(ステップS1007)。 In addition individual difference adjustment unit 104, it instructs the faces down to the user (step S1007). 具体的には図7(c)に示した一例のように、「下を向いてください」と画面表示する。 As an example specifically shown in FIG. 7 (c), the screen displays "Please look down." これにより利用者は下方向を向くが、上方向と同様に入力画像を連続して処理し、利用者が下を向き過ぎて特徴点座標を検出できなくなるか(ステップS1008)、一定時間顔向きを変化させなくなった時点(ステップS1010)の両目−口上角度(∠LE、∠REの平均値):∠LE−RE_Downを保持する(ステップS1009)。 As a result, but the user is directed downward, and continuously processed in the same manner as in the input image and the upper direction, or the user may not be able to detect the feature point coordinates too facing down (step S1008), a certain period of time face orientation eyes of time that are no longer changing the (step S1010) - note verbale angle (∠LE, the average value of the ∠RE): to hold the ∠LE-RE_Down (step S1009).

これらの一連の操作は、利用者から見ると装置(顔向き判定装置100)の指示に従ってカメラ(画像入力部101)に向かって正面から上・下に顔を向けただけである。 A series of these operations, is only toward the face in place on the top and bottom from the front toward the camera (image input unit 101) according to the instructions of the devices, as viewed from the user (the face orientation determining apparatus 100).

次に閾値の個人差修正の動作を説明する。 Next will be described the operation of individual differences correction threshold.
顔向き判定部103における上下方向の閾値は予め設計段階で装置と顔が含まれた多くの画像を評価することによって得られた閾値が格納されている。 Vertical threshold in the face orientation determining unit 103 is a threshold obtained by evaluating the number of images include devices and the face in advance the design stage are stored. この閾値は、一般的には正面向きと上向き(あるいは下向き)との中間値である(図8の参照符号801)。 This threshold is generally an intermediate value between the front direction and the upward (or downward) (reference numeral 801 in FIG. 8).

これに対して、個人差調整部104は上記手順で得られた正面状態の両目−口上角度:∠LB−RE_Neutral(図8の参照符号803)と、上向き状態の両目−口上角度:∠LE−RE−Up(図8の参照符号802)からその中間値を算出し、個人差情報格納部105へ上向き判定用の修正閾値(図8の参照符号804)として登録する。 In contrast, individual difference adjustment unit 104 of the front state obtained in the above procedure both eyes - note verbale angle: ∠LB-RE_Neutral and (see reference numeral 803 in FIG. 8), the upward state eyes - note verbale angle: ∠LE- RE-Up calculates an intermediate value (see numeral 802 in FIG. 8) is registered as the individual difference information storage unit 105 fixes a threshold for upwards determination (reference numeral 804 in FIG. 8).

上向き判定用修正閾値は次のように表される。 Upward judgment correction threshold can be expressed as follows.
上向き判定用修正閾値=(∠LE−RB_Neutral−∠LE−RE_Up)÷2 Upward judgment for correction threshold = (∠LE-RB_Neutral-∠LE-RE_Up) ÷ 2

顔向き判定部103は以降、この登録された閾値を用いて上向き判定を行う。 The face orientation determining unit 103 is later, performs an upward determined using the registered threshold value. つまり、登録した利用者に最適な閾値を用いて判定することになる。 That is, it is determined using the optimum threshold for users who have registered.

下向きについても同様に正面状態の両目−口上角度:∠LE−RE_Neutral(図9の参照符号902)と、下向き状態の両目−口上角度:∠LE−RE_Down(図9の参照符号903)からその中間値を算出し、個人差情報格納部105へ下向き判定用の閾値(図9の参照符号904)として登録する。 Similarly, the front state both eyes also down - note verbale angle: ∠LE-RE_Neutral and (see reference numeral 902 in FIG. 9), downward state eyes - note verbale angle: the intermediate from ∠LE-RE_Down (reference numeral 903 in FIG. 9) to calculate the value, to register as to the individual difference information storage unit 105 down for determination of the threshold (see reference numeral 904 in FIG. 9). 未説明の参照符号901は、図8の参照符号801と同様の初期閾値である。 Reference numeral 901 of non-description is the same as that of the initial threshold and the reference numeral 801 in FIG. 8. 顔向き判定部103は以降、この閾値を用いて下向き判定を行う。 The face orientation determining unit 103 is later, it performs a downward determined using the threshold value.

ここで、図9の顔下向きの閾値の補正について、さらに説明する。 Here, the correction of the face down threshold of Figure 9 will be further described. 特に、図9に示したように、利用者の顔向きが正面から下向きに移動するとき、両目−口上角度が大きくなっていく理由について、図10〜図12を参照しながら詳細に説明する。 In particular, as shown in FIG. 9, the face orientation of the user when moving downward from the front, both eyes - reason for note verbale angle becomes larger, it will be described in detail with reference to FIGS. 10 to 12.

利用者に正面を向くという行為を行わせたとき、人間の顔を横から見たときの目の中心(黒目)と唇の上の点の位置関係は、多くの人が目中心より口上が前(人間から見て正面方向)に突出している。 When to perform the act of facing the front of the user, the positional relationship between the points on the center (iris) and the lips of the eye when I saw a human face from the side, many people note verbale from the eye center and projects (front direction as viewed from the human) before. 従って、正面から下方向を向くと、図10に示したように、両目−口上の三角形は縦方向に伸びる変化をする。 Therefore, when pointing downward from the front, as shown in FIG. 10, both eyes - triangle note verbale will change longitudinally extending. すなわち、図10において、角度A<角度Bとなる。 That is, in FIG. 10, the angle A <angle Bs.

また、本実施形態で想定しているポインタのコントロールなどでは、装置の画面を見たままの操作であるため、通常、人間は正面を見ているときより、下を向いたときの方が黒目がかなり上を向くように移動する。 Further, like the control of the pointer assumed in this embodiment, since the operation remains watching the screen of the device, usually, than when humans looking at the front is better when looking down the iris but move fairly so as to face the top. 口の上の点は特に上方向の動きはないため、図11に示したように、両目−口上の三角形は縦方向に伸びる変化をする。 Since no particular upward movement point on the mouth, as shown in FIG. 11, both eyes - triangle note verbale will change longitudinally extending. すなわち、図11において、角度C<角度Dとなる。 That is, in FIG. 11, an angle C <angle D.

また、携帯電話などの携帯端末装置での利用を前提とした場合に、装置を手に持ち、装置のインカメラを自分に向けて画面を見る姿勢をとると、図12に示したように、インカメラと顔の相対的な位置関係はほとんどの場合、カメラが顔の真正面より下になる。 Further, when assuming the use of the portable terminal device such as a mobile phone, it has a device in hand, taking a posture see the screen toward the in-camera device to himself, as shown in FIG. 12, in most cases the relative positional relationship of the in-camera and face, the camera is below the front of the face. その結果、図10に示した横から見たときの目中心と口上との関係で、正面状態がより傾斜を持つことになる。 As a result, in relation to the eye center and the note verbale when viewed from the side shown in FIG. 10, so that the front state have more slope. すなわち、図10、図12に示したように、角度a<角度Aであり、角度a<角度A<角度Bとなる。 That is, FIG. 10, as shown in FIG. 12, the angle a <angle A, the angle a <angle A <angle Bs.

以上の理由から、利用者の顔向きが正面から下向きに移動すると両目−口上角度が大きくなる結果となる。 For the above reasons, the face orientation of the user's eyes when you move down from the front - will result in increase the note verbale angle. ただし、口の上の点だけだと個人差もあり十分な精度が出ないこともあるため、他の特徴点(例えば、鼻の特徴点など)を併用するようにしてもよい。 However, since not out sufficient accuracy Individual differences also that only points on the mouth, other characteristic points (for example, feature points of the nose) may be used together.

以上、上下方向の個人差調整について説明したが、左右方向の個人差調整についても同様である。 Has been described individual difference adjustment in the vertical direction is the same for individual difference adjustment in the horizontal direction. 利用者に右、左を向かせてそれぞれの目中心−右眉水平距離(および目中心−左眉水平距離)を保持し、中間値を閾値として登録することで、その利用者にとって最適な閾値で顔向き判定を行う。 Each eye center was unsuitable right, the left to the user - Migimayu horizontal distance (and eye center - left eyebrow horizontal distance) holds the, by registering an intermediate value as a threshold value, the optimal threshold for that user in performing the face orientation determination. また、本実施形態では上下方向と左右方向の個人差調整を別々に行う場合について説明したが、上下左右まとめて行ってもよい。 Further, in the present embodiment has described the case of performing individual difference adjustment between the vertical lateral direction separately, may be performed vertically and horizontally collectively.

以上、本実施形態にかかる顔向き検出装置100について説明した。 It has been described above face orientation detecting apparatus 100 according to the present embodiment. かかる顔向き検出装置100は、コンピュータに上記機能を実現するためのコンピュータプログラムを組み込むことで、コンピュータを顔向き検出装置100として機能させることが可能である。 Such face orientation detection device 100, by incorporating a computer program for realizing the above functions into the computer, it is possible to function the computer as a face orientation detecting device 100. かかるコンピュータプログラムは、所定の記録媒体(例えば、CD−ROM)に記録された形で、あるいは、電子ネットワークを介したダウンロードの形で市場を流通させることが可能である。 Such a computer program, a predetermined recording medium (for example, CD-ROM) in the form recorded in, or is capable of distributing the market in the form of downloading through an electronic network. ここでいうコンピュータには、携帯電話などの小機器も当然に含まれる。 The computer mentioned here, small devices such as mobile phones are also included in the course.

(本実施形態の効果) (Effects of the embodiment)
以上のように、本実施形態によれば、利用者に対して正面および各方向の顔向きの動作、すなわち顔向きを検出してポインタを操作する非接触インタフェースが持つ検出動作を一通り行わせ、その時の特徴点の状態を検出し、それぞれの検出動作について、利用者に最適な検出の閾値を算出し、閾値を更新する制御部を設けることで、利用者の個人差を加味した顔向き検出を行うことができるため、装置の製造コストを上げることなく、利用者が容易に顔向き検出の精度の向上させることが期待できる。 As described above, according to this embodiment, the front and the operation in each direction of the face orientation to the user, i.e. to perform one through a detecting operation with the contactless interface to manipulate the pointer by detecting the face direction , detects the state of the feature point at that time, for each of the detecting operation, and calculates a threshold for optimal detection to the user, by providing the control unit for updating the threshold, the face direction obtained by adding the individual difference of the user it is possible to detect, without increasing the manufacturing cost of the apparatus can be expected to be the user to easily improve the accuracy of the face orientation detection.

以上、添付図面を参照しながら本発明にかかる顔向き検出装置および顔向き検出方法の好適な実施形態について説明したが、本発明はかかる例に限定されない。 Having described the preferred embodiments of such a face orientation detection device and a face orientation detecting method of the present invention with reference to the accompanying drawings, the present invention is not limited thereto. 当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 Those skilled in the art it is clear that within the scope of the technical idea described in the claims can conceive various modifications, the technical scope of the present invention as for their It is understood to belong to something.

例えば、上記実施形態では、閾値のよる顔向き判定によるポインタ操作を行う装置に適用した例を説明したが、顔向き角度を画面上の座標に変換するマウスポインタ操作を行う装置にも適用可能である。 For example, in the above embodiment, an example has been described applied to a device for performing pointer operation by the face orientation determining by the threshold, it can also be applied to an apparatus for performing pointer operation that converts the face direction angle to coordinate on screen is there. その際は、閾値を補正するのではなく、顔向き角度を座標に変換する関数(例えば変換式や変換テーブル)を個人差情報によって修正する。 In that case, instead of correcting the threshold, it is modified by individual difference information function (for example conversion formula or conversion table) to convert the face angle to coordinate.

上記実施形態では、顔向き検出の判定方法として、上下方向は両目−口上角度を、左右方向は左眉(右眉)−両目中心割合を利用した例を説明したが、両目−鼻や、口中心−口端角度など、その他の顔特徴点と判定式を利用しても同様に適用できる。 In the above-described embodiment, as a method of determining the face orientation detection, the vertical direction both eyes - a note verbale angle, left and right direction is the left eyebrow (right eyebrow) - has been described an example in which the use of both eyes center percentage, both eyes - the nose and mouth center - such as the mouth end angle, equally applicable to use of the judgment formula and other facial feature points.

上記実施形態では、利用者に個人差調整の特徴点取得を指示するために文字の表示を用いていたが、例えば図14に示したように、矢印記号や矢印を模した図形、画像を用いてもよい。 In the above embodiment, as it has been used to display characters to indicate the feature point acquiring personal difference adjustment to the user, shown for example in FIG. 14, graphics, images used simulating the arrow symbol and arrows it may be. 図14(a)は黒塗りの三角形“▲”で正面を向くよう指示したものであり、図14(b)は黒塗りの三角形“▲”で上を向くよう指示したものであり、図14(c)は手の図形で下を向くよう指示したものである。 FIG. 14 (a) is obtained by instructing to face front at the triangle "▲" the black, Fig. 14 (b) is obtained by instructing facing up in the triangle "▲" the black, 14 (c) it is obtained by instructing facing down in figure hand.

また、利用者の各顔向きの動作が不適正なもの(向き過ぎ)である場合に、例えば図15に示したように、利用者に警告を発するようにしてもよい。 Further, when the operation of each face facing the user is improper ones (orientation too), as shown in FIG. 15 for example, may be a warning to the user. 図15(a)は警告音で利用者に警告を発するものであり、図15(b)は警告画面(記号)の表示で利用者に警告を発するものである。 15 (a) is intended to alert the user by a warning sound, FIG. 15 (b) is intended to alert the user by displaying a warning screen (symbol).

上記実施形態では、利用者の個人差情報を取得するための手順として、顔向き方向を指示して各方向を向いてもらう手順のみ説明したが、本発明はこれに限定されない。 In the above embodiment, as the procedure for obtaining the individual difference information of the user, has been described only the procedure get oriented in the respective directions to direct the face orientation direction, the present invention is not limited thereto. 例えば、利用者が顔の向きを変えていく過程で特徴点検出限界を超えたときに、一旦個人差による閾値修正を行った後に利用者に操作感を確認させ、不適切な場合は再度個人差調整を実施、あるいは利用者に大まかに修正閾値を変更させることも可能である。 For example, individuals when the user exceeds the characteristic point detection limits in the process of changing the orientation of the face, once to confirm the operational feeling to the user after performing the threshold correction by individual differences, if incorrect again carrying out differential adjustment, or it is also possible to change the roughly corrected threshold value to the user. 図16、図17は、このような調整後の確認操作の一例を示す説明図である。 16, FIG. 17 is an explanatory diagram showing an example of a confirmation operation after such adjustment.

図16は、閾値を超えるとポイントが動いて、方向を示す記号、図形などが表示・点滅する場合を示す説明図である。 Figure 16 is moving point exceeds the threshold value, it is an explanatory diagram showing a case where symbol indicating the direction and shape is displayed and blinking. 上向き1302の画面例では、利用者が上を向いて閾値を超えると、ポインタ1302aが上に動くとともに、方向を示す記号1302bが表示あるいは点滅する。 In the screen example of upward 1302, user exceeds the threshold facing up, along with the pointer 1302a moves upwards, the symbol indicating the direction 1302b is displayed or flashing. 正面向き1301、左向き1303、右向き1304、下向き1305についても同様である。 Frontal 1301, left 1303, it is the same for the right 1304, down 1305.

図17は、閾値を超える方向を示す記号、図形などが表示・点滅される状態を示す説明図である。 Figure 17 is an explanatory diagram illustrating symbol indicating the direction to exceed the threshold, a state in which such shapes are displayed flashing. 上向き1402の画面例では、角度と閾値を示すスケール(上下と左右の2軸)1406と、今向いている方向がどの程度かを示すマーカ1408と、閾値を示す枠1407とをリアルタイムに表示している。 In the screen example of upward 1402, angle and scale that indicates the threshold and (up and down and left and right of the two-axis) 1406, a marker 1408 that shows how much the direction you are facing now, to display a frame 1407 indicating the threshold in real time ing. 利用者は、マーカの移動を見ながら顔向きの間隔を学習できる。 The user can learn the distance between the face direction while watching the movement of the marker. 閾値の変更も、閾値を示す枠1407を見ながら変更することができる。 Changing the threshold value can also be changed while looking at the frame 1407 indicating the threshold. 正面向き1401、左向き1403、右向き1404、下向き1405についても同様である。 Frontal 1401, left 1403, it is the same for the right 1404, down 1405.

また、顔向き操作中にカメラからの入力画像の表示上に特徴点を重畳表示させたり、特徴点限界を超えたときに、入力画像上に重畳表示した特徴点の形状や色を変化させたりするなど、個人差情報を取得する際に利用者の利便性、認識性を向上させる様々な仕組みと組み合わせることで、より確実に、容易に個人差調整を行うことができる。 Also, or superimposed to display the feature point on the display of the input image from the camera during the face orientation operation, when exceeding the feature point limit, or by changing the shape and color of the superimposed display feature points on the input image the like, convenience for the user when obtaining the individual difference information, by combining a variety of mechanisms to improve the recognizability, more reliably, it is possible to easily perform individual difference adjustment. 図18は、このような調整後の確認操作の一例を示す説明図である。 Figure 18 is an explanatory diagram showing an example of a confirmation operation after such adjustment. 図18(a)は、向き過ぎでない状態を示しており、特徴点が顔に乗っている。 FIG. 18 (a) shows a state not orientation too, the feature point is riding on the face. 図18(b)は、上向きでかつ向き過ぎでない状態を示しており、特徴点が顔に乗っている。 FIG. 18 (b) shows a state not upwardly and and orientation too, the feature point is riding on the face. 図18(c)は、上向きでかつ向き過ぎた場合を示しており、特徴点を正面状態の位置に“×”印で表示している。 FIG. 18 (c) shows a case where a and too orientations upward, and displays a feature point at the position of the front state "×" mark.

また、上記実施形態では、利用者の個人差情報を取得するための手順として、上下左右を一度だけ向いてもらう例を説明したが、個人差情報の取得精度を高めるために、複数回各方向を向いてもらい、その平均値や取得した複数の値の中央値を修正閾値として採用することもできる。 In the above embodiment, as the procedure for obtaining the individual difference information of the user, an example has been described get oriented vertically and horizontally only once, in order to improve the acquisition accuracy for individual difference information, a plurality of times in each direction have oriented, it is also possible to adopt the median of the average value and the obtained plurality of values ​​as a correction threshold.

また、上記実施形態では、顔向き判定部103により判定された顔向きに応じて、表示部装置107上に表示されるポインタを制御するポインタ制御部106を例に挙げて説明したが、ポインタのほかにも、顔向き判定部103により判定された顔向きに応じて表示装置107の画面のスクロールや、表示装置に表示されるキャラクター(例えばゲームの自機など)の移動などにも本発明を利用することができる。 In the above embodiment, in accordance with the determined face orientation by the face orientation determining unit 103, but the pointer control unit 106 that controls a pointer displayed on the display unit 107 has been described as an example, pointers Besides, the scroll and the screen of the display device 107 in accordance with the determined face orientation by the face orientation determining unit 103, also present invention to such movement of the characters displayed on the display device (such as a game of its own equipment) it can be utilized.

本発明は、顔向き検出装置および顔向き検出方法に利用可能であり、特に、入力画像から利用者の顔部分の特徴点を検出し、その顔向きを判別することによってポインタを操作する非接触インタフェースに用いられる顔向き検出装置および顔向き検出方法に利用可能である。 The present invention is applicable to the face orientation detecting apparatus and face direction detection method, in particular, to detect the feature points of the face part of the user from the input image, the non-contact manipulating pointers by determining the face orientation to face orientation detection device and the face direction detection method used in the interface are available.

本発明の一実施形態の構成を示す説明図である。 It is an explanatory view showing a configuration of an embodiment of the present invention. 特徴点を示す説明図である。 It is an explanatory diagram showing a feature point. 上下向き判定の特徴点計算を示す説明図である。 It is an explanatory diagram showing a characteristic point calculation of the vertical orientation determination. 上下向き判定を示すフローチャートである。 It is a flow chart showing the up and down direction judgment. 左右向き判定の特徴点計算を示す説明図である。 It is an explanatory diagram showing a characteristic point calculation of the left and right orientation determination. 左右向き判定を示すフローチャートである。 Is a flow chart showing the left and right orientation determination. 個人差調整の画面表示(上下方向)を示す説明図である。 It is an explanatory diagram showing a screen display of individual differences adjusted (vertical direction). 上向き閾値の調整を示す説明図である。 Is an explanatory view showing the adjustment of the upward threshold. 下向き閾値の調整を示す説明図である。 Is an explanatory view showing the adjustment of the downward threshold. 下向き閾値の説明図(1)である。 Is an illustration of a downward threshold (1). 下向き閾値の説明図(2)である。 Is an illustration of a downward threshold (2). 下向き閾値の説明図(3)である。 Is an illustration of a downward threshold (3). 閾値の修正を示すフローチャートである。 Is a flow chart showing a modification of the threshold. 閾値の修正を示すフローチャートである。 Is a flow chart showing a modification of the threshold. 顔向き指示例を示す説明図である。 It is an explanatory view showing a face orientation indication example. 向き過ぎ警告例を示す説明図である。 Is an explanatory view showing the orientation too warning example. 調整後の確認操作例(1)を示す説明図である。 Is an explanatory diagram showing a checking operation example of the adjusted (1). 調整後の確認操作例(2)を示す説明図である。 Is an explanatory diagram showing a checking operation example after adjustment (2). 調整後の確認操作例を示す説明図である。 It is an explanatory diagram showing a checking operation example after adjustment.

符号の説明 Description of the code

100 顔向き検出装置 101 画像入力部 102 特徴点抽出部 103 顔向き判定部 104 個人差調整部 105 個人差情報格納部 106 ポインタ制御部 107 表示部 100 face orientation detection device 101 image input unit 102 the feature point extraction unit 103 face orientation determining unit 104 individual difference adjustment unit 105 individual difference information storage unit 106 pointer control unit 107 display unit

Claims (9)

  1. 情報処理装置の利用者の顔向きを判定して該情報処理装置のアプリケーションで利用するための顔向き判定装置において、 In the face orientation determining device for to determine the user's face orientation of the information processing apparatus utilized in the application of the information processing apparatus,
    利用者の顔を画像として入力する画像入力部と、 An image input unit for inputting the user's face as an image,
    前記画像から、利用者の顔の特徴点を抽出する特徴点抽出部と、 From said image, a feature point extraction unit that extracts feature points of the face of the user,
    所定の閾値に基づいて前記特徴点から利用者の顔向きを判定し、アプリケーションに情報を送信する顔向き判定部と、 A face orientation determining unit that said determining the user's face orientation from the feature points, and transmits the information to the application on the basis of a predetermined threshold value,
    利用者ごとの各顔向きについて個人差を調整するための個人差情報を取得する個人差調整部と、 And personal difference adjustment unit to acquire the individual difference information for adjusting the individual differences for each face orientation of each user,
    前記閾値を前記個人差情報を用いて更新して利用者ごとに登録する個人差情報格納部と、 And the individual difference information storage unit for registering the threshold for each user to update by using the individual difference information,
    を備えたことを特徴とする、顔向き判定装置。 And further comprising a face orientation determination device.
  2. さらに、 further,
    各種情報を表示する表示部と、 And a display unit that displays a variety of information,
    前記顔向き判定部により判定された顔向きに応じて、前記表示部上に表示されるポインタを制御するポインタ制御部と、 Depending on the face orientation determination by the face orientation determining unit, and a pointer control unit which controls a pointer displayed on said display unit,
    を備えたことを特徴とする、請求項1に記載の顔向き判定装置。 And further comprising a face orientation determination apparatus according to claim 1.
  3. 前記個人差調整部は、 The personal difference adjustment unit is,
    前記利用者に対して各顔向きの動作を一通り行わせるための指示を出し、 Issues an instruction for performing one through the operation of each face direction with respect to said user,
    前記画像入力部から入力される各顔向きの画像から前記個人差情報を取得することを特徴とする、請求項1または2に記載の顔向き判定装置。 And acquires the individual difference information from the face orientation of the image input from the image input unit, the face orientation determining apparatus according to claim 1 or 2.
  4. 前記個人差調整部は、 The personal difference adjustment unit is,
    前記利用者に対して各顔向きの動作を一通り行わせるための指示を出すにあたり、各種情報を表示する表示部に図形または画像で指示を出すことを特徴とする、請求項3に記載の顔向き判定装置。 Upon issuing an instruction for performing one through the operation of each face direction with respect to said user, characterized in that issue instructions in shape or image on the display unit for displaying various information, according to claim 3 face orientation determination apparatus.
  5. 前記個人差調整部は、 The personal difference adjustment unit is,
    前記利用者の各顔向きの動作が不適正なものである場合に、前記利用者に警告を発することを特徴とする、請求項3または4に記載の顔向き判定装置。 When the operation of each face facing the user is as it incorrect, characterized in that a warning to the user, the face orientation determining apparatus according to claim 3 or 4.
  6. 利用者の顔向きを判定する顔向き判定方法において、 In determining the face orientation determining how the user's face orientation,
    利用者の顔を画像として入力する画像入力工程と、 An image input step of inputting the user's face as an image,
    前記画像から、利用者の顔の特徴点を抽出する特徴点抽出工程と、 From the image, and the feature point extraction step of extracting feature points of the face of the user,
    所定の閾値に基づいて前記特徴点から利用者の顔向きを判定する顔向き判定工程と、 And determining the face orientation determining step a user's face orientation from the feature point based on a predetermined threshold value,
    利用者ごとの各顔向きについて個人差を調整するための個人差情報を取得する個人差調整工程と、 And personal difference adjustment step of acquiring the individual difference information for adjusting the individual differences for each face orientation of each user,
    前記閾値を前記個人差情報を用いて更新して利用者ごとに登録する個人差情報格納工程と、 And the individual difference information storage step of registering the threshold for each user to update by using the individual difference information,
    を含むことを特徴とする、顔向き判定方法。 Characterized in that it comprises a face orientation determination method.
  7. 前記個人差調整工程は、 The personal difference adjustment process,
    前記利用者に対して各顔向きの動作を一通り行わせるための指示を出す工程と、 A step of issuing an instruction for performing one through the operation of each face direction with respect to said user,
    前記画像入力部から入力される各顔向きの画像から前記個人差情報を取得する工程と、 A step of obtaining the individual difference information from the image for each face orientation that is input from the image input unit,
    を含むことを特徴とする、請求項6に記載の顔向き判定方法。 Characterized in that it comprises a face orientation determination method according to claim 6.
  8. 前記利用者に対して各顔向きの動作を一通り行わせるための指示を出す工程において、 In the step of issuing an instruction for performing one through the operation of each face direction with respect to said user,
    各種情報を表示する表示部に図形または画像で指示を出すことを特徴とする、請求項7に記載の顔向き判定方法。 Wherein the issue instructions in shape or image on the display unit for displaying various information, face orientation determination method according to claim 7.
  9. 前記個人差調整工程において、 In the personal difference adjustment process,
    前記利用者の各顔向きの動作が不適正なものである場合に、前記利用者に警告を発することを特徴とする、請求項7または8に記載の顔向き判定方法。 When the operation of each face facing the user is as it incorrect, characterized in that a warning to the user, the face orientation determining method according to claim 7 or 8.

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010049578A (en) * 2008-08-22 2010-03-04 Seiko Epson Corp Image processor, image processing method, and image processing program
US8355602B2 (en) 2008-08-22 2013-01-15 Seiko Epson Corporation Image processing apparatus, image processing method and image processing program
US9304583B2 (en) 2008-11-20 2016-04-05 Amazon Technologies, Inc. Movement recognition as input mechanism
JP2010230651A (en) * 2009-03-27 2010-10-14 Utechzone Co Ltd Visual line tracing method and visual line tracing system
US8515180B2 (en) 2009-12-28 2013-08-20 Canon Kabushiki Kaisha Image data correction apparatus and method using feature points vector data
US9123272B1 (en) 2011-05-13 2015-09-01 Amazon Technologies, Inc. Realistic image lighting and shading
US9223415B1 (en) 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
US9471153B1 (en) 2012-03-14 2016-10-18 Amazon Technologies, Inc. Motion detection systems for electronic devices
US9063574B1 (en) 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
US9285895B1 (en) 2012-03-28 2016-03-15 Amazon Technologies, Inc. Integrated near field sensor for display devices
JP2014123322A (en) * 2012-12-21 2014-07-03 Casio Comput Co Ltd Information notification device, information notification method, and program
WO2015001791A1 (en) * 2013-07-03 2015-01-08 Panasonic Intellectual Property Management Co., Ltd. Object recognition device objection recognition method
JP6052751B2 (en) * 2013-07-03 2016-12-27 パナソニックIpマネジメント株式会社 Object recognition device and object recognition method

Similar Documents

Publication Publication Date Title
Boulos et al. Web GIS in practice X: a Microsoft Kinect natural user interface for Google Earth navigation
US7907838B2 (en) Motion sensing and processing on mobile devices
Wang et al. Camera phone based motion sensing: interaction techniques, applications and performance study
US20110157017A1 (en) Portable data processing appartatus
US20120262558A1 (en) Apparatus, systems and methods for providing motion tracking using a personal viewing device
US20110134068A1 (en) Method and device of stroke based user input
US20090262074A1 (en) Controlling and accessing content using motion processing on mobile devices
WO2006036069A1 (en) Information processing system and method
US20120075285A1 (en) Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
JP2007121489A (en) Portable display device
Agrawal et al. Using mobile phones to write in air
WO2011036618A2 (en) Remote control of computer devices
US20120218444A1 (en) Methods and systems for dealing with perspective distortion in connection with smartphone cameras
WO2013093906A1 (en) Touch free interface for augmented reality systems
US20100100853A1 (en) Motion controlled user interface
US20130063345A1 (en) Gesture input device and gesture input method
CN101158889A (en) Method changing picture mark position by dynamic sensing and electronic device thereof
US20090104993A1 (en) Electronic game controller with motion-sensing capability
US20110154233A1 (en) Projected display to enhance computer device use
US20120121185A1 (en) Calibrating Vision Systems
JP2009277195A (en) Information display system
KR20100047793A (en) Apparatus for user interface based on wearable computing environment and method thereof
JP2006320424A (en) Action teaching apparatus and method
US7810247B2 (en) Method for entering commands and/or characters for a portable communication device equipped with a tilt sensor
JP2012068854A (en) Operation input device and operation determination method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091214

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20100812