Connect public, paid and private patent data with Google Patents Public Datasets

Face direction detector and face direction detection method

Info

Publication number
JP2008186247A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
face
direction
difference
individual
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2007019335A
Other languages
Japanese (ja)
Inventor
Toshiya Irie
俊也 入江
Original Assignee
Oki Electric Ind Co Ltd
沖電気工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a face direction detector allowing achievement of sufficient detection accuracy by reducing influence upon the detection accuracy by an individual difference when detecting a face direction from two-dimensional characteristic point coordinates even if the face direction detection device is a small device such as a portable device. <P>SOLUTION: A face direction decision device 100 has: an image input part 101 for entering a face of a user as an image; a characteristic point extraction part 102 for extracting a characteristic point of the face of the user from the image; a face direction decision part 103 for deciding the face direction of the user based on a prescribed threshold from the characteristic point; an individual difference adjustment part 104 for acquiring individual difference information for adjusting the individual difference about each the face direction of each the user; and an individual difference information storage part 105 updating the threshold by use of the individual difference information and registering it in each the user. By updating the threshold, the face direction detection wherein the individual difference of the user is considered can be performed. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、顔向き検出装置および顔向き検出方法にかかり、特に、入力画像から利用者の顔部分の特徴点を検出し、その顔向きを判別することによってポインタを操作する非接触インタフェースに用いられる顔向き検出装置および顔向き検出方法に関する。 The present invention relates to a face orientation detection device and orientation detecting method, in particular, to detect the feature points of the face part of the user from the input image, using the contactless interface to manipulate the pointer by determining the face orientation about the orientation detecting device and orientation detecting method is.

近年、非接触インタフェースの技術が一般的になってきており、例えばカメラ等から入力した画像から利用者の顔の向きや視線の方向を検出することで装置を操作する方法が数多く提案されている。 Recently, a non-contact interface technology is becoming common, a method of operating a device by detecting the direction and the direction of the sight line of the user's face from the image input from a camera or the like have been proposed . 顔向きを検出する方法には、大別すると各方向の顔画像のパターンをテンプレートとして入力画像とマッチングを行う方法と、顔部品(目、口、鼻など)の顔の特徴点を検出してから幾何学的に顔向きを検出する方法がある。 The method of detecting a face direction, are roughly classified into a method of performing an input image matching the pattern in each direction of the face image as a template, a face parts (eyes, mouth, nose, etc.) to detect the feature points of the face of there are geometrically method of detecting a face direction from.

前者の方法は、精度を高めるためには非常に多くのデータ処理、計算処理を行う必要があるため、リアルタイム性を必要とするポインタ操作等に用いるには不適であり、特に携帯端末などの処理性能が非力な装置には適用できない。 The former method, a large number of data processing to improve the accuracy, it is necessary to the calculation process performed is unsuitable for use in pointer operation or the like that requires real-time, in particular treatment such as a portable terminal performance can not be applied to the powerless equipment.

後者の方法は、比較的精度が上げやすい。 The latter method, relatively easy precision raised. 特に物体の3次元形状を比較的簡単な計算で扱う因子分解法を用いることで、精度の高い顔向きが得られる方法が提案されている(例えば、特許文献1参照。)。 In particular, by using a factorization method of handling a three-dimensional shape of an object in a relatively simple calculation method for accurate face direction is obtained has been proposed (e.g., see Patent Document 1.). しかし、因子分解法を用いる方法は、現在の携帯端末、例えば携帯電話などに適用するには、入力画像の解像度と画質、端末の処理性能を考慮すると、十分な精度・性能が得られない。 However, a method using a factorization method, the current mobile terminals, for example, to apply to mobile phones, the resolution and quality of the input image, in consideration of the processing performance of the terminal, no sufficient accuracy and performance. そのため、そのような機器で顔向き検出を用いた非接触インタフェースを実現するために、単純に2次元的ないくつかの顔特徴点の座標計算のみを利用するか、あるいは2次元特徴点座標と顔領域の抽出との併用で顔向きを判断する方法が提案されている(例えば、特許文献2〜4参照。)。 Therefore, in order to realize a non-contact interface with the orientation detecting in such devices simply do using only coordinate calculation of two-dimensional some facial feature points, or a 2-dimensional feature point coordinates how to determine the face orientation in combination with the extraction of the face region it has been proposed (e.g., see Patent documents 2 to 4.).

特許第3822483号公報 Patent No. 3822483 Publication 特開平4−281578号公報 JP-4-281578 discloses 特開平10−274516号公報 JP 10-274516 discloses 特開平11−281661号公報 JP 11-281661 discloses 特許第2570966号公報 Patent No. 2570966 Publication

しかしながら、2次元の特徴点座標から顔向きを検出する場合、個人差による検出精度への影響が大きく、十分な検出精度を得ることが難しいという問題がある。 However, when detecting the face direction from the two-dimensional feature point coordinates, greater the impact on the detection accuracy of individual differences, there is a problem that it is difficult to obtain a sufficient detection accuracy. そのため、例えば特許文献5では、利用者の個人差、すなわち身体的特徴をあらかじめ測定し、補正する手段を設けることを提案している。 Therefore, for example, Patent Document 5, individual difference of the user, that is measured in advance physical characteristics, it is proposed to provide means for correcting.

しかし、特許文献5では、その個人差の取得手段が機械的な取得であることを示唆する記載があるのみで、実現手段が提示されていなかった。 However, Patent Document 5, means for obtaining the individual difference is only a description suggesting that the mechanical acquisition, implementation means has not been presented. また、機械的な手段によって身体的な特徴の差を取得することは、利用者にとっては測定作業が煩雑あり、容易に使用できるというものではなかった。 Moreover, obtaining a difference between the physical characteristics by mechanical means, there complicated measuring work for the user, it was not that easy to use. さらに携帯機器などの小機器では、装置の製造コストの観点や、容積・重量の観点から、機械的な測定手段を持つことも困難であるという課題があった。 Yet small devices such as portable devices, the viewpoint and the manufacturing cost of the apparatus, in terms of volume and weight, there is a problem that it is difficult to have a mechanical measuring means.

本発明は、上記背景技術が有する問題点に鑑みてなされたものであり、本発明の目的は、携帯機器などの小機器であっても、2次元の特徴点座標から顔向きを検出する場合に、個人差による検出精度への影響を軽減し、十分な検出精度を得ることの可能な、新規かつ改良された顔向き検出装置および顔向き検出方法を提供することである。 The present invention has been made in view of the problem above background art has an object of the present invention, even in small devices such as mobile devices, to detect the face orientation of the two-dimensional feature point coordinates to, to reduce the effect on the detection accuracy of individual differences, it possible to obtain a sufficient detection accuracy, it is to provide a new and improved orientation detecting device and orientation detecting method.

上記課題を解決するため、本発明の第1の観点によれば情報処理装置の利用者の顔向きを判定して該情報処理装置のアプリケーションで利用するための顔向き判定装置が提供される。 To solve the above problems, a first face orientation determining apparatus for use in applications according to an aspect determines the user's face orientation of the information processing apparatus the information processing apparatus of the present invention is provided. 本発明の顔向き判定装置(100)は、利用者の顔を画像として入力する画像入力部(101)と、前記画像から、利用者の顔の特徴点を抽出する特徴点抽出部(102)と、所定の閾値に基づいて前記特徴点から利用者の顔向きを判定し、アプリケーションに情報を送信する顔向き判定部(103)と、利用者ごとの各顔向きについて個人差を調整するための個人差情報を取得する個人差調整部(104)と、前記閾値を前記個人差情報を用いて更新して利用者ごとに登録する個人差情報格納部(105)と、を備えたことを特徴とする(請求項1)。 Face orientation determining apparatus of the present invention (100) includes an image input unit for inputting a user's face as an image (101), from the image, the feature point extracting unit that extracts feature points of the face of the user (102) If, to determine the user's face orientation from the feature point based on a predetermined threshold value, the face orientation determining unit that transmits information to the application (103), for adjusting the individual difference for each face orientation of each user individual difference adjustment unit that acquires individual difference information (104), the personal difference information storage unit to be registered for each user the threshold update by using the individual difference information (105), further comprising a wherein (claim 1).

さらに、各種情報を表示する表示部(107)と、前記顔向き判定部により判定された顔向きに応じて、前記表示部上に表示されるポインタを制御するポインタ制御部(106)と、を備えて構成することができる(請求項2)。 Further, the display unit for displaying various information (107), in accordance with the face orientation determination determined face orientation by the unit, a pointer control unit which controls a pointer displayed on the display unit (106), the it can be configured with (claim 2).

かかる構成によれば、利用者に対して正面および各方向の顔向きの動作、すなわち顔向きを検出してポインタ等を操作する非接触インタフェースが持つ検出動作を一通り行わせ、その時の特徴点の状態を検出し、それぞれの検出動作について、利用者に最適な検出の閾値を算出し、閾値を更新する制御部を設けることで、利用者の個人差を加味した顔向き検出を行うことができるため、装置の製造コストを上げることなく、利用者が容易に顔向き検出の精度の向上させることが期待できる。 According to such a configuration, the front and operate in each direction of the face orientation to the user, i.e. to perform one way the detection operation with the contactless interface to manipulate the pointer or the like by detecting the face direction, the feature point at that time detecting the state, for each detection operation, it calculates a threshold value of optimal detection to the user, by providing the control unit for updating the threshold value, is possible to perform face direction detection considering the individual difference of the user can therefore, without increasing the manufacturing cost of the apparatus can be expected to be a user to easily improve the precision of the orientation detecting. ポインタのほかにも、顔向き判定部により判定された顔向きに応じて表示装置の画面のスクロールや、表示部に表示されるキャラクター(例えばゲームの自機など)の移動などにも利用することができる。 Besides pointers, scrolling or the screen of the display device in accordance with the determined face orientation by the face orientation determining unit, also be utilized for such movement of a character displayed on the display unit (e.g., a game of its own) can.

なお上記において、構成要素に付随して括弧書きで記した参照符号は、説明の便宜のために、後述の実施形態および図面における対応する構成要素を一例として記したに過ぎず、本発明がこれに限定されるものではない。 Note in the above, any reference signs noted in parentheses in association with components for the convenience of explanation, only illustrated as an example the corresponding components in the embodiments and drawings described below, the present invention this the present invention is not limited to. 以下も同様である。 The following is the same.

本発明の顔向き判定装置においてはさまざまな応用が可能であるが、そのいくつかの例を挙げれば以下の通りである。 Although the face orientation determining apparatus of the present invention can be various applications, as follows to name a few of the examples.

前記個人差調整部(104)は、前記利用者に対して各顔向きの動作を一通り行わせるための指示を出し、前記画像入力部から入力される各顔向きの画像から前記個人差情報を取得するようにしてもよい(請求項4)。 The personal difference adjustment unit (104) issues an instruction for performing one way the operation of the face direction with respect to the user, the individual difference information from the image of the face direction inputted from the image input unit may be acquired (claim 4).

前記個人差調整部(104)は、前記利用者に対して各顔向きの動作を一通り行わせるための指示を出すにあたり、各種情報を表示する表示部(107)に図形または画像で指示を出すようにしてもよい(請求項5)。 The personal difference adjustment unit (104), when issuing an instruction for performing one way the operation of the face direction with respect to the user, a display unit for displaying various information instructed by the graphics or image (107) may also be issued (claim 5).

前記個人差調整部(104)は、前記利用者の各顔向きの動作が不適正なもの(向き過ぎ)である場合に、前記利用者に警告(警告音、警告画面の表示など)を発するようにしてもよい(請求項6)。 The personal difference adjustment unit (104), the operation of each face facing the user when it is improper ones (orientation too), the warning to the user issues a (warning sound, displays such a warning screen) mAY way (claim 6).

上記課題を解決するため、本発明の第2の観点によれば、利用者の顔向きを判定する顔向き判定方法が提供される。 To solve the above problems, according to the second aspect of the present invention determines the face orientation determining method the user of the face direction is provided. 本発明の顔向き判定方法は、利用者の顔を画像として入力する画像入力工程と、前記画像から、利用者の顔の特徴点を抽出する特徴点抽出工程と、所定の閾値に基づいて前記特徴点から利用者の顔向きを判定する顔向き判定工程と、利用者ごとの各顔向きについて個人差を調整するための個人差情報を取得する個人差調整工程と、前記閾値を前記個人差情報を用いて更新して利用者ごとに登録する個人差情報格納工程と、を含むことを特徴とする(請求項7)。 Face orientation determination method of the present invention, the face of the user and the image input step of inputting an image, from the image, and feature point extraction step of extracting feature points of the face of the user, based on a predetermined threshold value and determining the face orientation determining step a user's face orientation from the feature points, and individual difference adjustment step of acquiring personal difference information for adjusting the individual difference for each face orientation of each user, the personal difference the threshold and individual difference information storage step of updating to be registered for each user using the information, characterized in that it comprises a (claim 7).

かかる方法によれば、利用者に対して正面および各方向の顔向きの動作、すなわち顔向きを検出してポインタ等を操作する非接触インタフェースが持つ検出動作を一通り行わせ、その時の特徴点の状態を検出し、それぞれの検出動作について、利用者に最適な検出の閾値を算出し、閾値を更新する制御部を設けることで、利用者の個人差を加味した顔向き検出を行うことができるため、装置の製造コストを上げることなく、利用者が容易に顔向き検出の精度の向上させることが期待できる。 According to this method, the front and operate in each direction of the face orientation to the user, i.e. to perform one way the detection operation with the contactless interface to manipulate the pointer or the like by detecting the face direction, the feature point at that time detecting the state, for each detection operation, it calculates a threshold value of optimal detection to the user, by providing the control unit for updating the threshold value, is possible to perform face direction detection considering the individual difference of the user can therefore, without increasing the manufacturing cost of the apparatus can be expected to be a user to easily improve the precision of the orientation detecting.

本発明の顔向き判定方法においてもさまざまな応用が可能であるが、そのいくつかの例を挙げれば以下の通りである。 Although also various applications in the face orientation determination method of the present invention are possible, as follows to name a few of the examples.

前記個人差調整工程は、前記利用者に対して各顔向きの動作を一通り行わせるための指示を出す工程と、前記画像入力部から入力される各顔向きの画像から前記個人差情報を取得する工程と、を含むようにしてもよい(請求項8)。 The individual difference adjusting step includes the steps of issuing an instruction for performing one way the operation of the face direction with respect to the user, the individual difference information from the image of the face direction inputted from the image input unit a step of acquiring may also include a (claim 8).

前記利用者に対して各顔向きの動作を一通り行わせるための指示を出す工程において、各種情報を表示する表示部に図形または画像で指示を出すようにしてもよい(請求項9)。 In the step of issuing an instruction for performing one way the operation of the face direction with respect to the user, may also be instructs graphically or image on the display unit for displaying various information (claim 9).

前記個人差調整工程において、前記利用者の各顔向きの動作が不適正なもの(向き過ぎ)である場合に、前記利用者に警告(警告音、警告画面の表示など)を発するようにしてもよい(請求項10)。 In the personal difference adjustment process, the operation of each face facing the user when it is improper ones (orientation too), the warning to the user so as to emit (warning sound, displays such a warning screen) which may (claim 10).

また、本発明の他の観点によれば、コンピュータを、上記本発明の第1の観点にかかる顔向き検出装置として機能させるためのプログラムと、そのプログラムを記録した、コンピュータにより読み取り可能な記録媒体が提供される。 According to another aspect of the present invention, a computer, a first program to function as the orientation detecting device according to the aspect, recording the program, a computer-readable recording medium of the present invention There is provided. ここで、プログラムはいかなるプログラム言語により記述されていてもよい。 Here, the program may be described by any programming language. また、記録媒体としては、例えば、CD−ROM、DVD−ROM、フレキシブルディスク、フラッシュメモリ、携帯端末装置の内蔵メモリなど、プログラムを記録可能な記録媒体として現在一般に用いられている記録媒体、あるいは将来用いられるいかなる記録媒体をも採用することができる。 Further, as the recording medium, for example, CD-ROM, DVD-ROM, a flexible disk, a flash memory, a built-in memory of the mobile terminal device, a recording medium currently used generally the program as a recording medium capable of recording or future, any recording medium used can be employed.

以上のように、本発明によれば、携帯機器などの小機器であっても、2次元の特徴点座標から顔向きを検出する場合に、個人差による検出精度への影響を軽減し、十分な検出精度を得ることが可能である。 As described above, according to the present invention, even in a small device such as a mobile device, when detecting face orientation from a two-dimensional feature point coordinates, to reduce the effect on the detection accuracy of individual differences, enough it is possible to obtain a Do detection accuracy. その他の本発明の優れた効果については、以下の発明を実施するための最良の形態の説明においても説明する。 The excellent effect of the other present invention, also described in the description of the best mode for carrying out the following invention.

以下に添付図面を参照しながら、本発明にかかる顔向き検出装置および顔向き検出方法の好適な実施形態について詳細に説明する。 With reference to the accompanying drawings, preferred embodiments of according the orientation detecting device and orientation detecting method of the present invention will be described in detail. なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 In the specification and drawings, components having substantially the same function and structure are a repeated explanation thereof by referring to the figures.

図1は、本発明の一実施形態の構成を示す説明図である。 Figure 1 is an explanatory diagram showing a configuration of an embodiment of the present invention. 本実施形態では、顔向きを正面・上・下・左・右の5つの方向に判定し、ポインタをその方向に動かす(正面の場合は動かさない)場合を例に挙げて説明する。 In the present embodiment, to determine the face orientation into five directions of front, top, bottom, left, and right, move the pointer in that direction (not moved in case of the front) when the will be described as an example.

本実施形態にかかる顔向き検出装置100は、図1に示したように、画像入力部101と、特徴点抽出部102と、顔向き判定部103と、個人差調整部104と、個人差情報格納部105と、ポインタ制御部106と、表示部107を含んで構成されている。 Orientation detecting apparatus 100 according to this embodiment, as shown in FIG. 1, an image input unit 101, a feature point extracting unit 102, a face orientation determining unit 103, an individual difference adjustment unit 104, the personal difference information a storage unit 105, a pointer controller 106, is configured to include a display unit 107. なお、本実施形態の説明に直接関係がない、様々な機能を実現するための処理部や接続関係は説明および図示を省略する。 Incidentally, there is no directly related to the description of the present embodiment, the processing unit and the connection relationships for realizing various functions is omitted and illustrated. 以下、各構成要素について詳細に説明する。 Follows is a detailed description of each component.

画像入力部101は、利用者の顔が含まれた画像を連続した複数の画像としてリアルタイムに取得する処理部であり、例えばカメラデバイスである。 The image input unit 101 is a processing unit for acquiring in real time as a plurality of consecutive images an image includes a face of a user, for example, a camera device. 取得した画像は特徴点抽出部102へ送られる。 Acquired image is sent to the feature point extracting unit 102.

特徴点抽出部102は、画像入力部101より入力された画像から、画像ごとに顔領域および顔部品(例えば、目、口、鼻、眉毛など)の位置を特定し、それぞれの特徴点の位置を2次元の座標として抽出する処理部である。 Feature point extraction unit 102 from the image input from the image input unit 101, the face area and face components each image (e.g., the eyes, mouth, nose, eyebrows, etc.) to locate the position of each feature point which is a processing unit that extracts as a two-dimensional coordinate. 抽出した特徴点座標は顔向き判定部103および個人差調整部104へ送られる。 Extracted feature point coordinates is sent to the face orientation determining unit 103 and the individual difference adjustment unit 104.

顔向き判定部103は、得られた特徴点座標と予め決められた顔向き判定式により、顔の向きを正面・上・下・左・右のいずれかとして判定し、その結果を顔向き情報として出力する処理部である。 Face orientation determining unit 103, the resulting predetermined face orientation determining equation point coordinates feature, judges as either the orientation of the face front, up, down, right and left, the face direction information and the results a processing unit which outputs as. 顔向き情報はポインタ制御部106へ送る。 Face direction information is sent to the pointer control unit 106.

個人差調整部104は、利用者の身体的特徴を抽出するために、表示部107を使って対話的に利用者へ個人差情報の測定を行わせ、抽出した個人差情報を個人差情報格納部105へ登録する処理部である。 Individual difference adjustment unit 104 in order to extract the physical features of the user, to perform the measurement of the individual difference information to the interactive user using the display unit 107, the personal difference information stores the extracted individual difference information a processing unit for registering the parts 105.

個人差情報格納部105は、利用者が一旦個人差情報を登録した以降、顔向き判定部103の顔向き判定式にその個人差の修正を加える処理部である。 Individual difference information storage unit 105, after the user has temporarily registering personal difference information, a processing unit for adding the correction of the individual difference in the face orientation determining expression of the face orientation determining unit 103.

ポインタ制御部106は、顔向き判定部103の結果に基づき、ポインタを移動させる制御部である。 Pointer control unit 106, based on the result of the face orientation determining unit 103, a control unit for moving the pointer.

表示部107は、ポインタ制御部106から得たポインタの移動結果の表示や個人差調整部104に従って、利用者に対して個人差情報取得のための指示情報を表示する。 Display unit 107, according to the display and individual difference adjustment unit 104 of the movement result of the pointer obtained from the pointer control unit 106 displays the instruction information for the individual difference information obtained for the user. また、装置が持つその他の機能に必要な情報を表示する。 Also, to display information necessary for the other functions of apparatus.

本実施形態は以上のように構成されている。 This embodiment is constructed as described above. 以下に本実施形態の動作について説明する。 A description will be given of the operation of the present embodiment below.

(本実施形態の動作) (Operation of the Embodiment)
まず、ポインタ操作の動作を説明する。 First, the operation of the pointer operation.

利用者がカメラの前に自分の顔をかざすと、画像入力部101から利用者の顔が含まれた画像がリアルタイムに特徴点抽出部102に送られる。 When the user holds up his face in front of the camera, an image that contains the user's face from the image input unit 101 is sent to the feature point extracting unit 102 in real time. 特徴点抽出部102は、入力された画像から顔領域と顔部品を抽出し、それぞれの顔部品の特徴点座標として出力する。 Feature point extracting unit 102 extracts the face region and face parts from the input image, and outputs the feature point coordinates of each face part. この顔部品探索の方法には、例えば、特開2003−281539号公報「顔部品探索装置および顔部品探索方法」に開示された技術を用いることが可能である。 The method of the face parts search, for example, it is possible to use the technique disclosed in JP-A-2003-281539 "facial parts seeker and facial parts search method".

図2は、抽出特徴点の一例を示す説明図である。 Figure 2 is an explanatory diagram showing an example of extracting feature points. 図2に示した一例では、左目(LE)201、右目(RE)202、鼻(UM)203,口右端(RM)204,口下(DM)205、口左端(LM)206、左眉(LEB)207、右眉(REB)208を特徴点の例として示しているが、これら特徴点をすべて抽出する必要はなく、任意のものを抽出することができる。 In the example shown in FIG. 2, the left eye (LE) 201, the right eye (RE) 202, the nose (UM) 203, a mouth right end (RM) 204, a mouth under (DM) 205, a mouth left (LM) 206, the left eyebrow ( LEB) 207, are shown to the right eyebrow (REB) 208 as an example of feature points, it is not necessary to extract all of these feature points, it is possible to extract any thing. また、顔の他の箇所を特徴点として設定してもよい。 It is also possible to set the other parts of the face as a feature point. 本実施形態では、図2の“×”印に示す「眉2点、目2点、口4点」(参照符号201〜208)を特徴点として抽出するものとする。 In the present embodiment, it is assumed that the extraction "×" is shown in circles in FIG. 2, "eyebrows 2 points, the eye 2 points, mouth 4 points" (see reference numeral 201 to 208) as feature points.

特徴点抽出部102で抽出された特徴点座標は顔向き判定部103に送られ、予め決められた判定式により顔向きの方向を判定する。 Feature point coordinates extracted by the feature point extracting unit 102 is sent to the face orientation determining unit 103 determines the direction of the face direction by a predetermined judgment formula.

以下に顔向きの具体的な判定方法の例を示す。 The following shows a specific example of a method of determining the face orientation to. 上下方向の判定、左右方向の判定、正面方向の判定の順で説明する。 Determination of the vertical direction, the determination of the lateral direction, will be described in the order of determination in the front direction.

[上下方向の判定] [Judgment of the up-and-down direction]
まず、上下方向の判定方法を、図3および図4を参照しながら説明する。 First, the vertical determination method will be described with reference to FIGS.
まず図3に示す両目−口上の三角形における角度(∠LE)304、角度(∠RE)305を計算する(ステップS401)。 First eyes 3 - angle (∠LE) 304 in triangular Prompt, angle (∠RE) 305 calculates the (step S401). これらは左目(LE)301、右目(RE)302、口上(UM)303の3点の特徴点座標より容易に算出できる。 These left eye (LE) 301, the right eye (RE) 302, can be easily calculated from the feature point coordinates of three points Prompt (UM) 303.

次に、算出した角度(∠LE)304と角度(∠RE)305の平均(以下、両目−口上角度と称する)と、予め決められた上向き閾値および下向き閾値とを比較する(ステップS402、ステップS403)。 Then, the calculated angle (∠LE) 304 and the angle (∠RE) 305 average (hereinafter, eyes - called Prompt angle) and is compared with the upward threshold and downward threshold predetermined (step S402, step S403). 個人差はあるものの、人間の顔の特性から、上を向いた場合はこの角度が小さくなり、下を向くと大きくなることを利用し、上向き閾値以上であれば上方向(ステップS404)、下向き閾値以下であれば下向きと判定する(ステップS405)。 Although individual differences are, the characteristics of the human face, when the upward facing this angle becomes smaller, making use of the fact that increases as facing down, on long or upward threshold direction (step S404), the downward if the threshold value or less is determined as the downward (step S405).

ここで、一般的には正面状態を予め登録しておき、正面状態の両目−口上角度(∠LE、∠REの平均)と検出された顔画像の両目−口上角度(∠LE、∠REの平均)の差分を計算し、予め決められた正面顔との差分の閾値とを比較して上下向きを判定することで、利用者の身体的特徴の差による検出精度の低下をある程度軽減できる。 It is generally registered in advance front state, the front state eyes - Prompt angle of the detected face image (∠LE, average ∠RE) eyes - Prompt angle (∠LE, the ∠RE calculates a difference of the average), by determining a predetermined frontal face a vertical direction is compared with a threshold value of a difference between the reduction in the detection accuracy due to the difference of the user's physical characteristics can be reduced to some extent.

[左右方向の判定] [Judgment of the left and right direction]
次に、左右方向の判定方法を、図5および図6を参照しながら説明する。 Then, the left-right direction determination method will be described with reference to FIGS.
まず、図5(a)に示したように、両目中心(CE)509と、左内眉と目中心のX座標距離:距離(REB.x−CE.x)511を算出する(ステップS601)。 First, as shown in FIG. 5 (a), the eyes center (CE) 509, X-coordinate distance left inner eyebrow and eye center: Distance (REB.x-CE.x) 511 is calculated (step S601) .

次に、図5(b)、(c)に示したように、距離(CE.x−LEB.x)、距離(REB.x−CE.x)から、以下の式に基づいて左右眉の目中心分割割合を算出する(ステップS602)。 Next, FIG. 5 (b), the as shown (c), the distance (CE.x-LEB.x), the distance from (REB.x-CE.x), the left and right eyebrows on the basis of the following formula calculating the eye center split ratio (step S602). これらの距離と割合は、それぞれの特徴点座標から容易に計算できる。 These distances and proportions can be easily calculated from the respective feature point coordinates.
右眉−目中心割合=距離(REB.x−CE.x)÷距離(CE.x−LEB.x)% Right eyebrow - eye center ratio = length (REB.x-CE.x) ÷ distance (CE.x-LEB.x)%
左眉−目中心割合=距離(CE.x−LEB.x)÷距離(REB.x−CE.x)% Left eyebrow - eye center ratio = length (CE.x-LEB.x) ÷ distance (REB.x-CE.x)%

この算出結果から、左向きの判定は左眉−目中心割合と左向き判定閾値(例えば160%など)を比較し(ステップS603)、閾値を超えていれば、左向きであるとみなす(ステップS605)。 From the calculation result, the determination of the leftward left eyebrow - compares the eye center proportions and left determination threshold (e.g., 160%) (step S603), if exceeding the threshold, considered to be a left (step S605).

右向き判定は、同様に右眉−目中心割合と右向き判定閾値(例えば160%など)を比較し(ステップS604)、閾値を超えていれば、右向きであるとみなす(ステップS606)。 Right determination, similarly Migimayu - comparing the eye center proportions and right determination threshold (e.g., 160%) (step S604), if exceeding the threshold, considered to be a right (step S606).

[正面方向の判定] [Judgment in the front direction]
次に、正面方向の判定方法を説明する。 Next, the front direction determination method.
正面方向の判定は、総合判定として、上記で説明した上下/左右の各方向の判定でいずれでもない場合に正面とみなす。 Determining the front direction, as a comprehensive judgment, considered the front when neither the determination of the direction of the vertical / lateral described above.

このように判定された顔向き情報は、ポインタ制御部106へ送られ、ポインタ制御部106は、その顔向き情報に従って、ポインタやカーソルを上下左右に移動させる。 Determined face orientation information thus is transmitted to the pointer control unit 106, the pointer control unit 106, in accordance with the face direction information, moving a pointer or cursor up, down, left and right. ポインタ移動の場合は、例えば入力画像毎にその顔向き情報が示す方向に動かす。 For pointer movement, for example, moves in the direction indicated the face direction information for each input image. カーソルの場合は、同じ顔向き情報が画像数分連続したら表示部上のアイコンやメニュー単位に、顔向き情報が示す方向に移動させる。 If the cursor, the same face direction information in the icon or menu unit on the display unit upon successive number of images, is moved in the direction indicated by the face direction information.

以上がポインタ操作の動作の説明である。 The above is the description of the operation of the pointer operation.

次に個人差調整の動作について、図7〜図12、図13Aおよび図13Bを参照しながら説明する。 Next, the operation of the individual difference adjustment, 7 to 12 will be described with reference to FIGS. 13A and 13B. ここでは上下方向の調整方法について説明するが、左右方向も動作は同様である。 Here will be described vertical adjustment methods, the left-right direction operation is similar.

表示部107に画像入力部101から入力される画像を表示しながら、個人差調整部104は表示部107に、利用者に対して正面状態を撮影するように指示する(ステップS1001)。 While displaying the image inputted from the image input unit 101 to the display unit 107, an individual difference adjustment unit 104 on the display unit 107, an instruction to photograph the front state to the user (step S1001). 具体的には図7(a)に示した一例のように、「正面を向いてください」と画面表示する。 As an example specifically shown in FIG. 7 (a), the screen displays "Please facing the front." このとき、顔向き判定の上下判定と同様に、正面状態における両目−口上角度(∠LE、∠REの平均値):∠LE−RE_Neutralを算出し保持する(ステップS1002)。 At this time, similarly to the vertical determines the face orientation determining, both eyes in front states - Prompt angle (∠LE, the average value of ∠RE): calculated holds the ∠LE-RE_Neutral (step S1002).

次に、個人差調整部104は表示部107に、利用者に対して上に向くように指示する(ステップS1003)。 Next, individual difference adjustment unit 104 on the display unit 107, and instructs to face on to the user (step S1003). 具体的には図7(b)に示した一例のように、「上を向いてください」と画面表示する。 As an example specifically shown in FIG. 7 (b), the screen displays "Please facing up." このとき、利用者は正面状態から上方向を向くが、ここで入力画像を連続して処理し、利用者が上を向き過ぎて特徴点抽出部102が顔部品の特徴点座標を検出できなくなるか(ステップS1004)、一定時間利用者が顔向きを移動させなくなった時点(ステップS1006)の両目−口上角度(∠LE、∠REの平均値):とLE−RE_Upを保持する(ステップS1005)。 At this time, although the user directed upward from the front state, and treated sequentially input image here, the feature point extracting unit 102 can not be detected feature point coordinates of the face parts too oriented on the user or (step S1004), the eyes of the time when the predetermined time user no longer moves the face orientation (step S1006) - Prompt angle (∠LE, the average value of ∠RE): holding the LE-RE_Up (step S1005) .

さらに個人差調整部104は、利用者に対して下を向くように指示する(ステップS1007)。 Further individual difference adjustment unit 104 instructs the faces down to the user (step S1007). 具体的には図7(c)に示した一例のように、「下を向いてください」と画面表示する。 As an example specifically shown in FIG. 7 (c), the screen displays "Please look down." これにより利用者は下方向を向くが、上方向と同様に入力画像を連続して処理し、利用者が下を向き過ぎて特徴点座標を検出できなくなるか(ステップS1008)、一定時間顔向きを変化させなくなった時点(ステップS1010)の両目−口上角度(∠LE、∠REの平均値):∠LE−RE_Downを保持する(ステップS1009)。 Thus although the user faces downward, and treated sequentially in the same manner as the input image and the upward direction, or the user can not be detected feature point coordinates too faces down (step S1008), a predetermined time face orientation eyes of time no longer changing the (step S1010) - Prompt angle (∠LE, the average value of ∠RE): holding a ∠LE-RE_Down (step S1009).

これらの一連の操作は、利用者から見ると装置(顔向き判定装置100)の指示に従ってカメラ(画像入力部101)に向かって正面から上・下に顔を向けただけである。 These series of operations is only directed face in place on the top and bottom from the front toward the camera (the image input unit 101) according to the instructions of the apparatus when viewed from the user (the face orientation determining unit 100).

次に閾値の個人差修正の動作を説明する。 Next will be described the operation of individual differences modification threshold.
顔向き判定部103における上下方向の閾値は予め設計段階で装置と顔が含まれた多くの画像を評価することによって得られた閾値が格納されている。 Vertical threshold in the face orientation determining unit 103 is a threshold value obtained by evaluating the number of images include devices and face advance the design stage are stored. この閾値は、一般的には正面向きと上向き(あるいは下向き)との中間値である(図8の参照符号801)。 This threshold is generally an intermediate value between the front direction and the upward (or downward) (reference numeral 801 in FIG. 8).

これに対して、個人差調整部104は上記手順で得られた正面状態の両目−口上角度:∠LB−RE_Neutral(図8の参照符号803)と、上向き状態の両目−口上角度:∠LE−RE−Up(図8の参照符号802)からその中間値を算出し、個人差情報格納部105へ上向き判定用の修正閾値(図8の参照符号804)として登録する。 In contrast, individual difference adjustment unit 104 of the front state obtained by the above procedure eyes - Prompt angle: ∠LB-RE_Neutral (see reference numeral 803 in FIG. 8), the upward state eyes - Prompt angle: ∠LE- RE-Up to calculate the intermediate value (see numeral 802 in FIG. 8) is registered as the individual difference information storage unit 105 fixes the threshold for upward determination (reference numeral 804 in FIG. 8).

上向き判定用修正閾値は次のように表される。 Up determination modifications threshold can be expressed as follows.
上向き判定用修正閾値=(∠LE−RB_Neutral−∠LE−RE_Up)÷2 Up determination corrected threshold = (∠LE-RB_Neutral-∠LE-RE_Up) ÷ 2

顔向き判定部103は以降、この登録された閾値を用いて上向き判定を行う。 Face orientation determining unit 103 later, performs an upward determined using the registered threshold. つまり、登録した利用者に最適な閾値を用いて判定することになる。 That is, it is determined using the optimum threshold to a user who has registered.

下向きについても同様に正面状態の両目−口上角度:∠LE−RE_Neutral(図9の参照符号902)と、下向き状態の両目−口上角度:∠LE−RE_Down(図9の参照符号903)からその中間値を算出し、個人差情報格納部105へ下向き判定用の閾値(図9の参照符号904)として登録する。 Similarly the front state eyes also downward - Prompt angle: ∠LE-RE_Neutral (see reference numeral 902 in FIG. 9), downward state eyes - Prompt angle: intermediate from ∠LE-RE_Down (reference numeral 903 in FIG. 9) It calculates a value is registered as the individual difference information storage unit 105 downward determination threshold (reference numeral 904 in FIG. 9). 未説明の参照符号901は、図8の参照符号801と同様の初期閾値である。 Reference numeral 901 unexplained is the same of the initial threshold and the reference numeral 801 in FIG. 顔向き判定部103は以降、この閾値を用いて下向き判定を行う。 Face orientation determining unit 103 later, performs a downward determination using the threshold value.

ここで、図9の顔下向きの閾値の補正について、さらに説明する。 Here, the correction of the face downward threshold of FIG. 9 will be further described. 特に、図9に示したように、利用者の顔向きが正面から下向きに移動するとき、両目−口上角度が大きくなっていく理由について、図10〜図12を参照しながら詳細に説明する。 In particular, as shown in FIG. 9, the face direction of the user when moving downward from the front, both eyes - reason for Prompt angle becomes larger, will be described in detail with reference to FIGS.

利用者に正面を向くという行為を行わせたとき、人間の顔を横から見たときの目の中心(黒目)と唇の上の点の位置関係は、多くの人が目中心より口上が前(人間から見て正面方向)に突出している。 When to perform the act of facing the front of the user, the positional relationship between the point on the center (iris) and the lips of the eye when looking at the human face from the side, many people note verbale from the eye center protrudes (front direction when viewed from a human) before. 従って、正面から下方向を向くと、図10に示したように、両目−口上の三角形は縦方向に伸びる変化をする。 Therefore, when pointing downward from the front, as shown in FIG. 10, both eyes - triangle Prompt will change longitudinally extending. すなわち、図10において、角度A<角度Bとなる。 That is, in FIG. 10, the angle A <angle B.

また、本実施形態で想定しているポインタのコントロールなどでは、装置の画面を見たままの操作であるため、通常、人間は正面を見ているときより、下を向いたときの方が黒目がかなり上を向くように移動する。 Further, like the control of the pointer assumed in this embodiment, since an operation of the left viewing the screen of the device, usually, than when humans looking at the front is better when facing down iris but to move in considerable facing up. 口の上の点は特に上方向の動きはないため、図11に示したように、両目−口上の三角形は縦方向に伸びる変化をする。 Since no particular upward movement point on the mouth, as shown in FIG. 11, both eyes - triangle Prompt will change longitudinally extending. すなわち、図11において、角度C<角度Dとなる。 That is, in FIG. 11, an angle C <angle D.

また、携帯電話などの携帯端末装置での利用を前提とした場合に、装置を手に持ち、装置のインカメラを自分に向けて画面を見る姿勢をとると、図12に示したように、インカメラと顔の相対的な位置関係はほとんどの場合、カメラが顔の真正面より下になる。 In addition, in the case on the premise of use of a mobile terminal device such as a mobile phone, you have the device in hand, taking the attitude to see the screen toward the in-camera of the device to their own, as shown in FIG. 12, in most cases the relative positional relationship between the in-camera and the face of the camera is below the front of the face. その結果、図10に示した横から見たときの目中心と口上との関係で、正面状態がより傾斜を持つことになる。 As a result, in relation to the eye center and the Prompt when viewed from the side shown in FIG. 10, so that the front state have more slope. すなわち、図10、図12に示したように、角度a<角度Aであり、角度a<角度A<角度Bとなる。 That is, FIG. 10, as shown in FIG. 12, the angle a <angle A, the angle a <angle A <angle B.

以上の理由から、利用者の顔向きが正面から下向きに移動すると両目−口上角度が大きくなる結果となる。 For these reasons, the face orientation of the user's eyes when moving downward from the front - the result becomes larger Prompt angle. ただし、口の上の点だけだと個人差もあり十分な精度が出ないこともあるため、他の特徴点(例えば、鼻の特徴点など)を併用するようにしてもよい。 However, since not appear sufficient accuracy also individual differences that only point on the mouth, other feature points (e.g., feature points of the nose) may be used together.

以上、上下方向の個人差調整について説明したが、左右方向の個人差調整についても同様である。 Having described individual difference adjustment in the vertical direction is the same for individual difference adjustment in the horizontal direction. 利用者に右、左を向かせてそれぞれの目中心−右眉水平距離(および目中心−左眉水平距離)を保持し、中間値を閾値として登録することで、その利用者にとって最適な閾値で顔向き判定を行う。 Each eye center by unsuitable right, left to the user - Migimayu horizontal distance (and eye center - left eyebrow horizontal distance) holds, by registering the intermediate value as a threshold, the optimum threshold for that user in performing the face orientation determination. また、本実施形態では上下方向と左右方向の個人差調整を別々に行う場合について説明したが、上下左右まとめて行ってもよい。 Further, in the present embodiment there has been described a case where the individual difference adjustment with vertical lateral directions separately or may be performed vertically and horizontally collectively.

以上、本実施形態にかかる顔向き検出装置100について説明した。 This completes the description of the orientation detecting device 100 according to this embodiment. かかる顔向き検出装置100は、コンピュータに上記機能を実現するためのコンピュータプログラムを組み込むことで、コンピュータを顔向き検出装置100として機能させることが可能である。 Such orientation detecting device 100, by incorporating a computer program for realizing the above functions in a computer, it is possible to function the computer as orientation detecting device 100. かかるコンピュータプログラムは、所定の記録媒体(例えば、CD−ROM)に記録された形で、あるいは、電子ネットワークを介したダウンロードの形で市場を流通させることが可能である。 Such a computer program, a predetermined recording medium (for example, CD-ROM) in the form recorded on, or it is possible to distribute the market in the form of downloading through the electronic network. ここでいうコンピュータには、携帯電話などの小機器も当然に含まれる。 The computer referred to herein, small devices such as mobile phones are also included in the course.

(本実施形態の効果) (Effect of this embodiment)
以上のように、本実施形態によれば、利用者に対して正面および各方向の顔向きの動作、すなわち顔向きを検出してポインタを操作する非接触インタフェースが持つ検出動作を一通り行わせ、その時の特徴点の状態を検出し、それぞれの検出動作について、利用者に最適な検出の閾値を算出し、閾値を更新する制御部を設けることで、利用者の個人差を加味した顔向き検出を行うことができるため、装置の製造コストを上げることなく、利用者が容易に顔向き検出の精度の向上させることが期待できる。 As described above, according to this embodiment, the front and operate in each direction of the face orientation to the user, i.e. to perform one way the detection operation with the contactless interface to manipulate the pointer by detecting the face direction detects the state of the feature point at that time, for each of the detection operation, calculates a threshold value of optimal detection to the user, by providing the control unit for updating the threshold, the face direction obtained by adding the individual difference of the user it is possible to detect, without increasing the manufacturing cost of the apparatus can be expected to be a user to easily improve the precision of the orientation detecting.

以上、添付図面を参照しながら本発明にかかる顔向き検出装置および顔向き検出方法の好適な実施形態について説明したが、本発明はかかる例に限定されない。 Having described the preferred embodiments of such a face orientation detection device and orientation detecting method of the present invention with reference to the accompanying drawings, the present invention is not limited to such an example. 当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 Those skilled in the art, it is clear that within the scope of the technical idea described in the appended claims to cover various modifications included within the technical scope of the present invention as for their It is understood to belong ones.

例えば、上記実施形態では、閾値のよる顔向き判定によるポインタ操作を行う装置に適用した例を説明したが、顔向き角度を画面上の座標に変換するマウスポインタ操作を行う装置にも適用可能である。 For example, in the above embodiment, a description has been given of an example of application to apparatus for performing pointer operation by the face orientation determining by the threshold, it can also be applied to apparatus for performing pointer operation that converts the face direction angle to the coordinates on the screen is there. その際は、閾値を補正するのではなく、顔向き角度を座標に変換する関数(例えば変換式や変換テーブル)を個人差情報によって修正する。 In that case, rather than correcting the threshold value is corrected by personal difference information function (e.g. conversion formula or conversion table) for converting the face orientation angle coordinates.

上記実施形態では、顔向き検出の判定方法として、上下方向は両目−口上角度を、左右方向は左眉(右眉)−両目中心割合を利用した例を説明したが、両目−鼻や、口中心−口端角度など、その他の顔特徴点と判定式を利用しても同様に適用できる。 In the above embodiment, the method of determining the face orientation detection, vertical direction eyes - a Prompt angle, lateral direction left eyebrow (right eyebrow) - has been described an example using both eyes central rate, eyes - nose and mouth center - such as the mouth end angles can be similarly applied using a determination formula to other facial feature points.

上記実施形態では、利用者に個人差調整の特徴点取得を指示するために文字の表示を用いていたが、例えば図14に示したように、矢印記号や矢印を模した図形、画像を用いてもよい。 In the above embodiment, as it has been used the display of characters to indicate the feature point acquiring personal difference adjustment to the user, as shown for example in FIG. 14, graphics, images used imitating the arrow symbol and arrows it may be. 図14(a)は黒塗りの三角形“▲”で正面を向くよう指示したものであり、図14(b)は黒塗りの三角形“▲”で上を向くよう指示したものであり、図14(c)は手の図形で下を向くよう指示したものである。 14 (a) is obtained by instructed to face the front by a triangle "▲" the black, Fig. 14 (b) is obtained by instructing facing up in the triangle "▲" the black, 14 (c) it is instructed to face down graphically hand.

また、利用者の各顔向きの動作が不適正なもの(向き過ぎ)である場合に、例えば図15に示したように、利用者に警告を発するようにしてもよい。 Further, when the operation of each face facing the user is inappropriate ones (orientation too), as shown in FIG. 15 for example, may be a warning to the user. 図15(a)は警告音で利用者に警告を発するものであり、図15(b)は警告画面(記号)の表示で利用者に警告を発するものである。 15 (a) is intended to alert the user with a warning sound, FIG. 15 (b) is intended to alert the user on the display of the warning screen (symbol).

上記実施形態では、利用者の個人差情報を取得するための手順として、顔向き方向を指示して各方向を向いてもらう手順のみ説明したが、本発明はこれに限定されない。 In the above embodiment, the procedure for obtaining individual difference information of the user has been described only steps get oriented in the respective directions instructs the face orientation direction, the present invention is not limited thereto. 例えば、利用者が顔の向きを変えていく過程で特徴点検出限界を超えたときに、一旦個人差による閾値修正を行った後に利用者に操作感を確認させ、不適切な場合は再度個人差調整を実施、あるいは利用者に大まかに修正閾値を変更させることも可能である。 For example, an individual when the user has exceeded the feature point detection limit in the process of changing the orientation of the face, once to confirm the operation feeling to the user after the threshold modification by individual differences, if inappropriate again implementing the difference adjustment, or it is also possible to change the roughly corrected threshold to the user. 図16、図17は、このような調整後の確認操作の一例を示す説明図である。 16, FIG. 17 is an explanatory diagram showing an example of a confirmation operation after such adjustment.

図16は、閾値を超えるとポイントが動いて、方向を示す記号、図形などが表示・点滅する場合を示す説明図である。 Figure 16 is moving point exceeds the threshold value is an explanatory diagram showing a case where symbol indicating the direction and graphic displays flashing. 上向き1302の画面例では、利用者が上を向いて閾値を超えると、ポインタ1302aが上に動くとともに、方向を示す記号1302bが表示あるいは点滅する。 In the screen example of the upward 1302, user exceeds the threshold facing upward, with a pointer 1302a moves upward, the symbol indicating the direction 1302b is displayed or flashes. 正面向き1301、左向き1303、右向き1304、下向き1305についても同様である。 Frontal 1301, leftward 1303 is the same for right 1304, down 1305.

図17は、閾値を超える方向を示す記号、図形などが表示・点滅される状態を示す説明図である。 Figure 17 is an explanatory diagram showing a symbol indicating the direction above the threshold, the state in which such figure is displayed and blinking. 上向き1402の画面例では、角度と閾値を示すスケール(上下と左右の2軸)1406と、今向いている方向がどの程度かを示すマーカ1408と、閾値を示す枠1407とをリアルタイムに表示している。 In the screen example of upward 1402, angle and scale indicating the threshold value (vertical and lateral biaxial) 1406, a marker 1408 which indicates how much the direction facing now displays a frame 1407 showing a threshold in real-time ing. 利用者は、マーカの移動を見ながら顔向きの間隔を学習できる。 The user can learn the distance between the face direction while watching the movement of the marker. 閾値の変更も、閾値を示す枠1407を見ながら変更することができる。 Changing the threshold value can also be changed while looking at the frame 1407 indicating the threshold. 正面向き1401、左向き1403、右向き1404、下向き1405についても同様である。 Frontal 1401, leftward 1403 is the same for right 1404, down 1405.

また、顔向き操作中にカメラからの入力画像の表示上に特徴点を重畳表示させたり、特徴点限界を超えたときに、入力画像上に重畳表示した特徴点の形状や色を変化させたりするなど、個人差情報を取得する際に利用者の利便性、認識性を向上させる様々な仕組みと組み合わせることで、より確実に、容易に個人差調整を行うことができる。 Also, or superimposed to display the feature point on the display of the input image from the camera during the face orientation operation, when exceeding the feature point limits, or to change the shape and color of the superimposed display feature points on the input image to such, convenience for the user when acquiring the individual difference information, by combining a variety of mechanisms to improve the recognizability, more reliably, it is possible to easily perform individual difference adjustment. 図18は、このような調整後の確認操作の一例を示す説明図である。 Figure 18 is an explanatory diagram showing an example of a confirmation operation after such adjustment. 図18(a)は、向き過ぎでない状態を示しており、特徴点が顔に乗っている。 FIG. 18 (a) shows a state not orientation too, the feature point is on the face. 図18(b)は、上向きでかつ向き過ぎでない状態を示しており、特徴点が顔に乗っている。 FIG. 18 (b) shows a state not upward at and orientation too, the feature point is on the face. 図18(c)は、上向きでかつ向き過ぎた場合を示しており、特徴点を正面状態の位置に“×”印で表示している。 FIG. 18 (c) shows the case where a and too orientation upward, displaying a feature point to a location in front states "×" mark.

また、上記実施形態では、利用者の個人差情報を取得するための手順として、上下左右を一度だけ向いてもらう例を説明したが、個人差情報の取得精度を高めるために、複数回各方向を向いてもらい、その平均値や取得した複数の値の中央値を修正閾値として採用することもできる。 In the above embodiment, as a procedure for obtaining individual difference information of the user, an example has been described that get oriented vertically and horizontally only once, in order to improve the acquisition accuracy for individual difference information, a plurality of times in each direction have oriented, it is also possible to employ the median of the average value and the obtained plurality of values ​​as the correction threshold.

また、上記実施形態では、顔向き判定部103により判定された顔向きに応じて、表示部装置107上に表示されるポインタを制御するポインタ制御部106を例に挙げて説明したが、ポインタのほかにも、顔向き判定部103により判定された顔向きに応じて表示装置107の画面のスクロールや、表示装置に表示されるキャラクター(例えばゲームの自機など)の移動などにも本発明を利用することができる。 In the above embodiment, in accordance with the determined face orientation by the face orientation determining unit 103, but the pointer control unit 106 that controls a pointer displayed on the display unit apparatus 107 has been described as an example, pointer Besides, scrolling or the screen of the display device 107 in accordance with the determined face orientation by the face orientation determining unit 103, the present invention is also applicable to such movement of the character displayed on the display device (e.g., a game of its own) it can be used.

本発明は、顔向き検出装置および顔向き検出方法に利用可能であり、特に、入力画像から利用者の顔部分の特徴点を検出し、その顔向きを判別することによってポインタを操作する非接触インタフェースに用いられる顔向き検出装置および顔向き検出方法に利用可能である。 The present invention is applicable to the orientation detecting device and the orientation detecting method, in particular, to detect the feature points of the face part of the user from the input image, the non-contact manipulating pointers by determining the face orientation the orientation detecting device and the orientation detecting method used in the interface are available.

本発明の一実施形態の構成を示す説明図である。 It is an explanatory diagram showing a configuration of an embodiment of the present invention. 特徴点を示す説明図である。 It is an explanatory diagram showing a feature point. 上下向き判定の特徴点計算を示す説明図である。 It is an explanatory diagram showing a feature point calculation of the upper and lower direction judgment. 上下向き判定を示すフローチャートである。 Is a flow chart showing the vertical orientation determination. 左右向き判定の特徴点計算を示す説明図である。 It is an explanatory diagram showing a feature point calculation of the left and right orientation determination. 左右向き判定を示すフローチャートである。 It is a flowchart showing a left and right orientation determination. 個人差調整の画面表示(上下方向)を示す説明図である。 It is an explanatory diagram showing a screen display of individual differences adjusted (vertical direction). 上向き閾値の調整を示す説明図である。 Is an explanatory view showing an adjustment upward threshold. 下向き閾値の調整を示す説明図である。 Is an explanatory view showing an adjustment of the downward threshold. 下向き閾値の説明図(1)である。 Is an illustration of a downward threshold (1). 下向き閾値の説明図(2)である。 Is an illustration of a downward threshold (2). 下向き閾値の説明図(3)である。 Is an explanatory view of the downward threshold (3). 閾値の修正を示すフローチャートである。 It is a flowchart showing a modification of the threshold. 閾値の修正を示すフローチャートである。 It is a flowchart showing a modification of the threshold. 顔向き指示例を示す説明図である。 Is an explanatory diagram showing a face direction indicated example. 向き過ぎ警告例を示す説明図である。 Is an explanatory view showing the orientation too warning examples. 調整後の確認操作例(1)を示す説明図である。 Is an explanatory view showing the confirmation operation example of the adjusted (1). 調整後の確認操作例(2)を示す説明図である。 Is an explanatory view showing the confirmation operation example of the adjusted (2). 調整後の確認操作例を示す説明図である。 Is an explanatory view showing the confirmation operation example of the adjusted.

符号の説明 DESCRIPTION OF SYMBOLS

100 顔向き検出装置 101 画像入力部 102 特徴点抽出部 103 顔向き判定部 104 個人差調整部 105 個人差情報格納部 106 ポインタ制御部 107 表示部 100 orientation detecting apparatus 101 image input unit 102 the feature point extracting unit 103 face orientation determining unit 104 individual difference adjustment unit 105 individual difference information storage unit 106 pointer controller 107 display unit

Claims (9)

  1. 情報処理装置の利用者の顔向きを判定して該情報処理装置のアプリケーションで利用するための顔向き判定装置において、 In the face orientation determining device for to determine the user's face orientation of the information processing apparatus used in the application of the information processing apparatus,
    利用者の顔を画像として入力する画像入力部と、 An image input unit for inputting the face of the user as an image,
    前記画像から、利用者の顔の特徴点を抽出する特徴点抽出部と、 From the image, and the feature point extraction unit that extracts feature points of the face of a user,
    所定の閾値に基づいて前記特徴点から利用者の顔向きを判定し、アプリケーションに情報を送信する顔向き判定部と、 A face orientation determining unit that the determined user's face orientation from the feature points, and transmits the information to the application based on a predetermined threshold value,
    利用者ごとの各顔向きについて個人差を調整するための個人差情報を取得する個人差調整部と、 And individual difference adjustment unit that acquires personal difference information for adjusting the individual difference for each face orientation of each user,
    前記閾値を前記個人差情報を用いて更新して利用者ごとに登録する個人差情報格納部と、 And individual difference information storage unit for registering the threshold for each user to update with the individual difference information,
    を備えたことを特徴とする、顔向き判定装置。 Characterized by comprising a face orientation determination device.
  2. さらに、 further,
    各種情報を表示する表示部と、 A display unit that displays various types of information,
    前記顔向き判定部により判定された顔向きに応じて、前記表示部上に表示されるポインタを制御するポインタ制御部と、 Depending on the face orientation determination by the face orientation determining unit, and a pointer control unit which controls a pointer displayed on the display unit,
    を備えたことを特徴とする、請求項1に記載の顔向き判定装置。 Characterized by comprising a face orientation determination device according to claim 1.
  3. 前記個人差調整部は、 The individual difference adjustment unit,
    前記利用者に対して各顔向きの動作を一通り行わせるための指示を出し、 Issues an instruction for causing one way the operation of the face direction with respect to said user,
    前記画像入力部から入力される各顔向きの画像から前記個人差情報を取得することを特徴とする、請求項1または2に記載の顔向き判定装置。 And obtains the individual difference information from each face direction of the image input from the image input unit, the face orientation determining apparatus according to claim 1 or 2.
  4. 前記個人差調整部は、 The individual difference adjustment unit,
    前記利用者に対して各顔向きの動作を一通り行わせるための指示を出すにあたり、各種情報を表示する表示部に図形または画像で指示を出すことを特徴とする、請求項3に記載の顔向き判定装置。 Upon issuing an instruction for performing one way the operation of the face direction with respect to the user, characterized in that instructs graphically or image on the display unit for displaying various information, according to claim 3 face orientation determination device.
  5. 前記個人差調整部は、 The individual difference adjustment unit,
    前記利用者の各顔向きの動作が不適正なものである場合に、前記利用者に警告を発することを特徴とする、請求項3または4に記載の顔向き判定装置。 When the operation of each face facing the user is as it improper, characterized in that a warning to the user, the face orientation determining apparatus according to claim 3 or 4.
  6. 利用者の顔向きを判定する顔向き判定方法において、 In determining face orientation determination method of the user's face direction,
    利用者の顔を画像として入力する画像入力工程と、 An image input step of inputting the face of the user as an image,
    前記画像から、利用者の顔の特徴点を抽出する特徴点抽出工程と、 From the image, and feature point extraction step of extracting feature points of the face of a user,
    所定の閾値に基づいて前記特徴点から利用者の顔向きを判定する顔向き判定工程と、 And determining the face orientation determining step a user's face orientation from the feature point based on a predetermined threshold value,
    利用者ごとの各顔向きについて個人差を調整するための個人差情報を取得する個人差調整工程と、 And individual difference adjustment step of acquiring personal difference information for adjusting the individual difference for each face orientation of each user,
    前記閾値を前記個人差情報を用いて更新して利用者ごとに登録する個人差情報格納工程と、 And individual difference information storing step of registering the threshold for each user to update with the individual difference information,
    を含むことを特徴とする、顔向き判定方法。 Characterized in that it comprises a face orientation determination method.
  7. 前記個人差調整工程は、 The individual difference adjustment step,
    前記利用者に対して各顔向きの動作を一通り行わせるための指示を出す工程と、 A step of issuing an instruction for performing one way the operation of the face direction with respect to said user,
    前記画像入力部から入力される各顔向きの画像から前記個人差情報を取得する工程と、 A step of acquiring the individual difference information from the image of the face direction inputted from the image input unit,
    を含むことを特徴とする、請求項6に記載の顔向き判定方法。 Characterized in that it comprises a face orientation determination method according to claim 6.
  8. 前記利用者に対して各顔向きの動作を一通り行わせるための指示を出す工程において、 In the step of issuing an instruction for performing one way the operation of the face direction with respect to said user,
    各種情報を表示する表示部に図形または画像で指示を出すことを特徴とする、請求項7に記載の顔向き判定方法。 Characterized in that instructs graphically or image on the display unit for displaying various information, face orientation determination method according to claim 7.
  9. 前記個人差調整工程において、 In the individual difference adjustment process,
    前記利用者の各顔向きの動作が不適正なものである場合に、前記利用者に警告を発することを特徴とする、請求項7または8に記載の顔向き判定方法。 When the operation of each face facing the user is as it improper, characterized in that a warning to the user, the face orientation determining method according to claim 7 or 8.
JP2007019335A 2007-01-30 2007-01-30 Face direction detector and face direction detection method Abandoned JP2008186247A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007019335A JP2008186247A (en) 2007-01-30 2007-01-30 Face direction detector and face direction detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007019335A JP2008186247A (en) 2007-01-30 2007-01-30 Face direction detector and face direction detection method

Publications (1)

Publication Number Publication Date
JP2008186247A true true JP2008186247A (en) 2008-08-14

Family

ID=39729243

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007019335A Abandoned JP2008186247A (en) 2007-01-30 2007-01-30 Face direction detector and face direction detection method

Country Status (1)

Country Link
JP (1) JP2008186247A (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010049578A (en) * 2008-08-22 2010-03-04 Seiko Epson Corp Image processor, image processing method, and image processing program
JP2010230651A (en) * 2009-03-27 2010-10-14 Utechzone Co Ltd Visual line tracing method and visual line tracing system
US8515180B2 (en) 2009-12-28 2013-08-20 Canon Kabushiki Kaisha Image data correction apparatus and method using feature points vector data
JP2014123322A (en) * 2012-12-21 2014-07-03 Casio Comput Co Ltd Information notification device, information notification method, and program
WO2015001791A1 (en) * 2013-07-03 2015-01-08 パナソニックIpマネジメント株式会社 Object recognition device objection recognition method
JP2015087824A (en) * 2013-10-28 2015-05-07 オムロン株式会社 Screen operation device and screen operation method
US9063574B1 (en) 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
US9123272B1 (en) 2011-05-13 2015-09-01 Amazon Technologies, Inc. Realistic image lighting and shading
US9223415B1 (en) 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
US9285895B1 (en) 2012-03-28 2016-03-15 Amazon Technologies, Inc. Integrated near field sensor for display devices
US9304583B2 (en) 2008-11-20 2016-04-05 Amazon Technologies, Inc. Movement recognition as input mechanism

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010049578A (en) * 2008-08-22 2010-03-04 Seiko Epson Corp Image processor, image processing method, and image processing program
US8355602B2 (en) 2008-08-22 2013-01-15 Seiko Epson Corporation Image processing apparatus, image processing method and image processing program
US9304583B2 (en) 2008-11-20 2016-04-05 Amazon Technologies, Inc. Movement recognition as input mechanism
JP2010230651A (en) * 2009-03-27 2010-10-14 Utechzone Co Ltd Visual line tracing method and visual line tracing system
US8515180B2 (en) 2009-12-28 2013-08-20 Canon Kabushiki Kaisha Image data correction apparatus and method using feature points vector data
US9123272B1 (en) 2011-05-13 2015-09-01 Amazon Technologies, Inc. Realistic image lighting and shading
US9223415B1 (en) 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
US9471153B1 (en) 2012-03-14 2016-10-18 Amazon Technologies, Inc. Motion detection systems for electronic devices
US9063574B1 (en) 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
US9285895B1 (en) 2012-03-28 2016-03-15 Amazon Technologies, Inc. Integrated near field sensor for display devices
US9652083B2 (en) 2012-03-28 2017-05-16 Amazon Technologies, Inc. Integrated near field sensor for display devices
JP2014123322A (en) * 2012-12-21 2014-07-03 Casio Comput Co Ltd Information notification device, information notification method, and program
WO2015001791A1 (en) * 2013-07-03 2015-01-08 パナソニックIpマネジメント株式会社 Object recognition device objection recognition method
JP6052751B2 (en) * 2013-07-03 2016-12-27 パナソニックIpマネジメント株式会社 Object recognition device and an object recognition method
JP2015087824A (en) * 2013-10-28 2015-05-07 オムロン株式会社 Screen operation device and screen operation method

Similar Documents

Publication Publication Date Title
US9063563B1 (en) Gesture actions for interface elements
US8253649B2 (en) Spatially correlated rendering of three-dimensional content on display components having arbitrary positions
US20120262558A1 (en) Apparatus, systems and methods for providing motion tracking using a personal viewing device
US20140361988A1 (en) Touch Free Interface for Augmented Reality Systems
US20070002037A1 (en) Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program
US20110157017A1 (en) Portable data processing appartatus
US20120194561A1 (en) Remote control of computer devices
US20120075285A1 (en) Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
US20120218444A1 (en) Methods and systems for dealing with perspective distortion in connection with smartphone cameras
US20130002551A1 (en) Instruction input device, instruction input method, program, recording medium, and integrated circuit
JP2011039844A (en) Image recognition device, operation decision method and program
US20100100853A1 (en) Motion controlled user interface
US20130063345A1 (en) Gesture input device and gesture input method
US20110148739A1 (en) Method and Apparatus for Determining Information for Display
JP2010176170A (en) Display apparatus, display control method, and display control program
JP2005056059A (en) Input device and method using head mounting type display equipped with image pickup part
US20130342459A1 (en) Fingertip location for gesture input
US20150205484A1 (en) Three-dimensional user interface apparatus and three-dimensional operation method
JP2006244329A (en) Portable terminal, information processor, and system
WO2006097722A2 (en) Interface control
JP2013016060A (en) Operation input device, operation determination method, and program
JP2003280805A (en) Data inputting device
WO2010011923A1 (en) Enhanced detection of circular engagement gesture
US20120320047A1 (en) Stereoscopic display apparatus and stereoscopic shooting apparatus, dominant eye judging method and dominant eye judging program for use therein, and recording medium
Pino et al. Using kinect for 2D and 3D pointing tasks: performance evaluation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091214

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20100812