JP2018163411A - Face direction estimation device and face direction estimation method - Google Patents

Face direction estimation device and face direction estimation method Download PDF

Info

Publication number
JP2018163411A
JP2018163411A JP2017058896A JP2017058896A JP2018163411A JP 2018163411 A JP2018163411 A JP 2018163411A JP 2017058896 A JP2017058896 A JP 2017058896A JP 2017058896 A JP2017058896 A JP 2017058896A JP 2018163411 A JP2018163411 A JP 2018163411A
Authority
JP
Japan
Prior art keywords
face
pupil
image
coordinates
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017058896A
Other languages
Japanese (ja)
Inventor
河内　隆宏
Takahiro Kawachi
隆宏 河内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alps Alpine Co Ltd
Original Assignee
Alps Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alps Electric Co Ltd filed Critical Alps Electric Co Ltd
Priority to JP2017058896A priority Critical patent/JP2018163411A/en
Publication of JP2018163411A publication Critical patent/JP2018163411A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To enable estimation of a face direction even when a part of a face is covered with a mask etc.SOLUTION: A face direction estimation device according to one embodiment comprises: a pupil coordinate calculation unit which calculates a first pupil coordinate and a second pupil coordinate on the basis of a face image; a gravity center coordinate calculation unit which calculates a face gravity center coordinate on the basis of the face image; and a face direction estimation unit which estimates a face direction on the basis of a distance in a horizontal direction between the first pupil coordinate and the second pupil coordinate in the face image and a difference in the horizontal direction between a center coordinate between the first pupil coordinate and the second pupil coordinate and the face gravity center coordinate in the face image.SELECTED DRAWING: Figure 2

Description

本発明は、顔向き推定装置及び顔向き推定方法に関する。   The present invention relates to a face direction estimation device and a face direction estimation method.

従来、顔姿勢の推定方法として、顔画像の重心と、顔画像の代表点を通る直線の傾きと、に基づいて、顔の傾きを推定する方法が知られている。また、他の推定方法として、顔画像における左右の瞳孔及び左右の鼻孔のうちの３点間の距離に基づいて、顔向きを推定する方法も知られている。   2. Description of the Related Art Conventionally, as a method for estimating a face posture, a method for estimating the face inclination based on the center of gravity of the face image and the inclination of a straight line passing through the representative point of the face image is known. As another estimation method, a method for estimating the face orientation based on the distance between three points of the left and right pupils and the left and right nostrils in the face image is also known.

特開平９−３５０７０号公報JP-A-9-35070 特開２００７−２７１５５４号公報JP 2007-271554 A

しかしながら、前者の推定方法では、顔の傾きは推定できるものの、顔向きを推定できなかった。また、後者の推定方法では、マスクなどで鼻孔が覆われている場合、顔向きを推定できなかった。   However, although the former estimation method can estimate the face inclination, it cannot estimate the face orientation. In the latter estimation method, the face orientation cannot be estimated when the nostril is covered with a mask or the like.

本発明は、上記の課題に鑑みてなされたものであり、マスクなどにより顔の一部が覆われている場合であっても、顔向きを推定可能とすることを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to make it possible to estimate the face orientation even when a part of the face is covered with a mask or the like.

一実施形態に係る顔向き推定装置は、顔画像に基づいて、第１瞳孔座標及び第２瞳孔座標を算出する瞳孔座標算出部と、前記顔画像に基づいて、顔重心座標を算出する重心座標算出部と、前記第１瞳孔座標と前記第２瞳孔座標との間の前記顔画像における水平方向の距離と、前記第１瞳孔座標及び前記第２瞳孔座標の中心座標と前記顔重心座標との間の前記顔画像における水平方向の差と、に基づいて顔向きを推定する顔向き推定部と、を備える。   A face direction estimation device according to an embodiment includes a pupil coordinate calculation unit that calculates a first pupil coordinate and a second pupil coordinate based on a face image, and a centroid coordinate that calculates a face centroid coordinate based on the face image. A calculation unit; a horizontal distance in the face image between the first pupil coordinate and the second pupil coordinate; a center coordinate of the first pupil coordinate and the second pupil coordinate; A face direction estimating unit that estimates a face direction based on a difference in a horizontal direction in the face image.

本発明の各実施形態によれば、マスクなどにより顔の一部が覆われている場合であっても、顔向きを推定できる。   According to each embodiment of the present invention, the face orientation can be estimated even when a part of the face is covered with a mask or the like.

顔向き推定装置のハードウェア構成の一例を示す図。The figure which shows an example of the hardware constitutions of a face direction estimation apparatus. 顔向き推定装置の機能構成の一例を示す図。The figure which shows an example of a function structure of a face direction estimation apparatus. 瞳孔座標の算出方法の一例を説明する図。The figure explaining an example of the calculation method of a pupil coordinate. 顔重心座標の算出方法の一例を説明する図。The figure explaining an example of the calculation method of face gravity center coordinates. 瞳孔間距離及び重心誤差の算出方法を説明する図。The figure explaining the calculation method of the interpupillary distance and the gravity center error. 上から見た対象者の頭部の一例を示す図。The figure which shows an example of the subject's head seen from the top. 推定モデルの一例を示す図。The figure which shows an example of an estimation model. 顔向き推定装置の処理の一例を示すフローチャート。The flowchart which shows an example of a process of a face direction estimation apparatus. 顔画像取得部による顔画像の取得方法の一例を示す図。The figure which shows an example of the acquisition method of the face image by a face image acquisition part.

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重畳した説明を省略する。   Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In addition, regarding the description of the specification and the drawings according to each embodiment, constituent elements having substantially the same functional configuration are denoted by the same reference numerals and overlapping description is omitted.

一実施形態に係る顔向き推定装置について、図１〜図９を参照して説明する。本実施形態に係る顔向き推定装置は、対象者の顔画像に基づいて、当該対象者の顔向きｑを推定する装置である。ここでいう顔向きｑは、顔姿勢の一例であり、対象者の頭部を通る鉛直軸（ヨー軸）まわりの回転角度（°）のことである。   A face orientation estimation apparatus according to an embodiment will be described with reference to FIGS. The face orientation estimation device according to the present embodiment is a device that estimates the subject's face orientation q based on the subject's face image. The face orientation q here is an example of a face posture, and is a rotation angle (°) about a vertical axis (yaw axis) passing through the head of the subject.

まず、顔向き推定装置のハードウェア構成について説明する。図１は、顔向き推定装置のハードウェア構成の一例を示す図である。図１の顔向き推定装置は、撮影装置１と、制御装置２と、を備える。   First, the hardware configuration of the face orientation estimation device will be described. FIG. 1 is a diagram illustrating an example of a hardware configuration of the face orientation estimation apparatus. The face orientation estimation device in FIG. 1 includes a photographing device 1 and a control device 2.

撮影装置１は、対象者の顔を撮影し、顔画像を取得する装置であり、制御装置２と接続される。撮影装置１は、対象者の顔を撮影可能な位置に配置される。以下では、撮影装置１の方向が正面であるものとするが、正面は、撮影装置１の方向を基準とした任意の方向に設定可能である。図１の撮影装置１は、撮影部１１Ｌ，１１Ｒと、複数の光源１２Ｌ，１２Ｒと、を備える。   The photographing device 1 is a device that photographs a subject's face and acquires a face image, and is connected to the control device 2. The photographing apparatus 1 is arranged at a position where the subject's face can be photographed. In the following, it is assumed that the direction of the photographing apparatus 1 is the front, but the front can be set in any direction based on the direction of the photographing apparatus 1. The imaging apparatus 1 in FIG. 1 includes imaging units 11L and 11R and a plurality of light sources 12L and 12R.

撮影部１１Ｌは、対象者の顔を撮影するカメラであり、図１における撮影装置１の左側に配置される。撮影部１１Ｒは、対象者の顔を撮影するカメラであり、図１における撮影装置１の右側に配置される。以下、撮影部１１Ｌ，１１Ｒを区別しない場合、撮影部１１と称する。   The photographing unit 11L is a camera that photographs the face of the subject and is arranged on the left side of the photographing apparatus 1 in FIG. The photographing unit 11R is a camera that photographs a subject's face, and is disposed on the right side of the photographing apparatus 1 in FIG. Hereinafter, when the imaging units 11L and 11R are not distinguished, they are referred to as the imaging unit 11.

光源１２Ｌは、対象者の顔を撮影する際に、対象者の顔に所定のタイミングで光を照射する光源であり、撮影部１１Ｌの近傍に複数配置される。光源１２Ｒは、対象者の顔を撮影する際に、対象者の顔に所定のタイミングで光を照射する光源であり、撮影部１１Ｒの近傍に複数配置される。光源１２Ｌ，１２Ｒは、例えば、近赤外光を照射するＬＥＤ（Light Emitting Diode）であるが、これに限られない。以下、光源１２Ｌ，１２Ｒを区別しない場合、光源１２と称する。   The light source 12L is a light source that irradiates the subject's face with light at a predetermined timing when photographing the subject's face, and a plurality of the light sources 12L are arranged in the vicinity of the photographing unit 11L. The light source 12R is a light source that irradiates the subject's face with light at a predetermined timing when photographing the subject's face, and a plurality of the light sources 12R are arranged in the vicinity of the photographing unit 11R. The light sources 12L and 12R are, for example, LEDs (Light Emitting Diodes) that emit near-infrared light, but are not limited thereto. Hereinafter, when the light sources 12L and 12R are not distinguished, they are referred to as the light source 12.

なお、図１の例では、撮影装置１は、２つの撮影部１１を備えるが、１つ又は３つの撮影部１１を備えてもよい。撮影部１１が１つの場合、撮影装置１は、撮影部１１に対して略同軸の光源１２と非同軸の光源１２とをそれぞれ備えれば良い。また、図１の例では、撮影装置１は、それぞれ４つの光源１２Ｌ，１２Ｒを備えるが、光源１２Ｌ，１２Ｒの数は任意に設計可能である。   In the example of FIG. 1, the imaging device 1 includes two imaging units 11, but may include one or three imaging units 11. When there is one photographing unit 11, the photographing apparatus 1 may include a light source 12 that is substantially coaxial and a light source 12 that is non-coaxial with respect to the photographing unit 11. In the example of FIG. 1, the photographing apparatus 1 includes four light sources 12L and 12R, respectively, but the number of light sources 12L and 12R can be arbitrarily designed.

制御装置２は、撮影装置１を制御する装置であり、撮影装置１と接続される。具体的には、制御装置２は、撮影部１１による撮影及び光源１２の発光を制御する。また、制御装置２は、撮影装置１により取得された顔画像に基づいて、対象者の顔向きｑを推定する。図１の制御装置２は、ＣＰＵ（Central Processing Unit）２０１と、ＲＯＭ（Read Only Memory）２０２と、ＲＡＭ（Random Access Memory）２０３と、ＨＤＤ（Hard Disk Drive）２０４と、入力装置２０５と、表示装置２０６と、を備える。また、制御装置２は、接続インタフェース２０７と、通信インタフェース２０８と、バス２０９と、を備える。   The control device 2 is a device that controls the photographing device 1 and is connected to the photographing device 1. Specifically, the control device 2 controls photographing by the photographing unit 11 and light emission of the light source 12. Further, the control device 2 estimates the face direction q of the subject based on the face image acquired by the photographing device 1. 1 includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, an HDD (Hard Disk Drive) 204, an input device 205, and a display. An apparatus 206. In addition, the control device 2 includes a connection interface 207, a communication interface 208, and a bus 209.

ＣＰＵ２０１は、プログラムを実行することにより、制御装置２の各ハードウェア構成を制御し、制御装置２の機能を実現する。   The CPU 201 executes the program to control each hardware configuration of the control device 2 and realize the function of the control device 2.

ＲＯＭ２０２は、ＣＰＵ２０１が実行するプログラムや各種のデータを記憶する。   The ROM 202 stores programs executed by the CPU 201 and various data.

ＲＡＭ２０３は、ＣＰＵ２０１に作業領域を提供する。   The RAM 203 provides a work area for the CPU 201.

ＨＤＤ２０４は、ＣＰＵ２０１が実行するプログラムや各種のデータを記憶する。   The HDD 204 stores programs executed by the CPU 201 and various data.

入力装置２０５は、ユーザの操作に応じた情報を制御装置２に入力する。入力装置２０５は、例えば、タッチパネル、キーボード、マウス、ハードウェアボタンなどである。   The input device 205 inputs information corresponding to a user operation to the control device 2. The input device 205 is, for example, a touch panel, a keyboard, a mouse, a hardware button, or the like.

表示装置２０６は、ユーザの操作に応じた画面を表示する。表示装置２０６は、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイなどである。   The display device 206 displays a screen corresponding to a user operation. The display device 206 is, for example, a liquid crystal display, an organic EL (Electro Luminescence) display, or the like.

接続インタフェース２０７は、制御装置２を撮影装置１に接続するためのインタフェースである。制御装置２は、接続インタフェース２０７を介して、撮影装置１を制御し、撮影装置１から顔画像（画像データ）を取得する。   The connection interface 207 is an interface for connecting the control device 2 to the photographing device 1. The control device 2 controls the photographing device 1 via the connection interface 207 and acquires a face image (image data) from the photographing device 1.

通信インタフェース２０８は、制御装置２をインターネットやＬＡＮ（Local Area Network）などのネットワークに接続するためのインタフェースである。制御装置２は、通信インタフェース２０８を介して、ネットワーク上の外部装置と通信する。   The communication interface 208 is an interface for connecting the control device 2 to a network such as the Internet or a LAN (Local Area Network). The control device 2 communicates with an external device on the network via the communication interface 208.

バス２０９は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０４、入力装置２０５、表示装置２０６、接続インタフェース２０７、及び通信インタフェース２０８を相互に接続する。   The bus 209 connects the CPU 201, ROM 202, RAM 203, HDD 204, input device 205, display device 206, connection interface 207, and communication interface 208 to each other.

なお、図１の例では、制御装置２がＰＣ（Personal Computer）、サーバ、タブレット端末、スマートフォンなどのコンピュータにより構成される場合を想定している。しかしながら、制御装置２は、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specified Integrated Circuit）などのＩＣにより、１チップで構成されてもよい。この場合、制御装置２は、ＨＤＤ２０４、入力装置２０５、及び表示装置２０６を備えない。   In the example of FIG. 1, it is assumed that the control device 2 is configured by a computer such as a PC (Personal Computer), a server, a tablet terminal, and a smartphone. However, the control device 2 may be configured as a single chip by an IC such as an FPGA (Field Programmable Gate Array) or an ASIC (Application Specified Integrated Circuit). In this case, the control device 2 does not include the HDD 204, the input device 205, and the display device 206.

次に、顔向き推定装置の機能構成について説明する。図２は、顔向き推定装置の機能構成の一例を示す図である。図２の顔向き推定装置は、顔画像取得部２１と、瞳孔座標算出部２２と、重心座標算出部２３と、顔向き推定部２４と、推定モデル記憶部２５と、を備える。これらの各機能構成は、制御装置２のＣＰＵ２０１がプログラムを実行し、顔向き推定装置の各ハードウェア構成と協働することにより実現される。   Next, the functional configuration of the face orientation estimation device will be described. FIG. 2 is a diagram illustrating an example of a functional configuration of the face orientation estimation apparatus. 2 includes a face image acquisition unit 21, a pupil coordinate calculation unit 22, a barycentric coordinate calculation unit 23, a face direction estimation unit 24, and an estimation model storage unit 25. Each of these functional configurations is realized by the CPU 201 of the control device 2 executing a program and cooperating with each hardware configuration of the face direction estimating device.

顔画像取得部２１は、対象者の顔を撮影し、当該対象者の顔画像を取得する。顔画像取得部２１は、ＣＰＵ２０１が撮影装置１を制御することにより実現される。より詳細には、顔画像取得部２１は、短い間隔で連続して対象者の顔を撮影することにより、明瞳孔画像、暗瞳孔画像、及び無照明画像をそれぞれ取得する。撮影間隔は、例えば、１ｍｓｅｃ以上１００ｍｓｅｃ以下である。   The face image acquisition unit 21 captures the face of the subject and obtains the face image of the subject. The face image acquisition unit 21 is realized by the CPU 201 controlling the photographing apparatus 1. More specifically, the face image acquisition unit 21 acquires a bright pupil image, a dark pupil image, and a non-illuminated image by capturing the subject's face continuously at short intervals. The shooting interval is, for example, not less than 1 msec and not more than 100 msec.

明瞳孔画像は、対象者の瞳孔が明るく撮影された顔画像である。明瞳孔画像は、光源１２から対象者の顔に光を照射した状態で、当該光源１２と略同軸の撮影部１１により対象者の顔を撮影することにより取得される。このように撮影することにより、光源１２からの光が、対象者の網膜により、撮影部１１の方向に反射するため、対象者の瞳孔が明るく撮影される。図１の撮影装置１では、光源１２Ｌから対象者の顔に光を照射した状態で、撮影部１１Ｌにより対象者の顔を撮影することにより、明瞳孔画像が取得される。また、光源１２Ｒから対象者の顔に光を照射した状態で、撮影部１１Ｒにより対象者の顔を撮影することにより、明瞳孔画像が取得される。   The bright pupil image is a face image in which the subject's pupil is photographed brightly. The bright pupil image is acquired by photographing the subject's face with the photographing unit 11 that is substantially coaxial with the light source 12 in a state in which light is emitted from the light source 12 to the subject's face. By photographing in this way, the light from the light source 12 is reflected by the subject's retina in the direction of the photographing unit 11, so that the subject's pupil is photographed brightly. In the imaging device 1 of FIG. 1, a bright pupil image is acquired by imaging the subject's face by the imaging unit 11L in a state where light is irradiated onto the subject's face from the light source 12L. Further, a bright pupil image is acquired by photographing the subject's face by the photographing unit 11R in a state in which light is emitted from the light source 12R to the subject's face.

暗瞳孔画像は、対象者の瞳孔が、明瞳孔画像に比べて暗く撮影された顔画像である。暗瞳孔画像は、光源１２から対象者の顔に光を照射した状態で、当該光源１２と非同軸の撮影部１１により対象者の顔を撮影することにより取得される。このように撮影することにより、光源１２からの光が、対象者の網膜により、撮影部１１とは異なる方向に反射するため、対象者の瞳孔が暗く撮影される。図１の撮影装置１では、光源１２Ｌから対象者の顔に光を照射した状態で、撮影部１１Ｒにより対象者の顔を撮影することにより、暗瞳孔画像が取得される。また、光源１２Ｒから対象者の顔に光を照射した状態で、撮影部１１Ｌにより対象者の顔を撮影することにより、暗瞳孔画像が取得される。   The dark pupil image is a face image in which the subject's pupil is photographed darker than the bright pupil image. The dark pupil image is acquired by photographing the face of the subject by the photographing unit 11 that is non-coaxial with the light source 12 in a state where light is irradiated from the light source 12 to the face of the subject. By photographing in this way, the light from the light source 12 is reflected by the subject's retina in a direction different from that of the photographing unit 11, so that the subject's pupil is photographed dark. In the imaging device 1 of FIG. 1, a dark pupil image is acquired by imaging the subject's face by the imaging unit 11R in a state where light is irradiated from the light source 12L to the subject's face. In addition, a dark pupil image is acquired by photographing the subject's face by the photographing unit 11L in a state where light is irradiated from the light source 12R to the subject's face.

無照明画像は、光源１２から対象者の顔に光を照射しない状態で、撮影部１１により対象者の顔を撮影することにより取得される顔画像である。   The non-illuminated image is a face image acquired by photographing the face of the subject by the photographing unit 11 in a state where the light source 12 does not irradiate the face of the subject.

顔画像取得部２１は、顔画像を取得すると、明瞳孔画像及び暗瞳孔画像を瞳孔座標算出部２２に渡す。また、顔画像取得部２１は、顔画像を取得すると、明瞳孔画像、暗瞳孔画像、及び無照明画像を重心座標算出部２３に渡す。   When the face image acquisition unit 21 acquires the face image, the face image acquisition unit 21 passes the bright pupil image and the dark pupil image to the pupil coordinate calculation unit 22. Further, when acquiring the face image, the face image acquisition unit 21 passes the bright pupil image, the dark pupil image, and the non-illuminated image to the barycentric coordinate calculation unit 23.

瞳孔座標算出部２２は、顔画像に基づいて、第１瞳孔座標及び第２瞳孔座標を算出する。第１瞳孔座標は、顔画像において左側に位置する瞳孔（対象者の右目の瞳孔）の座標である。第２瞳孔座標は、顔画像おいて右側に位置する瞳孔（対象者の左目の瞳孔）の座標である。瞳孔座標算出部２２は、算出した第１瞳孔座標及び第２瞳孔座標を顔向き推定部２４に渡す。   The pupil coordinate calculation unit 22 calculates the first pupil coordinate and the second pupil coordinate based on the face image. The first pupil coordinates are the coordinates of the pupil located on the left side of the face image (the pupil of the right eye of the subject). The second pupil coordinate is a coordinate of a pupil (a pupil of the subject's left eye) located on the right side in the face image. The pupil coordinate calculation unit 22 passes the calculated first pupil coordinate and second pupil coordinate to the face direction estimation unit 24.

ここで、瞳孔座標算出部２２による瞳孔座標の算出方法について説明する。図３は、瞳孔座標の算出方法の一例を説明する図である。図３の画像Ｉｍ１〜Ｉｍ４は、顔画像における瞳孔周辺部分に相当する。   Here, a method for calculating pupil coordinates by the pupil coordinate calculation unit 22 will be described. FIG. 3 is a diagram illustrating an example of a method for calculating pupil coordinates. Images Im1 to Im4 in FIG. 3 correspond to the pupil peripheral portion in the face image.

まず、瞳孔座標算出部２２は、明瞳孔画像Ｉｍ１から暗瞳孔画像Ｉｍ２を減算し、差分画像Ｉｍ３を生成する。明瞳孔画像Ｉｍ１及び暗瞳孔画像Ｉｍ２は、瞳孔以外の部分の輝度が略同一である。また、明瞳孔画像Ｉｍ１における瞳孔部分の輝度は、暗瞳孔画像Ｉｍ２における瞳孔部分の輝度より高い。したがって、明瞳孔画像Ｉｍ１から暗瞳孔画像Ｉｍ２を減算することにより、瞳孔部分の輝度が、瞳孔以外の部分の輝度より高い差分画像Ｉｍ３が生成される。   First, the pupil coordinate calculation unit 22 subtracts the dark pupil image Im2 from the bright pupil image Im1 to generate a difference image Im3. The bright pupil image Im1 and the dark pupil image Im2 have substantially the same luminance except for the pupil. Further, the luminance of the pupil portion in the bright pupil image Im1 is higher than the luminance of the pupil portion in the dark pupil image Im2. Therefore, by subtracting the dark pupil image Im2 from the bright pupil image Im1, a difference image Im3 in which the luminance of the pupil portion is higher than the luminance of the portion other than the pupil is generated.

次に、瞳孔座標算出部２２は、差分画像Ｉｍ３を二値化し、二値画像Ｉｍ４を生成する。二値画像Ｉｍ４は、２値の輝度のいずれかを有する画素により構成される。以下、２値の輝度のうち、高い方の輝度を１、低い方の輝度を０とする。また、輝度が１の画素を白画素、輝度が０の画素を黒画素と称する。   Next, the pupil coordinate calculation unit 22 binarizes the difference image Im3 and generates a binary image Im4. The binary image Im4 is composed of pixels having one of binary luminances. Hereinafter, of the binary luminances, the higher luminance is 1 and the lower luminance is 0. A pixel with a luminance of 1 is called a white pixel, and a pixel with a luminance of 0 is called a black pixel.

具体的には、瞳孔座標算出部２２は、差分画像Ｉｍ３における各画素の輝度を、所定の閾値と比較し、輝度が閾値以上の画素を白画素（輝度が１の画素）に変換し、輝度が閾値未満の画素を黒画素（輝度が０の画素）に変換する。これにより、瞳孔部分が白画素であり、瞳孔以外の部分が黒画素である、二値画像Ｉｍ４が生成される。   Specifically, the pupil coordinate calculation unit 22 compares the luminance of each pixel in the difference image Im3 with a predetermined threshold, converts a pixel having a luminance equal to or higher than the threshold to a white pixel (pixel having a luminance of 1), and determines the luminance. Are converted to black pixels (pixels with luminance 0). As a result, a binary image Im4 is generated in which the pupil portion is a white pixel and the portion other than the pupil is a black pixel.

その後、瞳孔座標算出部２２は、二値画像Ｉｍ４に基づいて、瞳孔部分（白画素の部分）の重心座標を算出する。算出された重心座標が、瞳孔座標に相当する。顔画像において左側に位置する瞳孔について算出された瞳孔座標が第１瞳孔座標であり、右側に位置する瞳孔について算出された瞳孔座標が第２瞳孔座標である。   Thereafter, the pupil coordinate calculation unit 22 calculates the barycentric coordinates of the pupil portion (white pixel portion) based on the binary image Im4. The calculated barycentric coordinates correspond to pupil coordinates. The pupil coordinates calculated for the pupil located on the left side in the face image are the first pupil coordinates, and the pupil coordinates calculated for the pupil located on the right side are the second pupil coordinates.

重心座標算出部２３は、顔画像に基づいて、顔重心座標を算出する。顔重心座標は、顔画像に含まれる顔部分の重心座標である。重心座標算出部２３は、算出した顔重心座標を顔向き推定部２４に渡す。   The barycentric coordinate calculation unit 23 calculates the face barycentric coordinates based on the face image. The face barycentric coordinates are barycentric coordinates of the face part included in the face image. The centroid coordinate calculation unit 23 passes the calculated face centroid coordinates to the face orientation estimation unit 24.

ここで、重心座標算出部２３による顔重心座標の算出方法について説明する。図４は、顔重心座標の算出方法の一例を説明する図である。   Here, a method of calculating the face centroid coordinates by the centroid coordinate calculation unit 23 will be described. FIG. 4 is a diagram for explaining an example of a method for calculating face center-of-gravity coordinates.

まず、重心座標算出部２３は、明瞳孔画像Ｉｍ５から無照明画像Ｉｍ６を減算し、差分画像Ｉｍ７を生成する。明瞳孔画像Ｉｍ５における顔部分の輝度は、無照明画像Ｉｍ６における顔部分の輝度に比べて高い。これは、明瞳孔画像Ｉｍ５が、光源１２から対象者の顔に光を照射した状態で撮影されるためである。一方、明瞳孔画像Ｉｍ５における顔以外の部分（背景部分）の輝度は、無照明画像Ｉｍ６における顔以外の部分（背景部分）の輝度と略同一である。これは、光源１２から背景までの距離が遠いため、背景部分は、光源１２からの光による輝度の上昇が小さいためである。したがって、明瞳孔画像Ｉｍ５から無照明画像Ｉｍ６を減算することにより、対象者の顔部分の輝度が背景部分の輝度に比べて高い差分画像Ｉｍ７が生成される。   First, the barycentric coordinate calculation unit 23 subtracts the non-illuminated image Im6 from the bright pupil image Im5 to generate a difference image Im7. The brightness of the face part in the bright pupil image Im5 is higher than the brightness of the face part in the unilluminated image Im6. This is because the bright pupil image Im5 is captured in a state where light is irradiated from the light source 12 onto the subject's face. On the other hand, the luminance of the portion other than the face (background portion) in the bright pupil image Im5 is substantially the same as the luminance of the portion other than the face (background portion) in the unilluminated image Im6. This is because the distance from the light source 12 to the background is long and the background portion has a small increase in luminance due to the light from the light source 12. Therefore, by subtracting the non-illuminated image Im6 from the bright pupil image Im5, a difference image Im7 in which the luminance of the face portion of the subject is higher than the luminance of the background portion is generated.

同様に、重心座標算出部２３は、暗瞳孔画像Ｉｍ８から無照明画像Ｉｍ６を減算し、差分画像Ｉｍ９を生成する。暗瞳孔画像Ｉｍ８における顔部分の輝度は、無照明画像Ｉｍ６における顔部分の輝度に比べて高い。これは、暗瞳孔画像Ｉｍ８が、光源１２から対象者の顔に光を照射した状態で撮影されるためである。一方、暗瞳孔画像Ｉｍ８における顔以外の部分（背景部分）の輝度は、無照明画像Ｉｍ６における顔以外の部分（背景部分）の輝度と略同一である。これは、光源１２から背景までの距離が遠いため、背景部分は、光源１２からの光による輝度の上昇が小さいためである。したがって、暗瞳孔画像Ｉｍ８から無照明画像Ｉｍ６を減算することにより、対象者の顔部分の輝度が背景部分の輝度に比べて高い差分画像Ｉｍ９が生成される。   Similarly, the barycentric coordinate calculation unit 23 subtracts the non-illuminated image Im6 from the dark pupil image Im8 to generate a difference image Im9. The brightness of the face part in the dark pupil image Im8 is higher than the brightness of the face part in the unilluminated image Im6. This is because the dark pupil image Im8 is captured in a state where light is emitted from the light source 12 to the subject's face. On the other hand, the luminance of the portion other than the face (background portion) in the dark pupil image Im8 is substantially the same as the luminance of the portion other than the face (background portion) in the non-illuminated image Im6. This is because the distance from the light source 12 to the background is long and the background portion has a small increase in luminance due to the light from the light source 12. Therefore, by subtracting the non-illuminated image Im6 from the dark pupil image Im8, a difference image Im9 in which the luminance of the face portion of the subject is higher than the luminance of the background portion is generated.

次に、重心座標算出部２３は、差分画像Ｉｍ７及び差分画像Ｉｍ９を乗算し、乗算画像Ｉｍ１０を生成する。これにより、対象者の顔部分がより強調された（すなわち、対象者の顔部分の輝度がより高められた）乗算画像Ｉｍ１０が生成される。また、差分画像Ｉｍ７及び差分画像Ｉｍ９を乗算することにより、光源１２以外からの光に起因するノイズ（輝度のオフセット）や、明瞳孔画像Ｉｍ５及び暗瞳孔画像Ｉｍ８における瞳孔部分の輝度の差に起因するノイズを除去できる。   Next, the barycentric coordinate calculation unit 23 multiplies the difference image Im7 and the difference image Im9 to generate a multiplication image Im10. Thereby, the multiplication image Im10 in which the face portion of the subject person is further emphasized (that is, the luminance of the face portion of the subject person is further increased) is generated. Further, by multiplying the difference image Im7 and the difference image Im9, it is caused by noise (luminance offset) caused by light from other than the light source 12, and the difference in luminance of the pupil portion in the bright pupil image Im5 and the dark pupil image Im8. Noise can be removed.

続いて、重心座標算出部２３は、乗算画像Ｉｍ１０を二値化し、二値画像Ｉｍ１１を生成する。具体的には、重心座標算出部２３は、乗算画像Ｉｍ１０における各画素の輝度を、所定の閾値と比較し、輝度が閾値以上の画素を白画素（輝度が１の画素）に変換し、輝度が閾値未満の画素を黒画素（輝度が０の画素）に変換する。これにより、対象者の顔部分が白画素であり、背景部分が黒画素である、二値画像Ｉｍ１１が生成される。   Subsequently, the barycentric coordinate calculation unit 23 binarizes the multiplication image Im10 and generates a binary image Im11. Specifically, the barycentric coordinate calculation unit 23 compares the luminance of each pixel in the multiplication image Im10 with a predetermined threshold, converts a pixel having a luminance equal to or higher than the threshold into a white pixel (pixel having a luminance of 1), and Are converted to black pixels (pixels with luminance 0). As a result, a binary image Im11 is generated in which the face portion of the subject is a white pixel and the background portion is a black pixel.

その後、重心座標算出部２３は、二値画像Ｉｍ１１に基づいて、顔部分（白画素部分）の重心座標を算出する。算出された重心座標が、顔重心座標に相当する。   Thereafter, the barycentric coordinate calculation unit 23 calculates barycentric coordinates of the face portion (white pixel portion) based on the binary image Im11. The calculated barycentric coordinates correspond to the face barycentric coordinates.

なお、図４の例では、対象者の胴体部分についても、顔部分と同様の処理が行われているが、顔認識技術を利用して、胴体部分と顔部分とを区別してもよい。これにより、胴体部分を除く顔部分から顔重心座標を算出できるため、顔重心座標をより精度よく算出できる。また、重心座標算出部２３は、差分画像Ｉｍ７や差分画像Ｉｍ９から二値画像を生成し、生成した二値画像に基づいて顔重心座標を算出してもよい。また、重心座標算出部２３は、差分画像Ｉｍ７や差分画像Ｉｍ９をそれぞれ二乗して乗算画像を生成し、生成した乗算画像から二値画像を生成し、生成した二値画像に基づいて顔重心座標を算出してもよい。   In the example of FIG. 4, the same process as the face part is performed on the torso part of the subject. However, the torso part and the face part may be distinguished using face recognition technology. As a result, the face center-of-gravity coordinates can be calculated from the face part excluding the body part, so that the face center-of-gravity coordinates can be calculated more accurately. The barycentric coordinate calculation unit 23 may generate a binary image from the difference image Im7 or the difference image Im9, and calculate the face barycentric coordinates based on the generated binary image. Further, the barycentric coordinate calculation unit 23 squares the difference image Im7 and the difference image Im9 to generate a multiplication image, generates a binary image from the generated multiplication image, and based on the generated binary image, the face barycentric coordinate May be calculated.

顔向き推定部２４は、第１瞳孔座標、第２瞳孔座標、及び顔重心座標に基づいて、対象者の顔向きｑを推定する。具体的には、顔向き推定部２４は、第１瞳孔座標及び第２瞳孔座標に基づいて、瞳孔間距離Ｌを算出し、第１瞳孔座標、第２瞳孔座標、及び顔重心座標に基づいて、重心誤差Ｄを算出する。そして、顔向き推定部２４は、瞳孔間距離Ｌ及び重心誤差Ｄに基づいて、パラメータｐを算出し、パラメータｐ及び推定モデルに基づいて、顔向きｑを推定する。   The face direction estimation unit 24 estimates the face direction q of the subject based on the first pupil coordinates, the second pupil coordinates, and the face barycentric coordinates. Specifically, the face direction estimation unit 24 calculates the interpupillary distance L based on the first pupil coordinates and the second pupil coordinates, and based on the first pupil coordinates, the second pupil coordinates, and the face barycentric coordinates. The gravity center error D is calculated. Then, the face orientation estimation unit 24 calculates the parameter p based on the interpupillary distance L and the centroid error D, and estimates the face orientation q based on the parameter p and the estimation model.

図５は、瞳孔間距離Ｌ及び重心誤差Ｄの算出方法を説明する図である。図５に示すように、瞳孔間距離Ｌは、第１瞳孔座標と第２瞳孔座標との間の、顔画像Ｉｍにおける水平方向（矢印ｘの方向）の距離である。第１瞳孔座標が（ｘ１，ｙ１）、第２瞳孔座標が（ｘ２，ｙ２）である場合、Ｌ＝｜ｘ１−ｘ２｜となる。すなわち、顔向き推定部２４は、左側に位置する瞳孔のｘ座標ｘ１と、右側に位置する瞳孔のｘ座標ｘ２と、の間の距離（差の絶対値）を、瞳孔間距離Ｌとして算出する。   FIG. 5 is a diagram for explaining a method for calculating the interpupillary distance L and the centroid error D. FIG. As shown in FIG. 5, the interpupillary distance L is the distance in the horizontal direction (the direction of the arrow x) in the face image Im between the first pupil coordinate and the second pupil coordinate. When the first pupil coordinate is (x1, y1) and the second pupil coordinate is (x2, y2), L = | x1-x2 |. That is, the face orientation estimation unit 24 calculates the distance (absolute value of the difference) between the x coordinate x1 of the pupil located on the left side and the x coordinate x2 of the pupil located on the right side as the interpupillary distance L. .

これに対して、重心誤差Ｄは、第１瞳孔座標及び第２瞳孔座標の中心座標と顔重心座標との間の、顔画像Ｉｍにおける水平方向（矢印ｘ方向）の差である。第１瞳孔座標が（ｘ１，ｙ１）、第２瞳孔座標が（ｘ２，ｙ２）、顔重心座標が（ｘ３，ｙ３）である場合、Ｄ＝（ｘ１＋ｘ２）／２−ｘ３となる。すなわち、顔向き推定部２４は、第１瞳孔座標及び第２瞳孔座標の中心座標のｘ座標（ｘ１＋ｘ２）／２と、顔の重心座標のｘ座標ｘ３と、の差を、重心誤差Ｄとして算出する。重心誤差Ｄの符号は、顔が正面に対して右を向いているか左を向いているかを示す。   On the other hand, the centroid error D is a difference in the horizontal direction (arrow x direction) in the face image Im between the center coordinates of the first and second pupil coordinates and the face centroid coordinates. When the first pupil coordinate is (x1, y1), the second pupil coordinate is (x2, y2), and the face centroid coordinate is (x3, y3), D = (x1 + x2) / 2−x3. That is, the face direction estimation unit 24 calculates the difference between the x coordinate (x1 + x2) / 2 of the center coordinates of the first and second pupil coordinates and the x coordinate x3 of the center of gravity coordinates of the face as the center of gravity error D. To do. The sign of the centroid error D indicates whether the face is facing right or left with respect to the front.

対象者の顔が正面（撮影装置１の方向）を向いている場合、重心誤差Ｄは０となる。一方、対象者の顔が向いている方向が正面から離れるほど、重心誤差Ｄの大きさ（絶対値）は大きくなる。   When the subject's face is facing the front (the direction of the photographing apparatus 1), the gravity center error D is zero. On the other hand, the magnitude (absolute value) of the center-of-gravity error D increases as the direction in which the subject's face faces away from the front.

顔向き推定部２４は、こうして算出した重心誤差Ｄを瞳孔間距離Ｌで除算することにより、パラメータｐを算出する（ｐ＝Ｄ／Ｌ）。パラメータｐは、重心誤差Ｄを、瞳孔間距離Ｌで正規化した値である。重心誤差Ｄを瞳孔間距離Ｌで正規化することにより、重心誤差Ｄに対する顔と撮影装置１との間の距離の影響を抑制できる。その後、顔向き推定部２４は、パラメータｐ及び推定モデルに基づいて、顔向きｑを推定する。   The face orientation estimation unit 24 calculates the parameter p by dividing the gravity center error D thus calculated by the interpupillary distance L (p = D / L). The parameter p is a value obtained by normalizing the gravity center error D by the interpupillary distance L. By normalizing the centroid error D with the interpupillary distance L, the influence of the distance between the face and the photographing apparatus 1 on the centroid error D can be suppressed. Thereafter, the face orientation estimation unit 24 estimates the face orientation q based on the parameter p and the estimation model.

推定モデル記憶部２５は、推定モデルを記憶する。推定モデルは、パラメータｐと、顔向きｑと、の関係を示すモデルであり、予め用意される。推定モデルは、パラメータｐと顔向きｑとが対応付けられたテーブルであってもよいし、パラメータｐと顔向きｑとの関係を示す関数（ｑ＝ｆ（ｐ））であってもよい。   The estimated model storage unit 25 stores an estimated model. The estimation model is a model indicating the relationship between the parameter p and the face orientation q, and is prepared in advance. The estimation model may be a table in which the parameter p and the face orientation q are associated with each other, or may be a function (q = f (p)) indicating the relationship between the parameter p and the face orientation q.

ここで、推定モデルの具体例について説明する。図６は、上から見た対象者の頭部の一例を示す図である。図６において、破線矢印は、撮影装置１の方向（正面）を示し、実線矢印は、対象者の顔向きｑ及びｘ軸を示す。図６の例では、顔向きｑの基準は正面（ｑ＝０°）であり、頭部の回転中心は後頭部であり、左右の瞳孔間の距離は６２ｍｍであり、頭長は１９００ｍｍである。   Here, a specific example of the estimation model will be described. FIG. 6 is a diagram illustrating an example of a subject's head viewed from above. In FIG. 6, a broken line arrow indicates the direction (front) of the photographing apparatus 1, and a solid line arrow indicates the face direction q and the x axis of the subject. In the example of FIG. 6, the reference of the face orientation q is the front (q = 0 °), the center of rotation of the head is the back of the head, the distance between the left and right pupils is 62 mm, and the head length is 1900 mm.

図７は、推定モデルの一例を示す図である。図７の推定モデルは、図６の例に基づいて、パラメータｐに対応する顔向きｑをシミュレーションし、得られたシミュレーション結果に基づいて生成された近似式ｆ（ｐ）である。図７の例では、ｆ（ｐ）＝−０．０３８９ｐ４＋０．９６１ｐ３−８．９４９４ｐ２＋４０．００３ｐ−０．３２８７である。 FIG. 7 is a diagram illustrating an example of the estimation model. The estimation model in FIG. 7 is an approximate expression f (p) generated based on the simulation result obtained by simulating the face orientation q corresponding to the parameter p based on the example in FIG. In the example of FIG. 7, f (p) = − 0.0389p 4 + 0.961p 3 −8.9494p 2 + 40.003p−0.3287.

顔向き推定部２４は、このような推定モデルに、瞳孔間距離Ｌ及び重心誤差Ｄに基づいて算出したパラメータｐを入力することにより、顔向きｑを推定する。図７の推定モデルは、ｐが１の場合、顔向きｑとして約３０°が推定される。   The face orientation estimation unit 24 estimates the face orientation q by inputting the parameter p calculated based on the interpupillary distance L and the centroid error D to such an estimation model. In the estimation model of FIG. 7, when p is 1, approximately 30 ° is estimated as the face direction q.

次に、本実施形態に係る顔向き推定装置の処理について説明する。図８は、顔向き推定装置の処理の一例を示すフローチャートである。   Next, the process of the face direction estimation apparatus according to the present embodiment will be described. FIG. 8 is a flowchart illustrating an example of processing of the face orientation estimation apparatus.

まず、顔画像取得部２１が、顔画像として、明瞳孔画像、暗瞳孔画像、及び無照明画像を取得する（ステップＳ１０１）。図９は、顔画像取得部２１（撮影装置１）による顔画像の取得方法の一例を示す図である。図９の例では、撮影部１１Ｌ，１１Ｒは、時刻ｔ１，ｔ２，ｔ３に対象者の顔をそれぞれ撮影する。また、光源１２Ｌは時刻ｔ１に発光し、光源１２Ｒは時刻ｔ２に発光する。このような動作により、撮影部１１Ｌは、時刻ｔ１に明瞳孔画像を取得し、時刻ｔ２に暗瞳孔画像を取得し、時刻ｔ３に無照明画像を取得できる。また、撮影部１１Ｒは、時刻ｔ１に暗瞳孔画像を取得し、時刻ｔ２に明瞳孔画像を取得し、時刻ｔ３に無照明画像を取得できる。時刻ｔ１，ｔ２，ｔ３の間隔は、例えば、１６．６７ｍｓｅｃであるが、これに限られない。   First, the face image acquisition unit 21 acquires a bright pupil image, a dark pupil image, and a non-illuminated image as face images (step S101). FIG. 9 is a diagram illustrating an example of a face image acquisition method performed by the face image acquisition unit 21 (imaging device 1). In the example of FIG. 9, the photographing units 11L and 11R photograph the subject's face at times t1, t2, and t3, respectively. The light source 12L emits light at time t1, and the light source 12R emits light at time t2. By such an operation, the imaging unit 11L can acquire a bright pupil image at time t1, a dark pupil image at time t2, and an unilluminated image at time t3. Further, the imaging unit 11R can acquire a dark pupil image at time t1, acquire a bright pupil image at time t2, and acquire a non-illuminated image at time t3. The interval between the times t1, t2, and t3 is, for example, 16.67 msec, but is not limited thereto.

撮影部１１Ｌ，１１Ｒにより取得されたこれらの顔画像は、瞳孔座標算出部２２及び重心座標算出部２３に入力される。以降の処理は、撮影部１１Ｌ又は撮影部１１Ｒにより取得された顔画像のいずれかを利用して行われてもよいし、撮影部１１Ｌ及び撮影部１１Ｒにより取得された顔画像の両方に対して行われてもよい。   These face images acquired by the imaging units 11L and 11R are input to the pupil coordinate calculation unit 22 and the barycentric coordinate calculation unit 23. The subsequent processing may be performed using either the face image acquired by the image capturing unit 11L or the image capturing unit 11R, or for both of the face images acquired by the image capturing unit 11L and the image capturing unit 11R. It may be done.

瞳孔座標算出部２２は、顔画像取得部２１から顔画像を入力されると、入力された顔画像に基づいて、第１瞳孔座標（ｘ１，ｙ１）及び第２瞳孔座標（ｘ２，ｙ２）を算出する（ステップＳ１０２）。第１瞳孔座標（ｘ１，ｙ１）及び第２瞳孔座標（ｘ２，ｙ２）の算出方法は上述の通りである。瞳孔座標算出部２２は、算出した第１瞳孔座標（ｘ１，ｙ１）及び第２瞳孔座標（ｘ２，ｙ２）を顔向き推定部２４に渡す。   When the face image is input from the face image acquisition unit 21, the pupil coordinate calculation unit 22 calculates the first pupil coordinate (x1, y1) and the second pupil coordinate (x2, y2) based on the input face image. Calculate (step S102). The calculation method of the first pupil coordinates (x1, y1) and the second pupil coordinates (x2, y2) is as described above. The pupil coordinate calculation unit 22 passes the calculated first pupil coordinates (x1, y1) and second pupil coordinates (x2, y2) to the face direction estimation unit 24.

一方、重心座標算出部２３は、顔画像取得部２１から顔画像を入力されると、入力された顔画像に基づいて、顔重心座標（ｘ３，ｙ３）を算出する（ステップＳ１０３）。顔重心座標（ｘ３，ｙ３）の算出方法は上述の通りである。重心座標算出部２３は、算出した顔重心座標（ｘ３，ｙ３）を顔向き推定部２４に渡す。   On the other hand, when a face image is input from the face image acquisition unit 21, the center-of-gravity coordinate calculation unit 23 calculates face center-of-gravity coordinates (x3, y3) based on the input face image (step S103). The calculation method of the face center-of-gravity coordinates (x3, y3) is as described above. The barycentric coordinate calculation unit 23 passes the calculated face barycentric coordinates (x3, y3) to the face orientation estimation unit 24.

顔向き推定部２４は、第１瞳孔座標（ｘ１，ｙ１）、第２瞳孔座標（ｘ２，ｙ２）、及び顔重心座標（ｘ３，ｙ３）を受け取ると、瞳孔間距離Ｌ（＝｜ｘ１−ｘ２｜）を算出する（ステップＳ１０４）。また、顔向き推定部２４は、重心誤差Ｄ（＝（ｘ１＋ｘ２）／２−ｘ３）を算出する（ステップＳ１０５）。   When the face orientation estimation unit 24 receives the first pupil coordinates (x1, y1), the second pupil coordinates (x2, y2), and the face centroid coordinates (x3, y3), the interpupillary distance L (= | x1-x2). |) Is calculated (step S104). In addition, the face orientation estimating unit 24 calculates a gravity center error D (= (x1 + x2) / 2−x3) (step S105).

その後、顔向き推定部２４は、瞳孔間距離Ｌ及び重心誤差Ｄに基づいて、パラメータｐ（＝Ｄ／Ｌ）を算出し、算出したパラメータｐを推定モデルに入力して顔向きｑを推定する（ステップＳ１０６）。   Thereafter, the face direction estimation unit 24 calculates a parameter p (= D / L) based on the interpupillary distance L and the centroid error D, and inputs the calculated parameter p to the estimation model to estimate the face direction q. (Step S106).

顔向き推定装置は、以上の処理を、所定の時間間隔で、又は所定のタイミングで実行する。これにより、顔向き推定装置は、所定の時間間隔で、又は所定のタイミングで、対象者の顔向きを推定できる。   The face orientation estimation apparatus executes the above processing at predetermined time intervals or at predetermined timing. Thereby, the face orientation estimation apparatus can estimate the subject's face orientation at a predetermined time interval or at a predetermined timing.

以上説明した通り、本実施形態に係る顔向き推定装置は、第１瞳孔座標、第２瞳孔座標、及び顔重心座標に基づいて、対象者の顔向きｑを推定できる。第１瞳孔座標、第２瞳孔座標、及び顔重心座標は、対象者の顔がマスクなどにより覆われている場合であっても取得可能である。したがって、本実施形態に係る顔向き推定装置は、マスクなどにより対象者の顔の一部が覆われている場合であっても、対象者の顔向きｑを推定できる。   As described above, the face direction estimation device according to the present embodiment can estimate the face direction q of the subject based on the first pupil coordinates, the second pupil coordinates, and the face barycentric coordinates. The first pupil coordinates, the second pupil coordinates, and the face centroid coordinates can be acquired even when the subject's face is covered with a mask or the like. Therefore, the face orientation estimation apparatus according to the present embodiment can estimate the subject's face orientation q even when a part of the subject's face is covered with a mask or the like.

なお、本実施形態に係る顔向き推定装置は、対象者の顔向きｑを利用する任意の装置に適用可能である。このような装置として、運転中のドライバの視線を検知する車載装置や、ディスプレイに表示された広告を視聴する視聴者の視線を検知する広告装置などが挙げられる。   In addition, the face direction estimation apparatus according to the present embodiment is applicable to any apparatus that uses the face direction q of the target person. Examples of such a device include an in-vehicle device that detects the line of sight of a driving driver and an advertising device that detects the line of sight of a viewer who views an advertisement displayed on a display.

また、本実施形態に係る顔向き推定装置は、推定される顔向きｑをキャリブレーションする機能を有してもよい。顔向き推定装置は、例えば、対象者に複数の顔向きｑｉに顔を向けるように要求し、対象者が各顔向きｑｉに顔を向けた際の顔向きｑをそれぞれ推定し、推定された各顔向きｑが各顔向きｑｉと一致するように、推定モデルのパラメータを調整する。これにより、顔向き推定装置は、顔向きｑをキャリブレーションできる。顔向きｑをキャリブレーションすることにより、頭部の形状や瞳孔の位置などの個人差に起因する顔向きｑの推定誤差を抑制できる。   Further, the face orientation estimation apparatus according to the present embodiment may have a function of calibrating the estimated face orientation q. For example, the face direction estimation device requests the subject to face the face in a plurality of face orientations qi, and estimates and estimates the face orientation q when the subject faces the face in each face orientation qi. The parameters of the estimation model are adjusted so that each face orientation q matches each face orientation qi. Thereby, the face direction estimation apparatus can calibrate the face direction q. By calibrating the face direction q, an estimation error of the face direction q caused by individual differences such as the shape of the head and the position of the pupil can be suppressed.

なお、上記実施形態に挙げた構成等と他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更可能であり、その応用形態に応じて適切に定めることができる。   Note that the present invention is not limited to the configuration shown here, such as a combination of the configuration described in the above embodiment and other elements. These points can be changed without departing from the spirit of the present invention, and can be appropriately determined according to the application form.

１：撮影装置
２：制御装置
１１Ｌ，１１Ｒ：撮影部
１２Ｌ，１２Ｒ：光源
２１：顔画像取得部
２２：瞳孔座標算出部
２３：重心座標算出部
２４：顔向き推定部
２５：推定モデル記憶部 1: imaging device 2: control devices 11L, 11R: imaging units 12L, 12R: light source 21: face image acquisition unit 22: pupil coordinate calculation unit 23: barycentric coordinate calculation unit 24: face orientation estimation unit 25: estimation model storage unit

Claims (8)

顔画像に基づいて、第１瞳孔座標及び第２瞳孔座標を算出する瞳孔座標算出部と、
前記顔画像に基づいて、顔重心座標を算出する重心座標算出部と、
前記第１瞳孔座標と前記第２瞳孔座標との間の前記顔画像における水平方向の距離と、前記第１瞳孔座標及び前記第２瞳孔座標の中心座標と前記顔重心座標との間の前記顔画像における水平方向の差と、に基づいて顔向きを推定する顔向き推定部と、
を備える顔向き推定装置。 A pupil coordinate calculation unit for calculating the first pupil coordinate and the second pupil coordinate based on the face image;
Based on the face image, a center-of-gravity coordinate calculation unit that calculates face center-of-gravity coordinates;
The horizontal distance in the face image between the first pupil coordinates and the second pupil coordinates, and the face between the center coordinates of the first pupil coordinates and the second pupil coordinates and the face barycentric coordinates A face direction estimation unit that estimates a face direction based on a difference in a horizontal direction in an image;
A face direction estimation device comprising: 前記顔向き推定部は、前記距離及び前記差に応じた値と、前記顔向きと、の関係を示す推定モデルに基づいて、前記顔向きを推定する
請求項１に記載の顔向き推定装置。 The face direction estimation device according to claim 1, wherein the face direction estimation unit estimates the face direction based on an estimation model indicating a relationship between the value corresponding to the distance and the difference and the face direction. 前記顔向きは、鉛直軸まわりの回転角度である
請求項１又は請求項２に記載の顔向き推定装置。 The face orientation estimation apparatus according to claim 1, wherein the face orientation is a rotation angle around a vertical axis. 前記顔画像は、明瞳孔画像、暗瞳孔画像、及び無照明画像を含む
請求項１乃至請求項３のいずれか１項に記載の顔向き推定装置。 The face orientation estimation apparatus according to claim 1, wherein the face image includes a bright pupil image, a dark pupil image, and a non-illuminated image. 前記瞳孔座標算出部は、前記明瞳孔画像及び前記暗瞳孔画像に基づいて、前記第１瞳孔座標及び前記第２瞳孔座標を算出する
請求項４に記載の顔向き推定装置。 The face orientation estimation apparatus according to claim 4, wherein the pupil coordinate calculation unit calculates the first pupil coordinate and the second pupil coordinate based on the bright pupil image and the dark pupil image. 前記重心座標算出部は、前記明瞳孔画像、前記暗瞳孔画像、及び前記無照明画像に基づいて、前記顔重心座標を算出する
請求項４又は請求項５に記載の顔向き推定装置。 6. The face orientation estimation apparatus according to claim 4, wherein the barycentric coordinate calculation unit calculates the face barycentric coordinates based on the bright pupil image, the dark pupil image, and the unilluminated image. 前記顔画像を取得する顔画像取得部を更に備える
請求項１乃至請求項６のいずれか１項に記載の顔向き推定装置。 The face orientation estimation apparatus according to claim 1, further comprising a face image acquisition unit that acquires the face image. 顔画像に基づいて、第１瞳孔座標及び第２瞳孔座標を算出する瞳孔座標算出工程と、
前記顔画像に基づいて、顔重心座標を算出する重心座標算出工程と、
前記第１瞳孔座標と前記第２瞳孔座標との間の前記顔画像における水平方向の距離と、前記第１瞳孔座標及び前記第２瞳孔座標の中心座標と前記顔重心座標との間の前記顔画像における水平方向の差と、に基づいて顔向きを推定する顔向き推定工程と、
を有する顔向き推定方法。 A pupil coordinate calculation step of calculating a first pupil coordinate and a second pupil coordinate based on the face image;
A center-of-gravity coordinate calculation step of calculating a face center-of-gravity coordinate based on the face image;
The horizontal distance in the face image between the first pupil coordinates and the second pupil coordinates, and the face between the center coordinates of the first pupil coordinates and the second pupil coordinates and the face barycentric coordinates A face direction estimating step for estimating a face direction based on a difference in a horizontal direction in the image;
A face orientation estimation method comprising:
JP2017058896A 2017-03-24 2017-03-24 Face direction estimation device and face direction estimation method Pending JP2018163411A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017058896A JP2018163411A (en) 2017-03-24 2017-03-24 Face direction estimation device and face direction estimation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017058896A JP2018163411A (en) 2017-03-24 2017-03-24 Face direction estimation device and face direction estimation method

Publications (1)

Publication Number Publication Date
JP2018163411A true JP2018163411A (en) 2018-10-18

Family

ID=63861015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017058896A Pending JP2018163411A (en) 2017-03-24 2017-03-24 Face direction estimation device and face direction estimation method

Country Status (1)

Country Link
JP (1) JP2018163411A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022072017A (en) * 2020-10-29 2022-05-17 富士通クライアントコンピューティング株式会社 Information processing device and program
JP7418386B2 (en) 2021-12-14 2024-01-19 矢崎総業株式会社 Face orientation determination system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022072017A (en) * 2020-10-29 2022-05-17 富士通クライアントコンピューティング株式会社 Information processing device and program
JP7216297B2 (en) 2020-10-29 2023-02-01 富士通クライアントコンピューティング株式会社 Information processing device and program
JP7418386B2 (en) 2021-12-14 2024-01-19 矢崎総業株式会社 Face orientation determination system

Similar Documents

Publication Publication Date Title
US11741624B2 (en) Method and system for determining spatial coordinates of a 3D reconstruction of at least part of a real object at absolute spatial scale
US11644896B2 (en) Interactive motion-based eye tracking calibration
CN104871084B (en) Self adaptation projector
US20170148220A1 (en) Information processing apparatus, display control method, and program
US11861062B2 (en) Blink-based calibration of an optical see-through head-mounted display
TWI704501B (en) Electronic apparatus operated by head movement and operation method thereof
US10893802B2 (en) Information processing apparatus, information processing method, and recording medium
US20190147241A1 (en) Line-of-sight detection device and method for detecting line of sight
US20210215940A1 (en) End-to-end artificial reality calibration testing
US11055920B1 (en) Performing operations using a mirror in an artificial reality environment
CN108475180A (en) The distributed video between multiple display areas
CN108463789A (en) Information processing equipment, information processing method and program
US20170156585A1 (en) Eye condition determination system
JP6324119B2 (en) Rotation angle calculation method, gazing point detection method, information input method, rotation angle calculation device, gazing point detection device, information input device, rotation angle calculation program, gazing point detection program, and information input program
US10606351B2 (en) Information processing apparatus, information processing method, and computer readable recording medium
US10757337B2 (en) Information processing apparatus and information processing method to control exposure for imaging the eye
JP2018163411A (en) Face direction estimation device and face direction estimation method
US10402939B2 (en) Information processing device, information processing method, and program
JP2020201572A (en) Information processor, information processing method, and program
Kar et al. Eye-gaze systems-An analysis of error sources and potential accuracy in consumer electronics use cases
WO2021131335A1 (en) Corneal reflex detection device, line-of-sight detection device, corneal reflex detection method, and corneal reflex detection program
CN110858095A (en) Electronic device capable of being controlled by head and operation method thereof
JP7323234B2 (en) Guide method
JP2018180623A (en) Sight line direction estimation device and sight line direction estimation method
JP2019097807A (en) Pupil detector