JP2016198301A - Iris pattern comparison device and program - Google Patents
Iris pattern comparison device and program Download PDFInfo
- Publication number
- JP2016198301A JP2016198301A JP2015080841A JP2015080841A JP2016198301A JP 2016198301 A JP2016198301 A JP 2016198301A JP 2015080841 A JP2015080841 A JP 2015080841A JP 2015080841 A JP2015080841 A JP 2015080841A JP 2016198301 A JP2016198301 A JP 2016198301A
- Authority
- JP
- Japan
- Prior art keywords
- eyeball
- image
- pupil
- point
- cornea
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
Description
本発明は、虹彩パタン比較装置及びプログラムに係り、特に、眼画像から虹彩パタンを切り出して基準虹彩パタンと比較する虹彩パタン比較装置及びプログラムに関する。 The present invention relates to an iris pattern comparison device and program, and more particularly, to an iris pattern comparison device and program for extracting an iris pattern from an eye image and comparing it with a reference iris pattern.
従来より、計測対象者の眼球を撮影して眼球画像を取得する眼球撮影手段と、角膜における屈折を考慮して前記眼球画像を補正する眼球画像補正手段と、前記眼球画像から虹彩パターンを取得する虹彩パターン取得手段と、基準となる前記虹彩パターンである基準虹彩パターンと、計測対象の前記虹彩パターンである計測虹彩パターンとを比較し、前記基準虹彩パターンに対する前記計測虹彩パターンの相対的な回旋角度を計測する回旋角度計測手段を備えることを特徴とする眼球運動計測装置が知られている（特許文献１）。 Conventionally, an eyeball photographing means for photographing an eyeball of a measurement target person to acquire an eyeball image, an eyeball image correcting means for correcting the eyeball image in consideration of refraction in the cornea, and an iris pattern from the eyeball image. An iris pattern acquisition means, a reference iris pattern that is the reference iris pattern, and a measurement iris pattern that is the measurement target iris pattern, and a relative rotation angle of the measurement iris pattern with respect to the reference iris pattern There is known an eye movement measuring device characterized by comprising a rotation angle measuring means for measuring the angle (Patent Document 1).
上記特許文献１に記載の技術では、角膜における屈折補正を瞳孔中心算出時にのみ行い、虹彩パタンを切り出すときには行っておらず、瞳孔楕円を中心に単純に同心楕円形状に切り出している。このため、瞳孔パタンが歪んで切り出されてしまう、という問題がある。 In the technique described in Patent Document 1, refraction correction in the cornea is performed only at the time of calculating the pupil center, and is not performed when the iris pattern is cut out, but is simply cut out into a concentric elliptical shape around the pupil ellipse. For this reason, there is a problem that the pupil pattern is distorted and cut out.
また、上記特許文献１に記載の技術では、基準となる眼球画像の瞳孔全周パタンと、比較する眼球画像の瞳孔全周パタンを用いて位相限定相関法によるマッチングを行っていたため、部分的に欠損があったり全体として画像が不明瞭であったりすると相関が悪くなる、という問題がある。 In addition, in the technique described in Patent Document 1, since matching is performed by the phase-only correlation method using the pupil all-around pattern of the reference eyeball image and the pupil all-around pattern of the eyeball image to be compared, partially. If there is a defect or the image is unclear as a whole, there is a problem that the correlation deteriorates.
本発明は、上記の問題点を解決するためになされたもので、眼球姿勢角を考慮して、虹彩パタンを比較することができる虹彩パタン比較装置及びプログラムを提供することを第１の目的とする。 The present invention has been made to solve the above problems, and has as its first object to provide an iris pattern comparison device and program capable of comparing iris patterns in consideration of the eyeball posture angle. To do.
また、部分的な欠損があったり画像全体として不明瞭であっても、虹彩パタンを比較することができる虹彩パタン比較装置及びプログラムを提供することを第２の目的とする。 It is a second object of the present invention to provide an iris pattern comparison apparatus and program capable of comparing iris patterns even when there is a partial defect or the whole image is unclear.
上記の第１の目的を達成するために第１の発明に係る虹彩パタン比較装置は、被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する画像取得手段と、基準の眼球姿勢角での角膜上の各点の屈折ずれ量と、現在の眼球姿勢角とに基づいて求められる、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、前記画像取得手段によって取得された前記眼球画像における角膜上の各点の座標を補正する補正手段と、前記補正手段によって補正された前記眼球画像における角膜上の各点の座標に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段と、を含んで構成されている。 In order to achieve the above first object, an iris pattern comparison apparatus according to a first invention is an eyeball image representing an eyeball from a face image representing the face imaged by an imaging means for imaging the face of the subject. Each point on the cornea at the current eyeball posture angle, which is obtained based on the image acquisition means for acquiring the refraction deviation amount of each point on the cornea at the reference eyeball posture angle and the current eyeball posture angle Correction means for correcting the coordinates of each point on the cornea in the eyeball image acquired by the image acquisition means, and each point on the cornea in the eyeball image corrected by the correction means Pattern extraction means for extracting a comparison iris pattern for comparison with a reference iris pattern obtained in advance from the eyeball image acquired by the image acquisition means based on the coordinates of .
また、第２の発明に係るプログラムは、コンピュータを、被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する画像取得手段、基準の眼球姿勢角での角膜上の各点の屈折ずれ量と、現在の眼球姿勢角とに基づいて求められる、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、前記画像取得手段によって取得された前記眼球画像における角膜上の各点の座標を補正する補正手段、及び前記補正手段によって補正された前記眼球画像における角膜上の各点の座標に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段として機能させるためのプログラムである。 According to a second aspect of the present invention, there is provided a program for acquiring an eyeball image representing an eyeball from a face image representing the face captured by an imaging means for capturing an image of the face of the person to be observed; Based on the refractive shift amount of each point on the cornea at the current eyeball posture angle, obtained based on the refractive shift amount of each point on the cornea at the eyeball posture angle and the current eyeball posture angle, the image Correction means for correcting the coordinates of each point on the cornea in the eyeball image acquired by the acquisition means, and the image acquisition means based on the coordinates of each point on the cornea in the eyeball image corrected by the correction means Is a program for functioning as a pattern cutout means for cutting out a comparative iris pattern for comparison with a reference iris pattern obtained in advance from the eyeball image acquired by the above.
第１の発明及び第２の発明によれば、画像取得手段によって、被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する。補正手段によって、基準の眼球姿勢角での角膜上の各点の屈折ずれ量と、現在の眼球姿勢角とに基づいて求められる、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、前記画像取得手段によって取得された前記眼球画像における角膜上の各点の座標を補正する。 According to the first and second aspects of the invention, the image acquisition means acquires an eyeball image representing an eyeball from the face image representing the face imaged by the imaging means for imaging the face of the subject. Refraction deviation amount of each point on the cornea at the current eyeball posture angle obtained by the correcting means based on the amount of refractive deviation of each point on the cornea at the reference eyeball posture angle and the current eyeball posture angle Based on the above, the coordinates of each point on the cornea in the eyeball image acquired by the image acquisition means are corrected.
そして、パタン切出し手段によって、前記補正手段によって補正された前記眼球画像における角膜上の各点の座標に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出す。 Then, based on the coordinates of each point on the cornea in the eyeball image corrected by the correction unit by the pattern cutting unit, a reference iris pattern obtained in advance from the eyeball image acquired by the image acquisition unit and A comparative iris pattern is cut out for comparison.
このように、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、眼球画像における角膜上の各点の座標を補正して、眼球画像から比較虹彩パタンを切り出すことにより、眼球姿勢角を考慮して、虹彩パタンを比較することができる。 In this way, by correcting the coordinates of each point on the cornea in the eyeball image based on the refractive shift amount of each point on the cornea at the current eyeball posture angle, by cutting out the comparative iris pattern from the eyeball image, The iris pattern can be compared in consideration of the eyeball posture angle.
上記の第２の目的を達成するために第３の発明に係る虹彩パタン比較装置は、被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する画像取得手段と、前記画像取得手段によって取得された前記眼球画像における瞳孔周方向又は瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔周方向又は瞳孔径方向の範囲を決定する範囲決定手段と、前記範囲決定手段によって決定された前記瞳孔周方向又は瞳孔径方向の範囲に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段と、を含んで構成されている。 In order to achieve the second object, an iris pattern comparison apparatus according to a third invention is an eyeball image representing an eyeball from a face image representing the face imaged by an imaging means for imaging the face of the subject. In the pupil circumference direction or the pupil diameter direction so that the variance of the brightness distribution in the pupil circumferential direction or the pupil diameter direction in the eyeball image obtained by the image acquisition means is a certain value or less. A range determining unit for determining a range; and a reference iris previously obtained from the eyeball image acquired by the image acquiring unit based on the range in the pupil circumferential direction or the pupil radial direction determined by the range determining unit Pattern cutting means for cutting out a comparative iris pattern for comparison with the pattern.
第４の発明に係るプログラムは、コンピュータを、被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する画像取得手段、前記画像取得手段によって取得された前記眼球画像における瞳孔周方向又は瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔周方向又は瞳孔径方向の範囲を決定する範囲決定手段、及び前記範囲決定手段によって決定された前記瞳孔周方向又は瞳孔径方向の範囲に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段として機能させるためのプログラムである。 According to a fourth aspect of the present invention, there is provided a program for acquiring an eyeball image representing an eyeball from a face image representing the face imaged by an imaging means for capturing an image of the face of the person to be observed; Range determining means for determining a range in the pupil circumferential direction or in the pupil radial direction so that the variance of the brightness distribution in the pupil circumferential direction or in the pupil radial direction in the eyeball image acquired by the method is equal to or less than a predetermined value, and the range determination Based on the range of the pupil circumferential direction or the pupil radial direction determined by the means, a comparison iris pattern for comparison with a reference iris pattern obtained in advance is cut out from the eyeball image acquired by the image acquisition means. This is a program for functioning as a pattern cutting means.
第３の発明及び第４の発明によれば、画像取得手段によって、被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する。範囲決定手段によって、前記画像取得手段によって取得された前記眼球画像における瞳孔周方向又は瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔周方向又は瞳孔径方向の範囲を決定する。 According to the third and fourth aspects of the invention, the image acquisition means acquires an eyeball image representing an eyeball from the face image representing the face imaged by the imaging means for imaging the face of the person to be observed. The range determining unit determines the range in the pupil circumferential direction or the pupil radial direction so that the variance of the brightness distribution in the pupil circumferential direction or the pupil radial direction in the eyeball image acquired by the image acquiring unit is equal to or less than a predetermined value. To do.
そして、パタン切出し手段によって、前記範囲決定手段によって決定された前記瞳孔周方向又は瞳孔径方向の範囲に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出す。 Then, based on the range of the pupil circumferential direction or the pupil radial direction determined by the range determination unit by the pattern cutting unit, a reference iris pattern obtained in advance from the eyeball image acquired by the image acquisition unit and A comparative iris pattern is cut out for comparison.
このように、眼球画像における瞳孔周方向又は瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔周方向又は瞳孔径方向の範囲を決定し、眼球画像から比較虹彩パタンを切り出すことにより、部分的な欠損があったり画像全体として不明瞭であっても、虹彩パタンを比較することができる。 As described above, the range of the pupil circumferential direction or the pupil radial direction is determined so that the variance of the brightness distribution in the pupil circumferential direction or the pupil radial direction in the eyeball image is a predetermined value or less, and the comparative iris pattern is cut out from the eyeball image. Thus, even if there is a partial defect or the whole image is unclear, the iris patterns can be compared.
以上説明したように、本発明の虹彩パタン比較装置及びプログラムによれば、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、眼球画像における角膜上の各点の座標を補正して、眼球画像から比較虹彩パタンを切り出すことにより、眼球姿勢角を考慮して、虹彩パタンを比較することができる、という効果が得られる。 As described above, according to the iris pattern comparison device and program of the present invention, the coordinates of each point on the cornea in the eyeball image are calculated based on the amount of refractive deviation of each point on the cornea at the current eyeball posture angle. By correcting and cutting out the comparative iris pattern from the eyeball image, an effect is obtained that the iris pattern can be compared in consideration of the eyeball posture angle.
また、本発明の虹彩パタン比較装置及びプログラムによれば、眼球画像における瞳孔周方向又は瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔周方向又は瞳孔径方向の範囲を決定し、眼球画像から比較虹彩パタンを切り出すことにより、部分的な欠損があったり画像全体として不明瞭であっても、虹彩パタンを比較することができる、という効果が得られる。 Further, according to the iris pattern comparison apparatus and program of the present invention, the range of the pupil circumferential direction or the pupil diameter direction is set so that the variance of the brightness distribution in the pupil circumferential direction or the pupil radial direction in the eyeball image is equal to or less than a certain value. By determining and cutting out the comparative iris pattern from the eyeball image, it is possible to compare the iris patterns even if there is a partial defect or the whole image is unclear.
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、撮像された顔画像から、眼球回旋角度を推定する眼球回旋角度推定装置に本発明を適用した場合を例に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, a case where the present invention is applied to an eyeball rotation angle estimation device that estimates an eyeball rotation angle from a captured face image will be described as an example.
図１に示すように、第１の実施の形態に係る眼球回旋角度推定装置１０は、対象とする被観察者の顔を含む画像を撮像するＣＣＤカメラ等からなる画像撮像部１２と、画像処理を行うコンピュータ１４と、ＣＲＴ等で構成された出力部１６とを備えている。 As shown in FIG. 1, the eyeball rotation angle estimation device 10 according to the first embodiment includes an image capturing unit 12 including a CCD camera or the like that captures an image including a face of a subject to be observed, and image processing. The computer 14 which performs this, and the output part 16 comprised by CRT etc. are provided.
コンピュータ１４は、ＣＰＵ、後述するずれマップ計算処理ルーチン及び眼球回旋角度推定処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１４をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ１４は、画像撮像部１２から出力される顔画像を入力する画像入力部２０と、画像入力部２０の出力である顔画像から、眼球を表す眼球画像を取得する眼球画像取得部２２と、眼球画像から、瞳孔楕円を推定すると共に、眼球姿勢角を推定する瞳孔楕円姿勢角推定部２６と、眼球姿勢角の各々に対するずれマップを計算するずれマップ計算部２８と、眼球姿勢角の各々に対するずれマップを記憶するずれマップ記憶部３０と、基準となる眼球画像の眼球姿勢角に対するずれマップを選択するずれマップ選択部３２と、ずれマップを用いて、基準となる眼球画像の角膜上の各座標を補正するずれ補正部３４と、補正された角膜上の各座標に基づいて、基準となる眼球画像から基準虹彩パタンを切り出すパタン切出し部３６と、切り出された基準虹彩パタンを記憶するパタン記憶部３８と、推定対象となる眼球画像の眼球姿勢角に対するずれマップを選択するずれマップ選択部４０と、ずれマップを用いて、推定対象となる眼球画像の角膜上の各座標を補正するずれ補正部４２と、補正された角膜上の各座標に基づいて、推定対象となる眼球画像から比較虹彩パタンを切り出すパタン切出し部４４と、切り出された比較虹彩パタン及びパタン記憶部３８に記憶された基準虹彩パタンに対してパタンマッチングを行って、眼球回旋角度を算出する回旋角度算出部４８とを備えている。 The computer 14 is configured to include a CPU, a ROM that stores programs of a deviation map calculation processing routine and an eyeball rotation angle estimation processing routine that will be described later, a RAM that stores data, and a bus that connects these. If the computer 14 is described with function blocks divided for each function realizing means determined based on hardware and software, the computer 14 inputs the face image output from the image capturing unit 12 as shown in FIG. An eyeball image acquisition unit 22 that acquires an eyeball image representing an eyeball from the face image that is an output of the image input unit 20, and a pupil ellipse and an eyeball posture angle from the eyeball image. A pupil ellipse posture angle estimation unit 26, a displacement map calculation unit 28 that calculates a displacement map for each eyeball posture angle, a displacement map storage unit 30 that stores a displacement map for each eyeball posture angle, and a reference eyeball A shift map selection unit 32 that selects a shift map with respect to the eyeball posture angle of the image, and the coordinates on the cornea of the reference eyeball image using the shift map. A correct deviation correction unit 34, a pattern cutout unit 36 that cuts out a reference iris pattern from a reference eyeball image based on the corrected coordinates on the cornea, and a pattern storage unit 38 that stores the cut out reference iris pattern. A shift map selection unit 40 that selects a shift map for the eyeball posture angle of the eyeball image to be estimated, and a shift correction unit 42 that corrects each coordinate on the cornea of the eyeball image to be estimated using the shift map. Then, based on the corrected coordinates on the cornea, a pattern cutout unit 44 that cuts out a comparative iris pattern from an eyeball image to be estimated, and a reference iris pattern stored in the cut out comparative iris pattern and pattern storage unit 38 Is provided with a rotation angle calculation unit 48 that performs pattern matching on the eyeball and calculates an eyeball rotation angle.
画像入力部２０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。 The image input unit 20 includes, for example, an A / D converter and an image memory that stores image data for one screen.
眼球画像取得部２２は、画像入力部２０の出力である顔画像から、従来既知の画像認識手法を用いて、眼球を表す眼球画像を取得する。眼球画像取得部２２は、対象とする被観察者の基準の顔画像から、眼球画像を取得する。ここで、基準の顔画像とは、眼球回旋角度が基準角度であるときの顔画像である。また、眼球画像取得部２２は、対象とする被観察者の推定対象の顔画像から、眼球画像を取得する。 The eyeball image acquisition unit 22 acquires an eyeball image representing the eyeball from the face image that is the output of the image input unit 20 using a conventionally known image recognition technique. The eyeball image acquisition unit 22 acquires an eyeball image from the reference face image of the target observer. Here, the reference face image is a face image when the eyeball rotation angle is the reference angle. In addition, the eyeball image acquisition unit 22 acquires an eyeball image from the face image to be estimated by the target observer.
瞳孔楕円姿勢角推定部２６は、眼球画像取得部２２によって取得された眼球画像に基づいて、従来既知の画像認識手法を用いて、眼球画像上の瞳孔楕円を推定する。また、瞳孔楕円姿勢角推定部２６は、眼球画像取得部２２によって取得された眼球画像に基づいて、眼球の３次元の姿勢角として、眼球座標系（図２参照）でのＹ軸周りの回転角度θY、Ｚ軸周りの回転角度θZを推定する。なお、眼球姿勢角の推定方法は、従来既知の手法を用いればよいため、説明を省略する。 The pupil ellipse posture angle estimation unit 26 estimates a pupil ellipse on the eyeball image using a conventionally known image recognition method based on the eyeball image acquired by the eyeball image acquisition unit 22. In addition, the pupil ellipse posture angle estimation unit 26 rotates the Y-axis around the Y-axis in the eyeball coordinate system (see FIG. 2) as a three-dimensional posture angle of the eyeball based on the eyeball image acquired by the eyeball image acquisition unit 22. The angle θ Y and the rotation angle θ Z around the Z axis are estimated. In addition, since the conventionally known method should just be used for the estimation method of an eyeball attitude | position angle, description is abbreviate | omitted.
ずれマップ計算部２８は、事前に、予め定められた眼球特性値に基づいて、以下に説明するように、眼球姿勢角の各々に対するずれマップを計算する。 The deviation map calculation unit 28 calculates a deviation map for each of the eyeball posture angles, as will be described below, based on predetermined eyeball characteristic values in advance.
まず、計算には図２に示す眼球モデルを使用する。本実施の形態では、計算上、以下の（１）〜（３）の仮定を用いる。 First, the eyeball model shown in FIG. 2 is used for the calculation. In the present embodiment, the following assumptions (1) to (3) are used for calculation.
（１）眼球回転中心は眼球曲率中心に等しい。
（２）虹彩は平面であり、虹彩面中心に瞳孔中心が位置する。
（３）眼球を撮影するカメラ光軸方向を[-1 0 0]Tとする。
(1) The eyeball rotation center is equal to the eyeball curvature center.
(2) The iris is a plane, and the pupil center is located at the center of the iris surface.
(3) The camera optical axis direction for photographing the eyeball is [-1 0 0] T.
また、眼球半径をl、角膜曲率半径をr、カメラから見た鉛直方向の黒目(角膜)の半径をa、空気と房水の屈折率の比をεとし、本実施の形態で用いた具体的な値を、図３に示す。また、眼球回転中心をOe、角膜曲率中心をOc、瞳孔中心をOpとする。OcOeの距離oは以下の式で表わされる。 In addition, the eyeball radius is l, the corneal curvature radius is r, the radius of the black eye (cornea) in the vertical direction seen from the camera is a, and the ratio of the refractive index of air and aqueous humor is ε. Typical values are shown in FIG. Further, the eyeball rotation center O e, corneal curvature center O c, a pupil center and O p. The distance o of O c O e is expressed by the following formula.
ここで、眼球正面位でカメラ方向から見て瞳孔中心から径方向に等間隔で並ぶ角膜表面の点Pi(i=1,2,…,n)を考える。点Piは極座標を有し、中心からi番目、周方向にψの位置の点Piの位置ベクトルは、Oeを原点として次式で表される。 Here, corneal surface points P i (i = 1, 2,..., N) arranged at equal intervals in the radial direction from the pupil center when viewed from the camera direction at the front of the eyeball are considered. The point P i has polar coordinates, and the position vector of the point P i at the i-th position from the center and at the position ψ in the circumferential direction is expressed by the following equation with O e as the origin.
この点Piにおける角膜曲面の法線ベクトルをniとすると、カメラ方向から入射する光は角膜での屈折を受けて3次元の屈折を表わす以下の（３）式を満たす方向ベクトルIの光となる（図４参照）。 Assuming that the normal vector of the corneal curved surface at this point P i is n i , the light of the direction vector I satisfying the following expression (3) representing the three-dimensional refraction as the light incident from the camera direction undergoes refraction at the cornea. (See FIG. 4).
また、方向ベクトルI はniと入射光ベクトルが張る面内のベクトルなので次式を満たす。 Also, the direction vector I Is the in-plane vector spanned by n i and the incident light vector, so that
Piから虹彩面へ下ろした垂線と虹彩面の交点Qiと，ベクトルI を延長し虹彩面と交わる点P’との距離は、Pi Qの距離diを用いて次式で表される。 The intersection Q i of the perpendicular and the iris surface from P i to the iris surface, and the vector I The distance from the point P ′ that extends and intersects the iris plane is expressed by the following equation using the distance d i of P i Q.
Di0はすなわち、眼球正面位のときの点Piにおける角膜屈折によるずれベクトルである。カメラで撮影した角膜画像には、等間隔に並ぶ点P群で構成される画素に、それぞれDi0(i=1,2,…,n)だけずれたパタンが映っていることになる。この点P群の各点Pに対応するずれベクトルDをマップとして保存しておく。径方向に10分割したときの点PとずれベクトルDを図５（Ａ）、（Ｂ）に示す。図５（Ａ）はカメラ光軸視の場合を表し、図５（Ｂ）は、俯瞰視の場合を表す。なお、ずれベクトルが、屈折ずれ量の一例である。 That is, D i0 is a shift vector due to corneal refraction at the point P i when the eyeball is in front. In the corneal image photographed by the camera, the pattern shifted by D i0 (i = 1, 2,..., N) is reflected in the pixels formed by the group of points P arranged at equal intervals. A shift vector D corresponding to each point P in this point P group is stored as a map. 5A and 5B show the point P and the deviation vector D when divided in 10 in the radial direction. FIG. 5A shows the case of camera optical axis view, and FIG. 5B shows the case of overhead view. The deviation vector is an example of the amount of refractive deviation.
このように、眼球が正面を向いている場合、すわなち眼球姿勢角［θY、θZ］＝［０，０］において、眼球角膜上の点Piに入射した光が、房水による屈折を受けない場合に虹彩面に交差する点P’と、房水で屈折した場合に虹彩面に交差する点Qiとの２点間ベクトルP’Qi（ずれベクトル）を角膜全面に渡って算出したマップを用意し、これを以下の式で表わす。 In this way, when the eyeball is facing the front, that is, at the eyeball posture angle [θ Y , θ Z ] = [0, 0], the light incident on the point P i on the eyeball cornea is caused by the aqueous humor A point-to-point vector P'Q i (shift vector) between the point P 'that intersects the iris surface when it is not refracted and the point Q i that intersects the iris surface when it is refracted by the aqueous humor crosses the entire cornea. The map calculated in this way is prepared and expressed by the following formula.
Ｄ（０，０）＝［P P’Qi］（P∋Pi，P’Q∋P’Qi） D (0,0) = [P P'Q i ] (P∋P i , P'Q∋P'Q i )
次に、眼球が斜め向きの場合を考える。Y軸周りにθY、Z軸周りにθZ回転しているとすると、回転行列Ｒは(6)式で表され、回転後の点Pi 、法線ベクトルniを、Pθi 、nθiとすると(7)式で表される。 Next, consider the case where the eyeball is oriented obliquely. Around the Y-axis theta Y, when the rotating theta Z around the Z axis, rotation matrix R is expressed by equation (6), the point after the rotation P i, the normal vector n i, P θi, n If θi , it is expressed by equation (7).
(7)式を(3)式から(5)式に用いて屈折光ベクトルI、ずれベクトルDを求める。眼球姿勢角がθY=10度、θZ =30度のときの点PとずれベクトルDの関係を図６（Ａ）、（Ｂ）に示す。ここでも点P群に対するずれマップDを保存しておく． The refracted light vector I and the deviation vector D are obtained by using the expression (7) from the expressions (3) to (5). FIGS. 6A and 6B show the relationship between the point P and the shift vector D when the eyeball posture angle is θ Y = 10 degrees and θ Z = 30 degrees. Again, the displacement map D for point P is saved.
このように、眼球姿勢角［θY、θZ］＝［０，０］から、眼球姿勢角の範囲、［θY、θZ］＝［０，π／２］、［θY、θZ］＝［π／２，０］、［θY、θZ］＝［π／２，π／２］までの間の任意の姿勢角について求めたマップによる集合Ｄ∋Ｄ（θY、θZ）を、ずれマップ記憶部３０に予め格納しておく。 Thus, ocular posture angle [theta Y, theta Z] From = [0,0], the range of the eyeball orientation angle, [θ Y, θ Z] = [0, π / 2], [θ Y, θ Z ] = [Π / 2, 0], [θ Y , θ Z ] = [π / 2, π / 2], a map set D∋D (θ Y , θ Z ) Is stored in advance in the deviation map storage unit 30.
ずれマップ選択部３２は、基準の顔画像の眼球画像について瞳孔楕円姿勢角推定部２６によって推定された眼球姿勢角θY、θZに対応するずれマップＤ（θY、θZ）を、ずれマップ記憶部３０から取得する。 The shift map selection unit 32 shifts the shift map D (θ Y , θ Z ) corresponding to the eyeball posture angles θ Y , θ Z estimated by the pupil ellipse posture angle estimation unit 26 for the eyeball image of the reference face image. Obtained from the map storage unit 30.
ずれ補正部３４は、ずれマップ選択部３２によって取得されたずれマップＤ（θY、θZ）を用いて、以下に説明するように、基準の顔画像の眼球画像における角膜上の各座標を補正する。 The shift correction unit 34 uses the shift map D (θ Y , θ Z ) acquired by the shift map selection unit 32 to calculate each coordinate on the cornea in the eyeball image of the reference face image as described below. to correct.
まず、基準の顔画像の眼球画像において、瞳孔中心から径方向に引いた、放射状の各線上において、瞳孔楕円上にあるものを点Pj、角膜端上にあるものを点Pnとする。Pj Pn間をそれぞれm等分割し各分割点Pmにおけるずれベクトルを、ずれマップ選択部３２で取得したずれマップＤ（θY、θZ）から求める。具体的には、ずれマップの各点ＰのずれベクトルDθを補間して、各分割点PmにおけるずれベクトルDθmを計算する。そして、ずれベクトルDθmのY,Z成分をピクセル値に変換した量を分割点Pmの画像上の座標から減算し、屈折によるずれベクトルを補正した座標が得られる。なお、分割点が、観察点の一例である。 First, in the eyeball image of the reference face image, on each radial line drawn in the radial direction from the center of the pupil, a point on the pupil ellipse is a point P j and a point on the corneal end is a point P n . P j P n is equally divided into m, and a deviation vector at each division point P m is obtained from the deviation map D (θ Y , θ Z ) acquired by the deviation map selection unit 32. Specifically, by interpolating the displacement vectors D theta of each point P of the displacement map, to calculate the displacement vector D .theta.m at each division point P m. Then, Y displacement vector D .theta.m, subtracts the amount obtained by converting the Z component to the pixel value from the image coordinates on the dividing point P m, the coordinate is obtained by correcting the displacement vector due to refraction. The division point is an example of the observation point.
パタン切出し部３６は、ずれ補正部３４によって補正された各分割点Pmの補正座標を、極座標に変換し、各分割点Pm間の距離に比例したグリッドで規定される、基準虹彩パタンの切出し範囲を決定する。パタン切出し部３６は、基準の顔画像の眼球画像の、決定した切出し範囲から、基準虹彩パタンを切り出し、パタン記憶部３８に格納する。これによって、屈折による歪みを補正した基準虹彩パタンが得られる。 Pattern extraction unit 36, the correction coordinate of each dividing point P m corrected by the deviation correction unit 34, it converts the polar coordinates, defined by a grid in proportion to the distance between the dividing point P m, the reference iris pattern Determine the cutting range. The pattern cutout unit 36 cuts out a reference iris pattern from the determined cutout range of the eyeball image of the reference face image and stores it in the pattern storage unit 38. Thereby, a reference iris pattern in which distortion due to refraction is corrected is obtained.
ずれマップ選択部４０は、推定対象の顔画像の眼球画像について瞳孔楕円姿勢角推定部２６によって推定された眼球姿勢角θY、θZに対応するずれマップＤ（θY、θZ）を、ずれマップ記憶部３０から取得する。 The shift map selection unit 40 calculates a shift map D (θ Y , θ Z ) corresponding to the eyeball posture angles θ Y , θ Z estimated by the pupil ellipse posture angle estimation unit 26 for the eyeball image of the estimation target face image. Obtained from the deviation map storage unit 30.
ずれ補正部４２は、ずれマップ選択部３２によって取得されたずれマップＤ（θY、θZ）を用いて、以下に説明するように、推定対象の顔画像の眼球画像における角膜上の各座標を補正する。 The shift correction unit 42 uses the shift map D (θ Y , θ Z ) acquired by the shift map selection unit 32 to each coordinate on the cornea in the eyeball image of the face image to be estimated as described below. Correct.
まず、推定対象の顔画像の眼球画像において、瞳孔中心から径方向に引いた、放射状の各線上において、瞳孔楕円上にあるものを点Pθｋ、角膜端上にあるものを点Pθｎとする。特許文献（特開２００８−４５５号公報）より、基準の顔画像におけるPj Pn間の虹彩パタンと、Pθｋ Pθｎ間の虹彩パタンは線形に伸縮している筈であるので、Pθｋ Pθｎ間をそれぞれm等分割し各分割点Pmにおけるずれベクトルを、ずれマップ選択部４０で取得したずれマップＤ（θY、θZ）から求める。具体的には、ずれマップの各点ＰのずれベクトルDを補間して、各分割点PmにおけるずれベクトルDθmを計算する。そして、ずれベクトルDθmのY,Z成分をピクセル値に変換した量を分割点Pmの画像上の座標から減算すると（図７参照）、屈折によるずれを補正した座標が得られる（図８参照）。 First, in the eyeball image of the face image to be estimated, the point P θk is the point on the pupil ellipse and the point P θn is the point on the corneal edge on each radial line drawn from the center of the pupil in the radial direction. . From the patent document (Japanese Patent Laid-Open No. 2008-455), since the iris pattern between P j P n and the iris pattern between P θk P θn in the reference face image should be linearly expanded and contracted, P θk Each of P θn is equally divided into m, and a deviation vector at each division point P m is obtained from the deviation map D (θ Y , θ Z ) acquired by the deviation map selection unit 40. Specifically, by interpolating the displacement vector D of each point P of the displacement map, to calculate the displacement vector D .theta.m at each division point P m. Then, by subtracting the amount obtained by converting the Y and Z components of the deviation vector D θm into pixel values from the coordinates on the image of the dividing point P m (see FIG. 7), coordinates in which the deviation due to refraction is corrected are obtained (FIG. 8). reference).
パタン切出し部４４は、ずれ補正部４２によって補正された各分割点Pmの補正座標を、極座標に変換し、各分割点Pm間の距離に比例したグリッドで規定される、比較虹彩パタンの切出し範囲を決定する。図９に、切り出し範囲の一例を示す。図１０に示す従来手法による瞳孔パタン切り出し範囲と比較すると、屈折歪みを考慮した切り出し範囲となっていることが分かる。パタン切出し部４４は、推定対象の顔画像の眼球画像の、決定した切出し範囲から、比較虹彩パタンを切り出す。 Pattern extraction unit 44, the correction coordinate of each dividing point P m corrected by the deviation correction unit 42, it converts the polar coordinates, defined by a grid in proportion to the distance between the dividing point P m, the comparison iris pattern Determine the cutting range. FIG. 9 shows an example of the cutout range. Compared with the pupil pattern cutout range according to the conventional method shown in FIG. 10, it can be seen that the cutout range takes into account refractive distortion. The pattern cutout unit 44 cuts out a comparative iris pattern from the determined cutout range of the eyeball image of the face image to be estimated.
ここで、眼球姿勢角は時々刻々変わるのでその度に角膜上の点Ｐ群のずれマップＤ（θY、θZ）を求めることは計算コストがかかりすぎる。そこで、本実施の形態では、上述したように、眼球姿勢角(例:Y,Z各軸周りに１度刻み等)に対応したマップＤ（θY、θZ）(例：[θY,θZ]=[0,1],[0,2],,[1,1],[2,1],,[90,90])を事前に用意しておき、眼球姿勢角が最も近いマップから目的の位置の近似的なずれを読み取ることで高速化することができる。 Here, since the eyeball posture angle changes from moment to moment, it is too expensive to calculate the deviation map D (θ Y , θ Z ) of the point P group on the cornea each time. Therefore, in the present embodiment, as described above, the map D (θ Y , θ Z ) (for example, [θ Y , θ Z ] = [0,1], [0,2] ,, [1,1], [2,1] ,, [90,90]) are prepared in advance, and the eyeball posture angle is the closest It is possible to increase the speed by reading the approximate shift of the target position from the map.
回旋角度算出部４８は、回旋角度を所定角度（例えば０．５度）ずつずらして、基準虹彩パタンと、回旋角度に応じてずらした比較虹彩パタンとのパタンマッチングを行って、差分画素数を求め、差分画素数が最も小さい回旋角度を、基準虹彩パタンに対する比較虹彩パタンの相対的な回旋角度として算出し、眼球の回旋角度とする。 The rotation angle calculation unit 48 shifts the rotation angle by a predetermined angle (for example, 0.5 degrees), performs pattern matching between the reference iris pattern and the comparative iris pattern shifted according to the rotation angle, and calculates the number of difference pixels. The rotation angle with the smallest difference pixel count is calculated as the relative rotation angle of the comparative iris pattern with respect to the reference iris pattern, and is set as the rotation angle of the eyeball.
回旋角度算出部４８によって算出された眼球の回旋角度が、出力部１６により出力される。 The rotation angle of the eyeball calculated by the rotation angle calculation unit 48 is output by the output unit 16.
次に、眼球回旋角度推定装置１０の動作について説明する。 Next, operation | movement of the eyeball rotation angle estimation apparatus 10 is demonstrated.
まず、コンピュータ１４において、図１１に示すずれマップ計算処理ルーチンを実行する。 First, the computer 14 executes a deviation map calculation processing routine shown in FIG.
ステップ１００において、眼球モデルのパラメータを設定する。ステップ１０２において、角膜上の表面における径方向及び周方向の分割数を設定する。 In step 100, parameters of the eyeball model are set. In step 102, the number of radial and circumferential divisions on the surface of the cornea is set.
次のステップ１０４では、上記ステップ１００で設定された眼球モデルのパラメータ及び上記ステップ１０２で設定された径方向及び周方向の分割数に基づいて、角膜上の表面における各分割点の位置ベクトルＰを算出する。 In the next step 104, the position vector P of each division point on the surface on the cornea is determined based on the eyeball model parameters set in step 100 and the radial and circumferential division numbers set in step 102. calculate.
そして、ステップ１０６において、眼球姿勢角の分割数ｎを設定する。そして、ループ回数ｉがｎに到達するまで、後述するステップ１０８〜ステップ１１４を繰り返す。 In step 106, the division number n of eyeball posture angles is set. Then, step 108 to step 114 described later are repeated until the loop count i reaches n.
ステップ１０８では、各分割点Ｐからなる点群を、ｉ番目の眼球姿勢角に従い回転させる。ステップ１１０では、上記ステップ１０８で回転させた点群の各分割点Ｐについて、ずれベクトルを算出する。 In step 108, the point group consisting of each division point P is rotated according to the i-th eyeball posture angle. In step 110, a shift vector is calculated for each divided point P of the point group rotated in step 108.
次のステップ１１２では、上記ステップ１１０で算出された各分割点Ｐについて、ずれベクトルを格納した、ｉ番目の眼球姿勢角に対応するずれマップを、ずれマップ記憶部３０に記憶する。そしてステップ１１４で、ループ回数ｉを１だけインクリメントして、上記ステップ１０８へ戻る。 In the next step 112, for each division point P calculated in step 110, a deviation map corresponding to the i-th eyeball posture angle storing a deviation vector is stored in the deviation map storage unit 30. In step 114, the loop count i is incremented by 1, and the flow returns to step 108.
ループ回数ｉがｎに到達するまで、上記ステップ１０８〜ステップ１１４が繰り返し実行されると、ずれマップ計算処理ルーチンを終了する。 When step 108 to step 114 are repeatedly executed until the loop count i reaches n, the deviation map calculation processing routine is terminated.
次に、画像撮像部１２で、眼球の回旋角度が基準角度の状態である被観察者の顔画像を撮像する。 Next, the image capturing unit 12 captures a face image of the person whose eyeball is in the state of the reference angle.
そして、コンピュータ１４において、図１２に示す基準虹彩パタン切出し処理ルーチンを実行する。まず、ステップ１２０において、画像撮像部１２で撮像された顔画像を読み込み、顔画像から眼球画像を取得する。 Then, the computer 14 executes a reference iris pattern cutting process routine shown in FIG. First, in step 120, the face image captured by the image capturing unit 12 is read, and an eyeball image is acquired from the face image.
そして、ステップ１２２において、上記ステップ１２０で取得した眼球画像から瞳孔領域を抽出し、瞳孔楕円を取得する。ステップ１２４では、上記ステップ１２０で取得した眼球画像における眼球姿勢角を推定する。 In step 122, a pupil region is extracted from the eyeball image acquired in step 120, and a pupil ellipse is acquired. In step 124, the eyeball posture angle in the eyeball image acquired in step 120 is estimated.
そして、ステップ１２６において、上記ステップ１２４で推定された眼球姿勢角に対応するずれマップを、ずれマップ記憶部３０から選択する。次のステップ１２８では、上記ステップ１２６で選択したずれマップから、角膜上の各点に対応するずれベクトルを取得する。 In step 126, a deviation map corresponding to the eyeball posture angle estimated in step 124 is selected from the deviation map storage unit 30. In the next step 128, a displacement vector corresponding to each point on the cornea is acquired from the displacement map selected in step 126.
そして、ステップ１３０において、上記ステップ１２８で取得したずれベクトルに基づいて、上記ステップ１２０で取得した眼球画像における、瞳孔楕円上の点から角膜端上の点までの間のｍ分割点の各々におけるずれベクトルを補間計算する。 In step 130, based on the shift vector acquired in step 128, the shift at each of the m division points from the point on the pupil ellipse to the point on the corneal end in the eyeball image acquired in step 120. Interpolate a vector.
次のステップ１３２では、上記ステップ１３０で計算したｍ分割点の各々におけるずれベクトルのＹ成分、Ｚ成分を画素数に変換する。ステップ１３４では、上記ステップ１３２で得られた変換結果を用いて、ｍ分割点の各々を補正し、ずれを補正したｍ分割点の各々の位置の座標を、虹彩パタン極座標に変換する。 In the next step 132, the Y component and Z component of the shift vector at each of the m division points calculated in step 130 are converted into the number of pixels. In step 134, each of the m division points is corrected using the conversion result obtained in step 132, and the coordinates of the positions of the m division points whose deviation has been corrected are converted into iris pattern polar coordinates.
そして、ステップ１３６において、上記ステップ１３４で得られたずれを補正したｍ分割点の各々の位置の極座標に基づいて、グリッドで規定される基準虹彩パタンの切り出し範囲を決定する。ステップ１３８において、上記ステップ１３６で決定された切り出し範囲に基づいて、上記ステップ１２０で取得した眼球画像から、基準虹彩パタンを切り出して、パタン記憶部３８に格納し、基準虹彩パタン切出し処理ルーチンを終了する。 In step 136, the reference iris pattern cut-out range defined by the grid is determined based on the polar coordinates of the respective positions of the m-division points for which the deviation obtained in step 134 has been corrected. In step 138, based on the cutout range determined in step 136, a reference iris pattern is cut out from the eyeball image acquired in step 120, stored in the pattern storage unit 38, and the reference iris pattern cutout processing routine ends. To do.
そして、画像撮像部１２で、眼球回旋角度の推定対象となる被観察者の顔画像を撮像する。 Then, the image capturing unit 12 captures the face image of the person to be observed whose eyeball rotation angle is to be estimated.
そして、コンピュータ１４において、図１３に示す眼球回旋角度推定処理ルーチンを実行する。まず、ステップ１４０において、画像撮像部１２で撮像された顔画像を読み込み、顔画像から眼球画像を取得する。 Then, the computer 14 executes an eyeball rotation angle estimation processing routine shown in FIG. First, in step 140, a face image captured by the image capturing unit 12 is read, and an eyeball image is acquired from the face image.
そして、ステップ１４２において、上記ステップ１４０で取得した眼球画像から瞳孔領域を抽出し、瞳孔楕円を取得する。ステップ１４４では、上記ステップ１４０で取得した眼球画像における眼球姿勢角を推定する。 In step 142, a pupil region is extracted from the eyeball image acquired in step 140, and a pupil ellipse is acquired. In step 144, the eyeball posture angle in the eyeball image acquired in step 140 is estimated.
そして、ステップ１４６において、上記ステップ１４４で推定された眼球姿勢角に対応するずれマップを、ずれマップ記憶部３０から選択する。次のステップ１４８では、上記ステップ１４６で選択したずれマップから、角膜上の各点に対応するずれベクトルを取得する。 In step 146, a deviation map corresponding to the eyeball posture angle estimated in step 144 is selected from the deviation map storage unit 30. In the next step 148, a displacement vector corresponding to each point on the cornea is acquired from the displacement map selected in step 146.
そして、ステップ１５０において、上記ステップ１４８で取得したずれベクトルに基づいて、上記ステップ１４０で取得した眼球画像における、瞳孔楕円上の点から角膜端上の点までの間のｍ分割点の各々におけるずれベクトルを補間計算する。 In step 150, based on the shift vector acquired in step 148, the shift at each of the m division points from the point on the pupil ellipse to the point on the corneal end in the eyeball image acquired in step 140. Interpolate a vector.
次のステップ１５２では、上記ステップ１５０で計算したｍ分割点の各々におけるずれベクトルのＹ成分、Ｚ成分を画素数に変換する。ステップ１５４では、上記ステップ１５２で得られた変換結果を用いて、ｍ分割点の各々を補正し、ずれを補正したｍ分割点の各々の位置の座標を、虹彩パタン極座標に変換する。 In the next step 152, the Y component and Z component of the shift vector at each of the m dividing points calculated in step 150 are converted into the number of pixels. In step 154, each of the m division points is corrected using the conversion result obtained in step 152, and the coordinates of the positions of the m division points whose deviation has been corrected are converted into iris pattern polar coordinates.
そして、ステップ１５６において、上記ステップ１５４で得られたずれを補正したｍ分割点の各々の位置の極座標に基づいて、グリッドで規定される比較虹彩パタンの切り出し範囲を決定する。ステップ１５８において、上記ステップ１５６で決定された切り出し範囲に基づいて、上記ステップ１４０で取得した眼球画像から、比較虹彩パタンを切り出す。 Then, in step 156, based on the polar coordinates of the respective positions of the m-division points for which the deviation obtained in step 154 has been corrected, the cutout range of the comparative iris pattern defined by the grid is determined. In step 158, a comparative iris pattern is cut out from the eyeball image acquired in step 140 based on the cutout range determined in step 156.
そして、ステップ１６０において、回旋角度毎に、上記ステップ１５８で切り出された比較虹彩パタンであって、当該回旋角度に応じてずらした比較虹彩パタンと、パタン記憶部３８に格納された基準虹彩パタンとのパタンマッチングを行い、差分画素数を計算する。 Then, in step 160, for each rotation angle, the comparison iris pattern cut out in step 158, the comparison iris pattern shifted according to the rotation angle, and the reference iris pattern stored in the pattern storage unit 38, Pattern matching is performed, and the number of difference pixels is calculated.
次のステップ１６２では、上記ステップ１６０で計算された回旋角度毎の差分画素数に基づいて、上記ステップ１４０で取得した眼球画像における回旋角度を推定し、眼球回旋角度推定処理ルーチンを終了する。 In the next step 162, based on the difference pixel number for each rotation angle calculated in step 160, the rotation angle in the eyeball image acquired in step 140 is estimated, and the eyeball rotation angle estimation processing routine is terminated.
以上説明したように、第１の実施の形態に係る眼球回旋角度推定装置によれば、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、眼球画像における角膜上の各点の座標を補正して、眼球画像から比較虹彩パタンを切り出すことにより、眼球姿勢角を考慮して、虹彩パタンを比較することができる。 As described above, according to the eyeball rotation angle estimation device according to the first embodiment, each on the cornea in the eyeball image based on the amount of refraction deviation of each point on the cornea at the current eyeball posture angle. By correcting the coordinates of the points and cutting out the comparative iris pattern from the eyeball image, the iris pattern can be compared in consideration of the eyeball posture angle.
また、眼球３次元モデルを設定し、眼球が正面以外を向いたときの角膜上の各点における屈折ずれ量を計算する。屈折ずれ量を用い、虹彩パタンの切出し範囲を補正することで、虹彩パタンの歪み補正を行う。これによって、眼球が正面を向いていない場合でも眼球回旋角度を精度よく推定できる。 Also, a three-dimensional eyeball model is set, and the amount of refraction deviation at each point on the cornea when the eyeball faces away from the front is calculated. The distortion of the iris pattern is corrected by correcting the cutout range of the iris pattern using the amount of refraction. Thereby, even when the eyeball is not facing the front, the eyeball rotation angle can be accurately estimated.
また、眼球姿勢角毎のずれマップを予め計算しておくことにより、眼球回旋角度の推定処理を高速化することができる。 Further, by calculating in advance a shift map for each eyeball posture angle, the eyeball rotation angle estimation process can be speeded up.
次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る眼球回旋角度推定装置の構成は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。 Next, a second embodiment will be described. In addition, since the structure of the eyeball rotation angle estimation apparatus which concerns on 2nd Embodiment is the structure similar to 1st Embodiment, it attaches | subjects the same code | symbol and abbreviate | omits description.
第２の実施の形態では、比較虹彩パタンの切り出し範囲を、ノイズ部分を避けるように決定している点が第１の実施の形態と異なっている。 The second embodiment is different from the first embodiment in that the cutout range of the comparative iris pattern is determined so as to avoid the noise portion.
本実施の形態では、図１４に示すように、光の映り込みによるパタンの欠損やノイズを避けるように、虹彩パタンが明瞭な部分から比較虹彩パタンを切り出して周方向にパタンマッチングする。 In the present embodiment, as shown in FIG. 14, a comparative iris pattern is cut out from a portion where the iris pattern is clear and pattern matching is performed in the circumferential direction so as to avoid pattern loss and noise due to reflection of light.
第２の実施の形態に係る眼球回旋角度推定装置のパタン切出し部４４は、以下に説明するように、比較虹彩パタンを切り出す範囲を決定する。 The pattern cutout unit 44 of the eyeball rotation angle estimation device according to the second embodiment determines a range to cut out the comparative iris pattern as described below.
まず、個人ごとに予め定められた初期設定エリアに基づいて、瞳孔周方向の範囲を設定する。例えば、天頂側を０度としπ/3〜2π/3の範囲や、4π/3〜5π/3の範囲を用いる（図１５参照）。 First, a range in the circumferential direction of the pupil is set based on an initial setting area predetermined for each individual. For example, the zenith side is set to 0 degree, and a range of π / 3 to 2π / 3 or a range of 4π / 3 to 5π / 3 is used (see FIG. 15).
次に、上記で設定した瞳孔周方向の範囲のエリアで、径方向のグレースケール明度分布を求め、グレースケール明度分布の分散が閾値以下となるように瞳孔径方向の範囲を狭める（図１６参照）。 Next, a radial grayscale brightness distribution is obtained in the area of the pupil circumferential direction set as described above, and the pupil radial direction range is narrowed so that the dispersion of the grayscale brightness distribution is equal to or less than a threshold (see FIG. 16). ).
また、基準の眼球姿勢角に比べて眼球姿勢角が変化している場合、眼球画像の画像中心[0,0]に対する瞳孔中心(位置[x,y])の距離(x2+y2)0.5とその比x/yに応じて、上記で設定した瞳孔周方向の範囲のエリアを周方向にずらす。具体的には、キャリブレーション時の中立位置（眼球原点）から一定上の角度がついた場合（例えば、眼球のピッチ角をθとし、ヨー角をφとして、
パタン切出し部４４は、ずれ補正部４２によって補正された各分割点Pmの補正座標を、極座標に変換し、等間隔の分割線であるグリッドで規定される、比較虹彩パタンの切出し範囲を決定する。また、パタン切出し部４４は、決定された比較虹彩パタンの切出し範囲のうち、上記で設定した瞳孔周方向の範囲及び瞳孔径方向の範囲のエリアから、比較虹彩パタンを切り出す（図１７参照）。 Pattern extraction unit 44, determines the correction coordinate of each dividing point P m corrected by the deviation correction unit 42, converts the polar coordinates, defined by a grid of equally spaced dividing lines, the cropping range comparison iris pattern To do. Further, the pattern cutout unit 44 cuts out the comparative iris pattern from the area in the pupil peripheral direction range and the pupil radial direction range set above in the determined comparative iris pattern cutout range (see FIG. 17).
なお、第２の実施の形態に係る眼球回旋角度推定装置の他の構成について、第１の実施の形態と同様であるため、説明を省略する。 In addition, about the other structure of the eyeball rotation angle estimation apparatus which concerns on 2nd Embodiment, since it is the same as that of 1st Embodiment, description is abbreviate | omitted.
次に、第２の実施の形態に係る眼球回旋角度推定装置の動作について説明する。 Next, the operation of the eyeball rotation angle estimation device according to the second embodiment will be described.
まず、コンピュータ１４において、上記図１１に示すずれマップ計算処理ルーチンを実行する。 First, the computer 14 executes the deviation map calculation processing routine shown in FIG.
また、画像撮像部１２で、眼球の回旋角度が基準角度の状態である被観察者の顔画像を撮像する。そして、コンピュータ１４において、上記図１２に示す基準虹彩パタン切出し処理ルーチンを実行する。 In addition, the image capturing unit 12 captures a face image of the person to be observed whose eyeball rotation angle is in the reference angle state. Then, the computer 14 executes the reference iris pattern cutting process routine shown in FIG.
そして、画像撮像部１２で、眼球回旋角度の推定対象となる被観察者の顔画像を撮像する。コンピュータ１４において、上記図１３に示す眼球回旋角度推定処理ルーチンを実行する。このとき、上記ステップ１５６は、図１８に示す切り出し範囲決定処理ルーチンによって実現される。 Then, the image capturing unit 12 captures the face image of the person to be observed whose eyeball rotation angle is to be estimated. In the computer 14, the eyeball rotation angle estimation processing routine shown in FIG. 13 is executed. At this time, the step 156 is realized by a cutout range determination processing routine shown in FIG.
まず、ステップ２００では、ユーザ固有の初期設定エリアに基づいて、瞳孔周方向の範囲を設定する。 First, in step 200, a range in the pupil circumferential direction is set based on an initial setting area unique to the user.
そして、ステップ２０２において、上記ステップ２００で設定した瞳孔周方向の範囲のエリアで、瞳孔径方向のグレースケール明度分布を求め、グレースケール明度分布の分散が閾値以下となるように瞳孔径方向の範囲を狭める。 Then, in Step 202, the pupil diameter direction gray scale distribution is obtained in the pupil peripheral direction range area set in Step 200, and the pupil diameter direction range is set so that the variance of the gray scale brightness distribution is equal to or less than the threshold value. To narrow.
次のステップ２０４では、上記ステップ１４２で取得した瞳孔楕円に基づいて、眼球画像の画像中心[0,0]に対する瞳孔中心(位置[x,y])の距離(x2+y2)0.5とその比x/yに応じて、上記ステップ２００で設定した瞳孔周方向の範囲のエリアを瞳孔周方向にずらす。 In the next step 204, based on the pupil ellipse acquired in step 142, the distance (x 2 + y 2 ) 0.5 of the pupil center (position [x, y]) to the image center [0, 0] of the eyeball image and In accordance with the ratio x / y, the area in the pupil circumferential direction set in step 200 is shifted in the pupil circumferential direction.
そして、ステップ２０６において、上記ステップ１５４で得られたずれを補正したｍ分割点の各々の位置の極座標に基づいて、グリッドで規定される比較虹彩パタンの切り出し範囲を決定する。また、決定された比較虹彩パタンの切出し範囲のうち、上記ステップ２０２、２０４で設定した瞳孔周方向の範囲及び瞳孔径方向の範囲のエリアから、比較虹彩パタンを切り出す。 In step 206, based on the polar coordinates of the respective positions of the m-division points for which the deviation obtained in step 154 has been corrected, the cutout range of the comparative iris pattern defined by the grid is determined. Further, out of the determined comparative iris pattern cutout range, a comparative iris pattern is cut out from the area in the pupil circumferential direction range and the pupil radial direction range set in steps 202 and 204.
このように、眼球画像における瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔径方向の範囲を決定し、眼球画像から比較虹彩パタンを切り出すことにより、部分的な欠損があったり画像全体として不明瞭であっても、虹彩パタンを比較することができる。 In this way, by determining the range in the pupil diameter direction so that the variance of the brightness distribution in the pupil diameter direction in the eyeball image is equal to or less than a certain value, and cutting out the comparative iris pattern from the eyeball image, partial defects are eliminated. Iris patterns can be compared even if they are unclear as a whole image.
また、画像の明瞭な部分を用いてマッチングし、回旋角度を推定する手法としたため、光ノイズが多い画像であっても、眼球回旋角度を精度よく推定できる。 In addition, since a method is used in which matching is performed using a clear part of the image and the rotation angle is estimated, the rotation angle of the eyeball can be accurately estimated even for an image with a lot of optical noise.
また、上記の第１の実施の形態〜第２の実施の形態において、ずれマップを事前に計算しておく場合を例に説明したが、これに限定されるものではなく、眼球回旋角度を推定するときに、随時、現在の眼球姿勢角に対応するずれマップを計算するようにしてもよい。 In the first to second embodiments described above, the case where the deviation map is calculated in advance has been described as an example. However, the present invention is not limited to this, and the eyeball rotation angle is estimated. When necessary, a deviation map corresponding to the current eyeball posture angle may be calculated.
また、眼球モデルのパラメータとして予め設定された値を用いて、ずれマップを計算する場合を例に説明したが、これに限定されるものではなく、被観察者固有のパラメータを用いて、個人差を考慮したずれマップを計算してもよい。 Further, the case where the deviation map is calculated using a preset value as a parameter of the eyeball model has been described as an example. However, the present invention is not limited to this. A deviation map may be calculated in consideration of
また、上記の第２の実施の形態において、瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔径方向の範囲を決定する場合を例に説明したが、これに限定されるものではなく、瞳孔周方向の明度分布の分散が、一定値以下となるように、瞳孔周方向の範囲を決定するようにしてもよい。また、瞳孔周方向の明度分布の分散が、一定値以下となるように、瞳孔周方向の範囲を決定し、かつ、瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔径方向の範囲を決定するようにしてもよい。 In the second embodiment described above, an example has been described in which the range in the pupil diameter direction is determined so that the variance of the brightness distribution in the pupil diameter direction is a certain value or less. However, the present invention is not limited to this. The range in the pupil circumferential direction may be determined so that the variance of the brightness distribution in the pupil circumferential direction is not more than a certain value. Further, the range of the pupil circumferential direction is determined so that the variance of the brightness distribution in the pupil circumferential direction is not more than a certain value, and the pupil is adjusted so that the variance of the brightness distribution in the pupil diameter direction is not more than a certain value. You may make it determine the range of radial direction.
１０ 眼球回旋角度推定装置
１２ 画像撮像部
１４ コンピュータ
１６ 出力部
２０ 画像入力部
２２ 眼球画像取得部
２６ 瞳孔楕円姿勢角推定部
２８ マップ計算部
３０ マップ記憶部
３２ マップ選択部
３４ ずれ補正部
３６ パタン切出し部
３８ パタン記憶部
４０ マップ選択部
４２ ずれ補正部
４４ パタン切出し部
４８ 回旋角度算出部
DESCRIPTION OF SYMBOLS 10 Eyeball rotation angle estimation apparatus 12 Image pick-up part 14 Computer 16 Output part 20 Image input part 22 Eyeball image acquisition part 26 Pupil ellipse posture angle estimation part 28 Map calculation part 30 Map storage part 32 Map selection part 34 Deviation correction part 36 Pattern extraction Unit 38 pattern storage unit 40 map selection unit 42 deviation correction unit 44 pattern cutout unit 48 rotation angle calculation unit
Claims (11)
基準の眼球姿勢角での角膜上の各点の屈折ずれ量と、現在の眼球姿勢角とに基づいて求められる、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、前記画像取得手段によって取得された前記眼球画像における角膜上の各点の座標を補正する補正手段と、
前記補正手段によって補正された前記眼球画像における角膜上の各点の座標に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段と、
を含む虹彩パタン比較装置。 Image acquisition means for acquiring an eyeball image representing an eyeball from a face image representing the face imaged by an imaging means for imaging the face of the person to be observed;
Based on the refractive shift amount of each point on the cornea at the current eyeball posture angle, which is obtained based on the refractive shift amount of each point on the cornea at the reference eyeball posture angle and the current eyeball posture angle, Correction means for correcting the coordinates of each point on the cornea in the eyeball image acquired by the image acquisition means;
A comparison iris for comparison with a reference iris pattern obtained in advance from the eyeball image acquired by the image acquisition means based on the coordinates of each point on the cornea in the eyeball image corrected by the correction means. A pattern cutting means for cutting out the pattern;
Iris pattern comparison device.
前記補正手段は、現在の眼球姿勢角についての前記マップに基づいて、前記画像取得手段によって取得された前記眼球画像における角膜上の各点の座標を補正する請求項１又は２記載の虹彩パタン比較装置。 Based on the refraction deviation amount of each point on the cornea at the reference eyeball posture angle and the eyeball posture angle obtained in advance for each of the eyeball posture angles, each point on the cornea at the eyeball posture angle is calculated. Storage means for storing a map representing the amount of refraction deviation;
The iris pattern comparison according to claim 1 or 2, wherein the correction unit corrects the coordinates of each point on the cornea in the eyeball image acquired by the image acquisition unit based on the map for the current eyeball posture angle. apparatus.
前記パタン切出し手段は、前記補正手段によって補正された前記眼球画像における角膜上の観察点の各々の座標に基づいて、前記画像取得手段によって取得された前記眼球画像上にグリッドを設定して、前記比較虹彩パタンを切り出す請求項１〜請求項３の何れか１項記載の虹彩パタン比較装置。 The correction means, for each observation point arranged at a predetermined interval between a pupil end point and a corneal end point on a straight line drawn from the pupil in the pupil diameter direction, each on the cornea at the current eyeball posture angle. Correcting the coordinates of the observation point on the cornea in the eyeball image based on the amount of refraction of the point,
The pattern cutout means sets a grid on the eyeball image acquired by the image acquisition means based on the coordinates of the observation points on the cornea in the eyeball image corrected by the correction means, and The iris pattern comparison apparatus according to any one of claims 1 to 3, wherein a comparison iris pattern is cut out.
前記パタン切出し手段は、前記補正手段によって補正された前記眼球画像における角膜上の各点の座標と、前記範囲決定手段によって決定された前記瞳孔周方向又は瞳孔径方向の範囲とに基づいて、前記画像取得手段によって取得された前記眼球画像から前記比較虹彩パタンを切り出す請求項１〜請求項５の何れか１項記載の虹彩パタン比較装置。 Range determining means for determining a range in the pupil circumferential direction or in the pupil radial direction so that a variance of brightness distribution in the pupil circumferential direction or in the pupil radial direction in the eyeball image acquired by the image acquiring means is equal to or less than a predetermined value; In addition,
The pattern cutout means is based on the coordinates of each point on the cornea in the eyeball image corrected by the correction means and the range of the pupil circumferential direction or the pupil diameter direction determined by the range determination means. The iris pattern comparison apparatus according to any one of claims 1 to 5, wherein the comparison iris pattern is cut out from the eyeball image acquired by an image acquisition means.
前記画像取得手段によって取得された前記眼球画像における瞳孔周方向又は瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔周方向又は瞳孔径方向の範囲を決定する範囲決定手段と、
前記範囲決定手段によって決定された前記瞳孔周方向又は瞳孔径方向の範囲に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段と、
を含む虹彩パタン比較装置。 Image acquisition means for acquiring an eyeball image representing an eyeball from a face image representing the face imaged by an imaging means for imaging the face of the person to be observed;
Range determining means for determining a range in the pupil circumferential direction or in the pupil radial direction so that the variance of the brightness distribution in the pupil circumferential direction or in the pupil radial direction in the eyeball image acquired by the image acquiring means is equal to or less than a predetermined value; ,
A comparative iris for comparing with a reference iris pattern obtained in advance from the eyeball image acquired by the image acquisition means based on the range of the pupil circumferential direction or the pupil radial direction determined by the range determination means A pattern cutting means for cutting out the pattern;
Iris pattern comparison device.
被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する画像取得手段、
基準の眼球姿勢角での角膜上の各点の屈折ずれ量と、現在の眼球姿勢角とに基づいて求められる、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、前記画像取得手段によって取得された前記眼球画像における角膜上の各点の座標を補正する補正手段、及び
前記補正手段によって補正された前記眼球画像における角膜上の各点の座標に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段
として機能させるためのプログラム。 Computer
Image acquisition means for acquiring an eyeball image representing an eyeball from a face image representing the face imaged by an imaging means for imaging the face of the person to be observed;
Based on the refractive shift amount of each point on the cornea at the current eyeball posture angle, which is obtained based on the refractive shift amount of each point on the cornea at the reference eyeball posture angle and the current eyeball posture angle, Correction means for correcting the coordinates of each point on the cornea in the eyeball image acquired by the image acquisition means, and the image based on the coordinates of each point on the cornea in the eyeball image corrected by the correction means A program for functioning as a pattern cutout means for cutting out a comparative iris pattern for comparing with a reference iris pattern obtained in advance from the eyeball image acquired by the acquisition means.
被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する画像取得手段、
前記画像取得手段によって取得された前記眼球画像における瞳孔周方向又は瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔周方向又は瞳孔径方向の範囲を決定する範囲決定手段、及び
前記範囲決定手段によって決定された前記瞳孔周方向又は瞳孔径方向の範囲に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段
として機能させるためのプログラム。 Computer
Image acquisition means for acquiring an eyeball image representing an eyeball from a face image representing the face imaged by an imaging means for imaging the face of the person to be observed;
Range determining means for determining the range of the pupil circumferential direction or the pupil diameter direction so that the variance of the brightness distribution in the pupil circumferential direction or the pupil diameter direction in the eyeball image acquired by the image acquisition means is a predetermined value or less, And a comparison for comparing with a reference iris pattern obtained in advance from the eyeball image acquired by the image acquisition unit based on the range in the pupil circumferential direction or the pupil diameter direction determined by the range determination unit. A program for functioning as a pattern cutout means to cut out the iris pattern.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015080841A JP6503856B2 (en) | 2015-04-10 | 2015-04-10 | Iris pattern comparison device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015080841A JP6503856B2 (en) | 2015-04-10 | 2015-04-10 | Iris pattern comparison device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016198301A true JP2016198301A (en) | 2016-12-01 |
| JP6503856B2 JP6503856B2 (en) | 2019-04-24 |
Family
ID=57423139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015080841A Expired - Fee Related JP6503856B2 (en) | 2015-04-10 | 2015-04-10 | Iris pattern comparison device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6503856B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI754806B (en) * | 2019-04-09 | 2022-02-11 | 栗永徽 | System and method for locating iris using deep learning |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006308375A (en) * | 2005-04-27 | 2006-11-09 | Matsushita Electric Ind Co Ltd | Infrared ray using type eye position detection device |
| WO2008041414A1 (en) * | 2006-09-29 | 2008-04-10 | Oki Electric Industry Co., Ltd. | Personal authentication system and personal authentication method |
| JP2008264341A (en) * | 2007-04-24 | 2008-11-06 | Chube Univ | Eye movement measurement method and eye movement measuring instrument |
| WO2013125707A1 (en) * | 2012-02-24 | 2013-08-29 | 国立大学法人筑波大学 | Cycloduction measurement device, cycloduction measurement method, and cycloduction measurement program |
-
2015
- 2015-04-10 JP JP2015080841A patent/JP6503856B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006308375A (en) * | 2005-04-27 | 2006-11-09 | Matsushita Electric Ind Co Ltd | Infrared ray using type eye position detection device |
| WO2008041414A1 (en) * | 2006-09-29 | 2008-04-10 | Oki Electric Industry Co., Ltd. | Personal authentication system and personal authentication method |
| JP2008264341A (en) * | 2007-04-24 | 2008-11-06 | Chube Univ | Eye movement measurement method and eye movement measuring instrument |
| WO2013125707A1 (en) * | 2012-02-24 | 2013-08-29 | 国立大学法人筑波大学 | Cycloduction measurement device, cycloduction measurement method, and cycloduction measurement program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI754806B (en) * | 2019-04-09 | 2022-02-11 | 栗永徽 | System and method for locating iris using deep learning |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6503856B2 (en) | 2019-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107705333B (en) | Space positioning method and device based on binocular camera | |
| CN108369653B (en) | Eye pose recognition using eye features | |
| CN108932698B (en) | Image distortion correction method, device, electronic equipment and storage medium | |
| JP6348093B2 (en) | Image processing apparatus and method for detecting image of detection object from input data | |
| CN105138965B (en) | A kind of near-to-eye sight tracing and its system | |
| CN110264426B (en) | Image distortion correction method and device | |
| JP6840697B2 (en) | Line-of-sight direction estimation device, line-of-sight direction estimation method, and line-of-sight direction estimation program | |
| JPWO2008120321A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| CN111028205B (en) | Eye pupil positioning method and device based on binocular distance measurement | |
| US11232584B2 (en) | Line-of-sight estimation device, line-of-sight estimation method, and program recording medium | |
| CN111010554B (en) | Projection processing method, projection processing device, projector and readable storage medium | |
| JP6942566B2 (en) | Information processing equipment, information processing methods and computer programs | |
| US8325991B2 (en) | Device and method for biometrics authentication | |
| CN113902652B (en) | Speckle image correction method, depth calculation method, device, medium, and apparatus | |
| CN111950554A (en) | Identification card identification method, device, equipment and storage medium | |
| CN112861870B (en) | Pointer instrument image correction method, system and storage medium | |
| JP6503856B2 (en) | Iris pattern comparison device and program | |
| CN111080542A (en) | Image processing method, image processing apparatus, electronic device, and storage medium | |
| TWI646233B (en) | Appliqué method based on image recognition | |
| CN115880171A (en) | Method, medium and system for correcting full-fundus laser scanning image | |
| JP2016156702A (en) | Imaging device and imaging method | |
| JP4507571B2 (en) | Human body posture measurement device | |
| CN112634298B (en) | Image processing method and device, storage medium and terminal | |
| CN110781712B (en) | Human head space positioning method based on human face detection and recognition | |
| CN113920196A (en) | Visual positioning method and device and computer equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180928 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190311 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6503856 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |