JP2022066409A - 視線推定装置、視線推定方法、およびプログラム - Google Patents
視線推定装置、視線推定方法、およびプログラム Download PDFInfo
- Publication number
- JP2022066409A JP2022066409A JP2022033164A JP2022033164A JP2022066409A JP 2022066409 A JP2022066409 A JP 2022066409A JP 2022033164 A JP2022033164 A JP 2022033164A JP 2022033164 A JP2022033164 A JP 2022033164A JP 2022066409 A JP2022066409 A JP 2022066409A
- Authority
- JP
- Japan
- Prior art keywords
- line
- image
- person
- eye
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 35
- 210000001508 eye Anatomy 0.000 claims abstract description 245
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 210000001747 pupil Anatomy 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 abstract description 47
- 210000000744 eyelid Anatomy 0.000 description 17
- 239000013598 vector Substances 0.000 description 16
- 230000001815 facial effect Effects 0.000 description 15
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
図1は、第1実施形態に係る視線推定装置100の構成を示すブロック図である。視線推定装置100は、画像に含まれる人物の視線を推定するための装置である。図1に示すように、視線推定装置100は、画像取得部110と、目検出部120と、特徴量計算部130と、正規化部140と、視線推定部150と、出力部160とを少なくとも含む。視線推定装置100は、図示しない他の構成要素を含んでもよい。
画像取得部110は、人物の顔を含む画像データを取得する。例えば、画像取得部110は、他の装置から送信される画像データを取得してもよい。ここでいう他の装置とは、監視カメラまたは電子機器の内蔵カメラ等の撮像装置であってもよいし、画像データが記録されたデータベース等の記憶装置であってもよい。画像取得部110は、目検出部120へ、取得した画像データを出力する。
図2は、画像取得部110が入力画像から生成する顔画像400を示す。図2に示す顔画像400は、目の他にも、顔のパーツ(眉、鼻、および口)を含んでいる。しかしながら、顔画像400は、少なくとも片目を含んでいれば十分である。本実施形態では、顔画像400から抽出した目領域画像(後述)のみを使用するからである。
目検出部120は、画像取得部110から供給される顔画像400(図2参照)から、目を検出する。そして、目検出部120は、顔画像400から検出した目の瞳の中心と、目の輪郭線上の複数の点とを検出する。目検出部120が検出する、瞳の中心、および、目の輪郭線上の複数の点のことを、以下では目の特徴点と呼ぶ。
[特徴量計算部130]
特徴量計算部130は、目検出部120が検出した目の特徴点の情報に基づいて、顔画像400(図2参照)に含まれる目の形状に関する特徴を示す指標(以下では、この指標を、「目の形状に関する特徴量」あるいは単に「特徴量」と呼ぶ)を計算する。
図3を参照して、目の形状に関する特徴量の具体例を説明する。図3は、図2に示す顔画像400の一部の拡大図である。図3に示す顔画像410は、図2に示す顔画像400において左側の目を含み、顔画像420は、図2に示す顔画像400において右側の目を含む。顔画像410、420において、点Iが内眼角であり、点Oが外眼角である。また、図3に示す顔画像410において、点Hが上瞼の中心であり、点Lが下瞼の中心である。そして、点Pが瞳の中心である。
[正規化部140]
正規化部140は、画像取得部110から、顔画像400(図2参照)を取得する。そして、正規化部140は、特徴量計算部130から取得した特徴量の情報を用いて、顔画像400に対する正規化処理を実行することによって、目領域画像(正規化された顔画像)を生成する。
X0=Y0=w×k ・・・・ (1)
式(1)によれば、目領域画像の幅X0および高さY0は、左右の瞳の中心Pの間の距離wに比例する。kは所定の定数である。kは、例えば0.75であってよい。
図4の(a)および(b)を参照して、正規化部140による目領域画像の生成について説明する。図4の(a)は、正規化部140が目検出部120から取得する顔画像434~436を示す。図4の(b)は、顔画像434~436が正規化されることによって生成される目領域画像437~439を示す。なお、図4の(a)および(b)では、目以外の顔のパーツ(眉など)の図示を省略している。
Y=J1×Y0 ・・・・ (2)
X=J2×X0 ・・・・ (3)
ここで、図4の(b)に示す目領域画像437~439の画素サイズは、図4の(a)に示す顔画像434~436の画素サイズと一致してもよい。しかしながら、これらは一致している必要はない。例えば、元の顔画像434~436が640×480画素で構成されている一方、目領域画像437~439は50×50画素で構成されていてもよい。
<例1:特徴量が目の高さである場合>
一例では、正規化部140は、目の位置および高さが一定になるように、顔画像を正規化する。
J1=j0×y÷w ・・・・ (4)
式(4)のj0は、目領域画像437~439における目の高さy0と目領域画像の高さY0との比であり、一定値である。j0は、例えば5.0であってよい。式(4)のwは、前述した目間距離(図3参照)である。
Y=k×j0×y ・・・・ (5)
式(5)に基づいて、正規化部140は、顔画像434~436の高さYを決定する。また、本例では、J2=1である。すなわち、Xは、以下の式(6)で表される。
X=w×k ・・・・ (6)
正規化部140は、瞳の中心Pを中心とし、高さY、幅Xを有する顔画像434~436の4つの基準座標A´~D´を決定する。
他の例では、正規化部140は、目の幅が一定になるように、顔画像を正規化する。
X=k×j1×x ・・・・ (7)
式(7)のj1は、目領域画像437~439における目の幅x0と目領域画像の幅X0との比であり、一定値である。j1は、例えば1.25であってよい。
J2=j1×x÷w ・・・・ (8)
式(8)のj1は、目領域画像437~439における目の幅x0と目領域画像の幅X0との比であり、一定値である。j1は、例えば1.25であってよい。式(8)のwは、前述した目間距離(図3参照)である。
式(7)に基づいて、正規化部140は、顔画像434~436の幅Xを決定する。また、本例では、J1=1である。すなわち、Yは、以下の式(9)で表される。
Y=w×k ・・・・ (9)
正規化部140は、瞳の中心Pを中心とし、高さY、幅Xを有する顔画像434~436の4つの基準座標A´~D´を決定する。さらに、特徴量が目の高さである場合と同様に、正規化部140は、左右の瞳の中心Pを結ぶ線分が水平になるように、目領域画像を回転させてもよい。
正規化部140は、目の傾きθ(図3参照)が一定になるように、顔画像を正規化する。
視線推定部150は、顔画像に含まれる顔の向きおよび目(瞳)の向きから、人物の視線を推定する。視線は、人物の目が見ている方向(より正確には向き)を示す。具体的には、視線推定部150は、正規化部140が正規化した目領域画像から視線を推定する。視線推定部150は、周知である任意の視線の推定方法を用いることができる。
視線推定器151は、以下の式(10)を用いて、視線がどちらの方向を向いているかを示す視線ベクトル(gx,gy)を算出する。式(10)において、通常、gxは、-90≦gx≦90[deg]を満たすように、また、gyは、-90≦gy≦90[deg]を満たすように、式(10)のux、uyが学習される。
出力部160は、視線推定部150により推定された視線を示すデータ(以下「視線データ」ともいう。)を出力する。視線データは、視線推定部150により決定された視線が示す方向を、所定の規則に従って表す。出力部160による出力は、例えば、視線データを表示装置等の他の装置に供給することであってもよいし、視線推定装置100に含まれる記録媒体に視線データを書き込むことであってもよい。
図5は、本実施形態に係る視線推定装置100が実行する視線の推定方法を示すフローチャートである。視線推定装置100は、図5に示す各ステップの処理を、フローにしたがって順番に実行することにより、顔画像から視線を推定する。
本実施形態1に対して、例えば、以下のような変形例を適用することができる。ここで説明する変形例は、必要に応じて組み合わせることも可能である。
視線推定部150は、周知の顔向き推定技術を用いることによって、顔の方向を推定してもよい。視線推定部150は、このように推定された顔の方向を基準として用いても良い。
右目および左目の中心などの特徴点や目領域画像を、ユーザが入力してもよい。この場合、視線推定装置100は、特徴点を検出する必要がなく、また目領域画像を生成する必要がない。
目領域画像の形状は、必ずしも矩形に限定されない。例えば、目領域画像では、顔の一部、すなわち視線の推定に直接的に影響しない部分(例えば眉または鼻を含む)が、除外されていてもよい。また、目領域画像は、必ずしも片目(左目または右目)のみを含んでいなくてもよい。目領域画像は両目を含んでいてもよい。
視線推定器151による視線の学習方法は、上述した機械学習に限定されない。例えば、視線推定器151は、ランダムフォレスト(random forest)等の集団学習アルゴリズムにより、視線を推定するための非線形関数を学習してもよい。
視線推定装置100により推定された視線の用途は特に限定されない。例えば、視線推定装置100は、店舗に設置された監視カメラによって撮像された人物の視線を推定し、推定した視線から不審人物を判定するシステムに適用されてもよい。
視線推定装置100の具体的なハードウェア構成には、さまざまなバリエーションが含まれてよく、特定の構成に限定されない。例えば、本開示に係わる装置は、ソフトウェアを用いて実現されてもよく、複数のハードウェアを用いて各種処理を分担するように構成されてもよい。なお、本変形例の構成に関して、実施形態2で詳細に説明する。
本実施形態に係わる視線推定装置100は、人物の目の形状に関する特徴量が一定になるように正規化した目領域画像を生成し、正規化した目領域画像に基づいて、人物の視線を推定する。このようにして目の形状に関する特徴量を正規化した目領域画像を、機械学習のための正解あり画像として用いることで、頑健(ロバスト)な推定結果を安定して得ることができる。
図6は、本実施形態2に係わる視線推定装置300を実現するコンピュータのハードウェア構成の一例を示すブロック図である。視線推定装置300は、CPU(Central Processing Unit)301と、ROM(Read Only Memory)302と、RAM(Random Access Memory)303と、記憶装置304と、ドライブ装置305と、通信インタフェース306と、入出力インタフェース307とを含んで構成される。本実施形態2に係わる視線推定装置300は、図6に示されるハードウェア構成(又はその一部)によって実現され得る。
300 視線推定装置
110 画像取得部
120 目検出部
130 特徴量計算部
140 正規化部
150 視線推定部
160 出力部
Claims (5)
- 人物の顔を含む画像から人物の目を検出する目検出手段と、
前記検出された目の形状に関する特徴量を計算する特徴量計算手段と、
前記画像において、前記人物の目の左右の瞳の中心を結ぶ第1の線分と、前記人物の目の目頭と外眼角とを結ぶ第2の線分とが所定の基準となるように、前記画像の形状を変換する画像変換手段と、
前記変換された部分画像を用いて、前記人物の視線を推定する視線推定手段と、
を備える
ことを特徴とする視線推定装置。 - 前記目検出手段は、前記人物の目の中心、および目の輪郭線上の特徴点を検出する
ことを特徴とする、請求項1に記載の視線推定装置。 - 前記特徴量計算手段は、個人の目ごとに、前記特徴量を計算する
ことを特徴とする、請求項1または2に記載の視線推定装置。 - 人物の顔を含む画像から人物の目を検出し、
前記検出された目の形状に関する特徴量を計算し、
前記画像において、前記人物の目の左右の瞳の中心を結ぶ第1の線分と、前記人物の目の目頭と外眼角とを結ぶ第2の線分とが所定の基準となるように、前記画像の形状を変換し、
前記変換された部分画像を用いて、前記人物の視線を推定する
ことを特徴とする視線推定方法。 - 人物の顔を含む画像から人物の目を検出することと、
前記検出された目の形状に関する特徴量を計算することと、
前記画像において、前記人物の目の左右の瞳の中心を結ぶ第1の線分と、前記人物の目の目頭と外眼角とを結ぶ第2の線分とが所定の基準となるように、前記画像の形状を変換することと、
前記変換された部分画像を用いて、前記人物の視線を推定することと
をコンピュータ装置に実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022033164A JP7255721B2 (ja) | 2018-02-08 | 2022-03-04 | 視線推定装置、視線推定方法、およびプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/004370 WO2019155570A1 (ja) | 2018-02-08 | 2018-02-08 | 視線推定装置、視線推定方法、および記録媒体 |
JP2019570215A JP7040539B2 (ja) | 2018-02-08 | 2018-02-08 | 視線推定装置、視線推定方法、およびプログラム |
JP2022033164A JP7255721B2 (ja) | 2018-02-08 | 2022-03-04 | 視線推定装置、視線推定方法、およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019570215A Division JP7040539B2 (ja) | 2018-02-08 | 2018-02-08 | 視線推定装置、視線推定方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022066409A true JP2022066409A (ja) | 2022-04-28 |
JP7255721B2 JP7255721B2 (ja) | 2023-04-11 |
Family
ID=87852813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022033164A Active JP7255721B2 (ja) | 2018-02-08 | 2022-03-04 | 視線推定装置、視線推定方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7255721B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012038106A (ja) * | 2010-08-06 | 2012-02-23 | Canon Inc | 情報処理装置、情報処理方法、およびプログラム |
JP2012037934A (ja) * | 2010-08-03 | 2012-02-23 | Canon Inc | 視線検出装置、視線検出方法及びプログラム |
JP2013182616A (ja) * | 2012-02-29 | 2013-09-12 | Samsung Electronics Co Ltd | 映像内のユーザの視線補正方法、機械可読の格納媒体及び携帯端末 |
-
2022
- 2022-03-04 JP JP2022033164A patent/JP7255721B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012037934A (ja) * | 2010-08-03 | 2012-02-23 | Canon Inc | 視線検出装置、視線検出方法及びプログラム |
JP2012038106A (ja) * | 2010-08-06 | 2012-02-23 | Canon Inc | 情報処理装置、情報処理方法、およびプログラム |
JP2013182616A (ja) * | 2012-02-29 | 2013-09-12 | Samsung Electronics Co Ltd | 映像内のユーザの視線補正方法、機械可読の格納媒体及び携帯端末 |
Also Published As
Publication number | Publication date |
---|---|
JP7255721B2 (ja) | 2023-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4829141B2 (ja) | 視線検出装置及びその方法 | |
US11232585B2 (en) | Line-of-sight estimation device, line-of-sight estimation method, and program recording medium | |
US11915518B2 (en) | Facial authentication device, facial authentication method, and program recording medium | |
US20090141982A1 (en) | Information processing apparatus, information processing method, computer program, and recording medium | |
US9858501B2 (en) | Reliability acquiring apparatus, reliability acquiring method, and reliability acquiring program | |
JP6410450B2 (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
US20230360433A1 (en) | Estimation device, estimation method, and storage medium | |
US20210174062A1 (en) | Image processing device, image processing method, and recording medium | |
CN112232128A (zh) | 基于视线追踪的老年残障人士照护需求识别方法 | |
JP7040539B2 (ja) | 視線推定装置、視線推定方法、およびプログラム | |
JP7255721B2 (ja) | 視線推定装置、視線推定方法、およびプログラム | |
JP4530173B2 (ja) | 顔パーツの位置の検出方法及び検出システム | |
JP7103443B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2021064043A (ja) | 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム | |
TWI662946B (zh) | 瞳距運算裝置及方法 | |
CN114761999A (zh) | 图像处理方法、图像处理装置以及图像处理程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220304 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230313 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7255721 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |