JP2021061048A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】画像に基づく視線推定の精度を向上させる情報処理装置等を提供する【解決手段】情報処理装置としての視線推定装置１００は、条件が異なる複数の画像を学習した学習結果を用いて、対象画像に含まれる対象の視線を複数推定する推定部１１０と、その条件と、対象画像に関する条件とに基づいて、対象の視線を決定する決定部１２０と、を備える。【選択図】図１

Description

本開示は、視線推定装置等に関する。

人間の視線（目の向き）は、その人物の行動や意図を解析する上で重要な手掛かりとなり得る。そのため、人間の視線に関する情報を推定する技術、特に人間の顔を含む画像（以下「顔画像」ともいう。）に基づいて視線を推定する技術が広く検討されている。

顔画像に基づいて視線を推定する技術として、例えば、特許文献１〜３、非特許文献１〜２に記載された技術がある。特許文献１は、画像に含まれる特徴点（画像特徴点）を用いる特徴点ベースの方法（feature-based methods）の一例を開示している。また、特許文献２及び非特許文献２は、物体の見え方（appearance）を利用するアピアランスベースの方法（appearance-based methods）の一例を開示している。非特許文献１は、瞳の虹彩の形状を楕円で近似することにより視線を推定する方法を開示している。

特許第４８２９１４１号公報 特開２００９−０５９２５７号公報 特許第５７７２８２１号公報

J. Wang, E. Sung, and R. Venkateswarlu, "Eye Gaze Estimation from a Single Image of One Eye," Proc. IEEE ICCV 2003, pp.I−136−143, 2003. X. Zhang, Y. Sugano, M. Fritz and A. Bulling, "Appearance-Based Gaze Estimation in the Wild," Proc. IEEE CVPR 2015, pp. 4511-4520, 2015.

上述のように、視線の推定にはさまざまな方法が用いられ、それぞれに特徴がある。しかし、いずれの方法にも、顔の向きや照明の明るさなどが特定の条件である場合において、推定の精度が低下する可能性がある。

本開示の例示的な目的は、画像に基づく視線推定の精度を向上させる技術を提供することにある。

本開示の一態様の情報処理装置は、条件が異なる複数の画像を学習した学習結果を用いて、対象画像に含まれる対象の視線を複数推定する推定部と、その条件と、対象画像に関する条件とに基づいて、対象の視線を決定する決定部と、を備える。

本開示の一態様の情報処理方法においては、コンピュータが、条件が異なる複数の画像を学習した学習結果を用いて、対象画像に含まれる対象の視線を複数推定し、その条件と、対象画像に関する条件とに基づいて、対象の視線を決定する。

本開示の一態様のプログラムは、条件が異なる複数の画像を学習した学習結果を用いて、対象画像に含まれる対象の視線を複数推定する処理と、その条件と、対象画像に関する条件とに基づいて、対象の視線を決定する処理と、をコンピュータに実行させる。

本開示によれば、画像に基づく視線推定の精度が向上する。

図１は、視線推定装置の構成の一例を示すブロック図である。 図２は、視線推定方法の一例を示すフローチャートである。 図３は、データ処理装置の構成の一例を示すブロック図である。 図４は、データ処理装置の動作例を示すフローチャートである。 図５は、顔画像の一例を示す図である。 図６は、目領域の一例を示す図である。 図７は、目領域の画像の撮像条件を説明するための概念図である。 図８は、実施形態の効果の一例を示す図である。 図９は、コンピュータ装置のハードウェア構成の一例を示すブロック図である。

［第１実施形態］
図１は、一の実施形態に係る視線推定装置１００の構成を示すブロック図である。視線推定装置１００は、顔画像に含まれる視線を推定するための装置である。視線推定装置１００は、推定部１１０と、決定部１２０とを少なくとも含む。ただし、視線推定装置１００は、必要に応じて他の構成要素を含んでもよい。

ここにおいて、顔画像とは、人間の顔の一部又は全部を含む画像をいう。顔画像は、撮像装置（監視カメラ、電子機器の内蔵カメラ等）によって撮像された画像である。顔画像は、このような撮像された画像そのものであってもよいし、撮像された画像の一部、すなわち撮像された画像から顔に相当する領域が抽出された画像であってもよい。

推定部１１０は、顔画像に含まれる顔の視線を推定する。例えば、推定部１１０は、顔画像に含まれる目の領域を推定することにより、視線、すなわち人間の目が見ている方向（より正確には向き）を推定する。推定部１１０による視線の推定方法は、周知のいずれの方法であってもよい。例えば、推定部１１０は、教師あり学習などの機械学習を用いることにより視線を推定することができる。具体的には、推定部１１０は、あらかじめ収集された顔画像を用いて顔画像と視線の関係を学習してもよい。

推定部１１０は、顔画像に含まれる顔の視線を複数の推定器で推定する。換言すれば、推定部１１０は、単一の顔画像に対して複数の推定方法を用いて視線を推定する。複数の推定器により推定される視線は、その方向が異なり得る。したがって、推定部１１０により推定される視線は、複数通りある。

複数の推定器は、それぞれ、顔画像に含まれる顔の視線を所定のアルゴリズムに基づいて推定する。複数の推定器は、それぞれ別異の回路によって実現されてもよいが、単一の回路によって実現されてもよい。複数の推定器は、ソフトウェアを用いて実現されてもよい。

視線の推定が機械学習により行われる場合、推定器の相違は、事前の学習に用いられるデータの相違によって生じ得る。すなわち、推定部１１０は、あるデータセットを用いた学習と、別のデータセットを用いた学習のそれぞれに基づいて視線を推定してもよい。事前の学習に用いられるデータセットが異なれば、当該データセットに基づく視線の推定結果も異なり得る。

決定部１２０は、顔画像に含まれる顔の視線を決定する。具体的には、決定部１２０は、推定部１１０による視線の推定結果に基づいて視線を決定する。換言すれば、決定部１２０は、推定部１１０により推定された複数の視線（すなわち複数の方向）に基づいて、単一の方向を決定する。

より詳細には、決定部１２０は、推定部１１０により推定された複数の視線と、第１の条件情報と、第２の条件情報とに基づいて視線を決定する。第１の条件情報は、顔画像の撮像に関する条件を少なくとも含む。換言すれば、第１の条件情報は、顔画像が撮像装置によりどのように撮像されたかを示す情報を含む。第１の条件情報は、物理量等を表す数値によってこのような条件を表してもよい。

一例として、第１の条件情報は、撮像装置と被写体たる人物との相対的な位置関係を示す情報であってもよい。具体的には、第１の条件情報は、撮像装置と人物との距離や、人物の顔の高さを基準とした撮像装置の高さを示してもよい。あるいは、第１の条件情報は、撮像装置の性能を示す情報であってもよい。具体的には、第１の条件情報は、撮像装置の光学系のパラメータ（画角等）を示してもよい。

また、第１の条件情報は、撮像装置の設置角度を示してもよい。ここにおいて、撮像装置の設置角度とは、撮像される人物の顔の方向と撮像装置の光軸方向とがなす角度をいう。ここでいう顔の方向は、顔画像に基づいて算出されてもよいし、あらかじめ決められてもよい。例えば、ある通路を通行する不特定多数の人物を撮像装置によって撮像する場合、顔の方向は、その通路を通行する人物の平均的又は典型的な顔の方向としてもよい。この場合、顔の方向は、通路の進行方向と一致する可能性が高い。なお、設置角度は、水平角と仰俯角（鉛直角ともいう。）によって表されてもよいし、鉛直角を省略して水平角のみで表されてもよい。

一方、第２の条件情報は、推定部１１０の複数の推定器のそれぞれに対応する条件を少なくとも含む。第２の条件情報が表す条件は、第１の条件情報が表す条件と比較可能である。例えば、事前に収集された顔画像のデータセットに基づく機械学習に基づいて視線が推定される場合、第２の条件情報が表す条件は、当該データセットに含まれる顔画像を撮像した際の撮像装置と人物との距離、撮像装置の設置角度又は画角（又はこれらのいずれかの平均値）であってもよい。

決定部１２０は、第１の条件情報と第２の条件情報とを比較することによって視線を決定することができる。例えば、決定部１２０は、顔画像が撮像された際の条件と、推定部１１０により推定された複数の視線に対応する複数の条件（換言すれば、当該複数の視線の推定に用いられた複数の推定器に対応する複数の条件）とを比較する。決定部１２０は、これらの比較結果に基づいて視線を決定する。

具体的には、決定部１２０は、推定部１１０により推定された複数の視線のうち、第２の条件情報により表される条件が、第１の条件情報により表される条件により近い視線に近付くように視線を決定する。例えば、決定部１２０は、推定部１１０により推定された複数の視線に対し、第１の条件情報と第２の条件情報との比較結果に応じた重みを付与した重み付き演算（重み付き加算、加重平均等）を実行することによって視線を決定してもよい。なお、決定部１２０は、第１の条件情報と第２の条件情報とを比較し、一定の基準を満たさない推定結果を除外した上で上記の重み付き演算を実行してもよい。

図２は、本実施形態に係る視線推定方法を示すフローチャートである。視線推定装置１００は、このフローチャートに従って処理を実行することにより、顔画像に含まれる顔の視線を推定することができる。

ステップＳ１１において、推定部１１０は、顔画像に基づいて複数の視線を推定する。より詳細には、推定部１１０は、１つの顔画像に対して複数の推定器を適用することにより、複数の視線を推定結果として算出する。換言すれば、推定部１１０は、複数通りの方法で視線を推定するともいえる。

ステップＳ１２において、決定部１２０は、ステップＳ１１において推定された複数の視線に基づいて、一の視線を決定する。より詳細には、決定部１２０は、第１の条件情報と第２の条件情報とに基づいて、ステップＳ１１の推定に用いられた顔画像に対応する視線を決定する。

以上のとおり、本実施形態の視線推定装置１００は、顔画像に含まれる顔の視線を複数の推定器で推定し、推定された複数の視線に基づいて一の視線を決定する構成を有する。この構成は、単一の推定器を用いて視線を推定する場合に比べ、推定の精度が低下する可能性を低減させることが可能である。したがって、視線推定装置１００によれば、視線推定の精度を向上させることが可能である。

視線推定の精度は、さまざまな要因によって変動し得る。例えば、視線推定の精度は、顔画像の撮像に関する条件によって変動し得る。具体的には、視線推定の精度は、被写体たる人物と撮像装置との相対的な位置関係（顔の向きなど）によって変動し得る。また、視線推定の精度は、撮像装置そのものの性能や、明るさ等の照明の条件などによっても変動し得る。また、視線推定の精度は、その推定方法によっては特定の条件下において低下する可能性がある。

視線推定装置１００は、複数の推定器を用いて推定された複数の視線に基づいて視線を決定することにより、単一の推定器を用いたことに起因する精度の低下を抑制することが可能である。したがって、視線推定装置１００によれば、顔画像が撮像された条件に対して頑健（ロバスト）な推定結果を得ることが可能である。換言すれば、視線推定装置１００は、さまざまな条件下で撮像された顔画像に対して良好な視線推定を実現することが可能である。

［第２実施形態］
図３は、別の実施形態に係るデータ処理装置２００の構成を示すブロック図である。データ処理装置２００は、第１実施形態の視線推定装置１００の一例に相当する。データ処理装置２００は、画像取得部２１０と、条件取得部２２０と、領域抽出部２３０と、視線推定部２４０と、統合部２５０と、出力部２６０とを含む。

データ処理装置２００は、画像に基づいて視線を推定するための装置である。ここでいう画像は、静止画と動画のいずれであってもよい。例えば、動画に基づいて視線を推定する場合、動画のある期間には顔画像が含まれ、別の期間には顔画像が含まれない可能性がある。このような場合、データ処理装置２００は、顔画像が含まれる期間の画像について視線を推定し、顔画像が含まれない期間の画像について視線を推定しない（推定結果を出力しない）ように構成されてもよい。

画像取得部２１０は、画像を取得する。例えば、画像取得部２１０は、他の装置から画像データを受け付けることにより画像を取得する。ここでいう他の装置は、監視カメラ等の撮像装置であってもよいし、複数の画像データが記録されたデータベース等の記憶装置であってもよい。画像取得部２１０は、領域抽出部２３０に画像データを供給する。

ここでいう画像データは、画像が複数の画素の輝度値によって表現されたデータである。画像データの画素数、色数（色成分の数）、階調数などは、特定の数値に限定されない。画像取得部２１０により取得される画像データは、画素数や色数があらかじめ決められていてもよいが、そうでなくてもよい。説明の便宜上、以下においては、画像取得部２１０により取得される画像データを「入力画像データ」ともいう。

説明の便宜上、以下においては、１つの画像データには１つの顔画像のみが含まれ得るとし、複数の顔画像が含まれていないものとする。ただし、データ処理装置２００は、１つの画像データに複数の顔画像が含まれる場合には、当該複数の顔画像のそれぞれに対して後述される処理を実行すれば足りる。

画像取得部２１０は、入力された画像データをそのまま領域抽出部２３０に供給してもよいが、入力された画像データを加工してから領域抽出部２３０に供給してもよい。例えば、画像取得部２１０は、画像データにより表される画像から人間の顔を検出することにより、当該画像の一部である顔画像を表す画像データを生成し、生成された画像データを領域抽出部２３０に供給してもよい。

あるいは、画像取得部２１０は、画像の色数や階調数が所定の数値になるように画像データを変換してから領域抽出部２３０に供給してもよい。例えば、画像取得部２１０は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）などの複数の色成分によりカラー画像を表す画像データを、単一成分のグレースケール画像を表す画像データに変換してもよい。

条件取得部２２０は、カメラ情報を取得する。カメラ情報は、画像取得部２１０により取得される画像の撮像条件を含むデータである。ここでいう撮像条件は、例えば、撮像装置の設置角度である。そのほか、撮像条件は、撮像装置のレンズのパラメータ（画角など）や、推定される撮像時の視線の範囲を含み得る。カメラ情報は、第１実施形態の第１の条件情報の一例に相当する。

カメラ情報は、画像データとともに入力されてもよい。例えば、カメラ情報は、画像データに含まれるメタデータとして記述されていてもよい。あるいは、カメラ情報は、ユーザの操作によって入力されてもよい。この場合、条件取得部２２０は、キーボードやタッチスクリーンディスプレイを介してユーザの操作を受け付ける。

領域抽出部２３０は、画像データから特定の領域を抽出する。領域抽出部２３０は、視線推定部２４０による視線の推定に必要な領域を抽出する。本実施形態において、領域抽出部２３０は、顔画像のうち特に目の周辺領域を抽出する。以下においては、領域抽出部２３０により抽出される領域のことを「目領域」という。目領域は、例えば、人間の両目を含む所定のサイズの長方形である。

領域抽出部２３０は、一般的な顔画像に特有の画像特徴に基づいて目領域を抽出することが可能である。領域抽出部２３０は、例えば、虹彩（いわゆる瞳）、強膜（いわゆる白目）、内眼角（いわゆる目頭）、外眼角（いわゆる目尻）、眉毛などを検出することにより目領域を抽出することができる。目領域の抽出には、例えば特許文献３に記載された方法など、周知の特徴点検出手法を用いることができる。

領域抽出部２３０は、視線の推定方法に応じた前処理を実行してもよい。例えば、領域抽出部２３０は、抽出された目領域が水平でない場合、すなわち目領域における右目の中心の高さと左目の中心の高さとが一致しない場合に、右目と左目が水平に位置するように画像を回転してもよい。また、領域抽出部２３０は、目領域のサイズが一定のサイズになるように画像を拡大又は縮小してもよい。画像の回転処理、拡大処理（すなわち補間処理）及び縮小処理（すなわち間引き処理）には、周知の画像処理が適用可能である。このような画像処理を実行すると、目領域の縮尺や傾きが安定することによりこれらを学習する必要がなくなるため、視線の推定精度を向上させることが可能である。

視線推定部２４０は、顔画像に含まれる顔の視線を推定する。視線推定部２４０は、より詳細には、視線推定器２４１₁、２４１₂、・・・、２４１_nを含む。ここにおけるｎの値、すなわち視線推定器の総数は、「２」以上であれば特定の数値に限定されない。以下において、視線推定器２４１₁、２４１₂、・・・、２４１_nは、それぞれが区別される必要がない場合には、「視線推定器２４１」と総称される。視線推定部２４０は、第１実施形態の推定部１１０の一例に相当する。

視線推定器２４１は、領域抽出部２３０により抽出された目領域を用いて視線を推定する。本実施形態において、視線推定器２４１は、顔画像に含まれる目の視線を機械学習によりあらかじめ学習し、その学習結果を用いて視線を推定するように構成されている。

視線推定器２４１₁、２４１₂、・・・、２４１_nは、視線の推定方法がそれぞれ異なる。例えば、視線推定器２４１₁、２４１₂、・・・、２４１_nは、機械学習においてサンプルとして用いられる顔画像がそれぞれ異なる。あるいは、視線推定器２４１₁、２４１₂、・・・、２４１_nは、機械学習のアルゴリズムがそれぞれ異なっていてもよい。

統合部２５０は、視線推定部２４０、より詳細には視線推定器２４１₁、２４１₂、・・・、２４１_nにより推定された推定結果を統合する。換言すれば、統合部２５０は、視線推定器２４１₁、２４１₂、・・・、２４１_nにより推定された複数の視線に基づき、単一の方向の視線を決定する。統合部２５０は、第１実施形態の決定部１２０の一例に相当する。

統合部２５０は、カメラ情報及び学習情報に基づいて複数の視線を統合する。ここにおいて、学習情報は、視線推定器２４１₁、２４１₂、・・・、２４１_nのそれぞれの学習に関する条件を含むデータである。学習情報は、例えば、視線推定器２４１₁、２４１₂、・・・、２４１_nのそれぞれの学習に用いられた撮像装置の撮像条件を表す。学習情報は、データ処理装置２００に記憶されているものとする。学習情報は、第１実施形態の第２の条件情報の一例に相当する。

統合部２５０は、視線推定器２４１₁、２４１₂、・・・、２４１_nのそれぞれに対して決定される重みを用いた重み付き演算により、視線推定器２４１₁、２４１₂、・・・、２４１_nのそれぞれにより推定された複数の視線を統合する。このとき、統合部２５０は、カメラ情報及び学習情報を用いることにより、それぞれの視線に対する重みを決定することができる。統合部２５０による重み付き演算は、後述の動作例において詳細に説明される。

出力部２６０は、統合部２５０により統合された視線を示すデータ（以下「視線データ」ともいう。）を出力する。視線データは、例えば、統合部２５０により統合された視線、換言すれば統合部２５０により決定された方向を所定の規則に従って表す。出力部２６０による出力は、視線データを表示装置等の他の装置に供給することであってもよく、データ処理装置２００に含まれる記憶媒体に視線データを書き込むことであってもよい。

データ処理装置２００の構成は、以上のとおりである。この構成の下、データ処理装置２００は、画像データに基づいて視線を推定する。データ処理装置２００は、例えば、以下の動作例のように動作する。ただし、データ処理装置２００の具体的な動作は、この動作例に限定されない。

図４は、データ処理装置２００の動作例を示すフローチャートである。データ処理装置２００は、例えば、ユーザによって指定されたタイミングや、他の装置から画像データが送信されたタイミングなどの適当なタイミングで、図４に示される処理を実行することができる。この例において、画像データにより表される画像は、顔画像を含むものとする。また、カメラ情報及び学習情報は、撮像装置の設置角度であるとする。また、ここでいう画像の座標は、所定の位置を原点とする直交座標系によって表されるものとする。

ステップＳ２１において、画像取得部２１０は、画像データを取得する。ステップＳ２２において、条件取得部２２０は、カメラ情報を取得する。なお、ステップＳ２１及びＳ２２の処理は、図４と逆の順序で実行されてもよく、同時に（すなわち並列的に）実行されてもよい。

ステップＳ２３において、領域抽出部２３０は、ステップＳ２１において取得された画像データを用いて目領域を抽出する。この例において、領域抽出部２３０は、右目の虹彩の中心の座標と左目の虹彩の中心の座標とを特定する。領域抽出部２３０は、これらの座標に基づいて目領域を決定する。説明の便宜上、以下においては、右目の虹彩の中心の座標を「右目の中心座標」、左目の虹彩の中心の座標を「左目の中心座標」ともいう。

具体的には、領域抽出部２３０は、右目の中心座標と左目の中心座標とを結ぶ線分の中点を目領域の中心とする。領域抽出部２３０は、右目の中心座標と左目の中心座標とを結ぶ線分の長さ（以下「瞳孔間距離（interpupillary distance）」ともいう。）の２倍の長さを目領域の幅とし、瞳孔間距離の０．７５倍の長さを目領域の高さとする。領域抽出部２３０は、このように決定された中心、幅、高さによって規定される矩形の領域を目領域として画像から切り出す。

また、領域抽出部２３０は、後続の処理が容易になるように、目領域の傾き、幅及び高さを補正する前処理を実行してもよい。より詳細には、領域抽出部２３０は、右目の中心座標と左目の中心座標が水平でなければ、これらの座標を水平にし、目領域の幅方向及び高さ方向の画素数が所定の画素数でなければ、目領域を拡大又は縮小する。

図５は、顔画像の一例を示す図である。図６は、この顔画像から抽出される目領域の一例を示す図である。図６に示される目領域６００は、図５に示される顔画像５００の一部に相当する。具体的には、目領域６００は、顔画像５００のうちの破線で囲まれた領域５１０に相当する。ただし、目領域６００は、上述の前処理が実行された場合には、その画素数や傾きが領域５１０と必ずしも一致しない。

ステップＳ２４において、視線推定部２４０は、ステップＳ２３において抽出された目領域に基づいて視線を推定する。視線推定部２４０は、事前に学習された視線推定器２４１₁〜２４１_nを用いて視線を推定する。この例において、視線推定器２４１₁〜２４１_nは、目領域から検出される画像特徴量に基づいて視線を推定する。

この例における画像特徴量は、画像の輝度の勾配に関する特徴量である。輝度の勾配に関する特徴量としては、例えば、ＨＯＧ（Histograms of Oriented Gradients）特徴量が知られている。この例における画像特徴量は、目領域における輝度の変化の方向と大きさとを所定の次元数（例えば、数百〜数千）で示す。以下において、この画像特徴量は、所定の要素数の列ベクトルｆによっても表現される。

視線推定器２４１₁〜２４１_nは、以下の式（１）を用いて視線（ｇ_ｘ，ｇ_ｙ）を算出する。ここにおいて、視線（ｇ_ｘ，ｇ_ｙ）は、顔の向きを基準とした視線の向きを水平角と仰俯角とによって示す。このうち、ｇ_ｘは、水平角を表し、−９０≦ｇ_ｘ≦９０を満たす（単位は[deg]）。また、ｇ_ｙは、仰俯角を表し、−９０≦ｇ_ｙ≦９０を満たす（単位は[deg]）。

視線（ｇ_ｘ，ｇ_ｙ）は、（ｇ_ｘ，ｇ_ｙ）＝（０，０）である場合を基準、すなわち顔に対して真正面を向いている視線であるとし、真正面からの視線のずれを水平角と仰俯角とによって表す。例えば、視線が真上を向いている場合に（ｇ_ｘ，ｇ_ｙ）＝（０，＋９０）であり、視線が真下を向いている場合に（ｇ_ｘ，ｇ_ｙ）＝（０，−９０）である。また、視線が真横（右）を向いている場合に（ｇ_ｘ，ｇ_ｙ）＝（＋９０，０）であり、視線が真横（左）を向いている場合に（ｇ_ｘ，ｇ_ｙ）＝（−９０，０）である。

なお、ここでいう正面の向きは、顔画像により表される顔の向きに依存する。すなわち、ここでいう正面は、顔の向きに応じて変化する。したがって、撮像された人物が実際に目で見ている方向は、視線（ｇ_ｘ，ｇ_ｙ）のみによっては特定されず、視線（ｇ_ｘ，ｇ_ｙ）と当該人物の顔の向きとによって特定される。

式（１）において、ｕ_ｘ、ｕ_ｙは、重みベクトルである。重みベクトルｕ_ｘ、ｕ_ｙは、各々が画像特徴量ｆと同じ要素数の行ベクトルであり、画像特徴量ｆとの内積が算出可能である。重みベクトルｕ_ｘ、ｕ_ｙは、視線推定器２４１₁〜２４１_n毎に異なり得る。重みベクトルｕ_ｘ、ｕ_ｙは、サポートベクトル回帰や最小二乗法による線形回帰などの周知の手法によって事前に学習可能である。視線推定器２４１₁〜２４１_nにおける学習は、一般に、ステップＳ２３と同様に抽出された目領域の画像と、当該画像の実際の視線を示す情報（すなわち正解の情報）との組を多数用意して実行される。

この例において、視線推定器２４１₁〜２４１_nは、撮像条件が異なる目領域の画像をそれぞれ用いて学習が実行される。具体的には、視線推定器２４１₁〜２４１_nの学習には、設置角度が異なる撮像装置により撮像された目領域の画像がそれぞれ用いられる。

図７は、目領域の画像の撮像条件を説明するための概念図である。ここにおいて、視線推定器２４１の数（すなわちｎの値）は、「４」であるとする。図７の例において、カメラ７１０、７２０、７３０、７４０は、人物７００の顔画像を撮像する撮像装置である。カメラ７１０は、顔画像を右上方から撮像する。カメラ７２０は、顔画像を左上方から撮像する。カメラ７３０は、顔画像を右下方から撮像する。カメラ７４０は、顔画像を左下方から撮像する。なお、人物７００は、画像毎に異なる人物であってもよいし、いずれの画像においても同一の人物であってもよい。また、人物７００は、撮像時は同じ方向（正面）を向いているものとする。

視線推定器２４１₁は、カメラ７１０により撮像された顔画像を学習に用いる。視線推定器２４１_２は、カメラ７２０により撮像された顔画像を学習に用いる。視線推定器２４１_３は、カメラ７３０により撮像された顔画像を学習に用いる。視線推定器２４１_４は、カメラ７４０により撮像された顔画像を学習に用いる。そうすると、視線推定器２４１_１〜２４１_４は、学習に用いられた顔画像に対応する撮像装置の設置角度が互いに異なることになる。

視線推定器２４１₁〜２４１_nは、機械学習の条件（ここでは、学習に用いられた顔画像の撮像条件）が異なるため、同一の目領域の画像を用いて視線を推定しても推定結果が異なり得る。換言すると、視線推定器２４１₁〜２４１_nは、式（１）における重みベクトルｕ_ｘ、ｕ_ｙが互いに異なり得るゆえに、画像特徴量ｆの値が同一であっても視線（ｇ_ｘ，ｇ_ｙ）が異なる可能性がある。以下においては、視線推定器２４１₁により推定された視線を（ｇ^（１） _ｘ，ｇ^（１） _ｙ）、視線推定器２４１_２により推定された視線を（ｇ^（２） _ｘ，ｇ^（２） _ｙ）、・・・、視線推定器２４１_ｎにより推定された視線を（ｇ^（ｎ） _ｘ，ｇ^（ｎ） _ｙ）ともいう。

ステップＳ２５において、統合部２５０は、ステップＳ２４において推定された視線（ｇ^（１） _ｘ，ｇ^（１） _ｙ）〜（ｇ^（ｎ） _ｘ，ｇ^（ｎ） _ｙ）を統合する。すなわち、統合部２５０は、ステップＳ２４において推定された視線（ｇ^（１） _ｘ，ｇ^（１） _ｙ）〜（ｇ^（ｎ） _ｘ，ｇ^（ｎ） _ｙ）に基づいて単一の視線を算出する。ここにおいて、統合部２５０は、カメラ情報と学習情報とに基づいて重みを算出する。カメラ情報及び学習情報は、ここでは、撮像装置の設置角度である。

統合部２５０は、以下の式（２）を用いて視線推定器２４１_ｉに対応する重みｗ_ｉを算出する。ここにおいて、ｃ_i、ｃ_ｊ及びｃ_ｔは、いずれも撮像装置の設置角度を表すベクトルである。ｃ_i（又はｃ_ｊ）は、視線推定器２４１_i（又は２４１_ｊ）の学習に用いられた複数の顔画像が表す顔の方向のそれぞれと当該顔画像を撮像した撮像装置の光軸方向とがなす角度の平均値を示す。一方、ｃ_ｔは、入力画像データに含まれる顔画像が表す顔の方向と当該顔画像を撮像した撮像装置の光軸方向とがなす角度を示す。ｃ_i、ｃ_ｊは、学習情報の一例である。一方、ｃ_ｔは、カメラ情報の一例である。また、αは、０より大きい適当な係数である。

例えば、ｎ＝２、すなわち視線推定器２４１の数が２つであるとすると、重みｗ_１、ｗ_２は、以下の式（３）、（４）によって表すことができる。なお、重みｗ_ｉは、学習情報ｃ_iとカメラ情報ｃ_ｔとの差が小さいほど大きくなる。

統合部２５０は、重みｗ_ｉをこのように算出した後、以下の式（５）に従って視線（Ｇ_ｘ，Ｇ_ｙ）を算出する。式（５）が示すとおり、視線（Ｇ_ｘ，Ｇ_ｙ）は、視線（ｇ^（１） _ｘ，ｇ^（１） _ｙ）〜（ｇ^（ｎ） _ｘ，ｇ^（ｎ） _ｙ）の加重平均である。なお、式（５）の右辺の分母は、ここでは「１」である（式（２）参照）。

ステップＳ２６において、出力部２６０は、統合部２５０により算出された視線（Ｇ_ｘ，Ｇ_ｙ）を示す視線データを出力する。この視線データは、例えば、表示装置によって可視化される。視線データにより示される視線は、数値で表示されてもよいし、視線を示す矢印を顔画像に重ねて表示されてもよい。

図８は、本実施形態の効果の一例を示す図である。この例において、視線推定器２４１の数は、２つである。この例は、２つの注視点を順に見つめる１人の被験者を撮像した動画を用いて視線を推定した例である。なお、視線推定器２４１_１に対応する学習情報（設置角度）は、（＋２．３[deg]，＋５．５[deg]）である。また、視線推定器２４１_２に対応する学習情報（設置角度）は、（＋１．２[deg]，−２２．７[deg]）である。また、カメラ情報（設置角度）は、（０[deg]，０[deg]）である。係数αは、ここでは「０．０４」である。

図８において、グラフ８１０は、視線推定器２４１_１により推定された視線（ｇ^（１） _ｘ，ｇ^（１） _ｙ）を表す。グラフ８２０は、視線推定器２４１_２により推定された視線（ｇ^（２） _ｘ，ｇ^（２） _ｙ）を表す。グラフ８３０は、統合部２５０により統合された視線（Ｇ_ｘ，Ｇ_ｙ）を表す。グラフ８４０は、被験者の実際の視線を表す。

図８に示されるように、統合部２５０により統合された視線（Ｇ_ｘ，Ｇ_ｙ）は、視線推定器２４１_１により推定された視線（ｇ^（１） _ｘ，ｇ^（１） _ｙ）及び視線推定器２４１_２により推定された視線（ｇ^（２） _ｘ，ｇ^（２） _ｙ）に比べ、実際の視線との誤差が少ない。したがって、データ処理装置２００は、単一の視線推定器２４１を用いる場合に比べ、視線推定の精度が向上しているといえる。

この例において、グラフ８１０、すなわち視線（ｇ^（１） _ｘ，ｇ^（１） _ｙ）とグラフ８２０、すなわち視線（ｇ^（２） _ｘ，ｇ^（２） _ｙ）とを比較すると、視線（ｇ^（１） _ｘ，ｇ^（１） _ｙ）の方が実際の視線（グラフ８４０）に近い推定結果であるといえる。ここで、カメラ情報と視線推定器２４１_１、２４１_２に対応する学習情報とを比較すると、視線推定器２４１_１に対応する学習情報の方が、カメラ情報との差が小さいといえる。本実施形態の重み付き加算（式（２）〜（５）参照）によれば、学習情報とカメラ情報との差が小さい視線推定器２４１ほど重みｗ_ｉが大きくなる。したがって、視線データが表す視線、すなわち最終的な推定結果は、撮像条件に含まれる設置角度がより近い視線推定器２４１により推定された視線に近付く。

この例において、視線推定器２４１の推定精度は、事前の学習における撮像条件と、データ処理装置２００による推定対象である顔画像、すなわち入力画像データが表す顔画像の撮像条件とに依存するといえる。より詳細には、視線推定器２４１の推定精度は、事前の学習における顔画像と撮像装置との相対的な位置関係（設置角度）と、推定対象である顔画像と当該顔画像を撮像した撮像装置との相対的な位置関係（設置角度）との近似する程度に依存するといえる。しかしながら、推定対象である顔画像と撮像装置との相対的な位置関係は、常に一定であるとは限らず、撮像方法によってはまちまちになる場合もある。

本実施形態の視線推定方法によれば、式（２）〜（５）のような重み付き加算を実行することで、異なる撮像条件を用いて学習された複数の視線推定器２４１による推定結果を統合することができる。したがって、本実施形態の視線推定方法によれば、入力画像データが表す顔画像の撮像条件と複数の視線推定器２４１の事前の学習における撮像条件とが一致していなくても、精度が良い視線推定が可能である。加えて、本実施形態の視線推定方法によれば、入力画像データが表す顔画像と撮像装置との相対的な位置関係が一定でなくても、精度が良い視線推定が可能である。

以上のとおり、本実施形態のデータ処理装置２００は、顔画像に含まれる顔の視線を複数の視線推定器２４１で推定し、推定された複数の視線を統合する構成を有する。この構成により、データ処理装置２００は、第１実施形態の視線推定装置１００と同様の作用効果を奏することができる。

また、データ処理装置２００は、撮像条件を表す学習情報とカメラ情報とに応じて決定される重みに従った重み付き演算を実行することによって視線を統合する構成を有する。この構成は、複数の視線推定器２４１により推定された複数の視線に対し、撮像条件に応じた重みを付与することを可能にする。したがって、データ処理装置２００は、このような重みを付与しない場合に比べ、視線推定の精度を向上させることが可能である。

さらに、データ処理装置２００は、撮像条件を表す学習情報及びカメラ情報の比較結果に応じた重みを決定する構成を有する。データ処理装置２００は、より詳細には、複数の視線推定器２４１により推定された複数の視線に対し、視線推定器２４１の学習時における撮像装置の設置角度が入力画像データにより表される顔画像を撮像した撮像装置の設置角度に近いものほど重みを大きくする。このような構成により、データ処理装置２００は、出力される視線データが表す視線を、設置角度がより近い視線推定器２４１により推定された視線に近付けることが可能である。

［変形例］
上述された実施形態は、例えば、以下のような変形を適用することができる。これらの変形例は、必要に応じて適宜組み合わせることも可能である。

（変形例１）
決定部１２０は、周知の顔向き推定技術を用いることによって顔の方向を推定することが可能である。決定部１２０は、このように推定された顔の方向と、撮像装置の光軸方向とがなす角度とに基づいて撮像装置の設置角度を算出してもよい。

（変形例２）
カメラ情報及び学習情報は、顔画像の撮像に用いられた撮像装置の種類を示す情報を含んでもよい。ここでいう撮像装置の種類は、例えば、撮像装置の機種や、撮像装置が感度を有する光の波長帯を表す。

例えば、可視光により撮像する可視光カメラと近赤外光により撮像する近赤外光カメラとが撮像装置に含まれる場合がある。このような場合において、視線推定器２４１の学習に用いられる撮像装置にも可視光カメラと近赤外光カメラとが含まれるときには、入力される顔画像の撮像に用いられた撮像装置と学習に用いられた撮像装置とに異同が生じる可能性がある。例えば、入力される顔画像の撮像に用いられた撮像装置が近赤外光カメラであれば、学習に用いられた撮像装置が近赤外光カメラである視線推定器２４１による推定結果の方が信頼できる（すなわち精度が保証される）可能性が高いといえる。

このような場合、統合部２５０は、入力される顔画像の撮像に用いられた撮像装置と学習に用いられた撮像装置の種類とが一致する視線推定器２４１_ｉに対応する重みｗ_ｉを大きくし、そうでない視線推定器２４１_ｉに対応する重みｗ_ｉを小さくする。このようにすれば、入力される顔画像の撮像に用いられた撮像装置と同種の撮像装置が学習に用いられている視線推定器２４１_ｉの推定結果を視線データにより強く反映させることが可能である。

また、カメラ情報及び学習情報は、撮像装置の光学系のパラメータであってもよい。例えば、カメラ情報及び学習情報は、レンズの水平方向及び垂直方向の画角をパラメータとして含んでもよい。この場合、統合部２５０は、このようなパラメータを要素とするベクトルをカメラ情報及び学習情報として用いて、式（２）と同様の計算によって重みを算出することが可能である。

（変形例３）
第２実施形態における重み付き演算の方法は、上述の動作例に限定されない。例えば、統合部２５０は、式（２）により算出された重みｗ_ｉの一部を用いずに視線（ｇ^（１） _ｘ，ｇ^（１） _ｙ）〜（ｇ^（ｎ） _ｘ，ｇ^（ｎ） _ｙ）を統合してもよい。具体的には、統合部２５０は、重みｗ_ｉのうちの所定の閾値以上であるもの（又は値が大きい順に所定数のもの）以外のものを「０」に置換してもよい。この置換は、重みｗ_ｉのうち最終的な推定結果に与える影響が少ないものを切り捨てることに相当する。また、この場合において、統合部２５０は、切り捨て後の重みｗ_ｉの総和が「１」になるように各重みの比率（式（２）の分母）を再計算してもよい。

また、統合部２５０は、式（２）において、exp(-α||c_i-c_t||)に代えて、||c_i-c_t||の増加に対して単調減少する別の関数を用いてもよい。例えば、統合部２５０は、以下の式（６）を用いて重みｗ_ｉを算出してもよい。ここにおいて、max(a,b)は、ａ、ｂのうちのより大きい値を返す関数を表す。また、βは、０以上の定数である。

あるいは、統合部２５０は、視線（ｇ^（１） _ｘ，ｇ^（１） _ｙ）〜（ｇ^（ｎ） _ｘ，ｇ^（ｎ） _ｙ）の一部を切り捨ててから式（５）の視線（Ｇ_ｘ，Ｇ_ｙ）を算出してもよい。例えば、統合部２５０は、視線（ｇ^（１） _ｘ，ｇ^（１） _ｙ）〜（ｇ^（ｎ） _ｘ，ｇ^（ｎ） _ｙ）に外れ値が含まれる場合に、外れ値を除外して式（５）の計算を実行してもよい。外れ値に相当する視線は、推定に失敗した視線であると考えられるためである。ここでいう外れ値は、視線（ｇ^（１） _ｘ，ｇ^（１） _ｙ）〜（ｇ^（ｎ） _ｘ，ｇ^（ｎ） _ｙ）のうちの他の値と大きく外れた値である。外れ値は、例えば、視線（ｇ^（１） _ｘ，ｇ^（１） _ｙ）〜（ｇ^（ｎ） _ｘ，ｇ^（ｎ） _ｙ）をベクトルと捉えた場合における視線間のユークリッド距離に基づいて特定される。

（変形例４）
上述のとおり、学習情報及びカメラ情報は、推定される視線の範囲を含み得る。ここでいう視線の範囲は、カメラ情報においては、推定しようとしている視線の範囲を示し、学習情報においては、視線推定器２４１において学習に用いられた視線の範囲を示す。視線の範囲は、例えば、視線（ｇ_ｘ，ｇ_ｙ）と同様に、真正面からのずれを−９０〜＋９０[deg]の範囲の数値によって表す。学習情報及びカメラ情報は、視線の範囲を水平角と仰俯角の双方によって表してもよく、これらの一方によって表してもよい。

このような学習情報及びカメラ情報が用いられる場合、統合部２５０は、視線の範囲が重なる割合（以下「重複率」ともいう。）に基づいて重みを算出することができる。ここにおいて、重複率は、学習情報とカメラ情報の少なくとも一方に含まれる視線の範囲と、学習情報とカメラ情報の双方に含まれる視線の範囲の比率を表す。

例えば、学習情報が表す視線の範囲とカメラ情報が表す視線の範囲が完全に一致する場合、重複率は「１．０」である。一方、学習情報が表す視線の範囲とカメラ情報が表す視線の範囲が全く一致しない場合、重複率は「０」である。より具体的には、視線推定器２４１_１の学習情報が表す水平方向の視線の範囲が−１０〜＋５[deg]であり、カメラ情報が表す水平方向の視線の範囲が−１０〜＋１０[deg]である場合、水平方向の重複率は、「０．７５（＝１５／２０）」である。

このような学習情報及びカメラ情報が用いられる場合、統合部２５０は、式（２）の学習情報ｃ_i、ｃ_ｊ及びカメラ情報ｃ_ｔとして水平方向及び垂直方向の重複率を用いることができる。統合部２５０は、撮像角度の設置角度に代えて重複率を用いてもよく、撮像角度の設置角度に加えて重複率を用いてもよい。例えば、学習情報ｃ_i、ｃ_ｊ及びカメラ情報ｃ_ｔは、撮像角度の設置角度と重複率の双方が用いられる場合には、４成分（設置角度の水平成分及び垂直成分並びに重複率の水平成分及び垂直成分）のベクトルになる。

（変形例５）
領域抽出部２３０は、右目及び左目の中心座標や目領域を計算によって特定しなくてもよい。例えば、右目及び左目の中心座標や目領域は、ユーザが入力してもよい。この場合、データ処理装置２００は、ユーザの入力に基づいて右目及び左目の中心座標や目領域を特定することができる。

（変形例６）
目領域の形状は、必ずしも矩形に限定されない。例えば、領域抽出部２３０は、上述された目領域（図６参照）から視線の推定に直接的には影響しない領域（例えば鼻の領域）を除外してもよい。また、目領域は、必ずしも両目を含まなくてもよい。例えば、領域抽出部２３０は、右目又は左目の一方を含み、他方を含まない領域と目領域として抽出してもよい。

（変形例７）
視線推定部２４０による学習は、上述された例に限定されない。例えば、視線推定部２４０は、ランダムフォレスト等の集団学習アルゴリズムにより視線を推定するための非線形の関数を学習してもよい。

（変形例８）
視線推定装置１００（又はデータ処理装置２００）により推定された視線の用途は、特に限定されない。例えば、視線推定装置１００は、コンビニエンスストア等の小売店に設置された監視カメラによって撮像された人物の視線を推定し、不審人物を検出するシステムに適用されてもよい。また、視線推定装置１００は、情報が表示された画面に対するユーザの視線に基づいて当該ユーザの興味・関心を推測するシステムに適用されてもよい。あるいは、視線推定装置１００は、視線の動きによって操作可能な電子機器や、自動車等の運転支援に適用されてもよい。

（変形例９）
本開示に係る装置（視線推定装置１００又はデータ処理装置２００）の具体的なハードウェア構成は、さまざまなバリエーションが含まれ、特定の構成に限定されない。例えば、本開示に係る装置は、ソフトウェアを用いて実現されてもよく、複数のハードウェアを用いて各種処理を分担するように構成されてもよい。

図９は、本開示に係る装置を実現するコンピュータ装置３００のハードウェア構成の一例を示すブロック図である。コンピュータ装置３００は、ＣＰＵ（Central Processing Unit）３０１と、ＲＯＭ（Read Only Memory）３０２と、ＲＡＭ（Random Access Memory）３０３と、記憶装置３０４と、ドライブ装置３０５と、通信インタフェース３０６と、入出力インタフェース３０７とを含んで構成される。本開示に係る装置は、図９に示される構成（又はその一部）によって実現され得る。

ＣＰＵ３０１は、ＲＡＭ３０３を用いてプログラム３０８を実行する。プログラム３０８は、ＲＯＭ３０２に記憶されていてもよい。また、プログラム３０８は、メモリカード等の記録媒体３０９に記録され、ドライブ装置３０５によって読み出されてもよいし、外部装置からネットワーク３１０を介して送信されてもよい。通信インタフェース３０６は、ネットワーク３１０を介して外部装置とデータをやり取りする。入出力インタフェース３０７は、周辺機器（入力装置、表示装置など）とデータをやり取りする。通信インタフェース３０６及び入出力インタフェース３０７は、データを取得又は出力するための構成要素として機能することができる。

なお、本開示に係る装置の構成要素は、単一の回路（プロセッサ等）によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路（circuitry）は、専用又は汎用のいずれであってもよい。例えば、本開示に係る装置は、一部が専用のプロセッサによって実現され、他の部分が汎用のプロセッサによって実現されてもよい。

上述された実施形態において単体の装置として説明された構成は、複数の装置に分散して設けられてもよい。例えば、視線推定装置１００は、クラウドコンピューティング技術などを用いて、複数のコンピュータ装置の協働によって実現されてもよい。また、視線推定器２４１_１〜２４１_ｎは、互いに異なるコンピュータ装置によって実現されてもよい。

以上、本発明は、上述された実施形態及び変形例を模範的な例として説明された。しかし、本発明は、これらの実施形態及び変形例に限定されない。本発明は、本発明のスコープ内において、いわゆる当業者が把握し得るさまざまな変形又は応用を適用した実施の形態を含み得る。また、本発明は、本明細書に記載された事項を必要に応じて適宜に組み合わせ、又は置換した実施の形態を含み得る。例えば、特定の実施形態を用いて説明された事項は、矛盾を生じない範囲において、他の実施形態に対しても適用し得る。

［付記］
本開示の一部又は全部は、以下の付記のようにも記載され得る。ただし、本開示は、必ずしもこの付記の態様に限定されない。
（付記１）
顔画像に含まれる顔の視線を複数の推定器で推定する推定手段と、
前記顔画像の撮像に関する条件を含む第１の条件情報と、各々が前記複数の推定器のいずれかに対応する前記条件を含む複数の第２の条件情報と、前記推定された複数の視線とに基づいて前記顔の視線を決定する決定手段と
を備える視線推定装置。
（付記２）
前記条件は、撮像手段による撮像条件を含む
付記１に記載の視線推定装置。
（付記３）
前記条件は、推定される視線の範囲を含む
付記１又は付記２に記載の視線推定装置。
（付記４）
前記決定手段は、前記複数の推定器で推定された複数の視線のそれぞれに対して決定される重みであって、当該推定器に対応する前記第２の条件情報と前記第１の条件情報とに応じて決定される重みに従った重み付き演算を実行する
付記１から付記３までのいずれかに記載の視線推定装置。
（付記５）
前記決定手段は、前記第２の条件情報と前記第１の条件情報との比較結果に基づいて前記重みを決定する
付記４に記載の視線推定装置。
（付記６）
前記決定手段は、前記第２の条件情報が前記第１の条件情報に近いものほど前記重みを大きくする
付記５に記載の視線推定装置。
（付記７）
前記複数の推定器は、前記条件が互いに異なる顔画像に基づいて学習される
付記１から付記６までのいずれかに記載の視線推定装置。
（付記８）
前記顔画像を取得する第１の取得手段と、
前記第１の条件情報を取得する第２の取得手段と、
前記取得された顔画像から目の周辺の領域を抽出する抽出手段と、
前記決定手段により決定された視線を示す視線情報を出力する出力手段とをさらに備え、
前記推定手段は、前記顔画像のうちの前記領域を用いて前記顔の視線を推定する
付記１から付記７までのいずれかに記載の視線推定装置。
（付記９）
顔画像に含まれる顔の視線を複数の推定器で推定し、
前記顔画像の撮像に関する条件を含む第１の条件情報と、各々が前記複数の推定器のいずれかに対応する前記条件を含む複数の第２の条件情報と、前記推定された複数の視線とに基づいて前記顔の視線を決定する
視線推定方法。
（付記１０）
前記第１の条件情報及び前記第２の条件情報は、撮像手段による撮像条件を示す情報を含む
付記９に記載の視線推定方法。
（付記１１）
コンピュータに、
顔画像に含まれる顔の視線を複数の推定器で推定する処理と、
前記顔画像の撮像に関する条件を含む第１の条件情報と、各々が前記複数の推定器のいずれかに対応する前記条件を含む複数の第２の条件情報と、前記推定された複数の視線とに基づいて前記顔の視線を決定する処理と
を実行させるためのプログラムを記録したコンピュータ読み取り可能なプログラム記録媒体。
（付記１２）
前記第１の条件情報及び前記第２の条件情報は、撮像手段による撮像条件を示す情報を含む
付記１１に記載のプログラム記録媒体。

１００ 視線推定装置
１１０ 推定部
１２０ 決定部
２００ データ処理装置
２１０ 画像取得部
２２０ 条件取得部
２３０ 領域抽出部
２４０ 視線推定部
２４１ 視線推定器
２５０ 統合部
２６０ 出力部
３００ コンピュータ装置

Claims (7)

1. 条件が異なる複数の画像を学習した学習結果を用いて、対象画像に含まれる対象の視線を複数推定する推定手段と、
   前記条件と、前記対象画像に関する条件とに基づいて、前記対象の視線を決定する決定手段と、
   を備える情報処理装置。
2. 前記学習結果は、第１の条件で学習された第１の推定器と、第２の条件で学習された第２の推定器とを含み、
   前記推定手段は、前記第１の推定器及び前記第２の推定器を用いて、前記対象の視線を複数推定する、
   請求項１に記載の情報処理装置。
3. 前記第１の推定器は、第１の撮像装置から撮像された画像を用いて学習され、
   前記第２の推定器は、第２の撮像装置から撮像された画像を用いて学習される、
   請求項２に記載の情報処理装置。
4. 前記第１の撮像装置と前記第２の撮像装置は、それぞれ設置角度が異なる、
   請求項３に記載の情報処理装置。
5. 前記第１の撮像装置と前記第２の撮像装置は、それぞれ性能が異なる、
   請求項３または４に記載の情報処理装置。
6. コンピュータが、
   条件が異なる複数の画像を学習した学習結果を用いて、対象画像に含まれる対象の視線を複数推定し、
   前記条件と、前記対象画像に関する条件とに基づいて、前記対象の視線を決定する、
   情報処理方法。
7. 条件が異なる複数の画像を学習した学習結果を用いて、対象画像に含まれる対象の視線を複数推定する処理と、
   前記条件と、前記対象画像に関する条件とに基づいて、前記対象の視線を決定する処理と、
   をコンピュータに実行させるプログラム。

Images