JP2021060937A

JP2021060937A - 視線推定装置

Info

Publication number: JP2021060937A
Application number: JP2019186289A
Authority: JP
Inventors: 健行笹井; takeyuki Sasai; 真太朗福島; Shintaro Fukushima
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2019-10-09
Filing date: 2019-10-09
Publication date: 2021-04-15

Abstract

【課題】画像に写る被写体間の関係性を考慮して画像に対する人の視線を推定することができる視線推定装置を提供する。【解決手段】視線推定装置１２のデータ取得部１８は、画像を取得する。特徴計算部２０は、データ取得部１８により取得された画像の特徴量を計算する。物体検出部３８は、画像に写る複数の被写体を検出する。関係性計算部４０は、物体検出部３８により検出された複数の被写体の間の関係性を表す関係性情報を計算する。視線推定部２６は、画像の特徴量及び画像に写る複数の被写体の間の関係性を表す関係性情報から該画像に対する視線を推定するための学習済みモデルに対して、特徴計算部２０により計算された特徴量と、関係性計算部４０により計算された複数の被写体の間の関係性情報とを入力することにより、データ取得部１８により取得された画像に対する視線を表す視線情報を推定する。【選択図】図１

Description

本発明は、視線推定装置に関する。

従来、人の視線を推定する技術が知られている（例えば、非特許文献１を参照）。また、画像等に写る被写体の間の関係性を出力する技術が知られている（例えば、非特許文献２を参照）。また、画像に写る被写体の認識を行う際に被写体の位置関係を考慮する技術が知られている（例えば、非特許文献３を参照）。

Kummerer , Wallis and Bethge , DeepGaze , "Reading fixations from deep features trained on object recognition" (arXiv2016) Zhang, Kalantidis , Rohrbach , Paluri , Elgammal and Elhoseiny , Large scale visual relationship understanding (AAAI2018) Few shot learning by exploiting object relation (ICLR open review)

視線推定は、画像又は動画のどの部分に人が注目しているかを推定するものである。視線推定は、画像又は動画のどの部分が人にとって重要であるかを推定している、とみなすこともできるため、例えば、自動運転に関連する技術への活用が期待される。

このため、視線推定の際に画像に写る被写体間の関係性を考慮することは、有用であると考えられる。しかし、上記非特許文献１に開示されている技術は、画像に写る被写体間の関係性が考慮されていない。また、上記非特許文献２に開示されている技術は、学習の際の教師データとして画像の状況を説明する説明文であるクエリが必要となる。また、上記非特許文献３に開示されている技術は、被写体の間の関係性を用いて被写体の認識を行うもので視線推定を行うものではない。

このため、上記非特許文献１〜３の技術では、画像に写る被写体間の関係性を考慮して画像に対する人の視線を推定することができない、という課題がある。

本発明は、上記事実を考慮し、画像に写る被写体間の関係性を考慮して画像に対する人の視線を推定することができる、視線推定装置を提供することを目的とする。

請求項１に記載の視線推定装置は、画像を取得する取得部と、前記取得部により取得された画像の特徴量を計算する特徴計算部と、前記取得部により取得された画像に写る複数の被写体を検出する物体検出部と、前記物体検出部により検出された複数の被写体の間の関係性を表す関係性情報を計算する関係性計算部と、画像の特徴量及び画像に写る複数の被写体の間の関係性を表す関係性情報から該画像に対する視線を推定するための学習済みモデルに対して、前記特徴計算部により計算された特徴量と、前記関係性計算部により計算された複数の被写体の間の前記関係性情報と、を入力することにより、前記取得部により取得された画像に対する視線を表す視線情報を推定する視線推定部と、を有する視線推定装置である。

視線推定装置の特徴計算部は、画像の特徴量を計算する。そして、物体検出部は、画像に写る複数の被写体を検出する。関係性計算部は、物体検出部により検出された複数の被写体の間の関係性を表す関係性情報を計算する。そして、視線推定部は、画像の特徴量及び画像に写る複数の被写体の間の関係性を表す関係性情報から該画像に対する視線を推定するための学習済みモデルに対して、特徴計算部により計算された特徴量と、関係性計算部により計算された複数の被写体の間の関係性情報とを入力することにより、画像に対する視線を表す視線情報を推定する。これにより、画像に写る被写体間の関係性を考慮して画像に対する人の視線を推定することができる。また、学習済みモデルを生成する際に複数の被写体の関係性が考慮されることにより、視線推定の精度が向上する。

なお、視線推定装置は、前記視線推定部により推定された前記視線情報を、目標視線として設定する目標視線設定部と、前記目標視線設定部により設定された前記目標視線を出力する出力部と、を更に有していてもよい。これにより、画像に写る複数の被写体の関係性を考慮して目標視線を設定することができる。例えば、運転中のドライバに対して、車両前方に存在する複数の被写体の関係性を考慮して目標視線を設定することができる。また、学習済みモデルを生成する際に複数の被写体の関係性が考慮されることにより、目標視線の設定精度が向上する。

また、前記関係性計算部は、前記取得部により取得された画像に写る複数の被写体の各々の間の位置関係を表すグラフであって、被写体をノードとし、被写体であるノード間の距離が重みとして表現されたグラフを生成し、複数の被写体の各々の間の位置関係を表すグラフであって、被写体をノードとし、被写体であるノード間の距離が重みとして表現されたグラフから複数の被写体の各々の間の位置関係を表す位置関係情報を出力するための予め学習されたグラフ畳み込みニューラルネットワークへ、前記取得部により取得された画像に写る複数の被写体に応じて生成された前記グラフを入力することにより、前記関係性情報を計算する、ようにしてもよい。これにより、画像に写る複数の被写体の間の位置関係を考慮して視線を推定することができる。

また、前記関係性計算部は、複数の被写体の各々の共起関係を表す情報として、被写体が存在している確率を表す確率マップを生成し、被写体が存在している確率を表す確率マップから共起関係を表す共起関係情報を出力するための予め学習されたニューラルネットワークへ、前記取得部により取得された画像に写る複数の被写体に応じて生成された前記確率マップを入力することにより、前記関係性情報を計算する、ようにしてもよい。これにより、画像に写る複数の被写体の間の共起関係を考慮して視線を推定することができる。

また、学習装置は、学習用の画像の特徴量と、当該学習用の画像に写る複数の被写体の間の関係性を表す情報と、当該学習用の画像に対する視線を表す情報とが対応付けられた学習用データに基づいて、画像の特徴量及び画像に写る複数の被写体の間の関係性を表す情報から該画像に対する視線を推定するための学習済みモデルを生成する学習部を有する学習装置である。学習装置により、画像に写る被写体間の関係性を考慮して画像に対する人の視線を推定するための学習済みモデルを得ることができる。

以上説明したように本発明によれば、画像に写る被写体間の関係性を考慮して画像に対する人の視線を推定することができる、という効果がある。

実施形態に係る視線推定システムの概略ブロック図である。本実施形態の視線推定を説明するための図である。本実施形態の被写体の位置関係を説明するための図である。本実施形態の学習用データを説明するための図である。視線推定システムを構成する各装置のコンピュータの構成例を示す図である。本実施形態に係る学習装置によって実行される学習処理の一例を示す図である。本実施形態に係る視線推定装置によって実行される視線推定処理の一例を示す図である。本実施形態の被写体の共起関係を説明するための図である。

以下、図面を用いて本実施形態の視線推定システムについて説明する。

図１は、実施形態に係る視線推定システム１０の構成の一例を示すブロック図である。視線推定システム１０は、図１に示されるように、視線推定装置１２と、学習装置１４と、表示装置１５とを備える。視線推定装置１２と学習装置１４とは所定の通信手段によって接続されている。

（視線推定装置１２）

図１に示されるように、視線推定装置１２は、学習済みモデル記憶部１６と、データ取得部１８と、特徴計算部２０と、物体領域計算部２２と、統合部２４と、視線推定部２６と、出力部３０とを備えている。データ取得部１８は、本発明の取得部の一例である。

学習済みモデル記憶部１６には、画像から当該画像に向けられている人の視線を推定する際に用いる複数の学習済みニューラルネットワークが格納されている。例えば、視線推定用の学習済みニューラルネットワーク、複数の被写体の関係性を計算するための学習済みニューラルネットワーク、及び画像から特徴量の候補を計算するための学習済みニューラルネットワーク等が格納される。この複数の学習済みニューラルネットワークについては、各箇所において後述する。

データ取得部１８は、視線を推定する対象の画像を取得する。

特徴計算部２０は、データ取得部１８により取得された画像の特徴量を計算する。特徴計算部２０は、特徴候補計算部３２と、特徴選択部３４と、特徴出力部３６とを備えている。

特徴候補計算部３２は、データ取得部１８により取得された画像の特徴量の候補を計算する。例えば、特徴候補計算部３２は、既知の技術であるVGG又はResNet等の特徴量候補計算用の学習済みのニューラルネットワークへ、データ取得部１８により取得された画像を入力して当該画像の特徴量の候補を計算する。この場合、特徴候補計算部３２は、学習済みモデル記憶部１６に格納されている、画像から画像の特徴量の候補を出力するための特徴量候補計算用学習済みニューラルネットワーク（例えば、上述のVGG又はResNet等）を読み出し、当該学習済みニューラルネットワークへ画像を入力する。なお、VGG及びResNetは、以下の参考文献に開示されている。

参考文献（VGGが開示されている文献）：Simonyan and Zisserman, "Very deep convolutional networks for large scale image recognition", (ICLR2015)
参考文献（ResNetが開示されている文献）：He, Zhang, Ren and Sun, "Deep residual learning for image recognition" , (arXiv2015)

なお、特徴候補計算部３２は、特徴量候補計算用の学習済みのニューラルネットワークによって特徴量を計算する場合、特徴量候補計算用の学習済みのニューラルネットワークの最終的な出力のみでなく、ニューラルネットワークの中間層からの出力値を用いる。

特徴選択部３４は、特徴候補計算部３２により計算された特徴量の候補から、後述する視線推定において用いる対象の特徴量を選択する。特徴候補計算部３２において特徴量候補計算用の学習済みのニューラルネットワークの中間層からの出力値も用いる場合、どの中間層の出力値を用いるかを選択する必要がある。このため、特徴選択部３４は、特徴候補計算部３２により計算された特徴量の候補から、視線推定において用いる対象の特徴量を選択する。なお、特徴選択部３４は、特徴量の選択を行う際に、例えば、事前に予め設定された中間層からの出力値を、視線推定に用いる特徴量として選択する。または、特徴選択部３４は、例えば、中間層からの出力値に応じて、選択する対象の中間層を変更するようにしてもよい。特徴選択部３４によって得られる情報は、例えば、１次元ベクトル、２次元行列、又は３次元行列である。

特徴出力部３６は、特徴選択部３４によって選択された特徴量を、後述する各処理において処理可能な形式へ変換する。特徴選択部３４により選択された特徴量は、そのままでは一般的には後続の処理を施すことができないことが多い。そのため、特徴出力部３６は、特徴選択部３４により選択された特徴量を、後続の処理が可能な形へと変換する。例えば、特徴出力部３６は、特徴量の拡大させる必要がある場合は、特徴選択部３４により選択された特徴量を所定の方法により補間して、後述する各処理において処理可能な形式へ変換する。

物体領域計算部２２は、データ取得部１８により取得された画像に写る複数の被写体を検出し、複数の被写体の間の関係性を計算する。物体領域計算部２２は、物体検出部３８と、関係性計算部４０と、物体出力部４２とを備えている。

物体検出部３８は、データ取得部１８により取得された画像に写る複数の被写体を検出する。例えば、物体検出部３８は、被写体を検出する既知のアルゴリズムを用いて、画像に写る複数の被写体を検出する。物体検出部３８は、被写体の検出のアルゴリズムとして、例えば、以下の参考文献に示されるSSD又はFasterCNNを用いる。例えば、物体検出部３８は、画像のどのあたりに被写体が存在しているかを表すグレースケールの確率マップを結果として出力する。または、物体検出部３８は、被写体が存在する範囲を矩形で背景と異なる色でくり抜いた画像を結果として出力する。

参考文献（SSDが開示されている文献）：Liu, Anguelov , Erhan , Szegedy , Reed, Fu and Berg, SSD: Single Shot MultiBox Detector, (ECCV2016)
参考文献（Faster CNNが開示されている文献）：Ren, He, Girshick and Sun , "Faster R CNN : Towards Real Time Object Detection with Region Proposal Networks", (arXiv2015)

視線推定においては、画像に写る被写体間の関係性が重要と考えられる。例えば、自動車を運転している最中のドライバは、基本的に前方車両へ視線を向ける。しかし、図２に示されるように、前方に道路を渡ろうとしている人が存在している場合、ドライバは、前方車両よりも人に対して視線を向ける可能性がある。また、走路に信号が存在する場合は、ドライバは、前方車両と信号との両方に注意を向けると考えられ、信号と前方車両との中間地点へ視線を向ける可能性がある。

そこで、本実施形態では、画像に写る複数の被写体間の関係性を考慮して画像に対し向けられる人の視線を推定する。

なお、画像に写る被写体の間の関係性に関する技術としては、上記非特許文献２が知られている。上記非特許文献２に開示されている技術は、画像又は動画に写る被写体の関係性を推定する技術であるが、ニューラルネットワークを学習する際に教師データとして画像の状況を説明する説明文であるクエリが必要となる。例えば、机の上にリンゴが乗っている状況が写っている画像に対しては、「Apple on desk」といった｛単語、前置詞又は動詞、単語｝といった組合せを表す教師データが必要である。

また、視線推定の結果の解釈性も重要である。特に被写体間の関係性がどのように視線推定に影響を及ぼしたのかを遡れることは、視線推定モデルを実用化するにあたって欠かせない要素である。しかしながら、従来提案されてきた視線推定モデルはいずれも解釈性が低い。

なお、以下に示す参考文献には、被写体の間の関係性を取り込みつつ物体認識の精度向上を試みた技術が開示されている。しかし、この技術は、位置関係を抽出できる理由が不明確である上に計算の負荷が大きい。

参考文献：Few shot learning by exploiting object relation (ICLR open review 2019)

また、視線推定の多くの手法が、画像又は動画を入力、視線推定結果を出力とするような end to end な手法で行っているため、結果の解釈性を得ることは難しい。

そのため、本実施形態では、被写体の間の関係性を表す情報を明示的にニューラルネットワークに入力する。これにより、被写体の間の関係性をより強く結果に反映させることができる。

また、被写体の間の関係性の計算処理は、画像の特徴量の計算とは独立に計算できる。このため、全体の計算時間を増加させずに、被写体の間の関係性の計算を行うことが可能である。加えて、視線推定を行うためのニューラルネットワークへ明示的に入力された被写体の間の関係性を表す情報と、当該ニューラルネットワークから出力された視線推定結果とを見比べることができる。これにより、視線推定の解釈性を向上させることができる。また、後述するように、本実施形態では、学習に当たってクエリのような付加情報は要さない。

以下、具体的に説明する。

本実施形態の関係性計算部４０は、物体検出部３８により検出された複数の被写体の間の関係性を表す関係性情報を計算する。

具体的には、まず、関係性計算部４０は、物体検出部３８により検出された複数の被写体の各々の間の位置関係を表すグラフを生成する。このグラフは、例えば、被写体をノードとし、被写体であるノード間の距離が重みとして表現されたグラフである。図３に、本実施形態のグラフを説明するための図を示す。図３に示されるように、複数の被写体の各々として、人物１と車両２とが画像に写っている場合、人物１及び車両２がノードとして設定される。また、人物１と車両２との間の距離に応じた重みが、人物１と車両２との間の位置関係を表す情報として表現される。なお、複数の被写体の各々の間の位置関係を表すグラフは、例えば、複数の被写体の間の距離に応じた重みを要素として持つ２次元行列として表現される。

次に、関係性計算部４０は、複数の被写体の各々の間の位置関係を表すグラフを、複数の被写体の各々の間の関係性情報を計算するための予め学習されたグラフ畳み込みニューラルネットワークへ入力することにより、複数の被写体の各々の間の関係性情報を計算する。予め学習された関係性情報計算用のグラフ畳み込みニューラルネットワークは、被写体であるノード間の距離Ｄが重みとして表現されたグラフから複数の被写体の各々の間の位置関係を表す位置関係情報を出力するためのモデルである。この場合、関係性計算部４０は、生成したグラフを、関係性情報計算用のグラフ畳み込みニューラルネットワークに入力した際に得られる出力又は中間層からの出力値を、関係性情報として用いる。

なお、予め学習された関係性情報計算用のグラフ畳み込みニューラルネットワークは、学習済みモデル記憶部１６に格納されているため、関係性計算部４０は、学習済みモデル記憶部１６から関係性情報計算用の学習済みのグラフ畳み込みニューラルネットワークを読み出し、当該グラフ畳み込みニューラルネットワークへ、複数の被写体の各々の間の位置関係を表すグラフを入力する。関係性計算部４０によって得られる関係性情報は、例えば、１次元ベクトル、２次元行列、又は３次元行列である。

物体出力部４２は、関係性計算部４０によって得られた関係性情報を、後述する各処理において処理可能な形式へ変換する。例えば、物体出力部４２は、関係性情報の拡大させる必要がある場合は、関係性計算部４０により得られた関係性情報を所定の方法により補間して、後述する各処理において処理可能な形式へ変換する。

統合部２４は、特徴出力部３６から出力された変換済みの特徴量と、物体出力部４２から出力された変換済みの関係性情報とを統合する。例えば、統合部２４は、変換済みの特徴量である３次元行列と変換済みの関係性情報である３次元行列とをチャネル方向に足し合わせて、新たな３次元行列を生成する。

視線推定部２６は、画像の特徴量及び画像に写る複数の被写体の間の関係性を表す関係性情報から該画像に対する視線を推定するための視線推定用の学習済みニューラルネットワークに対して、統合部２４により統合された特徴量及び関係性情報を入力することにより、データ取得部１８により取得された画像に対する視線を表す視線情報を推定する。

視線推定用の学習済みニューラルネットワークから出力される視線情報は、例えば、人がその部分に注目している確率が画素値として表現された画像が、視線情報として視線推定用の学習済みニューラルネットワークから出力される。なお、視線推定用の学習済みニューラルネットワークとしては、例えば、既知のニューラルネットワークであるdilated CNNのような大域的な情報を活用しやすいニューラルネットワークを用いることができる。これにより、物体領域計算部２２で計算された特徴量を反映させることができる。

なお、視線推定用の学習済みニューラルネットワークは、画像の特徴量及び画像に写る複数の被写体の間の関係性を表す関係性情報から該画像に対する視線を推定するための学習済みモデルの一例である。

出力部３０は、視線推定部２６により推定された視線情報を出力する。

表示装置１５には、出力部３０から出力された視線情報が出力される。

（学習装置１４）

学習装置１４は、学習用データ記憶部４４と、学習部４６と、学習済みモデル記憶部１６と、を備えている。

学習用データ記憶部４４には、学習用の画像の特徴量と、当該学習用の画像に写る複数の被写体の間の関係性を表す情報と、当該学習用の画像に対する視線を表す情報とが対応付けられた複数の学習用データが格納されている。

例えば、学習用データ記憶部４４には、図４に示されるように、画像とその画像に対する人の視線推定結果とが対応付けられて学習用データとして格納される。画像は、例えば、車両に搭載されたカメラによって撮像された画像である。また、視線推定結果は、画像に対する人の視線推定結果である。視線推定結果は、例えば、視線が向けられている部分の画素値が高く、視線が向けられていない部分の画素値が低いような画像データとして設定される。例えば、熟練のドライバの視線推定結果を含む学習用データを用いて視線推定用の学習済みニューラルネットワークを生成し、その視線推定用の学習済みニューラルネットワークへ画像を入力すると、熟練のドライバの視線を推定することができる。

学習部４６は、学習用データ記憶部４４に格納された複数の学習用データに基づいて、画像の特徴量及び画像に写る複数の被写体の間の関係性を表す情報から該画像に対する視線を推定するための視線推定用の学習済みニューラルネットワークを生成する。なお、学習部４６は、学習用データ記憶部４４に格納された複数の学習用データに基づいて、視線推定装置１２において用いられる各ニューラルネットワークも学習させる。例えば、学習部４６は、特徴候補計算部３２において用いられる特徴量候補計算用のニューラルネットワーク、及び関係性計算部４０において用いられる関係性情報計算用のグラフ畳み込みニューラルネットワークも、視線推定用のニューラルネットワークを学習させる際に併せて学習させる。

学習済みモデル記憶部４８には、学習部４６により生成された視線推定用の学習済みニューラルネットワークを含む各種のニューラルネットワークが格納される。

視線推定装置１２及び学習装置１４は、例えば、図５に示すようなコンピュータ５０によって実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、入出力装置等（図示省略）が接続される入出力interface（Ｉ／Ｆ）５４、及び記録媒体５９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。

記憶部５３は、Hard Disk Drive（ＨＤＤ）、solid state drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を機能させるためのプログラムが記憶されている。ＣＰＵ５１は、プログラムを記憶部５３から読み出してメモリ５２に展開し、プログラムが有するプロセスを順次実行する。

次に、実施形態の視線推定システム１０の作用について説明する。

学習装置１４の学習用データ記憶部４４に複数の学習用データが格納され、学習装置１４が学習処理の指示信号を受け付けると、学習装置１４は、図６に示される学習処理ルーチンを実行する。

ステップＳ１００において、学習部４６は、学習用データ記憶部４４に格納された複数の学習用データを取得する。

ステップＳ１０２において、学習部４６は、上記ステップＳ１００で取得された複数の学習用データに基づいて、既知の学習アルゴリズムを用いて、視線推定用の学習モデルである視線推定用ニューラルネットワークを学習させ、視線推定用の学習済みニューラルネットワークを生成する。なお、学習部４６は、他のニューラルネットワークも既知の学習アルゴリズムを用いて学習させる。

ステップＳ１０４において、学習部４６は、上記ステップＳ１０２で生成されたが視線推定用の学習済みニューラルネットワークを含む各ニューラルネットワークを学習済みモデル記憶部１６へ格納して、学習処理ルーチンを終了する。

学習装置１４によって、各モデルの学習が終了すると、それらの各モデルが視線推定装置１２の学習済みモデル記憶部１６へ格納される。

そして、視線推定対象の画像が視線推定装置１２へ入力されると、視線推定装置１２は、図７に示す視線推定処理ルーチンを実行する。

ステップＳ２００において、データ取得部１８は、視線を推定する対象の画像を取得する。

ステップＳ２０２において、特徴候補計算部３２は、学習済みモデル記憶部１６に格納された特徴量候補計算用の学習済みのニューラルネットワークを用いて、上記ステップＳ２００で取得された画像の特徴量の候補を計算する。

ステップＳ２０４において、特徴選択部３４は、上記ステップＳ２０２で計算された特徴量の候補から、後述する視線推定において用いる対象の特徴量を選択する。

ステップＳ２０５において、特徴出力部３６は、上記ステップＳ２０８で選択された特徴量を、後述する各処理において処理可能な形式へ変換する。そして、特徴出力部３６は、変換済みの特徴量を出力する。

ステップＳ２０６において、物体検出部３８は、上記ステップＳ１００で取得された画像に写る複数の被写体を検出する。

ステップＳ２０８において、関係性計算部４０は、上記ステップＳ２００で検出された複数の被写体の各々の間の位置関係を表すグラフを生成する。そして、関係性計算部４０は、生成したグラフを、学習済みモデル記憶部１６に格納された関係性情報計算用の学習済みのグラフ畳み込みニューラルネットワークへ入力することにより、複数の被写体の各々の間の関係性情報を計算する。

ステップＳ２０９において、物体出力部４２は、上記ステップＳ２０８で得られた関係性情報を、後述する各処理において処理可能な形式へ変換する。そして、物体出力部４２は、変換済みの関係性情報を出力する。

ステップＳ２１０において、統合部２４は、上記ステップＳ２０５で出力された変換済みの特徴量と、上記ステップＳ２０９で出力された変換済みの関係性情報とを統合する。

ステップＳ２１２において、視線推定部２６は、学習済みモデル記憶部１６に格納された視線推定用の学習済みニューラルネットワークに対して、上記ステップＳ２１０で統合された特徴量及び関係性情報を入力することにより、上記ステップＳ２００で取得された画像に対する視線を表す視線情報を推定する。

ステップＳ２１４において、出力部３０は、上記ステップＳ２１２で推定された視線情報を出力して、視線推定処理ルーチンを終了する。

以上説明したように、本実施形態に係る視線推定装置１２は、複数の被写体の間の関係性を表す関係性情報を計算し、画像の特徴量及び画像に写る複数の被写体の間の関係性を表す関係性情報から該画像に対する視線を推定するための学習済みモデルとしての視線推定用の学習済みニューラルネットワークに対して、特徴計算部により計算された特徴量と、関係性計算部により計算された複数の被写体の間の関係性情報とを入力することにより、画像に対する視線を表す視線情報を推定する。これにより、画像に写る被写体間の関係性を考慮して画像に対する人の視線を推定することができる。

また、本実施形態に係る学習装置１４は、学習用の画像の特徴量と、当該学習用の画像に写る複数の被写体の間の関係性を表す情報と、当該学習用の画像に対する視線を表す情報とが対応付けられた学習用データに基づいて、画像の特徴量及び画像に写る複数の被写体の間の関係性を表す情報から該画像に対する視線を推定するための学習済みモデルである視線推定用の学習済みニューラルネットワークを生成する。これにより、画像に写る被写体間の関係性を考慮して画像に対する人の視線を推定するための学習済みモデルを得ることができる。

なお、本実施形態に係る視線推定システムの利用方法としては、例えば、車両を運転するドライバに対する目標視線の設定が挙げられる。この場合には、視線推定装置１２は、視線推定部２６により推定された視線情報を、目標視線として設定する目標視線設定部（図示省略）を更に備え、出力部３０は、目標視線設定部により設定された目標視線を出力する。

そして、この視線推定装置１２は、車両が走行しているときに車両の前方を撮像する車外カメラによって撮像された画像を、視線推定用の学習済みニューラルネットワークへ入力し視線情報を推定する。次に、視線推定装置１２は、推定された視線情報を目標視線として設定し、別途、ドライバカメラによって撮像されたドライバの現在視線を既存の手法により検出する。

そして、視線推定装置１２では、目標視線と現在視線との間のずれが所定の閾値以上である場合に、ドライバに対して警報を鳴らす処理を実行する。これにより、運転中のドライバに対して、車両前方に存在する複数の被写体の関係性を考慮して目標視線を設定することができる。

なお、本実施形態の視線推定システム１０は、例えば、熟練のドライバの視線推定結果を含む学習用データを用いると、熟練のドライバの視線推定結果が得られる視線推定用の学習済みニューラルネットワークが生成される。この視線推定用の学習済みニューラルネットワークを用いて目標視線を設定し、初心者のドライバに対して目標視線を提示することにより、初心者のドライバに対する訓練を行うことができる。

また、本実施形態によれば、視線推定結果の解釈性を高めることができる。具体的には、ある視線推定結果が得られたときの関係性情報を参照することにより、その視線推定結果が得られたときに複数の被写体の関係性がどのようであったかを確認することができ、視線推定結果の解釈性を高めることができる。更に、例えば、複数の被写体の関係性のうちのある被写体を削除して、再度、視線推定用の学習済みニューラルネットワークへ入力し、視線推定結果がどのように変化するのかを確認することにより、視線推定結果の解釈を得ることができる。

なお、上記の実施形態における各装置で行われる処理は、プログラムを実行することにより行われるソフトウエア処理として説明したが、ハードウエアで行う処理としてもよい。或いは、ソフトウエア及びハードウエアの双方を組み合わせた処理としてもよい。また、ＲＯＭに記憶されるプログラムは、各種記憶媒体に記憶して流通させるようにしてもよい。

さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

例えば、上記実施形態の関係性計算部４０は、物体検出部３８により検出された複数の被写体の各々の間の位置関係を表すグラフを生成し、予め学習されたグラフ畳み込みニューラルネットワークへ当該グラフを入力することにより、複数の被写体の各々の間の関係性情報を計算する場合を例に説明したが、これに限定されるものではない。

例えば、関係性計算部４０は、複数の被写体の各々の共起関係を表す情報として、被写体が存在している確率を表す確率マップを生成する。そして、関係性計算部４０は、被写体が存在している確率を表す確率マップから共起関係を表す共起関係情報を出力するための予め学習されたニューラルネットワークへ、当該確率マップを入力することにより、関係性情報を計算するようにしてもよい。これにより、画像に写る複数の被写体の間の共起関係を考慮して視線を推定することができる。

例えば、図８に示されるように、被写体間の距離は考慮せずに、単に人物１と車両２とが共に存在している場合を考える。この場合には、関係性計算部４０は、人物１と車両２とが存在していることを表す共起関係を表す情報として、人物１が存在している領域を表す確率マップと、車両２が存在している領域を表す確率マップとを生成し、それらを予め学習された関係性情報計算用の学習済みニューラルネットワークへ入力し、関係性情報を計算する。

また、例えば、上記のニューラルネットワーク等の各モデルとしては、どのようなモデルを採用してもよい。

１０視線推定システム
１２視線推定装置
１４学習装置
１５表示装置
１６学習済みモデル記憶部
１８データ取得部
２０特徴計算部
２２物体領域計算部
２４統合部
２６視線推定部
３０出力部
３２特徴候補計算部
３４特徴選択部
３６特徴出力部
３８物体検出部
４０関係性計算部
４２物体出力部
４４学習用データ記憶部
４６学習部
４８学習済みモデル記憶部
５０コンピュータ

Claims

画像を取得する取得部と、
前記取得部により取得された画像の特徴量を計算する特徴計算部と、
前記取得部により取得された画像に写る複数の被写体を検出する物体検出部と、
前記物体検出部により検出された複数の被写体の間の関係性を表す関係性情報を計算する関係性計算部と、
画像の特徴量及び画像に写る複数の被写体の間の関係性を表す関係性情報から該画像に対する視線を推定するための学習済みモデルに対して、前記特徴計算部により計算された特徴量と、前記関係性計算部により計算された複数の被写体の間の前記関係性情報と、を入力することにより、前記取得部により取得された画像に対する視線を表す視線情報を推定する視線推定部と、
を有する視線推定装置。