JP2019003312A

JP2019003312A - 注視対象物推定装置、注視対象物推定方法、およびプログラム

Info

Publication number: JP2019003312A
Application number: JP2017115785A
Authority: JP
Inventors: 伸洋水野; Nobuhiro Mizuno; 顕吉澤; Akira Yoshizawa; 石川　貴洋; Takahiro Ishikawa; 貴洋石川; 哲洋林; Tetsuhiro Hayashi
Original assignee: Denso Corp; Denso IT Laboratory Inc
Current assignee: Denso Corp; Denso IT Laboratory Inc
Priority date: 2017-06-13
Filing date: 2017-06-13
Publication date: 2019-01-10
Anticipated expiration: 2037-06-13
Also published as: JP6770488B2

Abstract

【課題】運転者の視線に基づいて、適切に注視対象物を判別する注視対象物推定装置を提供する。
【解決手段】注視対象物推定装置１は、運転者を撮影するカメラ１０と、カメラ１０にて撮影した映像から運転者の視線を逐次検出する視線検出部１３と、運転者の視線の方向、及び、その移動履歴を入力とし、注視対象物を出力とするモデルを記憶したモデル記憶部１１と、視線検出部１３にて検出した視線の方向及び移動履歴をモデルに適用して、運転者が注視した注視対象物を求める注視対象物決定部１４とを備える。
【選択図】図１

Description

本発明は、注視対象物推定装置、注視対象物推定方法、およびプログラムに関する。

従来から、自動車の運転中に、運転者の視線を利用して、運転を支援する情報の提供や車載機器の操作等を行う技術の研究・開発が行われている。視線を利用した情報提供や操作支援等を行うためには、運転中に運転者が注視した物を特定することが必要である。従来の研究・開発では、車載カメラを用いて運転者の視線を検出し、その視線から、運転者が注視した対象物（例えば、カーナビ、ルームミラー、メータ等）を推定する。

特許文献１及び非特許文献１は、車載視線計測システムにおいて自動較正を行う方法の発明を開示している。この発明では、運転中の車線変更の際のミラー注視時の視線を推定することによって較正を行う。これにより、運転前に較正作業を省き、ユーザの負担を軽減する。

特開２０１０−２９２６２号公報

山城賢二他「注視対象の位置関係を利用した車載視点計測システム自動較正の高度化」電子情報通信学会論文誌. D, 情報・システムJ92-D(8), 1308-1316, 2009-08-01

上記したような従来の技術では、撮影画像から求めた運転者の視線の方向と注視対象物とが一対一に対応しないことがあった。図６は、このような従来技術の課題を示す図である。図６は、運転者から見て、所定の角度範囲内にウィンドウシールドＡとメータＢがある状態を示している。運転者の視線がウィンドウシールドＡの角度範囲内にあるときはウィンドウシールドＡを注視し、視線がメータＢの角度範囲内にあるときにはメータＢを注視していると判断できれば理想的であるが、実際には、図６に示すように、ウィンドウシールドＡを注視しているときの注視領域２０とメータＢを注視しているときの注視領域２１が重なって、その重なり部分２２ではいずれを注視しているかを検出できないことがあった。

本発明は、上記背景に鑑み、運転者の視線に基づいて、適切に注視対象物を判別する注視対象物推定装置を提供することを目的とする。

本発明の注視対象物推定装置は、運転者を撮影するカメラと、前記カメラにて撮影した映像から前記運転者の視線を逐次検出する視線検出部と、前記運転者の視線の方向、及び、その移動履歴を入力とし、注視対象物を出力とするモデルを記憶した記憶部と、前記視線検出部にて検出した視線の方向及び前記移動履歴を前記モデルに適用して、前記運転者が注視した注視対象物を求める注視対象物決定部とを備える。

本発明者らは、運転者の視線から注視対象物を適切に求める技術について鋭意研究を行い、走行中に、注視対象物の間を移動する運転者の視線の動きはランダムではないことを突き止めた。図７は、車載機器間における視線の移動の履歴を示す図である。図７（ａ）は、本発明者らが行った実験において注視対象物として定義した車載機器や方向を示す図である。例えば、「Ａ」はウィンドウシールドであり、「Ｂ」はメータである。図７（ｂ）は、注視対象物の間の視線移動を示す図であり、移動元（source）の注視対象物から、移動先（destination）の注視対象物に視線が移動した割合を示す。例えば、ウィンドウシールド（Ａ）以外の注視対象物を移動先（destination）とする場合には、ウィンドウシールド（Ａ）から視線が移動することが多いことが分かる。逆に、ウィンドウシールドを移動先（destination）とする視線の移動は、色々な注視対象物から移動していることが分かる。本発明者らは、この知見に基づき、運転者の視線の方向に加えて、視線の移動履歴を用いて、注視対象物を精度良く推定する本発明を完成させた。

本発明の注視対象物推定装置において、前記モデルは、前記運転者の視線の方向、及び、前記移動履歴に加え、前記運転者の顔向きを入力とするモデルであってもよい。このように運転者の顔向きの情報を用いることにより、注視対象物を精度良く求めることができる。

本発明の注視対象物推定装置において、前記注視対象物決定部は、前記視線の移動速度に応じて、視線の固視微動と視線の跳躍運動とを検出し、（１）現在運転者の視線が固視微動をしている位置に対して視線が跳躍運動をした方向、（２）前記跳躍運動をする前の固視微動の位置、（３）前記跳躍運動をする前の固視微動において注視していた対象物、のいずれかを前記移動履歴として用いて、前記注視対象物を求めてもよい。また、上記（１）（２）（３）のいずれか２つ又は全部の組合せを前記移動履歴として用いて、前記注視対象物を求めてもよい。この構成により、運転者の視線の移動履歴を適切に求めることができる。

本発明の注視対象物推定方法は、車両に搭載されたカメラにて撮影された映像から運転者の視線を逐次検出するステップと、記憶部から、前記運転者の視線の方向、及び、その移動履歴を入力とし、注視対象物を出力とするモデルを読み出すステップと、前記映像から検出した視線の方向及び前記移動履歴を前記モデルに適用して、前記運転者が注視した注視対象物を求めるステップとを備える。

本発明のプログラムは、車両に搭載されたカメラにて撮影された映像に基づいて運転者が注視している対象物を推定するためのプログラムであって、コンピュータに、前記映像から前記運転者の視線を逐次検出するステップと、記憶部から、前記運転者の視線の方向、及び、その移動履歴を入力とし、注視対象物を出力とするモデルを読み出すステップと、前記映像から検出した視線の方向及び前記移動履歴を前記モデルに適用して、前記運転者が注視した注視対象物を求めるステップとを実行させる。

本発明によれば、運転者の視線に基づいて注視対象物を精度良く求めることができる。

実施の形態の注視対象物推定装置の構成を示す図である。視線検出部によって検出された視線データの例を示す図である。モデル記憶部に記憶されているモデルの例を示す図である。実施の形態の注視対象物推定装置の動作を示すフローチャートである。運転者の視線および顔向きに基づいて注視対象物を求めるためのベイジアンネットのモデルの構造を示す図である。従来技術の課題を示す図である。車載機器間における視線の移動の履歴を示す図である。

以下、本発明の実施の形態の注視対象物推定装置について図面を参照して説明する。図１は、実施の形態の注視対象物推定装置１の構成を示す図である。注視対象物推定装置１は、車両に搭載して用いられ、運転中の運転者の視線から注視対象物を推定する。

注視対象物推定装置１は、運転者を撮影するカメラ１０と、撮影された画像に基づいて注視対象物を求める演算を行う制御部１２と、求めた注視対象物の情報を出力する出力部１５とを有している。出力部１５は、車両に搭載された車載機器や、運転者に注意を促す警報装置に接続されている。注視対象物の情報に基づいて、車載機器の制御を行なったり、警報装置から警報を発したりする。

カメラ１０は、例えば、ダッシュボードに取り付けられる。カメラ１０は、１台でもよいし、複数台であってもよい。カメラ１０にて撮影された映像は、逐次、制御部１２に入力される。

制御部１２は、視線検出部１３と、注視対象物決定部１４を有している。視線検出部１３は、映像に映る運転者の眼球の動きからドライバの視線を求める。視線検出部１３は、視線を逐次（例えば、１秒間に６０回）検出する。これにより、視線の移動履歴を把握することができる。

図２は、視線検出部１３によって検出された視線データの例を示す図である。縦軸は視線の角度を表し、横軸は時刻を表している。なお、視線の方向には、鉛直方向角度（ピッチ角）と、水平方向角度（ヨー角）とがあるが、ここでは、簡単のため、鉛直方向角度（ピッチ角）のみを示している。以下、図２を参照して説明する際には、ピッチ角のみに言及し、ヨー角についての説明を省略することがあるが、実際には、視線の方向は、ピッチ角とヨー角によって規定される。

視線のデータは、視線の移動速度によって、次のように分類できる。
（１）固視微動・・・移動速度が０〜３００°／秒の視線移動
（２）跳躍運動（サッカード）・・・移動速度が３００〜６００°／秒の視線移動
（３）振動ノイズ・・・移動速度が６００°／秒〜の視線移動
固視微動は、運転者が視線をあまり動かしていない状態であり、このときに運転者が注視行動をとっていると判断される。跳躍運動は、視線の動きが大きい場合であり、ある方向への固視微動から別の方向への固視微動へと移行する際に見られる視線の動きである。なお、ここで示した視線の移動速度の具体的な数値範囲は一例であり、「固視微動」「跳躍運動」「振動ノイズ」を分類する数値範囲は、システムの開発者・運用者が適宜設定してよい。

図２に示す例では、時刻ｔ０から時刻ｔ１までの期間Ｄ１では角度Ｐ２への固視微動、時刻ｔ１から時刻ｔ２までの期間Ｄ２では跳躍運動、時刻ｔ２以降の期間Ｄ３では角度Ｐ１における固視微動を行っている。期間Ｄ１及び期間Ｄ３において、運転者は注視行動をとっている。

注視対象物決定部１４は、視線の方向及びその移動履歴に基づいて注視対象物を決定する。ここで、移動履歴は、運転者の視線が現在の視線の方向に向けられるに至る移動方向である。図２に示す例で説明すると、期間Ｄ３に角度Ｐ１への固視微動を行っているが、この角度方向への固視微動がなされるに至るまでの視線の移動方向は、期間Ｄ２における跳躍移動の移動方向である。

跳躍移動の移動方向を求める方法としては、時刻ｔ１における視線の方向と時刻ｔ２における視線の方向から求めてもよいし、時刻ｔ２から振動ノイズが検出される時刻ｔｎ（ｔｎ＞ｔ１）まで遡って、時刻ｔｎと時刻ｔ２における視線の方向から、視線の移動方向を求めてもよい。また、別の方法として、時刻ｔ２の視線の方向とその一つ前（例えば１／６０秒前）にサンプリングした視線の方向から、視線の移動方向を求めてもよい。視線の移動方向を表す角度αは、視線がピッチ角Ｐ１、ヨー角Ｙ１の位置から、ピッチ角Ｐ２、ヨー角Ｙ２の位置に移動したとき、下記式（１）で求められる。

注視対象物決定部１４は、モデル記憶部１１に記憶されているモデルを読み出し、視線の方向及びその移動履歴のデータをモデルに適用することによって、注視対象物を求める。図３は、モデル記憶部１１に記憶されているモデルの例を示す図である。モデル記憶部１１には、ベイジアンネットのモデルが記憶されている。

図３（ａ）に示すように、モデルは、入力ノードとして、視線の方向と移動履歴のノードを有しており、出力ノードとして注視対象物のノードを有している。図３（ｂ）は図３（ａ）に示す構造を有するベイジアンネットモデルの条件付き確率を示す条件付き確率表（CRT：Conditional Probability Table）である。例えば、視線が（ｐ１，ｙ１）で移動方向が２４０°〜３００°のときには、注視対象物がＡである確率は０．６５、注視対象物がＢである確率は０．２１である。ここで、ｐ１はピッチ角、ｙ１はヨー角を表している。視線の方向が同じ（ｐ１，ｙ１）であっても移動方向が１４０°〜２００°のときには、注視対象物がＡである確率は０．１４、注視対象物がＢである確率は０．７３である。このように、視線の方向と視線の移動履歴に基づいて注視対象物を求めることができる。このモデルは、視線の方向及びその移動履歴と、注視対象物との教師データを用いて学習を行うことによって求めることができる。

注視対象物決定部１４は、モデル記憶部１１から読み出したモデル（図３参照）に対して、検出した視線の方向及びその移動履歴を適用することによって、注視対象物を求める。視線の方向としては、注視対象物を求めたいタイミングでの視線のデータを適用する。移動履歴としては、注視対象物を求めたいタイミングでの視線の方向に視線が移動した履歴のデータを適用する。ここで、モデルに適用するデータについて図２を参照して説明する。

例えば、時刻ｔ３における注視対象物を求めたい場合、時刻ｔ３における視線の角度Ｐ１と、角度Ｐ１に視線が移動するに至るまでの視線の移動方向、すなわち、期間Ｄ２における跳躍運動の移動方向を入力としてモデルに適用する。例えば、時刻ｔ４における注視対象物を求めたい場合、時刻ｔ４における視線の角度Ｐ１と、角度Ｐ１に視線が移動するに至るまでの視線の移動方向、すなわち、期間Ｄ２における跳躍運動の移動方向を入力としてモデルに適用する。このように時刻ｔ３の場合も時刻ｔ４の場合も、移動履歴については同じデータが入力される。

以上に、注視対象物を推定するための制御部１２の機能について説明したが、制御部１２の機能は、電子制御ユニット（ＥＣＵ）にてプログラムを実行することによって実現される。このようなプログラムも本発明の範囲に含まれる。

図４は、実施の形態の注視対象物推定装置１の動作を示すフローチャートである。注視対象物推定装置１は、カメラ１０によって運転者を撮影し（Ｓ１０）、撮影された映像から運転者の視線を検出する（Ｓ１１）。ここでは、図２に示したように運転者の視線の経時的なデータを取得する。次に、注視対象物推定装置１は、視線の方向及びその移動履歴に基づいて注視対象物を決定し（Ｓ１２）、決定した注視対象物の情報を出力する（Ｓ１３）。

本実施の形態の注視対象物は、運転者の視線の方向のデータに加えて、視線の移動履歴のデータを用いて注視対象物を求めるので、高い精度で注視対象物を推定することができる。

以上、本発明の実施の形態の注視対象物推定装置について詳細に説明したが、本発明の注視対象物推定装置は、上記した実施の形態に限定されるものではない。本発明の注視対象物推定装置は、運転者の視線のデータに加えて、運転者の顔向きのデータを用いて、注視対象物を求めてもよい。図５は、運転者の視線および顔向きに基づいて注視対象物を求めるためのベイジアンネットのモデルの構造を示す図である。図５に示すように、入力ノードとして、視線の方向と視線の移動履歴のノードに加えて、顔向きのノードを有する。これら３つのノードが有向リンクによって注視対象物のノードに接続されている。カメラにて撮影した映像から運転者の顔向きを特定し、視線の方向、視線の移動履歴、顔向きに基づいて、注視対象物を推定することにより、注視対象物の推定の精度を高めることができる。

上記した実施の形態においては、移動履歴として、視線が固視微動を行っている現在の方向に至るときの視線の跳躍運動の方向のデータを用いたが、現在運転者の視線が固視微動をしている位置に対して、視線が跳躍運動をする前に固視微動を行っていた視線の方向を用いてもよい。また、視線が跳躍運動をする前の固視微動において運転者が注視していた対象物を移動履歴として用いてもよい。この構成により、図７における右サイド（Ｆ）および左サイド（Ｇ）の検知範囲内においては、視線の検知範囲外となることもあり得るが、そのような場合であっても、一つ前の注視対象物が右サイド（Ｆ）および左サイド（Ｇ）を注視していたという移動履歴に基づいて、現在の注視対象物が、例えばウィンドウシールド（Ａ）であると判断することができる。また、跳躍運動の方向、一つ前の固視微動の位置、およびその注視対象物のいずれか２つまたは全部を組み合わせて、移動履歴として用いてもよい。

また、本実施の形態においては、視線の方向、及び視線の移動履歴から注視対象を求めるためのモデルとしてベイジアンネットワークのモデルを用いる例を挙げたが、本発明の注視対象物推定装置で用いるモデルは、ベイジアンネットワークのモデルに限定されない。例えば、サポートベクターマシーン（ＳＶＭ）の認識モデルを用いてもよいし、ニューラルネットワークのモデルを用いてもよいし、隠れマルコフモデルを用いてもよい。

本発明は、運転中の運転者の視線に基づいて、運転者が注視している対象物を推定する装置として有用である。

１注視対象物推定装置
１０カメラ
１１モデル記憶部
１２制御部
１３視線検出部
１４注視対象物決定部
１５出力部

Claims

運転者を撮影するカメラと、
前記カメラにて撮影した映像から前記運転者の視線を逐次検出する視線検出部と、
前記運転者の視線の方向、及び、その移動履歴を入力とし、注視対象物を出力とするモデルを記憶した記憶部と、
前記視線検出部にて検出した視線の方向及び前記移動履歴を前記モデルに適用して、前記運転者が注視した注視対象物を求める注視対象物決定部と、
を備える注視対象物推定装置。
前記モデルは、前記運転者の視線の方向、及び、前記移動履歴に加え、前記運転者の顔向きを入力とするモデルである請求項１に記載の注視対象物推定装置。
前記注視対象物決定部は、前記視線の移動速度に応じて、視線の固視微動と視線の跳躍運動とを検出し、現在運転者の視線が固視微動をしている位置に対して視線が跳躍運動をした方向を前記移動履歴として用いて、前記注視対象物を求める請求項１または２に記載の注視対象物推定装置。
前記注視対象物決定部は、前記視線の移動速度に応じて、視線の固視微動と視線の跳躍運動とを検出し、現在運転者の視線が固視微動をしている位置に対して視線が跳躍運動をする前の固視微動の位置を前記移動履歴として用いて、前記注視対象物を求める請求項１または２に記載の注視対象物推定装置。
前記注視対象物決定部は、前記視線の移動速度に応じて、視線の固視微動と視線の跳躍運動とを検出し、現在運転者の視線が固視微動をしている位置に対して視線が跳躍運動をする前の固視微動において運転者が注視していた対象物を前記移動履歴として用いて、前記注視対象物を求める請求項１または２に記載の注視対象物推定装置。
前記注視対象物決定部は、前記視線の移動速度に応じて、視線の固視微動と視線の跳躍運動とを検出し、（１）現在運転者の視線が固視微動をしている位置に対して視線が跳躍運動をした方向、（２）前記跳躍運動をする前の固視微動の位置、（３）前記跳躍運動をする前の固視微動において注視していた対象物、のうちのいずれか２つまたは全部の組合せを前記移動履歴として用いて、前記注視対象物を求める請求項１または２に記載の注視対象物推定装置。
車両に搭載されたカメラにて撮影された映像から運転者の視線を逐次検出するステップと、
記憶部から、前記運転者の視線の方向、及び、その移動履歴を入力とし、注視対象物を出力とするモデルを読み出すステップと、
前記映像から検出した視線の方向及び前記移動履歴を前記モデルに適用して、前記運転者が注視した注視対象物を求めるステップと、
を備える注視対象物推定方法。
車両に搭載されたカメラにて撮影された映像に基づいて運転者が注視している対象物を推定するためのプログラムであって、コンピュータに、
前記映像から前記運転者の視線を逐次検出するステップと、
記憶部から、前記運転者の視線の方向、及び、その移動履歴を入力とし、注視対象物を出力とするモデルを読み出すステップと、
前記映像から検出した視線の方向及び前記移動履歴を前記モデルに適用して、前記運転者が注視した注視対象物を求めるステップと、
を実行させるプログラム。