JP2019101520A

JP2019101520A - 視認対象検知装置、視認対象検知方法、およびプログラム

Info

Publication number: JP2019101520A
Application number: JP2017228599A
Authority: JP
Inventors: 伸洋水野; Nobuhiro Mizuno; 顕吉澤; Akira Yoshizawa; 哲洋林; Tetsuhiro Hayashi
Original assignee: Denso Corp; Denso IT Laboratory Inc
Current assignee: Denso Corp; Denso IT Laboratory Inc
Priority date: 2017-11-29
Filing date: 2017-11-29
Publication date: 2019-06-24
Anticipated expiration: 2037-11-29
Also published as: JP7019394B2

Abstract

【課題】運転者が視認している対象を適切に検知できる視認対象検知装置を提供する。【解決手段】視認対象検知装置１は、運転者を撮影するカメラ１０と、カメラ１０にて撮影した画像から運転者の顔向きを検知する顔向き検知部１１と、カメラ１０にて撮影した画像から運転者の視線を検知する視線検知部１２と、視線または顔向きから運転者が視認している視認対象を推定する視認対象推定部１３と、視認対象推定部１３にて推定した視認対象を示す情報を出力する出力部１４とを備える。視認対象推定部１３は、視線検知部１２にて検知した視線の検知精度が所定の閾値以上の場合には、視線検知部１２にて検知した視線に基づいて視認対象の推定を行い、視線の検知精度が所定の閾値より小さい場合には、顔向き検知部１１にて検知した顔向きに基づいて視認対象の推定を行う。【選択図】図１

Description

本発明は、運転者が視認した対象を検知する技術に関する。

例えば、自動車の運転中に車線変更を行うとき等に、運転者が安全確認を行ったか判定する技術や、脇見運転を検知して警報を行う技術が知られている。特許文献１は、運転者の脇見状態の詳細に応じて適切な警報を行う脇見警報装置を開示している。この脇見警報装置は、運転者の注視又は脇見が視線方向のみに拠る状態か、顔向き方向に拠る状態かを判定し、顔向き状態に拠る場合には、脇見と判定するための時間を視線のみに拠る場合よりも長く設定する。

特開２０１１−１６４７１２号公報

上記した特許文献１に見られるように、運転者による視認状態を検知する方法として、カメラで撮影した画像から検知した運転者の顔向き、視線を用いることが知られていた。視線を用いて視認状態を検知する方法は、運転者が見ている方向を検知する精度は高いが、１台のカメラで視線を検知できる範囲が狭い。逆に、顔向きを用いて視認状態を検知する方法は、検知できる範囲が広いが、視認状態を検知する精度は低い。例えば、運転者がスピードメーターやバックミラーを見るときには、ほとんど顔を動かさず、目だけ動かすことが、これまでの発明者らの研究から分かった。また、同一の対象物を見る際にも、顔向きをどれだけ変化させるかは、個々人によって、あるいは状況によって差がある。

本発明は、上記背景に鑑み、運転者が視認している対象を適切に検知できる視認対象検知装置を提供することを目的とする。

本発明の視認対象検知装置は、運転者を撮影するカメラと、前記カメラにて撮影した画像から運転者の顔向きを検知する顔向き検知部と、前記カメラにて撮影した画像から運転者の視線を検知する視線検知部と、視線または顔向きから運転者が視認している視認対象を推定する視認対象推定部と、前記視認対象推定部にて推定した視認対象を示す情報を出力する出力部とを備え、前記視認対象推定部は、前記視線検知部にて検知した視線の検知精度が所定の閾値以上の場合には、前記視線検知部にて検知した視線に基づいて視認対象の推定を行い、前記視線の検知精度が所定の閾値より小さい場合には、前記顔向き検知部にて検知した顔向きに基づいて視認対象の推定を行う。

この構成により、運転者の視線の検知精度が高いときには視線にて視認対象の推定を行い、視線の検知精度が低いときには、運転者の顔向きにて視認対象の推定を行うので、推定精度の高さと検出できる範囲の広さの両立を図れる。

本発明の視認対象検知装置において、前記視認対象推定部は、顔向きと視線と視認対象とをノードとし、顔向きと視認対象、視線と視認対象の関係が確率伝搬で表現されたネットワークのモデルを記憶部から読み出し、顔向きから視認対象を推定する場合には、視線のノードにはエビデンスを入力せず、顔向きのノードに検知された顔向きのデータを入力し、視線から視認対象を推定する場合には、顔向きのノードにはエビデンスを入力せず、視線のノードに検知された視線のデータを入力することにより注視対象を推定してもよい。この構成により、適切に視認対象の推定を行なえる。

本発明の視認対象検知装置において、前記視認対象推定部は、前記視線の検知精度が所定の閾値より小さい場合には、顔向きと視線に基づいて視認対象の推定を行ってもよい。この構成により、視線と顔向きの両方のデータを用いることで、視認対象の推定を精度良く行える。

本発明の別の態様の視認対象検知装置は、運転者を撮影するカメラと、前記カメラにて撮影した画像から運転者の顔向きを検知する顔向き検知部と、前記カメラにて撮影した画像から運転者の視線を検知する視線検知部と、顔向きから運転者の視線を推定する視線推定部と、視線から運転者が視認している視認対象を推定する視認対象推定部と、前記視認対象推定部にて推定した視認対象を示す情報を出力する出力部とを備え、前記視認対象推定部は、前記視線検知部にて検知した視線の検知精度が所定の閾値以上の場合には、前記視認対象推定部が前記視線検知部にて検知した視線に基づいて視認対象の推定を行い、前記視線の検知精度が所定の閾値より小さい場合には、前記顔向き検知部にて検知した顔向きから視線を推定し、前記視線推定部にて推定した視線に基づいて視認対象の推定を行う。

この構成により、運転者の視線の検知精度が高いときには視線にて視認対象の推定を行い、視線の検知精度が低いときには、運転者の顔向きから推定した視線を用いて視認対象の推定を行うので、推定精度の高さと検出できる範囲の広さの両立を図れる。

本発明の視認対象検知装置において、前記視認対象推定部は、顔向きと視線と視認対象とをノードとし、顔向きと視線、視線と視認対象の関係が確率伝搬で表現されたネットワークのモデルを記憶部から読み出し、顔向きから視認対象を推定する場合には、顔向きのノードに検知された顔向きのデータを入力し、視線から視認対象を推定する場合には、顔向きのノードにはエビデンスを入力せず、視線のノードに検知された視線のデータを入力することにより注視対象を推定してもよい。この構成により、適切に視認対象の推定を行なえる。

本発明の視認対象検知装置において、前記視認対象推定部は、前記視線の検知精度が所定の閾値より小さい場合に、前記顔向き検知部にて検知した顔向きから推定した視線と、前記視線検知部にて検知した視線に、前記視線検知部による視線の検知精度に基づく重みづけをして運転者の視線を推定し、推定された視線を用いて視認対象を推定してもよい。この構成により、顔向きの検知結果と視線の検知結果に基づいて適切に視線を推定し、ひいては視認対象を精度良く推定できる。

本発明の視認対象検知装置において、前記カメラは、運転者を正面から撮影する単一のカメラであってもよい。所定の範囲においてしか視線を精度良く検知できない単一のカメラの場合でも、本発明の構成により、適切に視認対象の推定を行なえる。

本発明の視認対象検知方法は、視認対象検知装置によって運転者が視認している視認対象を検知する方法であって、前記視認対象検知装置が、カメラにて運転者を撮影するステップと、前記視認対象検知装置が、前記カメラにて撮影した画像から運転者の顔向きを検知するステップと、前記視認対象検知装置が、前記カメラにて撮影した画像から運転者の視線を検知するステップと、前記視認対象検知装置が、視線または顔向きから運転者が視認している視認対象を推定するステップと、前記視認対象検知装置が、前記視認対象を推定するステップにて推定した視認対象を示す情報を出力するステップとを備え、前記視認対象を推定するステップは、前記視線を検知するステップにて検知した視線の検知精度が所定の閾値以上の場合には、前記視線を検知するステップにて検知した視線に基づいて視認対象の推定を行い、前記視線の検知精度が所定の閾値より小さい場合には、前記顔向きを検知するステップにて検知した顔向きに基づいて視認対象の推定を行う。

本発明の別の態様の視認対象検知方法は、視認対象検知装置によって運転者が視認している視認対象を検知する方法であって、前記視認対象検知装置が、カメラにて運転者を撮影するステップと、前記視認対象検知装置が、前記カメラにて撮影した画像から運転者の顔向きを検知するステップと、前記視認対象検知装置が、前記カメラにて撮影した画像から運転者の視線を検知するステップと、前記視認対象検知装置が、顔向きから運転者の視線を推定するステップと、前記視認対象検知装置が、視線から運転者が視認している視認対象を推定するステップと、前記視認対象を推定するステップにて推定した視認対象を示す情報を出力するステップとを備え、前記視認対象を推定するステップは、前記視線を検知するステップにて検知した視線の検知精度が所定の閾値以上の場合には、前記視線を検知するステップにて検知した視線に基づいて視認対象の推定を行い、前記視線の検知精度が所定の閾値より小さい場合には、前記顔向きを検知するステップにて検知した顔向きに基づいて視線の推定を行い、推定された視線に基づいて視認対象の推定を行う。

本発明のプログラムは、運転者が視認している視認対象を検知するためのプログラムであって、コンピュータに、カメラにて撮影した運転者の画像データを入力するステップと、前記画像データに基づいて運転者の顔向きを検知するステップと、前記画像データに基づいて運転者の視線を検知するステップと、視線または顔向きから運転者が視認している視認対象を推定するステップと、前記視認対象を推定するステップにて推定した視認対象を示す情報を出力するステップとを実行させ、前記視認対象を推定するステップは、前記視線を検知するステップにて検知した視線の検知精度が所定の閾値以上の場合には、前記視線を検知するステップにて検知した視線に基づいて視認対象の推定を行い、前記視線の検知精度が所定の閾値より小さい場合には、前記顔向きを検知するステップにて検知した顔向きに基づいて視認対象の推定を行う。

本発明のプログラムは、運転者が視認している視認対象を検知するためのプログラムであって、コンピュータに、カメラにて撮影された運転者の画像データを入力するステップと、前記画像データに基づいて運転者の顔向きを検知するステップと、前記画像データに基づいて運転者の視線を検知するステップと、顔向きから運転者の視線を推定するステップと、視線から運転者が視認している視認対象を推定するステップと、前記視認対象を推定するステップにて推定した視認対象を示す情報を出力するステップとを備え、前記視認対象を推定するステップは、前記視線を検知するステップにて検知した視線の検知精度が所定の閾値以上の場合には、前記視線を検知するステップにて検知した視線に基づいて視認対象の推定を行い、前記視線の検知精度が所定の閾値より小さい場合には、前記顔向きを検知するステップにて検知した顔向きに基づいて視線の推定を行い、推定された視線に基づいて視認対象の推定を行う。

本発明によれば、運転者が視認している視認対象を推定する推定精度の高さと視認物を検知できる範囲の広さの両立を図ることができる。

第１の実施の形態の視認対象検知装置の構成を示す図である。車内において視認される対象物の例を示す図である。視認対象推定部の構成を示す図である。第１の実施の形態の視認対象検知装置の動作を示す図である。第２の実施の形態の視認対象検知装置の構成を示す図である。視認対象推定部の構成を示す図である。第２の実施の形態の視認対象検知装置の動作を示す図である。

以下、本発明の実施の形態の視認対象検知装置について図面を参照して説明する。
（第１の実施の形態）
図１は、第１の実施の形態の視認対象検知装置１の構成を示す図である。視認対象検知装置１は、自動車の運転者が視認している対象物（視認対象）を検知する装置である。視認対象検知装置１にて、視認対象を検知することにより、運転者が脇見をしていないかどうか、例えば、車線変更や右左折をするときに運転者が適切な安全行動をとったかどうかを判断することができる。

第１の実施の形態の視認対象検知装置１は、カメラ１０と、顔向き検知部１１と、視線検知部１２と、視認対象推定部１３と、出力部１４とを備えている。

カメラ１０は近赤外線カメラであり、車室内が暗くなっても安定して運転者を撮影することができる。カメラ１０は、運転者を正面から撮影する位置、例えば、メーターバイザーの下に搭載される。株式会社デンソーが開発した「ドライバーステータスモニタ」のカメラ１０を用いることとしてもよい。

顔向き検知部１１は、カメラ１０にて撮影した運転者の顔画像に基づいて、運転者の顔向きを検知する機能を有する。視線検知部１２は、カメラ１０にて撮影した運転者の目の画像から運転者の視線を検知する機能を有する。視線検知部１２は、運転者の黒目の向いている方向を検知することで運転者の顔に対する視線の方向に、運転者の顔の向きを加味して、運転者の視線がどの方向を向いているかを検知する。視線検知部１２は、運転者の視線を検知する際に、その検知精度を計測し、その確信度を表す値（品質値）を求める。ここで、検知精度は、例えば、検知された視線の方向の正しさを確率で示す値である。ドライバ自身の瞬きや閉眼やカメラと目の位置関係の結果、眼球の白と黒い部分の映り具合から、視線方向の検知の正確性を判定する精度である。

視認対象推定部１３は、運転者の顔向きおよび視線に基づいて、運転者が視認している対象物を推定する機能を有する。視認対象推定部１３は、ＳＶＭモデル記憶部１５に記憶された視認対象を推定するためのＳＶＭモデルを読み出し、このＳＶＭモデルに顔向きデータ、視線データを適用することで、視認対象の推定を行う。

図２は、車内において視認される対象物の例を示す図である。車内における視認対象の例としては、図２では、ウィンドウシールドディスプレイ、スピードメーター、カーナビゲーション、バックミラー、右ミラー、左ミラー、右側方、左側方を示している。図２に示しているのは一例であり、視認対象検知装置１で視認可能な視認対象はこれらに限られることはない。

なお、図２において、正面の方向にある、ウィンドウシールドディスプレイ、スピードメーター、カーナビゲーション、右ミラーは、視線によって検知できる範囲にある対象物である。そして、この視線による検知範囲を含む全視認対象が顔向きによる検知範囲である。つまり、顔向きを用いた検知範囲の方が、視線を用いた検知範囲よりも広い。

図３は、視認対象推定部１３の構成を示す図である。視認対象推定部１３は、ノイズフィルタ２０と、評価部２１と、決定部２２とを有している。ノイズフィルタ２０は、顔向き検知部１１から入力される顔向きのデータ、または、視線検知部１２から入力される視線データに含まれるノイズを除去する機能を有する。評価部２１は、多クラスのＳＶＭモデルを用いた処理によって、入力された顔向きデータ又は視線データからそれぞれの視認対象を見ている可能性を表すスコアを評価する。なお、ＳＶＭのモデルは、ＳＶＭモデル記憶部１５から読み出したＳＶＭモデルを用いる。視線から視認対象を推定したい場合には、視線を用いて学習したＳＶＭモデルを読み出し、顔向きから視認対象を推定したい場合には、顔向きを用いて学習したＳＶＭモデルを用いる。視線と顔向きの両方に基づいて視認対象を推定したい場合には、視線と顔向きの両方を用いて学習したＳＶＭモデルを用いる。決定部２２は、評価部２１にて求めた各視認対象のスコアに基づいて、最大のスコアを有する視認対象を決定し、視認対象データを出力する。

出力部１４は、視認対象推定部１３にて推定された視認対象データを、脇見判定装置等の運転支援装置に対して出力する。

以上、本実施の形態の視認対象検知装置１の構成について説明したが、上記した視認対象検知装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した顔向き検知部１１、視線検知部１２、視認対象推定部１３の各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した視認対象検知装置１の機能が実現される。このようなプログラムも本発明の範囲に含まれる。また、出力部１４の一例は、通信インターフェースである。

図４は、第１の実施の形態の視認対象検知装置１の動作を示す図である。第１の実施の形態の視認対象検知装置１は、カメラ１０によってドライバを撮影する（Ｓ１０）。続いて、視認対象検知装置１は、撮影で得られた画像に基づいて、顔向き検知部１１にてドライバの顔向きを検知すると共に（Ｓ１１）、視線検知部１２にてドライバの視線を検知する（Ｓ１２）。視線検知部１２は、ドライバの視線を検知する際に、その検知精度の品質値を求める。

視認対象検知装置１は、視線検知部１２における視線検知の品質値に基づいて、視線の検知精度が閾値以上であるか否かを判定する（Ｓ１３）。視線の検知精度が閾値以上である場合には（Ｓ１３でＹＥＳ）、視線検知部１２にて検知した視線から視認対象を推定する（Ｓ１５）。視認対象推定部１３は、ＳＶＭモデル記憶部１５から視線を用いて学習したＳＶＭモデルを読み出し、検知した視線データをＳＶＭモデルに入力することで、視認対象を推定する。

視線の検知精度が閾値以上でない場合には（Ｓ１３でＮＯ）、顔向き検知部１１にて検知した顔向きから視認対象を推定する（Ｓ１４）。視認対象推定部１３は、ＳＶＭモデル記憶部１５から顔向きを用いて学習したモデルを読み出し、検知した顔向きデータをモデルに入力することで、視認対象を推定する。視認対象検知装置１は、視認対象推定部１３にて推定した視認対象のデータを他の装置に出力する（Ｓ１６）。

以上、第１の実施の形態の視認対象検知装置１の構成及び動作について説明した。第１の実施の形態の視認対象検知装置１は、視線検知部１２による視線の検知精度によって視線による視認対象推定を行うか、顔向きによる視認対象推定を行うかを選択するので、検知精度の高さと検知範囲の広さを両立することができる。

上記した実施の形態の視認対象検知装置１は、視線の検知精度が閾値以上ではない場合には、検知した顔向きデータを用いて、視認対象を推定する構成について説明したが、視線の検知精度が閾値以上ではない場合には、検知した顔向きデータと共に視線データをＳＶＭモデルに適用して、視認対象を推定する構成を採用してもよい。

（第２の実施の形態）
図５は、第２の実施の形態の視認対象検知装置２の構成を示す図である。第２の実施の形態の視認対象検知装置２の基本的な構成は、第１の実施の形態の視認対象検知装置１と同じであるが、視認対象推定部１３による視認対象の処理が異なる。視認対象推定部１３は、ベイジアンモデル記憶部１６に記憶されているベイジアンネットワークモデルを読み出し、読み出したモデルに顔向きデータおよび視線データを適用することによって視認対象を推定する。

図６は、視認対象推定部１３の構成を示す図である。視認対象推定部１３は、確率分布化部３０と、ベイジアンネット推定部３１とを有している。確率分布化部３０は、顔向き検知部１１から入力される顔向きのデータ、または、視線検知部１２から入力される視線データを確率分布化する機能を有する。ベイジアンネット推定部３１は、ベイジアンモデル記憶部１６から読み出したベイジアンネットワークモデルに対して、確率分布化された顔向きデータ、視線データを適用して視認対象の確率を推定する。図６に示すベイジアンネットワークモデルは、顔向きのノード、視線のノード、視認対象のノードが順に接続されたモデルである。

視認対象推定部１３は、視線検知部１２での視線の検知精度によって、ベイジアンネット推定部３１に適用するデータを変える。具体的には、視線の検知精度が所定の閾値以上の場合には、顔向きのノードにはエビデンスを入力せず、視線のノードに、検知された視線データの確率分布を入力する。これにより、視認対象推定部１３は、視線データに基づいて視認対象を推定することができる。

視線の検知精度が所定の閾値以上ではない場合には、顔向きのノードに、検知された顔向きデータの確率分布を入力し、視線データのノードにはエビデンスを入力しない。顔向きノードの確率分布から視線ノードの確率分布が計算され、視線ノードの確率分布に基づいて視認対象を推定することができる。これにより、一つのベイジアンネットモデルによって、視線の検知精度が高い場合と低い場合の両方の場合について、視認対象を推定できる。

図７は、第２の実施の形態の視認対象検知装置２の動作を示す図である。第２の実施の形態の視認対象検知装置２は、カメラ１０によってドライバを撮影する（Ｓ２０）。続いて、視認対象検知装置２は、撮影で得られた画像に基づいて、顔向き検知部１１にてドライバの顔向きを検知すると共に（Ｓ２１）、視線検知部１２にてドライバの視線を検知する（Ｓ２２）。視線検知部１２は、ドライバの視線を検知する際に、その検知精度の品質値を求める。

視認対象検知装置２は、視線検知部１２における視線検知の品質値に基づいて、視線の検知精度が閾値以上であるか否かを判定する（Ｓ２３）。視線の検知精度が閾値以上である場合には（Ｓ２３でＹＥＳ）、視認対象推定部１３は、ベイジアンネット推定部３１の視線データのノードに、検知した視線データの確率分布を入力し、視認対象を推定する（Ｓ２５）。

視線の検知精度が閾値以上でない場合には（Ｓ２３でＮＯ）、顔向き検知部１１にて検知した顔向きデータの確率分布を、ベイジアンネット推定部３１の顔向きデータのノードに入力する。顔向きデータの確率分布から視線データの確率分布を求め（Ｓ２４）、視線データの確率分布から視認対象を推定する（Ｓ２５）。視認対象検知装置２は、視認対象推定部１３にて推定した視認対象のデータを他の装置に出力する（Ｓ２６）。

以上、第２の実施の形態の視認対象検知装置２の構成及び動作について説明した。第２の実施の形態の視認対象検知装置２は、視線検知部１２による視線の検知精度によって視線による視認対象推定を行うか、顔向きから推定した視線を基づいて視認対象推定を行うので、検知精度の高さと検知範囲の広さを両立することができる。

なお、第２の実施の形態では、視線の検知精度が閾値以上でない場合に（Ｓ２３でＮＯ）、顔向きデータから推定した視線に基づいて視認対象を推定したが（Ｓ２４〜Ｓ２５）、顔向きデータから推定した視線に加えて、視線検知部１２にて求めた視線のデータも使って、ドライバの視線を推定し、推定した視線に基づいて視認対象を求めてもよい。この場合、顔向きから推定した視線と視線検知部１２にて検知した視線とを組み合わせる方法として、視線検知部１２による視線の検知精度を用いて重み付けを行う構成が考えられる。例えば、視線検知部１２による視線の検知結果が右に３０度、検知精度が１０％であり、顔向きデータから推定した視線が右に４０度であったとする。この場合、３０×０．１＋４０×（１−０．１）＝３＋３６＝３９度というように、視線方向を推定してもよい。
この構成により、顔向きの検知結果と視線の検知結果に基づいて適切に視線を推定し、ひいては視認対象を精度良く推定できる。

以上、本発明の視認対象検知装置について、実施の形態を例として詳細に説明したが、本発明の視認対象検知装置は、上記した実施の形態に限定されるものではない。上記説明では、視認対象推定部１３として、第１の実施の形態でＳＶＭモデルを用い、第２の実施の形態でベイジアンネットワークモデルを用いる例を挙げたが、第１の実施の形態の視認対象検知装置１でベイジアンネットワークモデルを用いてもよいし、第２の実施の形態の視認対象検知装置２でＳＶＭモデルを用いてもよい。

また、第２の実施の形態で用いたベイジアンネットワークモデルに代えて、ガウシアンネットワークやマルコフチェーン、隠れマルコフモデル等のノード間の関係が確率伝搬で表現されたネットワークモデルを用いてもよい。

１、２視認対象検知装置
１０カメラ
１１顔向き検知部
１２視線検知部
１３視認対象推定部
１４出力部
１５ＳＶＭモデル記憶部
１６ベイジアンモデル記憶部
２０ノイズフィルタ
２１評価部
２２決定部
３０確率分布化部
３１ベイジアンネット推定部

Claims

運転者を撮影するカメラと、
前記カメラにて撮影した画像から運転者の顔向きを検知する顔向き検知部と、
前記カメラにて撮影した画像から運転者の視線を検知する視線検知部と、
視線または顔向きから運転者が視認している視認対象を推定する視認対象推定部と、
前記視認対象推定部にて推定した視認対象を示す情報を出力する出力部と、
を備え、
前記視認対象推定部は、前記視線検知部にて検知した視線の検知精度が所定の閾値以上の場合には、前記視線検知部にて検知した視線に基づいて視認対象の推定を行い、前記視線の検知精度が所定の閾値より小さい場合には、前記顔向き検知部にて検知した顔向きに基づいて視認対象の推定を行う視認対象検知装置。
前記視認対象推定部は、顔向きと視線と視認対象とをノードとし、顔向きと視認対象、視線と視認対象の関係が確率伝搬で表現されたネットワークのモデルを記憶部から読み出し、
顔向きから視認対象を推定する場合には、視線のノードにはエビデンスを入力せず、顔向きのノードに検知された顔向きのデータを入力し、視線から視認対象を推定する場合には、顔向きのノードにはエビデンスを入力せず、視線のノードに検知された視線のデータを入力することにより注視対象を推定する請求項１に記載の視認対象検知装置。
前記視認対象推定部は、前記視線の検知精度が所定の閾値より小さい場合には、顔向きと視線に基づいて視認対象の推定を行う請求項１に記載の視認対象検知装置。
運転者を撮影するカメラと、
前記カメラにて撮影した画像から運転者の顔向きを検知する顔向き検知部と、
前記カメラにて撮影した画像から運転者の視線を検知する視線検知部と、
顔向きから運転者の視線を推定する視線推定部と、
視線から運転者が視認している視認対象を推定する視認対象推定部と、
前記視認対象推定部にて推定した視認対象を示す情報を出力する出力部と、
を備え、
前記視認対象推定部は、前記視線検知部にて検知した視線の検知精度が所定の閾値以上の場合には、前記視認対象推定部が前記視線検知部にて検知した視線に基づいて視認対象の推定を行い、前記視線の検知精度が所定の閾値より小さい場合には、前記顔向き検知部にて検知した顔向きから視線を推定し、前記視線推定部にて推定した視線に基づいて視認対象の推定を行う視認対象検知装置。
前記視認対象推定部は、顔向きと視線と視認対象とをノードとし、顔向きと視線、視線と視認対象の関係が確率伝搬で表現されたネットワークのモデルを記憶部から読み出し、
顔向きから視認対象を推定する場合には、顔向きのノードに検知された顔向きのデータを入力し、視線から視認対象を推定する場合には、顔向きのノードにはエビデンスを入力せず、視線のノードに検知された視線のデータを入力することにより注視対象を推定する請求項４に記載の視認対象検知装置。
前記視認対象推定部は、前記視線検知部にて検知した視線の検知精度が所定の閾値より小さい場合に、前記顔向き検知部にて検知した顔向きから推定した視線と前記視線検知部にて検知した視線とに、前記視線検知部による視線の検知精度に基づく重みづけをして運転者の視線を推定し、推定された視線を用いて視認対象を推定する請求項４に記載の視認対象検知装置。
前記カメラは、運転者を正面から撮影する単一のカメラである請求項１乃至６のいずれかに記載の視認対象検知装置。
視認対象検知装置によって運転者が視認している視認対象を検知する方法であって、
前記視認対象検知装置が、カメラにて運転者を撮影するステップと、
前記視認対象検知装置が、前記カメラにて撮影した画像から運転者の顔向きを検知するステップと、
前記視認対象検知装置が、前記カメラにて撮影した画像から運転者の視線を検知するステップと、
前記視認対象検知装置が、視線または顔向きから運転者が視認している視認対象を推定するステップと、
前記視認対象検知装置が、前記視認対象を推定するステップにて推定した視認対象を示す情報を出力するステップと、
を備え、
前記視認対象を推定するステップは、前記視線を検知するステップにて検知した視線の検知精度が所定の閾値以上の場合には、前記視線を検知するステップにて検知した視線に基づいて視認対象の推定を行い、前記視線の検知精度が所定の閾値より小さい場合には、前記顔向きを検知するステップにて検知した顔向きに基づいて視認対象の推定を行う視認対象検知方法。
視認対象検知装置によって運転者が視認している視認対象を検知する方法であって、
前記視認対象検知装置が、カメラにて運転者を撮影するステップと、
前記視認対象検知装置が、前記カメラにて撮影した画像から運転者の顔向きを検知するステップと、
前記視認対象検知装置が、前記カメラにて撮影した画像から運転者の視線を検知するステップと、
前記視認対象検知装置が、顔向きから運転者の視線を推定するステップと、
前記視認対象検知装置が、視線から運転者が視認している視認対象を推定するステップと、
前記視認対象を推定するステップにて推定した視認対象を示す情報を出力するステップと、
を備え、
前記視認対象を推定するステップは、前記視線を検知するステップにて検知した視線の検知精度が所定の閾値以上の場合には、前記視線を検知するステップにて検知した視線に基づいて視認対象の推定を行い、前記視線の検知精度が所定の閾値より小さい場合には、前記顔向きを検知するステップにて検知した顔向きに基づいて視線の推定を行い、推定された視線に基づいて視認対象の推定を行う視認対象検知方法。
運転者が視認している視認対象を検知するためのプログラムであって、コンピュータに、
カメラにて撮影した運転者の画像データを入力するステップと、
前記画像データに基づいて運転者の顔向きを検知するステップと、
前記画像データに基づいて運転者の視線を検知するステップと、
視線または顔向きから運転者が視認している視認対象を推定するステップと、
前記視認対象を推定するステップにて推定した視認対象を示す情報を出力するステップと、
を実行させ、
前記視認対象を推定するステップは、前記視線を検知するステップにて検知した視線の検知精度が所定の閾値以上の場合には、前記視線を検知するステップにて検知した視線に基づいて視認対象の推定を行い、前記視線の検知精度が所定の閾値より小さい場合には、前記顔向きを検知するステップにて検知した顔向きに基づいて視認対象の推定を行うプログラム。
運転者が視認している視認対象を検知するためのプログラムであって、コンピュータに、
カメラにて撮影された運転者の画像データを入力するステップと、
前記画像データに基づいて運転者の顔向きを検知するステップと、
前記画像データに基づいて運転者の視線を検知するステップと、
顔向きから運転者の視線を推定するステップと、
視線から運転者が視認している視認対象を推定するステップと、
前記視認対象を推定するステップにて推定した視認対象を示す情報を出力するステップと、
を備え、
前記視認対象を推定するステップは、前記視線を検知するステップにて検知した視線の検知精度が所定の閾値以上の場合には、前記視線を検知するステップにて検知した視線に基づいて視認対象の推定を行い、前記視線の検知精度が所定の閾値より小さい場合には、前記顔向きを検知するステップにて検知した顔向きに基づいて視線の推定を行い、推定された視線に基づいて視認対象の推定を行うプログラム。