JP2018004325A - 注視点検出装置、注視点検出方法、注視点検出システム、及び車両 - Google Patents

Abstract

【課題】搭乗者が注視している注視点を検出し、利便性を向上させる。【解決手段】注視点検出装置３０は、車両３の第１の位置Ｐ１、及び第１の位置Ｐ１とは異なる、車両３の第２の位置Ｐ２において、車両３の搭乗者の目を含む顔をそれぞれ撮像した第１の画像及び第２の画像を取得し、第１の位置Ｐ１及び第１の位置Ｐ１における車両３の進行方向を含む第１の車両情報と、第２の位置Ｐ２及び第２の位置Ｐ２における車両３の進行方向を含む第２の車両情報を取得する情報取得部と、第１の画像及び第１の車両情報に基づいて搭乗者の第１の視線方向Ｄ１を特定し、第２の画像及び第２の車両情報に基づいて搭乗者の第２の視線方向Ｄ２を特定し、第１の位置Ｐ１、第１の視線方向Ｄ１、第２の位置Ｐ２、及び第２の視線方向Ｄ２に基づいて注視点を検出するプロセッサと、を備える。【選択図】図２

Description

本発明は、注視点検出装置、注視点検出方法、注視点検出システム、及び車両に関する。

従来、車両を運転している運転者の顔を撮像した画像を用いて、運転者の視線方向を検出する視線方向検出装置が提案されている（例えば、特許文献１）。この視線方向検出装置は、運転者の視線方向と車両の進行方向とに基づいて、運転者のわき見運転を防ぐよう警告を発することにより安全性の向上を図っている。

特開２０１５−７９３０４号公報

しかしながら、上述のような従来技術の方法では、運転者のわき見運転を防ぐよう警告を発するために、車両の運転者の視線方向が車両の進行方向と一致しているかを判定している。したがって、搭乗者が、視線方向にある位置のうちいずれの位置を注視しているかを検出することはできない。

したがって、これらの点に着目してなされた本発明の目的は、搭乗者が注視している注視点を検出し、利便性を向上させる注視点検出装置、注視点検出方法、注視点検出システム、及び車両を提供することにある。

上記目的を達成する注視点検出装置は、車両の第１の位置、及び前記第１の位置とは異なる、前記車両の第２の位置において、前記車両の搭乗者の目を含む顔をそれぞれ撮像した第１の画像及び第２の画像を取得し、前記第１の位置及び前記第１の位置における前記車両の進行方向を含む第１の車両情報と、前記第２の位置及び前記第２の位置における前記車両の進行方向を含む第２の車両情報を取得する情報取得部と、前記第１の画像、及び前記第１の車両情報に基づいて前記搭乗者の第１の視線方向を特定し、前記第２の画像、及び前記第２の車両情報に基づいて前記搭乗者の第２の視線方向を特定し、前記第１の位置、前記第１の視線方向、前記第２の位置、及び前記第２の視線方向に基づいて注視点を検出するプロセッサと、を備える。

上記目的を達成する注視点検出方法は、前記注視点検出装置が、車両の第１の位置、及び前記第１の位置とは異なる、前記車両の第２の位置において、前記車両の搭乗者の目を含む顔をそれぞれ撮像した第１の画像及び第２の画像を取得し、前記第１の位置及び前記第１の位置における前記車両の進行方向を含む第１の車両情報と、前記第２の位置及び前記第２の位置における前記車両の進行方向を含む第２の車両情報とを取得するステップと、前記注視点検出装置が、前記第１の画像及び前記第１の車両情報に基づいて前記搭乗者の第１の視線方向を特定し、前記第２の画像及び前記第２の車両情報に基づいて前記搭乗者の第２の視線方向を特定し、前記第１の位置、前記第１の視線方向、前記第２の位置、及び前記第２の視線方向に基づいて注視点を検出するステップと、を含む。

上記目的を達成する注視点検出システムは、車両の第１の位置、及び前記第１の位置とは異なる、前記車両の第２の位置において、前記車両の搭乗者の目を含む顔をそれぞれ撮像した第１の画像及び第２の画像を撮像するカメラと、前記第１の位置及び前記第１の位置における前記車両の進行方向を含む第１の車両情報と、前記第２の位置及び前記第２の位置における前記車両の進行方向を含む第２の車両情報を取得する情報取得部と、前記第１の画像及び前記第１の車両情報に基づいて前記搭乗者の第１の視線方向を特定し、前記第２の画像及び前記第２の車両情報に基づいて前記搭乗者の第２の視線方向を特定し、前記第１の位置、前記第１の視線方向、前記第２の位置、及び前記第２の視線方向に基づいて注視点を検出するプロセッサと、前記プロセッサによって検出された注視点に係る情報を表示する表示装置と、を備える。

上記目的を達成する車両は、車両の第１の位置、及び前記第１の位置とは異なる、前記車両の第２の位置において、前記車両の搭乗者の目を含む顔をそれぞれ撮像した第１の画像及び第２の画像を撮像するカメラと、前記第１の位置及び前記第１の位置における前記車両の進行方向を含む第１の車両情報と、前記第２の位置及び前記第２の位置における前記車両の進行方向を含む第２の車両情報を取得する情報取得部と、前記第１の画像及び前記第１の車両情報に基づいて前記搭乗者の第１の視線方向を特定し、前記第２の画像及び前記第２の車両情報に基づいて前記搭乗者の第２の視線方向を特定し、前記第１の位置、前記第１の視線方向、前記第２の位置、及び前記第２の視線方向に基づいて注視点を検出するプロセッサと、前記プロセッサによって検出された注視点に係る情報を表示する表示装置と、を含む注視点検出システムを備える。

本発明の一実施形態によれば、搭乗者が注視している注視点を検出し、利便性を向上させることを可能とする。

車両に搭載された注視点検出システムの概略構成を示す図である。 図１に示す注視点検出システムの機能ブロック図である。 三次元の世界座標系における車両の位置及び視線方向の例を示す図である。 注視点検出システムの処理の手順を示すシーケンス図である。 第１の実施形態における注視点の検出の処理の詳細な手順を示すフローチャートである。 第２の実施形態における注視点の検出の処理の詳細な手順を示すフローチャートである。

＜第１の実施形態＞
以下、本発明の第１の実施形態について、図面を参照して説明する。

図１に示すように、第１の実施形態に係る注視点検出システム１は、車両３に搭載されたカメラ１０、ＧＰＳ（Global Positioning System）受信機（位置検出部）２０、注視点検出装置３０、及び表示装置４０等を含んで構成される。カメラ１０及びＧＰＳ受信機２０は、通信ネットワークを介して注視点検出装置３０と接続されて情報を送受信する。また、注視点検出装置３０は、通信ネットワークを介して表示装置４０と接続されて情報を送受信する。

カメラ１０は、車両３に搭乗している搭乗者の顔を所定のタイミングで連続して撮像する。所定のタイミングは、例えば一定時間おきである。所定のタイミングは、例えば、車両３から速度信号を取得し、車両の速度に基づいて決定された時間間隔としうる。車両の速度が速いときは、時間間隔を短くし、車両の速度が遅いときは時間間隔を長くしてよい。速度信号は、注視点検出装置３０を経由して受信しうる。そのため、カメラ１０は、後部座席の略上半分の領域を撮像するように、例えば車両３のサイドウィンドウの枠の上部に設置される。カメラ１０が設置される位置はこれに限られず、例えば、フロントウィンドウの枠の上部、車両３の天井であってもよい。

図２に示すように、カメラ１０は、光学系１１、撮像素子１２、信号処理部１３、及び通信インタフェース１４等を含んで構成される。

光学系１１は、該光学系１１に入射した光が撮像素子１２で結像するように集光するレンズである。光学系１１は、例えば、魚眼レンズ、超広角レンズで構成されてもよい。光学系１１は、単レンズで構成されてもよいし、複数枚のレンズで構成されてもよい。

撮像素子１２は、光学系１１によって結像された画像を撮像する固体撮像素子である。固体撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及びＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor Image Sensor）を含む。

信号処理部１３は、画像信号を処理するプロセッサであり、例えば特定の機能を実行するように形成した専用のマイクロプロセッサや特定のプログラムを読出すことにより特定の機能を実行する汎用のＣＰＵ（中央処理装置：Central Processing Unit）である。

信号処理部１３は、該撮像素子１２で結像された画像を表す画像信号を生成する。また、信号処理部１３は、画像に対して、歪み補正、明度調整、コントラスト調整、ガンマ補正等の任意の処理を行ってもよい。

通信インタフェース１４は、信号処理部１３によって生成された画像信号を注視点検出装置３０に出力する。

ＧＰＳ受信機２０は、ＧＰＳ衛星が発信した電波を受信して、該ＧＰＳ受信機２０の、世界座標系における三次元での位置及び進行方向を特定する。世界座標系とは、地球上の地点を一意に識別するための座標で表される系である。しかし、ＧＰＳ受信機２０が特定する位置は、世界座標系で表されるものに限らず、本注視点検出システムが用いられる系において各位置を一意に識別することのできる任意の座標系を用いて表すことができるものであればよい。本実施形態では、ＧＰＳ受信機２０の位置及び進行方向を、該ＧＰＳ受信機２０を搭載した車両３の位置及び進行方向とする。また、ＧＰＳ受信機２０は、特定した車両３の位置及び進行方向を含む車両情報を生成して、注視点検出装置３０に出力する。

本実施形態では、抽出点検出システム１は、ＧＰＳ受信機２０の代わりに任意の位置検出部を備えてもよい。位置検出部は、例えば、ＧＰＳ衛星によって受信したＧＰＳ信号によって特定した車両３の位置を、例えばナビゲーションシステムなどの車両３の有する地図情報を用いて、マップマッチングにより補正してもよい。また、代替的に又は付加的に、携帯電話と携帯電話基地局との距離から位置を測定する方式や、路側に配置したサインポストから位置を取得する方法を採用し得る。所定位置における位置情報に加え、地図の道路データ及び車両３からの車速信号を組み合わせることによって、走行中の位置の検出精度を高めることができる。

注視点検出装置３０は、通信インタフェース３１、カメラ情報メモリ３２、制御部３３（プロセッサ）、視線情報メモリ３４等を含んで構成される。

通信インタフェース３１は、カメラ１０及びＧＰＳ受信機２０から情報を取得する情報取得部として機能する。具体的には、通信インタフェース３１は、カメラ１０によって出力された画像信号の入力を受けることによって画像を取得する。このとき、通信インタフェース３１は、カメラ１０が撮像する時間間隔で順次画像を取得する。画像を取得する時間間隔は、一定間隔でもよく、車両３の速度に基づいて決定された時間間隔でもよい。また、通信インタフェース３１は、ＧＰＳ受信機２０によって特定された、世界座標系における車両３の位置及び進行方向を含む車両情報を取得する。また、通信インタフェース３１は、制御部３３によって検出された情報を表示装置４０に出力する。

カメラ情報メモリ３２は、カメラ１０の設置方向を記憶する。カメラ１０の設置方向とは、車両３についての所定の方向、例えば車両３が前方に直進する場合の進行方向を基準とした、カメラ１０の光軸の角度である。

制御部３３は、画像信号を処理するプロセッサであり、例えば特定の機能を実行するように形成した専用のマイクロプロセッサや特定のプログラムを読出すことにより特定の機能を実行する汎用のＣＰＵ（中央処理装置：Central Processing Unit）である。

制御部３３は、通信インタフェース３１によって取得した画像、車両情報に基づいて、車両３の搭乗者の、世界座標系における三次元での視線方向を表す視線情報を取得する視線情報取得処理を行う。ここで、制御部３３が行う視線情報取得処理の方法について詳細に説明する。ここで説明する方法は一例であって、制御部３３は、この方法に限られることなく任意の方法で視線情報取得処理を行うことができる。

制御部３３は、画像における人物の目を含む顔が表されている顔領域を抽出する。そして、制御部３３は、画像から抽出された顔領域に基づいて、搭乗者の顔が向いている方向（以降、「顔方向」という）を特定する。具体的には、制御部３３は、カメラ１０の光軸方向を基準とした顔方向を特定する。ここで、制御部３３は画像から、１つの顔領域を抽出してもよいし、複数の顔領域を抽出してもよい。複数の顔領域が抽出された場合、制御部３３は、それぞれの顔領域について以降の処理を行う。

また、制御部３３は、顔領域から目、及び目に含まれる瞳孔の位置を抽出する。そして、制御部３３は、顔領域から抽出された目及び瞳孔の位置に基づいて、顔方向を基準とした視線方向を特定する。また、制御部３３は、上述のように特定された、カメラ１０の光軸方向を基準とした顔方向と、顔方向を基準とした視線方向とに基づいて、カメラ１０の光軸方向を基準とした視線方向を特定する。

また、制御部３３は、カメラ情報メモリ３２に記憶されているカメラ１０の設置方向と、カメラ１０の光軸方向を基準とした視線方向とに基づいて、車両３の進行方向に対する視線方向を特定する。

そして、制御部３３は、車両情報に含まれる進行方向と、車両３の進行方向に対する視線方向とに基づいて、世界座標系における視線方向を特定する。

制御部３３は、上述のようにして、車両３が異なる複数の位置にいるときにカメラ１０によって撮像された複数の画像、及び複数の位置それぞれで取得された車両情報に基づいて、上述のような視線方向取得処理で視線方向を特定することによって、複数の視線方向それぞれを表す複数の視線情報を取得する。すなわち、制御部３３は、インタフェース３１によって順次、取得された画像のうち連続して取得された２つの画像の、一方を第１の画像とし、他方を第２の画像とする。そして、制御部３３は、第１の画像と、第１の画像が撮像されたときに車両３がいた第１の位置Ｐ_１で取得された第１の車両情報とに基づいて、第１の視線方向Ｄ_１を表す第１の視線情報を取得する。また、制御部３３は、第２の画像と、第２の画像が撮像されたときに車両３がいた第２の位置Ｐ_２で取得された第２の車両情報とに基づいて、第２の視線方向Ｄ_２を表す第２の視線情報を取得する。

さらに、制御部３３は、第１の位置Ｐ_１、第１の視線情報、第２の位置Ｐ_２、及び第２の視線情報に基づいて、搭乗者の注視点を検出する注視点検出処理を行う。また、制御部３３は、注視点検出処理によって検出された注視点を表す注視点情報を出力する。ここで、注視点検出処理の詳細について、図３を参照して説明する。

この説明では、注視点検出処理が実行される以前に、第１の位置Ｐ_１（ｘ_ｐ１，ｙ_ｐ１，ｚ_ｐ１）を含む車両情報が取得されたときに、制御部３３によって、第１の視線方向Ｄ_１（ｘ_ｄ１，ｙ_ｄ１，ｚ_ｄ１）を表す視線情報が取得されていたとする。また、第１の位置Ｐ_１とは異なる第２の位置Ｐ_２（ｘ_ｐ２，ｙ_ｐ２，ｚ_ｐ２）を含む車両情報が取得されたときに、制御部３３によって、第２の視線方向Ｄ_２（ｘ_ｄ２，ｙ_ｄ２，ｚ_ｄ２）を表す視線情報が取得されていたとする。

この場合、制御部３３は、世界座標系において、第１の位置Ｐ_１を起点とし、第１の視線方向Ｄ_１に伸びる第１の半直線Ｌ_１を算出する。同様にして、制御部３３は、第２の位置Ｐ_２を起点とし、第２の視線方向Ｄ_２に伸びる第２の半直線Ｌ_２を算出する。そして、制御部３３は、第１の半直線Ｌ_１と第２の半直線Ｌ_２との直線間距離ｄを算出する。さらに、制御部３３は、直線間距離ｄが所定の閾値ｄ_ｔｈ以下であるか否かを判定する。

直線間距離ｄが所定の閾値ｄ_ｔｈ以下である場合、制御部３３は、第１の半直線Ｌ_１上の第２の半直線Ｌ_２に最も近い点と第２の半直線Ｌ_２上の第１の半直線Ｌ_１に最も近い点との間の中点Ｐ_Ｍ、又は第１の半直線Ｌ_１と第２の半直線Ｌ_２との交点を注視点として決定する。直線間距離ｄが所定の閾値ｄ_ｔｈより長い場合、制御部３３は、搭乗者が、車両３が第１の位置Ｐ_１にいるときと、第２の位置Ｐ_２にいるときとで異なる対象を見ていたと判定し、注視点を決定しない。

所定の閾値ｄ_ｔｈは、搭乗者が、車両３が第１の位置Ｐ_１にいるときに見ていた対象と、第２の位置Ｐ_２にいるときに見ていた対象が僅かに異なっていても、同一の対象をみているとみなせる範囲である。所定の閾値ｄ_ｔｈは、例えば、車両３の速度等に基づいて設定されればよい。

視線情報メモリ３４は、制御部３３によって取得された複数の視線情報に含まれる視線方向それぞれを、各視線方向に係る位置で、取得された車両情報に含まれる車両３の位置に関連付けて記憶する。

表示装置４０は、通信インタフェース４１、表示制御部４２、ディスプレイ４３（４３は「表示素子」「表示パネル」などにしてはどうか。）等を含んで構成される。

通信インタフェース４１は、注視点検出装置３０の制御部３３から通信インタフェース３１を介して出力された注視点情報の入力を受ける。

表示制御部４２は、ディスプレイ４３への情報の表示を制御するプロセッサである。表示制御部４２は、注視点検出装置３０から出力され、通信インタフェース４１によって入力を受けた注視点情報に基づいて、メモリにあらかじめ記憶されている地図及び建物情報から、注視点の位置を表す地図、注視点がある建物の情報等の注視点関連情報を抽出する。また、表示制御部４２は、抽出した注視点関連情報をディスプレイ４３に表示させるよう制御する。

ディスプレイ４３は、車両３の内部における任意の位置に設置される。具体的には、運転者が視認できるようにダッシュボードに設置されてもよいし、運転者以外の搭乗者が視認できるように運転席又は助手席の裏面に設置されてもよい。ディスプレイ４３は、好ましくは液晶ディスプレイである。ディスプレイ４３は、液晶ディスプレイに限らず、有機ＥＬ（electroluminescence）ディスプレイ、無機ＥＬディスプレイ等であってもよい。

ディスプレイ４３は、表示制御部４２による制御に基づいて注視点関連情報を表示する。

次に、第１の実施形態における注視点検出システム１の注視点検出方法について、図４を参照して説明する。

カメラ１０が撮像を開始して（ステップＳ１１）、車両３が第１の位置Ｐ_１及び第２の位置Ｐ_２にいるときにそれぞれの位置で撮像した第１の画像及び第２の画像を注視点検出装置３０に出力する（ステップＳ１２、Ｓ１８）。

一方、ＧＰＳ受信機２０がＧＰＳ情報を受信して、車両３の位置及び進行方向の特定を開始する（ステップＳ１３）。ステップＳ１３で位置及び進行方向の特定が開始されると、注視点検出装置３０の通信インタフェース３１を介して制御部３３は、車両３が第１の位置Ｐ１及び第２の位置Ｐ２にいるときにそれぞれ特定された位置及び進行方向を含む第１の車両情報及び第２の車両情報を取得する（ステップＳ１４、Ｓ１９）

ステップＳ１２で注視点検出装置３０に第１の画像が入力されると、制御部３３は、第１の画像に基づいてカメラ１０の光軸方向を基準とした搭乗者の視線方向を特定する（ステップＳ１５）。

ステップＳ１５で、カメラ１０の光軸方向を基準とした搭乗者の視線方向が検出されると、制御部３３は、カメラ１０の光軸方向を基準とした視線方向と、カメラ１０の設置方向とに基づいて、車両３の進行方向を基準とした視線方向を特定する（ステップＳ１６）。

ステップＳ１６で、車両３の進行方向を基準とした視線方向が検出されると、制御部３３は、視線方向、及び第１の車両情報に含まれる進行方向に基づいて、世界座標系での搭乗者の視線方向を特定し、該視線方向を含む第１の視線情報を取得する（ステップＳ１７）。

同様にして、ステップＳ１８で注視点検出装置３０に第２の画像が入力されると、制御部３３は、第２の画像に基づいてカメラ１０の光軸方向を基準とした搭乗者の視線方向を特定する（ステップＳ２０）。

ステップＳ２０で、カメラ１０の光軸方向を基準とした搭乗者の視線方向が検出されると、制御部３３は、カメラ１０の光軸方向を基準とした視線方向と、カメラ１０の設置方向とに基づいて、車両３の進行方向を基準とした視線方向を特定する（ステップＳ２１）。

ステップＳ２１で、車両３の進行方向を基準とした視線方向が検出されると、制御部３３は、視線方向、及び第２の画像が撮像されたときに取得された第２の車両情報に含まれる進行方向に基づいて、世界座標系での搭乗者の視線方向を特定し、該視線方向を含む第２の視線情報を取得する（ステップＳ２２）。

ステップＳ１７第１の視線情報が取得され、ステップＳ２２で第２の視線情報が検出されると、制御部３３は注視点を検出する（ステップＳ２３）。

ここで、制御部３３が注視点を検出する処理の詳細について図５を参照して説明する。

まず、制御部３３は、第１の位置Ｐ_１、第１の視線方向Ｄ_１に基づいて第１の半直線Ｌ_１を算出する（ステップＳ２３１）。次に、制御部３３は、第２の位置Ｐ_２、第２の視線方向Ｄ_２に基づいて第２の半直線Ｌ_２を算出する（ステップＳ２３２）。制御部３３は、ステップＳ２３２の処理をステップＳ２３１の処理より先に行ってもよいし、制御部３３がマルチプロセッサである場合、ステップＳ２３２の処理とステップＳ２３１の処理とを同時に行ってもよい。

ステップＳ２３１及びＳ２３２で第１の半直線Ｌ_１及び第２の半直線Ｌ_２が算出されると、制御部３３は第１の半直線Ｌ_１及び第２の半直線Ｌ_２の直線間距離ｄを算出して、直線間距離ｄが所定の閾値ｄ_ｔｈ以下であるか否かを判定する（ステップＳ２３３）。

ステップＳ２３３で直線間距離ｄが所定の閾値ｄ_ｔｈ以下であると判定されると、制御部３３は、第１の半直線Ｌ_１上の第２の半直線Ｌ_２に最も近い点と第２の半直線Ｌ_２上の第１の半直線Ｌ_１に最も近い点との間の中点Ｐ_Ｍを注視点として検出する（ステップＳ２３４）。

ステップＳ２３３で直線間距離ｄが所定の閾値ｄ_ｔｈより長いと判定されると、制御部３３は、注視点を検出せずに処理を終了する。

図４に戻って、ステップＳ２３で注視点検出処理が終了すると、通信インタフェース３１は、制御部３３によって検出された注視点を表す注視点情報を表示装置４０に出力する（ステップＳ２４）。

ステップＳ２４で、注視点情報が出力されると、表示装置４０は注視点情報の入力を受け、注視点情報に係る注視点関連情報を表示する（ステップＳ２５）。

第１の実施形態においては、注視点検出装置３０は、複数の画像、及び複数の画像がそれぞれ撮像されたときの車両３の位置及び進行方向に基づいて、車両３に対する搭乗者の視線方向を特定し、複数の位置、進行方向、及び視線方向に基づいて注視点を検出する。そのため、注視点に存在する建物、施設等に関する情報を表示装置４０に表示させることができ、搭乗者の利便性を向上させることができる。

また、第１の実施形態においては、制御部３３が車両３の第１の位置Ｐ_１を起点とし搭乗者の視線方向に伸びる第１の半直線Ｌ_１と、車両３の第２の位置Ｐ_２を起点とし搭乗者の視線方向に伸びる第２の半直線Ｌ_２との直線間距離に基づいて注視点を検出する。具体的には、制御部３３は、直線間距離ｄが所定の閾値ｄ_ｔｈより長い場合には注視点を検出しない。これにより、車両３が第１の位置Ｐ_１から第２の位置Ｐ_２に移動したときに搭乗者の注視点が変化した場合に、注視点を誤検出するのを防ぐことができる。すなわち、高い精度で注視点を検出することが可能となる。

＜第２の実施形態＞
続いて、第２の実施形態について、図面を参照して説明する。

第２の実施形態に係る注視点検出システム１は、図１に示す、第１の実施形態に係る注視点検出システム１と同様に、車両３に搭載されたカメラ１０、ＧＰＳ受信機２０、注視点検出装置３０、及び表示装置４０等を含んで構成される。

第２の実施形態における制御部３３は、第１の実施形態における制御部３３と異なり、カメラ１０によって生成された画像に基づいて、車両３の搭乗者の、第１の位置における世界座標系での二次元の視線方向である第１の視線方向Ｄ_１（ｘ_ｄ１，ｙ_ｄ１）を検出して、第１の視線方向Ｄ_１を含む視線情報を取得する。同様にして、制御部３３は、車両３の搭乗者の、第２の位置における世界座標系での二次元の視線方向である第２の視線方向Ｄ_２（ｘ_ｄ２，ｙ_ｄ２）を検出して、第２の視線方向Ｄ_２を含む視線情報を取得する。

また、第２の実施形態における制御部３３は、第１の視線情報、第１の位置Ｐ_１（ｘ_ｐ１，ｙ_ｐ１）、第２の視線情報、及び第２の位置Ｐ_２（ｘ_ｐ２，ｙ_ｐ２）に基づいて注視点検出処理を行う。

具体的には、制御部３３は、世界座標系において、第１の位置Ｐ_１を起点とし、第１の視線情報に含まれる第１の視線方向Ｄ_１に伸びる第１の半直線Ｌ_１を二次元で算出する。同様にして、制御部３３は、第２の位置Ｐ２を起点とし、第２の視線情報に含まれる第２の視線方向Ｄ_２に伸びる第２の半直線Ｌ_２を算出する。そして、制御部３３は、第１の半直線Ｌ_１と第２の半直線Ｌ_２との交点が位置する座標を二次元で算出する。本実施形態での二次元は、水平面に沿う方向を意味し、鉛直方向については考えない。

制御部３３は、第１の半直線Ｌ_１と第２の半直線Ｌ_２とが交差しなかった場合、車両３が第１の位置Ｐ_１にいるときと、第２の位置Ｐ_２にいるときとで、搭乗者は異なる対象を見ていたと判定し、注視点を決定しない。

この場合、ＧＰＳ受信機２０は、ＧＰＳ受信機２０は、車両３の、世界座標系における二次元での位置及び進行方向を表す車両情報を生成してもよい。

第２の実施形態におけるその他の構成、作用は第１の実施形態と同様なので、同一又は対応する構成要素には、同一参照符号を付して説明を省略する。

次に、第２の実施形態における注視点検出システム２の注視点検出方法について説明する。

注視点検出システム２の検出方法は、第１の実施形態における注視点検出システム１の注視点検出方法と概ね同様であるが、図４のステップＳ２３に示す注視点の検出の詳細が異なる。ここで、第２の実施形態における注視点検出システム２における注視点の検出の詳細について図６を参照して説明する。

まず、制御部３３は、第１の位置Ｐ_１及び第１の視線方向Ｄ_１に基づいて第１の半直線Ｌ_１を算出する（ステップＳ２３５）。次に、制御部３３は、第２の位置Ｐ_２及び第２の視線方向Ｄ_２に基づいて第２の半直線Ｌ_２を算出する（ステップＳ２３６）。制御部３３は、ステップＳ２３６の処理をステップＳ２３５の処理より先に行ってもよいし、制御部３３がマルチプロセッサである場合、ステップＳ２３５の処理とステップＳ２３６の処理とを同時に行ってもよい。

ステップＳ２３５及びＳ２３６で第１の半直線Ｌ_１及び第２の半直線Ｌ_２が算出されると、制御部３３は第１の半直線Ｌ_１及び第２の半直線Ｌ_２との交点があるか否かを判定する（ステップＳ２３７）。

ステップＳ２３７で交点があると判定されると、制御部３３は、第１の半直線Ｌ_１と第２の半直線Ｌ_２との交点を注視点として検出する（ステップＳ２３８）。

ステップＳ２３７で交点がないと判定されると、制御部３３は、注視点を検出せずに処理を終了する。

以上説明したように、第２の実施形態によれば、搭乗者の注視点を検出することができる。これにより、注視点に存在する建物、施設等に関する情報を表示装置４０に表示させることができ、搭乗者の利便性を向上させることができ、第１の実施形態と同様の効果が得られる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態及び実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態及び実施例に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

例えば、上述の実施形態において、注視点検出装置３０の制御部３３が視線情報取得処理及び注視点検出処理を行うとしたが、これに限られず、カメラ１０の備えるプロセッサが、視線情報取得処理及び注視点検出処理を行ってもよい。また、カメラ１０及び注視点検出装置３０が一体として構成されてもよい。

また、上述の実施形態において、表示制御部４２が注視点情報に基づいて注視点関連情報を抽出するとしたが、これに限られない。例えば、注視点検出装置３０が注視点関連情報をメモリに記憶し、制御部３３が注視点検出処理で検出した注視点に基づいて注視点関連情報を抽出してもよい。この場合、注視点検出装置３０の通信インタフェース３１が表示装置４０に注視点関連情報を送信する。

また、上述の実施形態において、通信インタフェース３１が、ＧＰＳ受信機２０から第１の位置Ｐ_１及び第２の位置Ｐ_２を取得するとしたが、この限りではない。例えば、車両３があらかじめ決められた走行路上を移動している場合、又は車両３が移動できる走行路が１つしかない場合、通信インタフェース３１が、ＧＰＳ受信機２０から第１の位置Ｐ_１を表す車両情報を取得し、制御部３３が第１の視線情報が取得されてから第２の視線情報が取得されるまでの時間、及び車両３の移動速度を用いて、第２の位置Ｐ_２を算出してもよい。

１，２ 注視点検出システム
３ 車両
１０ カメラ
１１ 光学系
１２ 撮像素子
１３ 信号処理部
１４，３１，４１ 通信インタフェース
２０ ＧＰＳ受信機
３０ 注視点検出装置
３２ カメラ情報メモリ
３３ 制御部
３４ 視線情報メモリ
４０ 表示装置
４２ 表示制御部
４３ ディスプレイ

Claims (9)

1. 車両の第１の位置、及び前記第１の位置とは異なる、前記車両の第２の位置において、前記車両の搭乗者の目を含む顔をそれぞれ撮像した第１の画像及び第２の画像を取得し、前記第１の位置及び前記第１の位置における前記車両の進行方向を含む第１の車両情報と、前記第２の位置及び前記第２の位置における前記車両の進行方向を含む第２の車両情報とを取得する情報取得部と、
   前記第１の画像及び前記第１の車両情報に基づいて前記搭乗者の第１の視線方向を特定し、前記第２の画像及び前記第２の車両情報に基づいて前記搭乗者の第２の視線方向を特定し、前記第１の位置、前記第１の視線方向、前記第２の位置、及び前記第２の視線方向に基づいて注視点を検出するプロセッサと、
   を備える注視点検出装置。
2. 前記プロセッサは、前記視線方向を三次元座標系で特定し、前記第１の位置を起点として、前記第１の視線方向に伸びる第１の半直線と、前記第２の位置を起点として前記第２の視線方向に伸びる第２の半直線とに基づいて注視点を検出する、請求項１に記載の注視点検出装置。
3. 前記プロセッサは、前記第１の半直線上の前記第２の半直線に最も近い点と前記第２の半直線上の前記第１の半直線に最も近い点との間の中点、又は前記第１と第２の半直線の交点を注視点として検出する、請求項２に記載の注視点検出装置。
4. 前記プロセッサは、前記視線方向を二次元座標系で検出し、前記第１の位置を起点として、前記第１の視線方向に伸びる第１の半直線と、前記第２の位置を起点として前記第２の視線方向に伸びる第２の半直線との交点を注視点として検出する、請求項１に記載の注視点検出装置。
5. 前記プロセッサは、前記注視点を地図上の位置として検出する、請求項１から４の何れか一項に記載の注視点検出装置。
6. 前記情報取得部は、前記車両の速度に基づいて決定された時間間隔で、順次画像を取得し、順次、取得された前記画像における連続して取得された２つの画像の一方を前記第１の画像とし、他方を第２の画像とする、請求項１から５の何れか一項に記載の注視点検出装置。
7. 注視点検出装置が実行する注視点検出方法であって、
   前記注視点検出装置が、車両の第１の位置、及び前記第１の位置とは異なる、前記車両の第２の位置において、前記車両の搭乗者の目を含む顔をそれぞれ撮像した第１の画像及び第２の画像を取得し、前記第１の位置及び前記第１の位置における前記車両の進行方向を含む第１の車両情報と、前記第２の位置及び前記第２の位置における前記車両の進行方向を含む第２の車両情報とを取得するステップと、
   前記注視点検出装置が、前記第１の画像及び前記第１の車両情報に基づいて前記搭乗者の第１の視線方向を特定し、前記第２の画像及び前記第２の車両情報に基づいて前記搭乗者の第２の視線方向を特定し、前記第１の位置、前記第１の視線方向、前記第２の位置、及び前記第２の視線方向に基づいて注視点を検出するステップと、
   を含む注視点検出方法。
8. 車両の第１の位置、及び前記第１の位置とは異なる、前記車両の第２の位置において、前記車両の搭乗者の目を含む顔をそれぞれ撮像した第１の画像及び第２の画像を撮像するカメラと、
   前記第１の位置及び前記第１の位置における前記車両の進行方向を含む第１の車両情報と、前記第２の位置及び前記第２の位置における前記車両の進行方向を含む第２の車両情報を取得する情報取得部と、
   前記第１の画像及び前記第１の車両情報に基づいて前記搭乗者の第１の視線方向を特定し、前記第２の画像及び前記第２の車両情報に基づいて前記搭乗者の第２の視線方向を特定し、前記第１の位置、前記第１の視線方向、前記第２の位置、及び前記第２の視線方向に基づいて注視点を検出するプロセッサと、
   前記プロセッサによって検出された注視点に係る情報を表示する表示装置と、
   を備える注視点検出システム。
9. 車両の第１の位置、及び前記第１の位置とは異なる、車両の第２の位置において、前記車両の搭乗者の目を含む顔をそれぞれ撮像した第１の画像及び第２の画像を撮像するカメラと、
   前記第１の位置及び前記第１の位置における前記車両の進行方向を含む第１の車両情報と、前記第２の位置及び前記第２の位置における前記車両の進行方向を含む第２の車両情報とを取得する情報取得部と、
   前記第１の画像及び前記第１の車両情報に基づいて前記搭乗者の第１の視線方向を特定し、前記第２の画像及び前記第２の車両情報に基づいて前記搭乗者の第２の視線方向を特定し、前記第１の位置、前記第１の視線方向、前記第２の位置、及び前記第２の視線方向に基づいて注視点を検出するプロセッサと、
   前記プロセッサによって検出された注視点に係る情報を表示する表示装置と、
   を含む注視点検出システムを備える車両。

Images