JP2020188291A - 画像表示装置および画像表示プログラム - Google Patents

Abstract

【課題】車両の乗員の目の向きおよび／または顔の向きの変化を視覚的により分かりやすく表示する。【解決手段】本開示の一例としての画像表示装置は、車両に設けられる１以上の撮像部による撮像結果として得られる撮像画像として、車両の乗員の目を含む顔が写った顔画像を取得する画像取得部と、顔画像を表示部に表示するとともに、当該顔画像に乗員の目の向きおよび顔の向きのうち少なくとも一方を示す線状の標示を重畳し、乗員の目の向きおよび顔の向きのうち少なくとも一方の変化に応じて、顔画像に重畳される線状の標示の表示スタイルの変更を向きの変更と併せて実行する表示処理部と、を備える。【選択図】図４

Description

本開示は、画像表示装置および画像表示プログラムに関する。

従来から、車両の乗員の目の向き（および／または顔の向き）を、当該乗員の顔が写った顔画像とともに視覚的に確認させる技術について検討されている。このような技術の一つとして、乗員の目の向きを示す矢印を、乗員の目の開閉度を示す指標などといった他の情報とともに顔画像に重畳して表示する技術が知られている。

特許第５２８２６１２号公報

しかしながら、上記のような従来の技術では、顔画像に重畳される情報が多くなりやすいので、乗員の目の向き（および／または顔の向き）の変化が視覚的に分かりにくい場合がある。

そこで、本開示の課題の一つは、車両の乗員の目の向きおよび／または顔の向きの変化を視覚的により分かりやすく表示することが可能な画像表示装置および画像表示プログラムを提供することである。

本開示の一例としての画像表示装置は、車両に設けられる１以上の撮像部による撮像結果として得られる撮像画像として、車両の乗員の目を含む顔が写った顔画像を取得する画像取得部と、顔画像を表示部に表示するとともに、当該顔画像に乗員の目の向きおよび顔の向きのうち少なくとも一方を示す線状の標示を重畳し、乗員の目の向きおよび顔の向きのうち少なくとも一方の変化に応じて、顔画像に重畳される線状の標示の表示スタイルの変更を向きの変更と併せて実行する表示処理部と、を備える。

上述した画像表示装置によれば、線状の標示の向きとともに表示スタイルを変更することで、車両の乗員の目の向きおよび／または顔の向きの変化を視覚的により分かりやすく表示することができる。

上述した画像表示装置において、表示処理部は、表示スタイルの変更として、色、長さ、太さ、線種、および濃度のうちいずれか１以上の変更を実行する。このような構成によれば、色、長さ、太さ、線種、および濃度のうちいずれか１以上により、表示スタイルを容易に変更することができる。

また、上述した画像表示装置において、表示処理部は、乗員の目の向きおよび顔の向きが、顔画像の撮像方向とは実質的に逆の正面方向に対して所定の角度範囲内にある場合、線状の標示の顔画像への重畳を解除する。このような構成によれば、線状の標示が無くても乗員の目の向きおよび／または顔の向きが分かりやすい場合に、表示部の表示内容をよりシンプルにし、視認性を高めることができる。

また、上述した画像表示装置において、表示処理部は、乗員の目の向きを示す線状の標示としての視線標示を、乗員の目を起点として直線状に延びるように顔画像に重畳するとともに、乗員の顔の向きを示す線状の標示としての顔向き表示を、乗員の顔の中心近傍を起点として直線状に延びるように顔画像に重畳する。このような構成によれば、乗員の目の向きおよび顔の向きを顔画像上で視覚的に分かりやすく表示することができる。

また、上述した画像表示装置において、表示処理部は、乗員の目の向きおよび顔の向きのうち少なくとも一方の向きに基づいて推定される乗員が見ている領域に関する情報を表示部にさらに表示する。このような構成によれば、乗員がどこに顔を向けて何を見ているかを視覚的に分かりやすく表示することができる。

この場合において、画像取得部は、撮像画像として、車両の外部の状況が写った車外画像をさらに取得し、表示処理部は、顔画像および車外画像の両方を表示部に表示し、乗員が見ている領域に関する情報を、車外画像に重畳する。このような構成によれば、乗員が車両の外部のどこに顔を向けて何を見ているかを視覚的に分かりやすく表示することができる。

本開示の他の一例としての画像表示プログラムは、車両に設けられる１以上の撮像部による撮像結果として得られる撮像画像として、車両の乗員の目を含む顔が写った顔画像を取得する画像取得ステップと、顔画像を表示部に表示するとともに、当該顔画像に乗員の目の向きおよび顔の向きのうち少なくとも一方を示す線状の標示を重畳し、乗員の目の向きおよび顔の向きのうち少なくとも一方の変化に応じて、顔画像に重畳される線状の標示の表示スタイルの変更を向きの変更と併せて実行する表示処理ステップと、をコンピュータに実行させる。

上述した画像表示プログラムによれば、線状の標示の向きとともに表示スタイルを変更することで、車両の乗員の目の向きおよび／または顔の向きの変化を視覚的により分かりやすく表示することができる。

図１は、実施形態にかかる技術の適用対象としての運転行動確認システムの概要を説明するための例示的かつ模式的な図である。 図２は、実施形態にかかる運転行動確認システムを構成する各装置の概略的なハードウェア構成を示した例示的かつ模式的なブロック図である。 図３は、実施形態において検出されるドライバの目の向きおよび顔の向きを説明するための例示的かつ模式的な図である。 図４は、実施形態にかかる画像表示装置の機能を示した例示的かつ模式的な図である。 図５は、実施形態にかかる表示部に表示される画像の一例を示した例示的かつ模式的な図である。 図６は、実施形態において実行される視線標示および顔向き標示の表示スタイルの変更の例を示した例示的かつ模式的な図である。 図７は、実施形態にかかる表示部に表示される画像の他の一例を示した例示的かつ模式的な図である。 図８は、実施形態にかかる画像表示装置が実行する一連の処理を示した例示的かつ模式的なフローチャートである。

以下、本開示の実施形態を図面に基づいて説明する。以下に説明される実施形態の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。

図１は、実施形態にかかる技術の適用対象としての運転行動確認システムの概要を説明するための例示的かつ模式的な図である。

図１に示されるように、実施形態にかかる運転行動確認システムは、車両Ｖの乗員のうちの一人であるドライバＸ１の運転行動に関する情報をドライバモニタ１１０およびドライブレコーダ１２０によって記録し、記録した運転行動に関する情報を記録媒体１５０によってＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）１３０に移管し、移管した運転行動に関する情報をＰＣ１３０によってオペレータＸ２に事後的に確認させることを実現するシステムである。車両Ｖは、たとえば運送業者のトラックであり、ＰＣ１３０は、たとえば運送業者のバックオフィス業務用の情報処理装置である。

なお、実施形態では、運転行動に関する情報のＰＣ１３０への移管に記録媒体１５０が利用される構成について説明するが、運転行動に関する情報のＰＣ１３０への移管は、ネットワーク上のクラウドサーバ経由で実行されてもよい。この場合、車両Ｖ側の装置としてのドライバモニタ１１０およびドライブレコーダ１２０のうち少なくとも一方と、ＰＣ１３０とが共にネットワーク通信機能を有していることが前提となる。なお、車両Ｖ側の装置とＰＣ１３０とが共にネットワーク通信機能を有していれば、ドライバＸ１の運転行動に関する情報をオペレータＸ２がリアルタイムで確認することが可能である。

図２は、実施形態にかかる運転行動確認システムを構成する各装置の概略的なハードウェア構成を示した例示的かつ模式的なブロック図である。

図１にも示されているが、図２に示されるように、実施形態にかかる運転行動確認システムは、主として、ドライバモニタ１１０と、ドライブレコーダ１２０と、ＰＣ１３０と、によって構成されている。

ドライバモニタ１１０は、撮像部１１１と、制御部１１２と、記憶部１１３と、入出力部１１４と、を備えている。

撮像部１１１は、車両Ｖの内部の状況を表す車内画像の一つとしての、ドライバＸ１の目を含む顔が写った顔画像を取得するカメラである（図１のドライバモニタ１１０から延びる一点鎖線も参照）。なお、顔画像という表現は、ある１つのタイミングにおける静止画の意味だけでなく、連続した複数のタイミングにおける静止画の集まりである動画（映像）としての意味も含んでいる。

また、制御部１１２は、ドライバモニタ１１０の動作を統括的に制御するプロセッサである。制御部１１２は、ドライバモニタ１１０において必要となる各種の演算処理を実行する。

また、記憶部１１３は、ドライバモニタ１１０により生成されるデータや、外部から取得されるデータなどといった各種のデータを記憶するメモリ（およびストレージ）である。

なお、入出力部１１４は、ドライバモニタ１１０を外部に接続するためのインターフェースである。図２に示される例では、ドライバモニタ１１０は、入出力部１１４を介してドライブレコーダ１２０（の入出力部１２４）に接続されている。

また、上記のドライバモニタ１１０と同様、ドライブレコーダ１２０も、撮像部１２１と、制御部１２２と、記憶部１２３と、入出力部１２４と、を備えている。

撮像部１２１は、車両Ｖの外部の状況が写った車外画像、より具体的には車両Ｖの前方の状況が写った前方画像を取得するカメラである（図１のドライブレコーダ１２０から延びる一点鎖線も参照）。なお、上述した顔画像と同様、前方画像という表現は、ある１つのタイミングにおける静止画の意味だけでなく、連続した複数のタイミングにおける静止画の集まりである動画（映像）としての意味も含んでいる。

また、制御部１２２は、ドライブレコーダ１２０の動作を統括的に制御するプロセッサである。制御部１２２は、ドライブレコーダ１２０において必要となる各種の演算処理を実行する。

また、記憶部１２３は、ドライブレコーダ１２０により生成されるデータや、外部から取得されるデータなどといった各種のデータを記憶するメモリ（およびストレージ）である。

なお、入出力部１２４は、ドライブレコーダ１２０を外部に接続するためのインターフェースである。図２に示される例では、ドライブレコーダ１２０は、入出力部１２４を介してドライバモニタ１１０（の入出力部１１４）に接続されている。また、図２に示される例では、記憶部１２３に記憶された各種のデータが、入出力部１２４に接続される記録媒体１５０を介してＰＣ１３０に移管される。

一方、ＰＣ１３０は、表示部１３１と、制御部１３２と、記憶部１３３と、入出力部１３４と、を備えている。

表示部１３１は、ＰＣ１３０のユーザとしてのオペレータＸ２に情報を視覚的に提供するための表示出力装置である。

制御部１３２は、ＰＣ１３０の動作を統括的に制御するプロセッサである。制御部１３２は、ＰＣ１３０において必要となる各種の演算処理を実行する。

記憶部１３３は、ＰＣ１３０により生成されるデータや、外部から取得されるデータなどといった各種のデータを記憶するメモリ（およびストレージ）である。

入出力部１３４は、ＰＣ１３０を外部に接続するためのインターフェースである。図２に示される例では、図２に示される例では、記録媒体１５０が入出力部１３４に接続されることで、ドライブレコーダ１２０の記憶部１２３に記憶された各種のデータの移管が実現される。なお、別の実施形態として、ドライバモニタ１１０が（記憶部１１３などに）保持するデータが、入出力部１１４に接続された記録媒体１５０を経由して入出力部１３４を介してＰＣ１３０に移管されてもよい。同様に、ドライブレコーダ１２０が（記憶部１２３などに）保持するデータが、入出力部１２４に接続された記録媒体１５０を経由して入出力部１３４を介してＰＣ１３０に移管されてもよい。また、ドライバモニタ１１０のデータやドライブレコーダ１２０のデータは、それぞれネットワーク上のクラウドサーバ経由でＰＣ１３０に移管されてもよい。

以上のハードウェア構成により、実施形態にかかる運転行動確認システムは、ドライバモニタ１１０の撮像部１１１により取得される顔画像から、次の図３に示されるような形で車両ＶのドライバＸ１の目の向きおよび／または顔の向きを検出し、検出結果をＰＣ１３０の表示部１３１に表示することで、ドライバＸ１の運転行動に関する情報をＰＣ１３０のオペレータＸ２に視覚的に確認させることを実現する。

図３は、実施形態において検出されるドライバＸ１の目の向きおよび顔の向きを説明するための例示的かつ模式的な図である。

図３に示される例において、矢印Ａ３１１およびＡ３１２は、ドライバＸ１の左右の目のそれぞれの向きを表しており、矢印Ａ３２１は、ドライバＸ１の顔の向きを表している。なお、図３には、説明の簡単化のため、目の向きと顔の向きとが実質的に一致している例が示されているが、一般に、左右の目の向きは互いに一致することが多いものの、目の向きと顔の向きとは、必ずしも一致するとは限らない。

図３に示される例において、ドライバモニタ１１０の撮像部１１１の向き、すなわち顔画像の撮像方向が矢印Ａ３３１で表される場合、ドライバＸ１の目の向きおよび顔の向きは、顔画像の撮像方向とは逆の正面方向となる。したがって、この場合、撮像部１１１は、ドライバＸ１の目および顔が正面方向から写った顔画像を取得する。

一方、図３に示される例において、顔画像の撮像方向が矢印Ａ３４１で表される場合、ドライバＸ１の目の向きおよび顔の向きは、顔画像の撮像方向とは逆の正面方向に対して角度θだけ傾いた方向となる。したがって、この場合、撮像部１１１は、ドライバＸ１の目および顔が正面方向に対して角度θだけ傾いた方向から写った顔画像を取得する。

なお、図３に示される例では、ドライバＸ１の目の向きおよび顔の向きが固定であり、顔画像の撮像方向が変化するように表現されているが、このような表現はあくまで説明の便宜のためである。現実には、ドライバＸ１の目の向きおよび／または顔の向きが変化し、顔画像の撮像方向は固定である。

また、図３に示される例において、矢印Ａ３３２およびＡ３４２は、それぞれ、顔画像の撮像方向が矢印Ａ３３１およびＡ３４１で表される場合における前方画像の撮像方向を表している。図１からも分かるように、実施形態において、ドライバモニタ１１０の撮像部１１１の向きと、ドライブレコーダ１２０の撮像部１２１の向きとは、実質的に逆である。したがって、撮像部１１１により取得される顔画像に写った像と、撮像部１２１により取得される前方画像に写った像とは、実質的に、左右（前後）が逆のいわゆる鏡像の関係にある。

実施形態にかかる運転行動確認システムは、撮像部１１１により取得される顔画像に、顔の三次元モデルを利用したフィッティングなどといった各種の画像処理を実行することで、顔画像に写ったドライバＸ１の目の向きおよび顔の向きを、たとえば顔画像の撮像方向とは逆の正面方向に対する角度などといった形で検出する。

なお、実施形態において、ドライバＸ１の目の向きおよび顔の向きの検出に必要な各種の画像処理は、ドライバモニタ１１０の制御部１１２により実行されてもよいし、ドライブレコーダ１２０の制御部１２２により実行されてもよいし、ＰＣ１３０の制御部１３２により実行されてもよいし、これら３者のうち２者以上の分担で実行されてもよい。

ところで、従来から、車両の乗員の目の向き（および／または顔の向き）を、当該乗員の顔が写った顔画像とともに視覚的に確認させる技術について検討されている。このような技術の一つとして、乗員の目の向きを示す矢印を、乗員の目の開閉度を示す指標などといった他の情報とともに顔画像に重畳して表示する技術が知られている。

しかしながら、上記のような従来の技術では、顔画像に重畳される情報が多くなりやすいので、乗員の目の向き（および／または顔の向き）の変化が視覚的に分かりにくい場合がある。

そこで、実施形態は、以下に説明するような機能を有した画像表示装置４００をＰＣ１３０内に実現することで、車両Ｖの乗員としてのドライバＸ１の目の向きおよび顔の向きの変化を視覚的により分かりやすく表示することを実現する。

図４は、実施形態にかかる画像表示装置４００の機能を示した例示的かつ模式的な図である。なお、実施形態において、「画像表示装置」は、「運転行動表示装置」とも表現しうる。

図４に示されるように、画像表示装置４００は、画像取得部４０１と、表示処理部４０２と、を備えている。これらの機能は、たとえば、ＰＣ１３０の制御部１３２が記憶部１３３に記憶された所定の画像表示プログラムを読み出して実行した結果として実現される。なお、実施形態では、これらの機能の一部または全部が、専用のハードウェア（回路）のみによって実現されてもよい。

画像取得部４０１は、ドライバモニタ１１０の撮像部１１１により取得される顔画像と、ドライブレコーダ１２０の撮像部１２１により取得される前方画像とを、記録媒体１５０経由で取得する。画像取得部４０１は、顔画像から検出されるドライバＸ１の目の向きおよび顔の向きを、顔画像および前方画像とともに取得することも可能である。

表示処理部４０２は、ＰＣ１３０の表示部１３１の表示内容を制御する。たとえば、表示処理部４０２は、次の図５に示されるような画像５０１を表示部１３１に表示する。

図５は、実施形態にかかる表示部１３１に表示される画像の一例を示した例示的かつ模式的な図である。

図５に示されるように、表示処理部４０２は、ドライバＸ１の目を含む顔が写った顔画像としての画像５０１を表示部１３１に表示するとともに、当該顔画像に、ドライバＸ１の目の向きおよび顔の向きを示す線状（棒状）の標示を重畳する。

より具体的に、表示処理部４０２は、顔画像としての画像５０１に、ドライバＸ１の目の向きを示す線状の標示としての標示５１１および５１２と、ドライバＸ１の顔の向きを示す線状の標示としての標示５２１と、を重畳する。なお、以下では、ドライバＸ１の目の向きを示す線状の標示を視線標示と表現し、ドライバＸ１の顔の向きを示す線状の標示を顔向き標示と表現することがある。

図５に示されるように、視線標示５１１および５１２は、ドライバＸ１の目の中心近傍を起点として直線状に延びるように重畳され、顔向き標示５２１は、ドライバＸの顔の中心近傍のたとえば鼻を起点として直線状に延びるように重畳される。

なお、図５に示される例では、視線標示５１１および５１２と顔向き標示５２１との両方が顔画像に重畳されているが、実施形態では、これらのうちいずれか一方のみが重畳されてもよい。つまり、実施形態の技術は、ドライバＸ１の目の向きおよび顔の向きの両方が線状の標示として顔画像に重畳される構成だけでなく、ドライバＸ１の目の向きおよび顔の向きのうち少なくとも一方が線状の標示として顔画像に重畳される構成にも適用可能である。また、実施形態の技術は、車両ＶのドライバＸ１以外の乗員の目を含む顔が写った顔画像が表示部１３１に表示される構成にも適用可能である。

ここで、実施形態において、表示処理部４０２は、顔画像としての画像５０１に写ったドライバＸ１の目の向きの変化に応じて、視線標示５１１および５１２の向きの変更を実行するとともに、顔画像としての画像５０１に写ったドライバＸ１の顔の向きの変化に応じて、顔向き標示５２１の向きの変更を実行する。このとき、表示処理部４０２は、次の図６に示される変更方法のうちいずれか１以上に基づき、視線標示５１１および５１２ならびに顔向き標示５２１の表示スタイルの変更を併せて実行する。

図６は、実施形態において実行される視線標示５１１および５１２ならびに顔向き標示５２１の表示スタイルの変更方法の例を示した例示的かつ模式的な図である。

図６に示されるように、表示処理部４０２は、視線標示５１１および５１２ならびに顔向き標示５２１の表示スタイルの変更として、色、長さ、太さ、線種、および濃淡のうちいずれか１以上の変更を実行する。

より具体的に、表示処理部４０２は、顔画像から検出されるドライバＸ１の目の向きおよび／または顔の向きを示す角度（たとえば図３に示される例における角度θ）の大小に応じて、視線標示５１１および５１２ならびに顔向き標示５２１の色、長さ、太さ、線種、および濃淡のうちいずれか１以上の変更を実行する。

図６に示される例によれば、視線標示５１１および５１２ならびに顔向き標示５２１の色が、顔画像から検出されるドライバＸ１の目の向きおよび／または顔の向きを示す角度が小さいほど黄色に近づき、当該角度が大きいほど赤色に近づくように変更される。

同様に、図６に示される例によれば、視線標示５１１および５１２ならびに顔向き標示５２１の長さが、顔画像から検出されるドライバＸ１の目の向きおよび／または顔の向きを示す角度が小さいほど短くなり、当該角度が大きいほど長くように変更される。

また、図６に示される例によれば、視線標示５１１および５１２ならびに顔向き標示５２１の太さが、顔画像から検出されるドライバＸ１の目の向きおよび／または顔の向きを示す角度が小さいほど細くなり、当該角度が大きいほど太くなるように変更される。

また、図６に示される例によれば、視線標示５１１および５１２ならびに顔向き標示５２１の線種が、顔画像から検出されるドライバＸ１の目の向きおよび／または顔の向きを示す角度が小さいほどピッチの大きい破線となり、当該角度が大きいほどピッチの小さい破線となるように変更される。

また、図６に示される例によれば、視線標示５１１および５１２ならびに顔向き標示５２１の濃淡が、顔画像から検出されるドライバＸ１の目の向きおよび／または顔の向きを示す角度が小さいほど淡くなり、当該角度が大きいほど濃くなるように変更される。

ここで、ドライバＸ１の目の向きおよび／または顔の向きを示す角度がゼロまたは微小の所定の角度範囲内である場合は、顔画像にドライバＸ１の顔の正面付近が写ることになる。このような場合、特に標示が無くてもドライバＸ１の目の向きおよび／または顔の向きが分かりやすい。

したがって、実施形態において、表示処理部４０２は、ドライバＸ１の目の向きおよび／または顔の向きを示す角度がゼロまたは微小の所定の角度範囲内である場合、視線標示５１１および５１２ならびに顔向き標示５２１の顔画像への重畳を解除しうる。ただし、実施形態では、図６に示されるように、顔画像への重畳の解除に代えて、視線標示５１１および５１２ならびに顔向き標示５２１の色を青にしたり、長さを極短にしたり、太さを極細にしたり、線種をピッチが極大の破線にしたり、濃度を極淡にしたりするなどといった他の処理が実行されてもよい。

ところで、実施形態では、ドライバＸ１がどこに顔を向けて何を見ているかを示す情報も表示部１３１に表示することができれば、さらに有益である。

そこで、実施形態において、表示処理部４０２は、ドライバＸ１の目の向きおよび顔の向きのうち少なくとも一方の向きに基づいて推定されるドライバＸ１が見ている領域に関する情報を表示部１３１にさらに表示する。なお、ドライバＸ１が見ている領域に関する情報の推定は、ドライバモニタ１１０の制御部１１２により実行されてもよいし、ドライブレコーダ１２０の制御部１２２により実行されてもよいし、ＰＣ１３０の制御部１３２により実行されてもよいし、これら３者のうち２者以上の分担で実行されてもよい。

たとえば、実施形態において、表示処理部４０２は、次の図７に示されるような画像７００により、ドライバＸ１が見ている領域に関する情報を、ドライバＸ１の目の向きおよび顔の向きに加えて表示部１３１に表示する。

図７は、実施形態にかかる表示部１３１に表示される画像の他の一例を示した例示的かつ模式的な図である。

図７に示されるように、表示処理部４０２は、顔画像および前方画像の両方を表示部１３１に表示し、ドライバＸ１の目の向きおよび顔の向きを示す線状の標示を顔画像に重畳するとともに、ドライバＸ１が見ている領域に関する情報を、前方画像に重畳する。

より具体的に、表示処理部４０２は、顔画像としての画像７０１と、前方画像としての画像７０２と、各種の設定情報や動画の時系列に関する情報などを表示するための表示領域７０３および７０４と、を含む画像７００を表示部１３１に表示する。そして、表示処理部４０２は、ドライバＸ１の目の向きおよび顔の向きを示す線状の標示としての視線標示７１１および７１２ならびに顔向き標示７２１を、顔画像としての画像７０１に重畳し、ドライバＸ１が見ている領域に関する情報を示すサークル状の標示７３１を、前方画像としての画像７０２に重畳する。これにより、ドライバＸ１が標示７３１で示される領域を見ながら運転操作を行っていることが視覚的に明らかになる。なお、以下では、ドライバＸ１が見ている領域に関する情報を示すために前方画像に重畳される標示を、注視領域標示と表現することがある。

なお、実施形態において、顔画像および前方画像のレイアウトは、図７に示される例に制限されるものではない。また、実施形態において、ドライバＸ１が見ている領域に関する情報は、たとえば矢印状の標示を前方画像に重畳したり表示領域７０３および７０４に文字を標示したりするなど、図７に示されるサークル状の注視領域標示７３１を前方画像に重畳する以外の方法で表示部１３１に表示されてもよい。

さらに、実施形態では、顔画像とともに表示される画像は、車両Ｖに設けられる１以上の撮像部による撮像結果として得られる撮像画像であれば、前方画像以外の車外画像であってもよいし、顔画像以外の車内画像であってもよい。前方画像以外の車外画像の例としては、たとえば車両Ｖの後方の状況が写った後方画像や、車両Ｖの側方の状況が写った側方画像などが考えられる。また、顔画像以外の車内画像の例としては、車両ＶのドライバＸ１以外の乗員が写った乗員画像などが考えられる。

以上の構成に基づき、実施形態にかかる画像表示装置４００は、次の図８に示されるような流れに従って処理を実行する。

図８は、実施形態にかかる画像表示装置４００が実行する一連の処理を示した例示的かつ模式的なフローチャートである。図８に示される一連の処理は、動画としての顔画像および／または前方画像の表示再生が終了するまでの間、繰り返し実行される。

図８に示されるように、実施形態では、まず、Ｓ８０１において、画像表示装置４００の画像取得部４０１は、撮像画像を取得する。撮像画像は、ドライバモニタ１１０の撮像部１１１により取得される顔画像や、ドライブレコーダ１２０の撮像部１２１により取得される前方画像などを含んでいる。

そして、Ｓ８０２において、画像表示装置４００の表示処理部４０２は、たとえば図５（または図７）に示されるような形で、視線標示および顔向き標示（ならびに注視領域標示）を重畳した上で、Ｓ８０１で取得された撮像画像としての顔画像（および前方画像）を表示部１３１に表示する。

そして、Ｓ８０３において、画像表示装置４００の表示処理部４０２は、顔画像におけるドライバＸ１の目の向きおよび／または顔の向きが変化したか否かを判断する。

Ｓ８０３において、目の向きおよび／または顔の向きが変化していないと判断された場合、そのまま処理が終了する。

一方、Ｓ８０３において、目の向きおよび／または顔の向きが変化したと判断された場合、Ｓ８０４に処理が進む。

そして、Ｓ８０４において、画像表示装置４００の表示処理部４０２は、目の向きの変化量に応じて、視線標示の向きおよび表示スタイルを変更するとともに、顔の向きの変化量に応じて、顔向き標示の向きおよび表示スタイルを変更する。なお、視線標示および顔向き標示に加えて注視領域標示も表示されている場合、表示処理部４０２は、視線標示／顔向き標示の向きおよび表示スタイルの変更と併せて、注視領域の表示位置の変更も併せて実行する。そして、処理が終了する。

以上説明したように、実施形態にかかる画像表示装置４００は、画像取得部４０１と、表示処理部４０２と、を備えている。画像取得部４０１は、車両Ｖに設けられる１以上の撮像部による撮像結果として得られる撮像画像として、ドライバモニタ１１０の撮像部１１１により取得される、車両Ｖの乗員としてのドライバＸ１の目を含む顔が写った顔画像を取得する。表示処理部４０２は、顔画像を表示部１３１に表示するとともに、当該顔画像にドライバＸ１の目の向きおよび顔の向きを示す線状の標示を重畳し、ドライバＸ１の目の向きおよび顔の向きのうち少なくとも一方の変化に応じて、顔画像に重畳される線状の標示の表示スタイルの変更を向きの変更と併せて実行する。

上述した画像表示装置４００によれば、線状の標示の向きとともに表示スタイルを変更することで、車両ＶのドライバＸ１の目の向きおよび／または顔の向きの変化を視覚的により分かりやすく表示することができる。

ここで、実施形態において、表示処理部４０２は、表示スタイルの変更として、色、長さ、太さ、線種、および濃度のうちいずれか１以上の変更を実行する。このような構成によれば、色、長さ、太さ、線種、および濃度のうちいずれか１以上により、表示スタイルを容易に変更することができる。

また、実施形態において、表示処理部４０２は、ドライバＸ１の目の向きおよび顔の向きが、顔画像の撮像方向とは実質的に逆の正面方向に対して所定の角度範囲内にある場合、線状の標示の顔画像への重畳を解除しうる。このような構成によれば、線状の標示が無くてもドライバＸ１の目の向きおよび／または顔の向きが分かりやすい場合に、表示部１３１の表示内容をよりシンプルにし、視認性を高めることができる。

また、実施形態において、表示処理部４０２は、ドライバＸ１の目の向きを示す線状の標示としての視線標示を、ドライバＸ１の目を起点として直線状に延びるように顔画像に重畳するとともに、ドライバＸ１の顔の向きを示す線状の標示としての顔向き表示を、ドライバＸ１の顔の中心近傍を起点として直線状に延びるように顔画像に重畳する。このような構成によれば、ドライバＸ１の目の向きおよび顔の向きを顔画像上で視覚的に分かりやすく表示することができる。

また、実施形態において、表示処理部４０２は、ドライバＸ１の目の向きおよび顔の向きのうち少なくとも一方の向きに基づいて推定されるドライバＸ１が見ている領域に関する情報を表示部１３１にさらに表示しうる。このような構成によれば、ドライバＸ１がどこに顔を向けて何を見ているかを視覚的に分かりやすく表示することができる。

より具体的に、実施形態において、画像取得部４０１は、撮像画像として、ドライブレコーダ１２０の撮像部１２１により取得される、車両Ｖの外部の状況が写った車外画像としての前方画像をさらに取得し、表示処理部４０２は、顔画像および前方画像の両方を表示部１３１に表示し、ドライバＸ１が見ている領域に関する情報を、前方画像に重畳しうる。このような構成によれば、ドライバＸ１が車両Ｖの外部のどこに顔を向けて何を見ているかを視覚的に分かりやすく表示することができる。

なお、実施形態にかかるＰＣ１３０において実行される画像表示プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、実施形態にかかるＰＣ１３０において実行される画像表示プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける、といった形で提供されてもよい。

以上、本開示の実施形態を説明したが、上述した実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１１、１２１ 撮像部
１３１ 表示部
４００ 画像表示装置
４０１ 画像取得部
４０２ 表示処理部
５０１ 画像（顔画像）
５１１、５１２ 視線標示（線状の標示）
５２１ 顔向き標示（線状の標示）
７０１ 画像（顔画像）
７０２ 画像（車外画像）
７１１、７１２ 視線標示（線状の標示）
７２１ 顔向き標示（線状の標示）
７３１ 注視領域標示（乗員が見ている領域に関する情報）
Ｖ 車両
Ｘ１ ドライバ（乗員）

Claims (7)

1. 車両に設けられる１以上の撮像部による撮像結果として得られる撮像画像として、前記車両の乗員の目を含む顔が写った顔画像を取得する画像取得部と、
   前記顔画像を表示部に表示するとともに、当該顔画像に前記乗員の前記目の向きおよび前記顔の向きのうち少なくとも一方を示す線状の標示を重畳し、前記乗員の前記目の向きおよび前記顔の向きのうち少なくとも一方の変化に応じて、前記顔画像に重畳される前記線状の標示の表示スタイルの変更を向きの変更と併せて実行する表示処理部と、
   を備える、画像表示装置。
2. 前記表示処理部は、前記表示スタイルの変更として、色、長さ、太さ、線種、および濃度のうちいずれか１以上の変更を実行する、
   請求項１に記載の画像表示装置。
3. 前記表示処理部は、前記乗員の前記目の向きおよび前記顔の向きが、前記顔画像の撮像方向とは実質的に逆の正面方向に対して所定の角度範囲内にある場合、前記線状の標示の前記顔画像への重畳を解除する、
   請求項１または２に記載の画像表示装置。
4. 前記表示処理部は、前記乗員の前記目の向きを示す前記線状の標示としての視線標示を、乗員の前記目を起点として直線状に延びるように前記顔画像に重畳するとともに、前記乗員の前記顔の向きを示す前記線状の標示としての顔向き表示を、乗員の前記顔の中心近傍を起点として直線状に延びるように前記顔画像に重畳する、
   請求項１〜３のうちいずれか１項に記載の画像表示装置。
5. 前記表示処理部は、前記乗員の前記目の向きおよび前記顔の向きのうち少なくとも一方の向きに基づいて推定される前記乗員が見ている領域に関する情報を前記表示部にさらに表示する、
   請求項１〜４のうちいずれか１項に記載の画像表示装置。
6. 前記画像取得部は、前記撮像画像として、前記車両の外部の状況が写った車外画像をさらに取得し、
   前記表示処理部は、前記顔画像および前記車外画像の両方を前記表示部に表示し、前記乗員が見ている領域に関する情報を、前記車外画像に重畳する、
   請求項５に記載の画像表示装置。
7. 車両に設けられる１以上の撮像部による撮像結果として得られる撮像画像として、前記車両の乗員の目を含む顔が写った顔画像を取得する画像取得ステップと、
   前記顔画像を表示部に表示するとともに、当該顔画像に前記乗員の前記目の向きおよび前記顔の向きのうち少なくとも一方を示す線状の標示を重畳し、前記乗員の前記目の向きおよび前記顔の向きのうち少なくとも一方の変化に応じて、前記顔画像に重畳される前記線状の標示の表示スタイルの変更を向きの変更と併せて実行する表示処理ステップと、
   をコンピュータに実行させるための、画像表示プログラム。

Images