JP2008225216A - 情報表示装置 - Google Patents

Abstract

【課題】ユーザーが表示画面を見ていない場合における無駄な表示を適切に制限することが可能な情報表示装置を提供すること。
【解決手段】情報表示を行なう情報表示手段（１０）と、ユーザーの頭部を撮像可能な撮像手段（２０）と、撮像手段の撮像画像を解析することによりユーザーが情報表示手段を視認していない非視認タイミングを認識し、非視認タイミングでは、情報表示を制限するように情報表示手段を制御する表示制御手段（３８）と、を備える情報表示装置（１）。
【選択図】図１

Description

本発明は、カメラにより撮像されたユーザーの眼の状態に基づき表示制御を行なう情報表示装置に関する。

従来、車両に搭載される移動体用表示装置であって、操縦者の視点を検出して表示画面等を制御する移動体用情報表示装置についての発明が開示されている（例えば、特許文献１参照）。この装置では、車両が走行中に、操縦者の視点が所定時間以上の間、表示画面を含む所定範囲に存在すると判別した場合に、表示画面に表示する情報量を低下させることとしている。これにより、操縦者が必要以上に長く表示画面を見てしまうことを抑制し、安全運転に寄与するものとしている。
特許第３６０２１９１号公報

しかしながら、上記従来の装置においては、ユーザー（上記の装置では、操縦者）が表示画面を見ていない場合における、無駄な表示を制限することについての考慮がなされていない。このため、エネルギー消費や装置の発熱を十分に抑制することができない場合がある。

本発明はこのような課題を解決するためのものであり、ユーザーが表示画面を見ていない場合における無駄な表示を適切に制限することが可能な情報表示装置を提供することを、主たる目的とする。

上記目的を達成するための本発明の第１の態様は、情報表示を行なう情報表示手段と、ユーザーの頭部を撮像可能な撮像手段と、撮像手段の撮像画像を解析することによりユーザーが情報表示手段を視認していない非視認タイミングを認識し、非視認タイミングでは、情報表示を制限するように情報表示手段を制御する表示制御手段と、を備える情報表示装置である。ここで、ユーザーは、複数であってもよい。

この本発明の第１の態様によれば、撮像手段の撮像画像を解析することによりユーザーが情報表示手段を視認していない非視認タイミングを適切に認識し、非視認タイミングでは、情報表示手段による情報表示を制限するので、ユーザーが情報表示手段を見ていない場合における無駄な表示を適切に制限することができる。

本発明の第１の態様において、表示制御手段は、例えば、撮像手段の撮像画像を解析することによりユーザーの開眼状態を認識し、認識したユーザーの開眼状態に基づき非視認タイミングを認識する手段である。この場合、表示制御手段は、例えば、認識したユーザーの開眼状態に基づきユーザーの瞬きパターンを認識し、認識したユーザーの瞬きパターンに基づき非視認タイミングを認識する手段である。

また、本発明の第１の態様において、表示制御手段は、例えば、撮像手段の撮像画像を解析することによりユーザーの視線の向きを認識し、認識したユーザーの視線の向きが情報表示手段に向いていないタイミングを、非視認タイミングと把握する手段である。

また、本発明の第１の態様において、ユーザーによる入力操作を受け付ける入力操作受付手段を備え、表示制御手段は、入力操作受付手段がユーザーによる表示制限停止指示を受け付けた場合には、非視認タイミングであっても、情報表示を制限しないことを特徴とすることが好ましい。

本発明の第２の態様は、情報表示を行なう情報表示手段と、複数のユーザーの頭部を撮像可能な撮像手段と、撮像手段の撮像画像を解析することにより複数のユーザーの全てが情報表示手段を視認していないタイミングを認識し、認識された複数のユーザーの全てが情報表示手段を視認していないタイミングでは、情報表示を制限するように情報表示手段を制御する表示制御手段と、を備える情報表示装置である。

また、本発明の第１又は第２の態様は、車両に搭載されてよい。

本発明によれば、ユーザーが表示画面を見ていない場合における無駄な表示を適切に制限することが可能な情報表示装置を提供することができる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。

以下、本発明の一実施例に係る情報表示装置１について説明する。本実施例の情報表示装置１は、車載ナビゲーション装置の一部として構成される。

［構成］
図１は、情報表示装置１の全体構成の一例を示す図である。情報表示装置１は、主要な構成として、ディスプレイ装置１０と、車室内カメラ２０と、ナビゲーションコンピューター３０と、を備える。また、車載ナビゲーション装置の他の構成要素として、ＧＰＳ受信機４０と、音声入出力装置５０と、を図示する。

ディスプレイ装置１０は、例えば、インストルメントパネルの中央部等、運転者から視認し易い位置に配設された、液晶ディスプレイ装置等の表示装置である。ディスプレイ装置１０は、ナビゲーションコンピューター３０により表示内容が決定される。

また、ディスプレイ装置１０は、ユーザーによる入力操作が可能なタッチパネルとして構成されてよい。ディスプレイ装置１０に対してなされた入力操作は、ナビゲーションコンピューター３０に送信される。

車室内カメラ２０は、例えば、ルームミラー周辺等、運転者の頭部を撮像可能な位置に配設されたＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を利用したカメラであり、例えば、数［ｍｓ］毎に繰り返し撮像を行なう。車室内カメラ２０の撮像画像は、例えばＮＴＳＣ（National Television Standards Committee）等のインターレース方式によって生成される画像信号として、定期的に（例えば、撮像フレーム毎に）ナビゲーションコンピューター３０に送信される。

ナビゲーションコンピューター３０は、例えば、ＣＰＵを中心としてＲＯＭやＲＡＭ等がバスを介して相互に接続されたコンピューターユニットであり、その他、ＨＤＤ（Hard Disc Drive）やＤＶＤ（Digital Versatile Disk）等のメモリ３２やＩ／Ｏポート、タイマー、カウンター等を備える。ＲＯＭには、ＣＰＵが実行するプログラムやデータが格納されている。また、ナビゲーションコンピューター３０は、ＲＯＭに記憶されたプログラムをＣＰＵがＲＡＭ上に展開（ロード）して実行することにより機能する主要な機能ブロックとして、現在位置特定部３４と、経路案内部３６と、表示制御部３８と、を備える。メモリ３２には、地図情報が記憶されている。当該地図情報においては、交差点等を表すノード点、及びノード点を接続するリンクにより道路形状が表現されており、各リンクに付随して、道路幅員や曲率、走行車線数等の情報が記憶されている。

現在位置特定部３４は、ＧＰＳ受信機４０が受信した電波信号の時間差に基づく演算により、自車両の現在位置（緯度、経度、高度）を特定する。自車両の現在位置は、車速センサーやジャイロセンサー等の各種センサーの出力や、ビーコン受信機及びＦＭ多重放送受信機を介して受信される各種情報に基づいて補正されてよい。

経路案内部３６は、現在位置特定部３４が特定した自車両の現在位置から、ディスプレイ装置１０のタッチパネル機能や音声入出力装置５０、専用スイッチ等を用いてユーザーが入力した目的地に至るまでの推奨経路を生成し、推奨経路に沿って車両が走行するように、ディスプレイ装置１０や音声入出力装置５０に指示して、ナビゲーション表示や音声案内を行なう。

ナビゲーション表示に係る表示画面は、経路案内部３６により生成される。具体的には、例えば、現在位置特定部３４が特定した自車両の現在位置及び進行方向を用いてメモリ３２上の地図情報を参照し、車両前方の風景に擬した描画地図画像を生成する。図２は、ナビゲーション表示に係る表示画面を生成する様子を示す図である。図示する如く、表示画面は、地図情報から得られる二次元平面上の道路形状を、鳥瞰図に変換することにより生成される。

表示制御部３８は、ディスプレイ装置１０が、上記経路案内部３６の機能に係る表示、その他の表示（ＴＶ画像表示やＤＶＤ再生に係る表示等が考えられる）を行なうに際して、車室内カメラ２０の撮像画像を解析することにより、運転者がディスプレイ装置１０を視認していないタイミングを認識し、当該タイミングでは、情報表示を制限するようにディスプレイ装置１０を制御する。以下、これについて述べる。

［車室内カメラ２０の撮像画像解析に基づく表示制御］
表示制御部３８は、車室内カメラ２０の撮像画像から、（１）運転者の開眼状態、及び、（２）運転者の視線の向きを認識する。

（１）運転者の開眼状態は、例えば、開、半開、閉の三段階に分類される。この分類のいずれに該当するかは、例えば、車室内カメラ２０の撮像画像における当該運転者の眼の縦方向の大きさが閾値以上である場合に開状態であると判定し、眼の白目部分や黒目部分が全く認識されない場合に閉状態と判定し、眼の縦方向の大きさが閾値未満であり且つ眼の白目部分や黒目部分が認識される場合に半開状態と判定するものとすればよい。なお、上記閾値は、当該運転者について過去に認識された眼の縦方向の大きさの平均値に基づいて導出するのが適切である。ここで、同一運転者であることの確認は、周知のスマートエントリーシステムや指紋認証システム等を用いて行なってもよいし、車室内カメラ２０の撮像画像において人物認識を行なってもよい。

また、運転者の開眼状態が閉状態であるか否かを判定するに際しては、瞬きパターンに基づく予測を加味してもよい。すなわち、運転者に固有の瞬き周期を予め導出しておき、前回の瞬きから当該周期分の時間が経過し、且つ運転者の開眼状態が半開状態となった時点で、次に（微小時間経過後に）閉状態となることを予測する。そして、当該微小時間経過後には、車室内カメラ２０の撮像画像に拘らず、運転者の開眼状態が閉状態であると判定する。こうすることにより、撮像画像解析に要する時間に起因して、運転者の開眼状態判定が実際の状態に比して遅れるという不都合を回避することができる。

（２）運転者の視線の向きについては、例えば、まず、運転者の顔の中心線と輪郭線から顔の左右比率を計算し、顔の左右方向の向きを導出する。そして、運転者の顔における上下方向の特徴量（眉上から目下までの距離、目下から鼻下までの距離、鼻下から口裂までの距離等）を、予め学習されたこれらの平均値と比較することにより顔の上下方向の向きを導出する。こうして導出された顔の向きをそのまま視線の向きとみなしてもよいが、更に顔向きを基準とする視線の向きを加味してもよい。すなわち、運転者の眼における黒目部分の配置（目頭からの距離、目尻からの距離、上下方向に関して中心線からどの程度乖離しているか、等と定量化される）に関して所定のアルゴリズム（顔向きに応じて変化するものであってもよい）を適用し、顔向きを基準とする視線の向きを導出する。そして、上記導出された顔向きを、顔向きを基準とする視線の向きで補正して、運転者の視線の向きを得る。

表示制御部３８は、（１）運転者の開眼状態、及び、（２）運転者の視線の向きを認識すると、これらに基づいて情報表示を制限する。ここで、「情報表示を制限する」とは、例えば、画像表示をオフにすることであってもよいし、動画表示を静止させることであってもよいし、輝度を下げることであってもよいし、解像度を下げる（画像を粗くする）ことであってもよいし、画像を縮小表示に切替える（例えば、アイコン化する）ことであってもよい。また、表示する情報量を低下させることであってもよい。例えば、ナビゲーション表示において、道路形状のみを表示し、経路案内に係る矢印や交通法規等の補助表示を非表示とすること等が考えられる。以下、画像表示をオフにするものとして説明する。

表示制御部３８は、運転者の開眼状態が閉状態である場合、或いは、運転者の視線の向きが所定の範囲内でない場合には、運転者がディスプレイ装置１０を見ていないと判断し、ディスプレイ装置１０の画像表示をオフにする（図３参照）。ここで、所定の範囲内とは、例えば運転者の頭部から見たディスプレイ装置１０の方向を中心とするベクトル領域である。一方、運転者の開眼状態が開状態又は半開状態であり、且つ、運転者の視線の向きが所定の範囲内にある場合は、運転者がディスプレイ装置１０を見ているものと判断されるため、ディスプレイ装置１０の画像表示をオンにする。

こうすることにより、運転者がディスプレイ装置１０を見ていない場合における、無駄な表示を制限することができる。この結果、エネルギー消費や装置の発熱を抑制することができる。特に車載ナビゲーション装置の如く、運転者を含めたユーザーが必ずしも継続的に画面を注視する訳ではない装置において、こうした効果は大きいものとなる。そして、運転者がディスプレイ装置１０を見ているか否かは、上記の如く車室内カメラ２０の撮像画像を解析することにより、適切に行なわれる。

なお、ディスプレイ装置１０の画像表示をオフにする際に、直接ディスプレイ装置１０に指示してもよいが、ナビゲーション表示に係る表示画面の生成を中断するように経路案内部３６に指示してもよい。こうすれば、ナビゲーションコンピューター３０における情報処理負荷を軽減することができ、エネルギー消費や装置の発熱を更に抑制することができる。

図４は、以上説明した特徴的な処理の流れを示すフローチャートである。本フローは、表示制御部３８により繰り返し（例えば、車室内カメラ２０から画像データが送信される周期に同期して）実行される。

まず、表示制御部３８は、車室内カメラ２０から送信される画像データを読み込む（Ｓ１００）。そして、前述した手法により、運転者の開眼状態が閉状態であるか否かを判定する（Ｓ１１０）。運転者の開眼状態が閉状態である場合は、ディスプレイ装置１０の画像表示をオフにする（Ｓ１４０）。

運転者の開眼状態が開状態又は半開状態である場合は、運転者の視線の向きが所定の範囲内にあるか否かを判定する（Ｓ１２０）。運転者の視線の向きが所定の範囲内にない場合は、ディスプレイ装置１０の画像表示をオフにする（Ｓ１４０）。

一方、運転者の開眼状態が開状態又は半開状態であり、且つ、運転者の視線の向きが所定の範囲内にある場合は、ディスプレイ装置１０の画像表示をオンにする（Ｓ１３０）。

図５は、本実施例の情報表示装置１が利用される様子、及び本実施例が奏する効果を、概念的に示す図である。本実施例の情報表示装置１によれば、ユーザーが表示画面を見ていない場合における無駄な表示を適切に制限することができる。

なお、表示制御部３８による表示制限は、ディスプレイ装置１０におけるＧＵＩ（ソフトスイッチ）操作や音声入出力装置５０に対する音声入力、専用スイッチ等に対する操作により停止可能であると好適である。例えば、助手席乗員が継続的にディスプレイ装置１０を見ている場合に、運転者の視線の向き等に基づいてディスプレイ装置１０の表示が頻繁にオフの状態にされるのは煩わしいため、当該機能のオン／オフを運転者や助手席乗員により選択可能にするものである。

以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、運転者の開眼状態及び視線の向きに基づいて、運転者がディスプレイ装置１０を見ているか否かを判定するものとしたが、これらのうちいずれか一方に基づいて運転者がディスプレイ装置１０を見ているか否かを判定するものとしてよい。

また、複数の或いは単一の車室内カメラ２０を備え、運転者を含む複数のユーザーの頭部を撮像し、複数のユーザーの全てがディスプレイ装置１０を見ていない（この判定については、実施例同様に、開眼状態及び／又は視線の向きに基づいて行なう）場合に、情報表示を制限するようにディスプレイ装置１０を制御する（経路案内部３６に指示して間接的に制御するものを含む）ものとしてもよい。

また、車載ナビゲーション装置の一部を構成するものとして例示したが、これに限られず、如何なる態様、用途の情報表示装置に適用されても実施例と同様の効果を奏し、本発明の目的を達成することができる。

本発明は、自動車製造業や自動車部品製造業等に利用可能である。

情報表示装置１の全体構成の一例を示す図である。 ナビゲーション表示に係る表示画面を生成する様子を示す図である。 表示制御部３８が画像表示をオフにする際の判断ロジックを示す図である。 表示制御部３８により繰り返し実行される特徴的な処理の流れを示すフローチャートである。 本実施例の情報表示装置１が利用される様子、及び本実施例が奏する効果を、概念的に示す図である。

符号の説明

１ 情報表示装置
１０ ディスプレイ装置
２０ 車室内カメラ
３０ ナビゲーションコンピューター
３２ メモリ
３４ 現在位置特定部
３６ 経路案内部
３８ 表示制御部
４０ ＧＰＳ受信機
５０ 音声入出力装置

Claims (7)

1. 情報表示を行なう情報表示手段と、
   ユーザーの頭部を撮像可能な撮像手段と、
   該撮像手段の撮像画像を解析することにより前記ユーザーが前記情報表示手段を視認していない非視認タイミングを認識し、該非視認タイミングでは、情報表示を制限するように前記情報表示手段を制御する表示制御手段と、
   を備える情報表示装置。
2. 請求項１に記載の情報表示装置であって、
   前記表示制御手段は、前記撮像手段の撮像画像を解析することにより前記ユーザーの開眼状態を認識し、該認識した前記ユーザーの開眼状態に基づき前記非視認タイミングを認識する手段である、
   情報表示装置。
3. 請求項２に記載の情報表示装置であって、
   前記表示制御手段は、前記認識した前記ユーザーの開眼状態に基づき前記ユーザーの瞬きパターンを認識し、該認識した前記ユーザーの瞬きパターンに基づき前記非視認タイミングを認識する手段である、
   情報表示装置。
4. 請求項１ないし３のいずれかに記載の情報表示装置であって、
   前記表示制御手段は、前記撮像手段の撮像画像を解析することにより前記ユーザーの視線の向きを認識し、該認識した前記ユーザーの視線の向きが前記情報表示手段に向いていないタイミングを、前記非視認タイミングと把握する手段である、
   情報表示装置。
5. 請求項１ないし４のいずれかに記載の情報表示装置であって、
   ユーザーによる入力操作を受け付ける入力操作受付手段を備え、
   前記表示制御手段は、前記入力操作受付手段がユーザーによる表示制限停止指示を受け付けた場合には、前記非視認タイミングであっても、情報表示を制限しないことを特徴とする、
   情報表示装置。
6. 情報表示を行なう情報表示手段と、
   複数のユーザーの頭部を撮像可能な撮像手段と、
   該撮像手段の撮像画像を解析することにより前記複数のユーザーの全てが前記情報表示手段を視認していないタイミングを認識し、該認識された前記複数のユーザーの全てが前記情報表示手段を視認していないタイミングでは、情報表示を制限するように前記情報表示手段を制御する表示制御手段と、
   を備える情報表示装置。
7. 車両に搭載される、請求項１ないし６のいずれかに記載の情報表示装置。

Images