JP2015041197A - 表示制御装置 - Google Patents

Abstract

【課題】ドライバー以外の乗員が発話した指示語が示す特定位置をドライバーに対して明確に提示することができる表示制御装置を提供する。
【解決手段】車両内の表示装置に情報を表示させる表示制御装置１０において、車両内の発話者の視線位置を認識する視線認識部１と、発話者の発話内容から少なくとも指示語を認識する音声認識部２と、音声認識部２により指示語が認識された時点で視線認識部１により認識された視線位置を、表示ディスプレイ５１の画面上の表示位置に変換する視線補正部４と、視線補正部４により変換された表示位置を示す重畳データを表示ディスプレイ５１に重畳表示させる重畳表示部５とを備えるようにしたので、発話者が「そこ」「あの」等の指示語を発話したタイミングにおける視線を共有でき、発話者以外の乗員が発話者の意図を的確に知ることができる。
【選択図】図１

Description

この発明は、自動車等の車両において、視線認識および音声認識を伴う表示制御装置に関するものである。

複数人が同乗する自動車等の車両においては、その車両を運転中のドライバーに対して、助手席や後部座席にいる乗員が「そこ」「あの」等の指示語を発話することにより道案内をしたり、その乗員の行きたい場所を指示したりすることがある。

しかし、発話者が「そこ」「あの」等の指示語を発話した際に、それを聞いたドライバーは、その指示語がどこを指しているのかを的確に判断することができない。例えば、助手席の人が「そこに停めて」や「あの角を曲がって」などと発話した場合に、それを聞いたドライバーは、「そこ」とはどこを指しているのか、「あの角」とはどの角を指しているのかを、直感的に知ることができない。

一方、例えば特許文献１または２には、運転中に「あの山は何？」とか「あの建物は何？」と発話すると、視線認識と音声認識とにより、その山の名称や建物の名称を表示または音声により出力する装置が開示されている。

特開２００３−３２９４６３号公報 特開２００６−９０７９０号公報 特開２００６−３２１４７４号公報

しかしながら、例えば特許文献１，２等に示すような従来技術では、「そこ」「あの」等の指示語が発話された際に、その指示語が示す山や建物等の名称が記憶されているデータベースと照合してその名称を得ることができるだけであり、ドライバー以外の乗員が発話した指示語がどこを指しているのかをドライバーが直感的に知ることはできない、という課題があった。

また、特許文献１，２等に示すような従来技術では、指示語を含む問いに対して対象物の名称等の情報を発話者に対して提示しているが、「そこ」「あの」等で指示する対象はその装置に格納されている情報の範囲内にとどまり、その範囲外のもの、例えば、その視線の先の対象が時間とともに変化するものや、名称と位置情報とが格納されていない情報（移動体、看板、街路樹、歩道など）は対象外となってしまう、という課題もあった。

この発明は、上記のような課題を解決するためになされたものであり、ドライバー以外の乗員が発話した指示語が示す特定位置をドライバーに対して明確に提示することができる表示制御装置を提供することを目的とする。

上記目的を達成するため、この発明は、車両内の表示装置に情報を表示させる表示制御装置において、前記車両内の発話者の視線位置を認識する視線認識部と、前記発話者の発話内容から少なくとも指示語を認識する音声認識部と、前記音声認識部により前記指示語が認識された時点で前記視線認識部により認識された視線位置を、前記表示装置の画面上の表示位置に変換する視線補正部と、前記視線補正部により変換された表示位置を示す重畳データを前記表示装置に重畳表示させる重畳表示部とを備えたことを特徴とする。

この発明によれば、発話者が「そこ」「あの」等の指示語を発話したタイミングにおける、すなわち、発話者の発話時における視線位置から指示語の対象先を求め、発話者の視線位置を乗員が視認する表示装置の画面上の表示位置に変換して重畳表示させることにより、発話者以外の乗員に発話者の視線を共有することができ、発話者以外の乗員が発話者の意図を的確に知ることができる。

実施の形態１における表示制御装置の構成の一例を示すブロック図である。 指示語／特徴語パターン記憶部に記憶されている指示語の例を示すテーブルである。 指示語／特徴語パターン記憶部に記憶されている特徴語の例を示すテーブルである。 実施の形態１における表示制御装置の構成の別の例を示すブロック図である。 発話者が助手席の人、対象者が運転席の人の場合の、視線補正部における変換方法を図解化した説明図である。 発話者が後部座席の人、対象者が運転席の人の場合の、視線補正部における変換方法を図解化した説明図である。 重畳データとして矢印を採用した場合の、表示ディスプレイ（ＨＵＤ）における表示例を示す図である。 表示ディスプレイ（ＨＵＤ）が複数の乗員から視認できる大きさのディスプレイであった場合の表示例を示す図である。 実施の形態２における表示制御装置の構成の一例を示すブロック図である。 実施の形態２の視線補正部における変換方法を図解化した説明図である。 実施の形態２における表示制御装置の構成の別の例を示すブロック図である。 実施の形態２における表示ディスプレイ（ナビ画面）に重畳データを重畳させた表示例を示す図である。 実施の形態３における表示制御装置の構成の一例を示すブロック図である。 実施の形態３における表示制御装置の構成の別の例を示すブロック図である。 実施の形態３における表示ディスプレイ（ナビ画面）に重畳データを重畳させた表示例を示す図である。 実施の形態４における表示制御装置の構成の一例を示すブロック図である。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１における表示制御装置の構成の一例を示すブロック図である。この表示制御装置１０は、車両に搭載されて車両内の表示装置である表示ディスプレイ５１に情報を表示させるものであり、視線認識部１、音声認識部２、指示語／特徴語パターン記憶部３、視線補正部４、重畳表示部５、重畳パターン記憶部６を備えている。また、車両内には、視線認識カメラ１１、音声認識マイク２１、表示ディスプレイ５１も設けられている。

視線認識カメラ１１は、発話者（例えば、助手席に着席している乗員）の両目を常に監視できる箇所に設置され、その発話者の両目を含む映像を視線認識部１へ出力する。
視線認識部１は、視線認識カメラ１１から取得した映像から、発話者の視線位置を認識して、視線補正部４へ出力する。具体的には、発話者の視線を常に認識し、その発話者の右目と左目の位置および右目と左目の視線がクロスする焦点（視線位置）を認識して、視線補正部４へ出力する。すなわち、視線認識部１は、少なくとも基準点（例えば、発話者の左右の目の中間点）に対する三次元（奥行き、高さ、横）の視線の先の相対距離を視線補正部４へ出力する。

また、三次元（奥行き、高さ、横）の視線の先の相対距離の他に、基準点に対する両目の相対距離や両目の検出状況（検出できているか否か）等も視線補正部４へ出力するようにしてもよい。以降の説明では、視線認識部１より算出するデータを総称して「視線データ」と呼ぶ。

音声認識マイク２１は、発話者の音声を取得できる箇所に設置され、発話者の発話音声を音声認識部２へ出力する。
音声認識部２は、音声認識マイク２１より取得した発話者の発話内容から少なくとも指示語を認識して視線補正部４へ出力する。具体的には、音声認識マイク２１より取得した発話者の音声と、指示語／特徴語パターン記憶部３に記憶された指示語および特徴語とパターンマッチングを行い、パターンが一致した指示語および特徴語を、視線補正部４へ出力する。

図２は、指示語／特徴語パターン記憶部３に記憶されている指示語の例を示すテーブルである。また、図３は、指示語／特徴語パターン記憶部３に記憶されている特徴語の例を示すテーブルである。

指示語とは、例えば図２に示すように、この、ここ、これ、こっち、その、そこ、それ、そっち、あの、あそこ、あれ、あっち等の、どの位置や場所であるかを特定するための語のことである。また、特徴語とは、例えば図３に示すように、色情報としては赤、青、黄、白、黒等、物体情報としては建物、ビル、車、人、信号等、施設情報としてはコンビニ、ファミレス、駐車場等、形情報としては丸い、四角い等、目印となる対象物などを特定するための語のことである。

なお、この実施の形態１では、助手席に座る発話者が「そこ曲がって！」と発話した場合を例に説明するが、このように、必ずしも特徴語は必要ではなく、指示語のみの発話であってもよい。この場合、「そこ」という指示語のみが音声認識される。
また、特徴語も含む場合、例えば「あそこの駐車場にとめて」や「あの赤い車についていって」などと発話された場合には、「あそこの駐車場」「あの赤い車」が認識される。

なお、図４に示すように、音声認識用ボタン２２を設け、この音声認識用ボタン２２が押された場合のみ音声認識を行うようにしてもよい。これにより、発話タイミングが限定されるので、より音声認識の認識率を高めることができる。

視線補正部４は、音声認識部２により指示語が認識された時点で、視線認識部１により認識された視線位置を、発話者以外の乗員が視認できる表示ディスプレイ５１上の表示位置へ変換する。具体的には、音声認識部２より出力された指示語のタイミングで、視線認識部１からの視線データから、発話者が指示語を発話したタイミング（発話時）の、発話者のある基準点に対する焦点距離（奥行き、高さ、横）を算出し、当該算出したある基準点に対する焦点距離（奥行き、高さ、横）から、表示させるデバイスである表示ディスプレイ５１を基準とした座標軸への変換処理を行う。

なお、表示ディスプレイ５１としては、この実施の形態１では、ＨＵＤ（ヘッドアップディスプレイ）として説明するが、ＨＵＤ以外にもヘッドマウントディスプレイ（ＨＭＤ）等、この表示ディスプレイ５１を視認する車両内の乗員の視界に情報を重畳させて表示するディスプレイであれば、いずれのものでもよい。

図５は、発話者が助手席の人、対象者が運転席の人の場合の、視線補正部４における変換方法を図解化した説明図である。助手席の人（発話者１０１）が発した指示語に対して運転席の人（対象者１０２）がＨＵＤ５１を介してその視線位置を確認する場合について示している。

まず水平方向については、図５（ａ）に示すように、発話者１０１の目の位置（左右の目の中間点）をＣ、視線補正部４より算出した焦点位置（視線位置）をＡ、ＨＵＤ５１と線分ＡＣとの交点をＢ、焦点位置（視線位置）Ａと対象者１０２の目の位置（左右の目の中間点）Ｄとを結ぶ線分ＡＤとＨＵＤ５１との交点（つまり、重畳表示させる位置）をＸとする。ここで、線分ＡＣの長さＬＡＣは、視線補正部４の算出結果より取得できるため既知である。また、線分ＢＣの長さＬＢＣおよび線分ＣＤの長さＬＣＤは、自動車（車両）のシート位置とＨＵＤ５１の位置に相当し、事前に知り得る情報であるため既知である。

ここで、三角形ＡＣＤと三角形ＡＢＸは相似の関係にあることから、以下の（１）式の関係が成り立ち、
ＬＡＣ：（ＬＡＣ−ＬＢＣ）＝ＬＣＤ：ＬＢＸ （１）
線分ＢＸの長さＬＢＸは、以下の（２）式により求められる。
ＬＢＸ＝ＬＣＤ×（ＬＡＣ−ＬＢＣ）／ＬＡＣ （２）
また、ＨＵＤ５１にあるＢ点の位置も既知であることから、ＨＵＤ５１に表示させる水平方向の点Ｘは、上記（２）式から求めることができる。

次に高さ方向については、図５（ｂ）に示すように、発話者１０１の目の位置（左右の目の中間点）をＣ’、視線認識部１より検出した焦点位置（視線位置）をＡ’、ＨＵＤ５１と線分Ａ’Ｃ’との交点をＢ’、焦点位置（視線位置）Ａ’と対象者１０２の目の位置（左右の目の中間点）Ｄ’とを結ぶ線分Ａ’Ｄ’とＨＵＤ５１との交点（つまり、重畳表示させる位置）をＸ’とする。ここで、線分Ａ’Ｃ’の長さＬＡ’Ｃ’は、視線補正部４の算出結果より取得できるため既知である。また線分Ｂ’Ｃ’の長さＬＢ’Ｃ’は、自動車（車両）のシート位置とＨＵＤ５１の位置に相当し、事前に知り得る情報であるため既知である。

ここで、三角形Ａ’Ｃ’Ｄ’と三角形ＡＢＸは相似の関係にあることから、以下の（３）式の関係が成り立ち、
ＬＡ’Ｃ’：（ＬＡ’Ｃ’−ＬＢ’Ｃ’）＝ＬＣ’Ｄ’：ＬＢ’Ｘ’ （３）
線分Ｃ’Ｄ’の長さＬＣ’Ｄ’、つまり、発話者１０１と対象者１０２の目の高さの違い（≒頭の高さの違い(座高差)）がわかれば、線分Ｂ’Ｘ’の長さＬＢ’Ｘ’は、以下の（４）式により求められる。
ＬＢ’Ｘ’＝ＬＣ’Ｄ’×（ＬＡ’Ｃ’−ＬＢ’Ｃ’）／ＬＡ’Ｃ’ （４）
また、ＨＵＤ５１にあるＢ’点の位置も既知であることから、ＨＵＤ５１に表示させる高さ方向の点Ｘ’は、上記（４）式から求めることができる。

なお、発話者１０１と対象者１０２との座高差がほとんどないような場合には、高さ方向は同一としてもよい。
上記補正式については、助手席に座る発話者１０１と運転席に座る対象者（発話者以外の乗員）１０２を前提としている（つまり真横の関係を前提としている）が、発話者１０１と対象者１０２の関係は、必ずしもそうでなくてもよい。

図６は、発話者が後部座席の人、対象者が運転席の人の場合の、視線補正部４における変換方法を図解化した説明図である。この図においても図５と同様に、図６（ａ）は水平方向、図６（ｂ）は高さ方向についての説明図である。
このように発話者１０１が後部座席にいる場合、発話者１０１と焦点位置（視線位置）（Ａ，Ａ’）を結ぶ直線上と対象者１０２からの補助線（水平方向であれば真横、高さ方向であれば垂直に引いた線）との交点（Ｃ＃，Ｃ＃’）を求める。

この交点（Ｃ＃，Ｃ＃’）は、発話者１０１の目の位置（左右の目の中間点）（Ｃ，Ｃ’）および対象者１０２の目の位置（左右の目の中間点）（ＤまたはＤ’）の位置関係が既知であるため、三角関数を用いれば既知として扱うことができ、この交点（Ｃ＃，Ｃ＃’）に関わる線分（ＬＡＣ＃，ＬＢＣ＃，ＬＣ＃ＤもしくはＬＡＣ＃’，ＬＢＣ＃’，ＬＣ＃’Ｄ）も既知として扱うことができることから、上記相似式よりＨＵＤ５１への表示点（Ｘ，Ｘ’）を求めることができる。

このように、視線補正部４は、視線認識部１により認識された発話者１０１の目の位置および焦点位置（視線位置）に基づいて、表示ディスプレイ（ＨＵＤ）５１を視認する対象者（発話者以外の乗員）１０２の目の位置に焦点位置（視線位置）が合うように、発話者１０１の目の位置、発話者１０１の焦点位置（視線位置）、表示ディスプレイ（ＨＵＤ）５１を視認する対象者１０２の目の位置、の３点を頂点とした三角形の相似関係から、変換を行う。

また、視線補正部４は自車が走行中の場合、その自車の移動に伴い、発話者１０１の発話後の視線を監視し続け、変換処理を繰り返すこともできる。上記のとおり、視線補正部４は指示語の発話時の発話者の焦点距離（奥行き、高さ、横）から、表示させるデバイスである表示ディスプレイ（ＨＵＤ）５１を基準とした表示位置へ補正、変換し、その表示位置を重畳表示部５へ出力する。

なお、上記変換および出力は、助手席または後部座席の発話者の視線を発話者以外の乗員である運転席の対象者の視線に合わせた変換について説明しているが、その逆でも同様の方法で変換することが可能である。さらに、発話者の意図どおりに対象者（発話者以外の乗員）へ通知されているのかを確認するために、発話者視点での表示点（Ｂ，Ｂ’）も表示位置として重畳表示部５へ出力するようにしてもよい。（後述する図８参照）

重畳表示部５では、視線補正部４からの表示位置に対し、重畳パターン記憶部６に格納されている重畳データ（例えば、矢印や丸、四角等の図形データや文字データ（フォント含む）および色データ）を表示位置へ重畳表示させ、表示ディスプレイ（ＨＵＤ）５１へ出力する。すなわち、重畳表示部５は、視線補正部４により変換された表示位置を示す重畳データを表示ディスプレイ（ＨＵＤ）５１に重畳表示させる。

図７は、重畳データとして矢印を採用した場合の、表示ディスプレイ（ＨＵＤ）５１における表示例を示す図である。この図７では、例えば助手席に座る発話者が「そこ曲がって！」と発話した場合に、表示ディスプレイ（ＨＵＤ）５１に表示されている画面上で、運転者に対して「そこ」というのがどこであるかをわかるよう、矢印６１という重畳データを重畳表示させている。

重畳データは、特定の条件に応じて、その形、大きさ、色、内容のうちの少なくとも１つを可変させることができる。特定の条件としては、例えば、発話者の発した指示語の数、発話者がどの座席の人か、焦点距離の長さ、表示ディスプレイを視認する人の座席の違い、車速等の車両情報などが考えられる。

具体的には、例えば、発話者が「そこかあそこ」などのように複数の指示語を発した場合、その発話者の発した指示語の数が１つの場合とは別の色で重畳データを表示させたり、その指示語の数を示す数値を重畳データに付して表示させたりしてもよい。

また、発話者の違いによって表示させる色を変える場合には、例えば、助手席の人が発した場合は黄色、後部座席の人が発した場合は赤色で矢印や丸などの重畳データを表示させるようにしてもよい。

ここで、表示ディスプレイ（ＨＵＤ）５１の大きさは、ある特定者(例えば運転手)のみが見える程度の比較的小さなものでもよいし、フロントガラス全面に表示できる程度の比較的大きなものでもよい。図７は、運転手のみが見える程度の表示ディスプレイ（ＨＵＤ）５１を想定しているが、例えば図８に示すように、表示ディスプレイ（ＨＵＤ）５１が複数の乗員から視認できる大きさのディスプレイである場合も考えられる。

図８に示すように、表示ディスプレイ（ＨＵＤ）５１が、フロントガラス全面に表示できる程度の比較的大きなディスプレイである場合、重畳表示の内容が対象者（ここでは運転席の人）以外の位置からも見えることになるため、表示位置にずれが生じる可能性がある。

そこで、このような場合には、図８に示すように、運転席の対象者から見える位置には赤色の矢印６１とし、発話者である助手席から見える位置には黄色の矢印６１Ａが表示させるようにしてもよい。つまり、表示ディスプレイ（ＨＵＤ）５１を視認する対象者が運転席の場合は赤色、助手席の場合は黄色、部座席中央の場合は緑色等、表示ディスプレイ（ＨＵＤ）５１を視認する対象者の座席毎に表示させる色を変えてもよい。

または、例えば特許文献３に示す車載用表示装置で適用されている技術（指向性のあるディスプレイの技術）を応用して、特定の対象者の方向にのみその対象者への表示内容を表示させることで対象者毎に視線補正部４で表示位置を変換し、視線補正部４で変換した表示位置へ重畳表示させ、表示ディスプレイ（ＨＵＤ）５１へ出力してもよい。

また、車速等の車両情報に応じて重畳データの大きさを変える場合、例えば、重畳データとして丸を表示させるとすると、車速が速い場合は焦点位置との相対関係が刻々と変化するため表示させる丸の大きさを大きくし、車速が遅い場合は焦点位置との相対関係の時間変化が比較的少ないため、表示させる丸の大きさを小さくしてもよい。

なお、一度表示した重畳データは任意のタイミングで消去できる。例えば、対象者がその重畳データを視線認識部１において直視したと判断した際にその重畳データを消去してもよいし、重畳データを重畳表示させてからある一定時間が経った場合に消去してもよい。もしくは音声認識部２で“消去”などのキーワードを認識した場合や、対象者が確認したらボタン等を押すことにより消去してもよい。

また、対象者が運転に集中していて確認できないような場合には、現在位置や焦点位置（視線位置）に基づいて、すなわち、発話者が指示語を発話した位置からの移動に応じて焦点位置（視線位置）を計算し直したり、所定タイミングごとに計算させたりすることにより、表示ディスプレイ（ＨＵＤ）５１上の重畳データの表示位置を、表示ディスプレイ（ＨＵＤ）５１に表示されている道路や建物等の移動に合わせて追従させるようにすればよい。

以上のように、この実施の形態１によれば、発話者（例えば助手席や後部座席の人）が発した「そこ」「あの」等の指示語の発話時の発話者の視線の方向から、その発話者が発した指示語がどこのことなのかをＨＵＤ等の表示装置に表示させることにより、発話者以外の他の乗員（例えば運転手）と発話者の視線を共有することができるので、乗員同士で的確な場所や発話者の意図を知ることができるようになる。

なお、視線補正部４は、音声認識部２により指示語が認識された時点で視線認識部１により認識された視線位置を、発話者以外の乗員が視認できる表示位置へ変換するものとして説明し、上記の実施例では「音声認識部２により指示語が認識された時点で」とは、音声認識部２により指示語が認識されたタイミングで、という意味であるが、一定期間内で所定タイミングごとに視線位置を取得して、その平均をとるようにしてもよい。

例えば、現在から過去に遡った単位時間あたりの平均値を常に算出しておき、音声認識部２より出力された指示語のタイミングでその時点の平均値を焦点距離（奥行き、高さ、横）としてもよい。すなわち、視線補正部４が、音声認識部２により指示語が認識された時点と当該指示語が認識された時間から所定時間遡った時点との間に視線認識部１により認識された視線位置の平均値を、発話者以外の乗員が視認できる表示装置の画面上の表示位置へ変換するようにしてもよい。

または、現在から過去に遡った単位時間あたりの平均値を常に算出しておき、音声認識部２より出力された指示語のタイミングからその時点から先の単位時間まで含めた平均値を焦点距離（奥行き、高さ、横）としてもよい。すなわち、視線補正部４が、音声認識部２により指示語が認識された時点を中心に前後の所定時間の間に視線認識部１により認識された視線位置の平均値を、発話者以外の乗員が視認できる表示装置の画面上の表示位置へ変換するようにしてもよい。

さらに、このように視線補正部４で視線位置の単位時間あたりの平均値を算出した場合には、重畳データを可変させる特定の条件として、その視線位置のばらつき度合いも含めることができる。すなわち、その平均値のばらつき度合いにしたがって、重畳データの形、大きさ、色、内容のうちの少なくとも１つを可変させることができる。

具体的には、重畳データとして丸を表示させるとすると、視線補正部４で視線位置の単位時間あたりの平均値を算出した際の視線位置のばらつき度合いが小さければ表示させる丸の大きさを小さくし、そのばらつきが大きければ、表示させる丸の大きさを大きくしてもよい。つまり、ばらつきが小さければ、焦点位置の精度が高いと判断して丸を小さくしてピンポイントで表示させ、ばらつきが大きければ、焦点位置（視線位置）の精度が低いと判断し、丸を大きくして発話者の焦点の全体像を表示させる。

実施の形態２．
図９は、この発明の実施の形態２における表示制御装置の構成の一例を示すブロック図である。なお、実施の形態１で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。この実施の形態２における表示制御装置１０Ａは、実施の形態１における表示制御装置１０に比べると、自車位置取得部７をさらに備え、重畳表示部５がナビ画面である表示ディスプレイ５２に重畳データを重畳させるものである。

車両には、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の自車位置検出センサ７１も備えられている。そして、自車位置取得部７は、そのようなＧＰＳ等の自車位置検出センサ７１を用いて検出された自車の現在位置を取得する。

また、実施の形態１では表示するデバイスである表示ディスプレイ５１はその表示ディスプレイ５１を視認する発話者以外の乗員の視界に情報を重畳させて表示するディスプレイ（例えば、ＨＵＤ）であるものとして説明したが、この実施の形態２では、表示ディスプレイ５２は、自車位置取得部７により取得された自車位置と、地図データとを表示可能なディスプレイ（例えば、ナビ画面）であるものとする。

視線補正部４における変換方法は、基本的には実施の形態１において説明した視線補正部４の場合と同様であるが、この実施の形態２では、自車位置取得部７が取得した自車位置Ｐ０を視線補正部４が受け取っていることと、表示ディスプレイ５２がナビ画面であり、発話者と対象者との視差が生じるものではない点が、実施の形態１とは異なっている。

視線補正部４は、音声認識部２により指示語が認識された時点で、視線認識部１により認識された視線認識結果と自車位置取得部７により取得された自車位置とに基づいて、視線認識部により認識された視線位置を、発話者以外の乗員が視認できる表示位置へ変換する。

具体的には、視線補正部４は、音声認識部２より出力された指示語のタイミングで、視線認識部１からの視線データから、発話者が指示語を発話したタイミング（発話時）の、発話者のある基準点に対する焦点距離（奥行き、高さ、横）を算出し、当該算出したある基準点に対する焦点距離（奥行き、高さ、横）から、表示させるデバイスである表示ディスプレイ５２（この実施の形態２ではナビ画面とする）を基準とした座標軸への変換処理を行う。

算出した焦点距離は、音声認識部２より出力された指示語のタイミングの視線認識部１からの視線データとしてもよい。
また、実施の形態１同様、現在から過去に遡った単位時間あたりの平均値を常に算出しておき、音声認識部２より出力された指示語のタイミングでその時点の平均値を焦点距離（奥行き、高さ、横）としてもよい。

または、現在から過去に遡った単位時間あたりの平均値を常に算出しておき、音声認識部２より出力された指示語のタイミングからその時点から先の単位時間まで含めた平均値を焦点距離（奥行き、高さ、横）としてもよい。
また視線補正部４は、算出したある基準点に対する焦点距離（奥行き、高さ、横）から表示させるデバイスである表示ディスプレイ（ナビ画面）５２を基準とした座標軸への変換処理も行う。

図１０は、実施の形態２の視線補正部４における変換方法を図解化した説明図である。この実施の形態２においては、助手席の人が発話した指示語および特徴語に対して運転席の人が表示ディスプレイ（ナビ画面）５２を介してその発話者の視線位置を確認する場合を例に説明する。

図１０における自車位置Ｐ_０は、ＧＰＳ等の自車位置検出センサ７１を用いて取得した自車位置取得部７から受け取ることができるので既知である。また、視線認識部１により得られた焦点距離より、ある基準位置からの対象物の位置Ｐ_Ｎ、および、ある基準位置からの対象物までの距離Ｐ_Ｅも既知である。

ここで、ある基準位置とは、視線認識カメラ１１もしくは発話者の目の位置（左右の目の中間点）である。いずれの場合にせよ、図１０における対象物の位置Ｐ_Ｎに対して、視線認識カメラ１１の位置も発話者の位置もその違いによる影響は少ないといえることと、ＧＰＳ等により検出された自車位置Ｐ_０と発話者の位置や視線認識カメラ１１の位置はほぼ同じ位置であるので、ここでは基準位置＝自車位置（Ｐ_０）とすることができる。

したがって、自車位置を基準とした対象物までの位置関係（Ｐ_ｘ，Ｐ_ｙ）が既知となるため、ナビゲーションの地図表示のスケールサイズに応じてナビ画面上の表示位置に変換することが可能となる。

さらに図１１に示すように、ナビＰＯＩ情報記憶部８も備えるようにすれば、発話者が「あそこのコンビニ」や「あの駐車場」等、指示語の他に施設名称（特徴語）を含む語を発話した場合、ナビＰＯＩ情報記憶部８に記憶されているナビＰＯＩ情報の周辺施設の位置情報を用いることで、より正確な変換をすることができる。

また、視線補正部４は自車が走行中の場合、その自車の移動に伴い、自動的に追従して変換することが可能となる。上記のとおり、視線補正部４は指示語の発話時の発話者の焦点距離（奥行き、高さ、横）から表示させるデバイスである表示ディスプレイ（ナビ画面）５２を基準とした表示位置へ補正、変換し、その表示位置を重畳表示部５へ出力する。

重畳表示部５は、表示ディスプレイ（ナビ画面）５２に自車位置とともに表示された地図データに、視線補正部４により変換された表示位置を示す重畳データを重畳表示させる。この際、実施の形態１同様、視線補正部４からの表示位置に対し、重畳パターン記憶部６に格納されている重畳データ（例えば、矢印や丸、四角等の図形データや文字データ（フォント含む）および色データ）をその表示位置へ重畳表示させ、表示ディスプレイ（ナビ画面）５２へ出力する。

図１２は、実施の形態２における表示ディスプレイ（ナビ画面）５２に重畳データを重畳させた表示例を示す図である。この図１２では、例えば助手席に座る発話者が「あそこの駐車場にとめて！」と発話した場合に、表示ディスプレイ（ナビ画面）５２に表示されている地図データ画面上で、運転者に対して「あそこの駐車場」というのがどこであるかをわかるよう、矢印６３という重畳データを重畳表示させている。

この図１２では、通常のナビゲーション画面同様、自車マーク７０も表示されており、走行中の道路沿いにいくつも駐車場が存在する場合を示しているが、この実施の形態２によれば、単に「あそこの駐車場」と言われてもすぐにどこの駐車場のことかを運転者が把握できないという不具合をなくし、発話者の視線を認識して発話者の意図する駐車場がどれであるかを、矢印６３を重畳させることにより明確に運転者に提示することができる。

なお、実施の形態１同様、一度表示したパターンは任意のタイミングで消去できる。例えば、対象者がそのパターンを視線認識部１において直視したと判断した際にそのパターンを消去してもよいし、パターン表示後ある一定時間が経った場合に消去してもよい。もしくは音声認識部２で“消去”などのキーワードを認識した場合に消去してもよい。

以上のように、この実施の形態２によれば、発話者（例えば助手席や後部座席の人）が発話した「そこ」「あの」等の指示語の発話時の発話者の視線の方向から、その発話者が発した指示語がどこのことなのかをナビ画面の表示装置に表示させることにより、発話者以外の他者（例えば運転手）と発話者の視線を共有することができ、乗員同士で的確な場所や発話者の意図を知ることができるようになる。

なお、この実施の形態２においても、発話者を運転手以外、対象者を運転手としているが、その他でも実施例のとおりである。
また、実施の形態１の図４で示したように、この実施の形態２においても音声認識用ボタン２２を設け、この音声認識用ボタン２２が押された場合のみ音声認識を行うようにしてもよい。
また、実施の形態１同様、重畳表示部５が、特定の条件に応じて、重畳データの形、大きさ、色、内容のうちの少なくとも１つを可変させるようにしてもよい。

実施の形態３．
図１３は、この発明の実施の形態３における表示制御装置の構成の一例を示すブロック図である。なお、実施の形態１，２で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。この実施の形態３における表示制御装置１０Ｂは、実施の形態１における表示制御装置１０に比べると、車両の前方を写す外向カメラ（前方カメラ）９１の映像を取得する映像取得部９をさらに備えている。

また、実施の形態１では表示するデバイスである表示ディスプレイ５１はその表示ディスプレイ５１を視認する発話者以外の乗員の視界に情報を重畳させて表示するディスプレイ（例えば、ＨＵＤ）であるものとして説明したが、この実施の形態３では、表示ディスプレイ５２は、映像取得部９により取得された外向カメラ（前方カメラ）９１で撮影した画像や映像を表示可能なディスプレイ（例えば、ナビ画面やＴＶ画面等）であるものとする。

視線補正部４における変換方法は、基本的には実施の形態１において説明した視線補正部４の場合と同様であるが、この実施の形態３では、外向カメラ（前方カメラ）９１からの映像取得部９が取得した映像を視線補正部４が受け取っていることと、表示ディスプレイ５３がナビ画面またはＴＶ画面であり、発話者と対象者との視差が生じるものではない点が、実施の形態１とは異なっている。

視線補正部４は、音声認識部２より出力された指示語のタイミングで、視線認識部１からの視線データから、発話者が指示語を発話したタイミング（発話時）の、発話者のある基準点に対する焦点距離（奥行き、高さ、横）を算出し、当該算出したある基準点に対する焦点距離（奥行き、高さ、横）から、表示させるデバイスである表示ディスプレイ５３（この実施の形態３では、ナビ画面またはＴＶ画面とする）を基準とした座標軸への変換処理を行う。

算出した焦点距離は、音声認識部２より出力された指示語のタイミングの視線認識部１からの視線データとしてもよい。
また、実施の形態１同様、現在から過去に遡った単位時間あたりの平均値を常に算出しておき、音声認識部２より出力された指示語のタイミングでその時点の平均値を焦点距離（奥行き、高さ、横）としてもよい。

または、現在から過去に遡った単位時間あたりの平均値を常に算出しておき、音声認識部２より出力された指示語のタイミングからその時点から先の単位時間まで含めた平均値を焦点距離（奥行き、高さ、横）としてもよい。
また視線補正部４は、算出したある基準点に対する焦点距離（奥行き、高さ、横）から表示させるデバイスである表示ディスプレイ（ナビ画面、ＴＶ画面）５３を基準とした座標軸への変換処理も行う。

図１３に示す実施の形態３では、外向カメラ（前方カメラ）９１が設置されており、この外向カメラ９１から映像取得部９が取得した映像内におけるある基準点（例えばピクセル単位）を予め発話者に視線を向けることでキャリブレーションを取っておけば、算出したある基準点に対する焦点距離（奥行き、高さ、横）から表示させるデバイスを基準とした座標軸への変換は容易である。

また、図１４に示すように、画像認識部９０も備えるようにすれば、映像取得部９で取得した画像や映像を画像認識することができることから、例えば発話者が「あの赤い車についていって」や「あそこの○○と書いてある看板のところを曲がって」等、指示語の他に特徴語が含まれる語を発話した場合、視線補正部４が、画像認識部９０により認識された画像から、音声認識部２により認識されたその特徴語に対応する画像を認識、すなわち、その特徴語に一致した車や看板などを認識することにより、さらに正確な表示位置の変換をすることができる。

仮に「あの赤い車についていって」と発話された場合であって、映像取得部９が外向カメラ（前方カメラ）９１から取得した映像を画像認識した結果、赤い車が複数認識された場合は、前述のように算出したある基準点に対する焦点距離（奥行き、高さ、横）に一番近いものを正として採用するようにしてもよい。

また、視線補正部４は自車が走行中の場合、その自車の移動に伴い、変換処理を繰り返すが、画像認識部９０を伴う場合は、発話者の発話後の視線にかかわらず、自動的に追従して変換することが可能となる。上記のとおり、視線補正部４は指示語の発話時の発話者の焦点距離（奥行き、高さ、横）から表示させるデバイスである表示ディスプレイ（ナビ画面、ＴＶ画面）５３を基準とした表示位置へ補正、変換し、その表示位置を重畳表示部５へ出力する。

重畳表示部５は、表示ディスプレイ（ナビ画面、ＴＶ画面）５３に表示された映像取得部９により取得された映像に、視線補正部４により変換された表示位置を示す重畳データを重畳表示させる。この際、実施の形態１同様、視線補正部４からの表示位置に対し、重畳パターン記憶部６に格納されている重畳データ（例えば、矢印や丸、四角等の図形データや文字データ（フォント含む）および色データ）をその表示位置へ重畳表示させ、表示ディスプレイ（ナビ画面、ＴＶ画面）５３へ出力する。

図１５は、実施の形態３における表示ディスプレイ（ナビ画面、ＴＶ画面）５３に重畳データを重畳させた表示例を示す図である。この図１５では、例えば助手席に座る発話者が「あの赤い車についていって！」と発話した場合に、表示ディスプレイ（ナビ画面、ＴＶ画面）５３に表示されている外向カメラ４１で自車の前方を映した映像上に、運転者に対して「あの赤い車」というのがどれであるかをわかるよう、矢印６４という重畳データを重畳表示させている。

なお、実施の形態１同様、一度表示したパターンは任意のタイミングで消去できる。例えば、対象者がそのパターンを視線認識部１において直視したと判断した際にそのパターンを消去してもよいし、パターン表示後ある一定時間が経った場合に消去してもよい。もしくは音声認識部２で“消去”などのキーワードを認識した場合に消去してもよい。

以上のように、この実施の形態３によれば、発話者（例えば助手席や後部座席の人）が発話した「そこ」「あの」等の指示語の発話時の発話者の視線の方向から、その発話者が発した指示語がどこのことなのかをナビ画面やＴＶ画面等の表示装置に表示させることにより、発話者以外の他者（例えば運転手）と発話者の視線を共有することができ、乗員同士で的確な場所や発話者の意図を知ることができるようになる。

なお、この実施の形態３においても、発話者を運転手以外、対象者を運転手としているが、その他でも実施例のとおりである。
また、実施の形態１の図４で示したように、この実施の形態３においても音声認識用ボタン２２を設け、この音声認識用ボタン２２が押された場合のみ音声認識を行うようにしてもよい。
また、実施の形態１同様、重畳表示部５が、特定の条件に応じて、重畳データの形、大きさ、色、内容のうちの少なくとも１つを可変させるようにしてもよい。

実施の形態４．
図１６は、この発明の実施の形態４における表示制御装置の構成の一例を示すブロック図である。なお、実施の形態１〜３で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。この実施の形態４における表示制御装置１０Ｃは、実施の形態１〜３における表示制御装置１０，１０Ａ，１０Ｂの構成要素をすべて備えたものである。

この実施の形態４では、図１６に示すように、表示装置である表示ディスプレイ５４（５４Ａ，５４Ｂ，・・・）を複数持たせることができるので、視線補正部４が、予め対象者ごとの表示ディスプレイ（表示装置）を登録しておき、発話者の視線位置を各表示ディスプレイ５４の画面上の表示位置に変換することで、重畳表示部５は実施の形態１〜３と同様に、視線補正部４が変換した表示位置に重畳データを重畳表示するだけで、対象者に応じた表示ディスプレイ５４に重畳データが重畳表示される。

すなわち、この実施の形態４における表示制御装置１０Ｃの構成によれば、表示装置である表示ディスプレイ５４（５４Ａ，５４Ｂ，・・・）を複数持たせることが可能となることから、対象者に応じて表示ディスプレイ（表示装置）を選択することができる。例えば、運転手に対しては運転席前方のＨＵＤに表示させ、助手席の乗員へはナビゲーション画面に表示させ、後部座席へはリアスクリーン等に表示させてもよい。

また、視線補正部４が、発話者の視線位置に応じた表示ディスプレイ５４を判別し、その画面上の表示位置を求めることにより、重畳表示部５は実施の形態１〜３と同様に、視線補正部４が変換した表示位置に重畳データを重畳表示するだけで、発話者の視線位置に応じた表示ディスプレイ５４に重畳データが重畳表示される。

すなわち、この実施の形態４における表示制御装置１０Ｃの構成によれば、表示装置である表示ディスプレイ５４（５４Ａ，５４Ｂ，・・・）を複数持たせることが可能となることから、発話者の視線位置によって表示ディスプレイ（表示装置）を選択することができる。例えば、発話者の視線位置が、運転手の前方（ＨＵＤ表示範囲内）であれば、ＨＵＤに表示させ、運転手の側方もしくは後方（ＨＵＤ表示範囲外）であれば、ナビゲーション画面に表示させるようにしてもよい。

また、この実施の形態４では、実施の形態１〜３における各種構成をすべて網羅する構成としたが、実施の形態１〜３の各構成要素を適宜組み合わせるようにしてもよい。

このように構成しても、実施の形態１〜３同様、発話者（例えば助手席や後部座席の人）が発話した「そこ」「あの」等の指示語の発話時の発話者の視線の方向から、その発話者が発した指示語がどこのことなのかを表示装置に表示させることにより、発話者以外の他者（例えば運転手）と発話者の視線を共有することができ、乗員同士で的確な場所や発話者の意図を知ることができるようになる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 視線認識部、２ 音声認識部、３ 指示語／特徴語パターン記憶部、４ 視線補正部、５ 重畳表示部、６ 重畳パターン記憶部、７ 自車位置取得部、８ ナビＰＯＩ情報記憶部、９ 映像取得部、１０，１０Ａ，１０Ｂ，１０Ｃ 表示制御装置、１１ 視線認識カメラ、２１ 音声認識マイク、２２ 音声認識用ボタン、５１ 表示ディスプレイ（ＨＵＤ）、５２ 表示ディスプレイ（ナビ画面）、５３ 表示ディスプレイ（ナビ画面、ＴＶ画面）、５４ 表示ディスプレイ、６１，６１Ａ，６３，６４ 矢印（重畳データ）、６３ 丸（重畳データ）、７０ 自車マーク、７１ 自車位置検出センサ、９０ 画像認識部、９１ 外向カメラ（前方カメラ）、１０１ 発話者、１０２ 対象者。

Claims (15)

1. 車両内の表示装置に情報を表示させる表示制御装置において、
   前記車両内の発話者の視線位置を認識する視線認識部と、
   前記発話者の発話内容から少なくとも指示語を認識する音声認識部と、
   前記音声認識部により前記指示語が認識された時点で前記視線認識部により認識された視線位置を、前記表示装置の画面上の表示位置に変換する視線補正部と、
   前記視線補正部により変換された表示位置を示す重畳データを前記表示装置に重畳表示させる重畳表示部とを備えた
   ことを特徴とする表示制御装置。
2. 前記表示装置は、前記車両内の乗員の視界に情報を重畳させて表示するディスプレイである
   ことを特徴とする請求項１記載の表示制御装置。
3. 前記視線補正部は、前記視線認識部により認識された前記発話者の視線位置を、前記発話者以外の乗員から見た前記ディスプレイ上の表示位置に変換する
   ことを特徴とする請求項２記載の表示制御装置。
4. 前記視線補正部は、前記視線認識部により認識された前記発話者の視線位置、前記発話者の目の位置、前記発話者以外の乗員の目の位置の３点を頂点として三角形の相似関係から、前記変換を行う
   ことを特徴とする請求項３記載の表示制御装置。
5. 前記車両の位置を取得する自車位置取得部をさらに備え、
   前記視線補正部は、前記視線認識部により認識された視線認識結果と前記自車位置取得部により取得された自車位置とに基づいて、前記変換を行う
   ことを特徴とする請求項１記載の表示制御装置。
6. 前記表示装置は、前記自車位置取得部により取得された自車位置と、地図データとを表示可能なディスプレイであり、
   前記重畳表示部は、前記表示装置に自車位置とともに表示された地図データに、前記視線補正部により変換された表示位置を示す重畳データを重畳表示させる
   ことを特徴とする請求項５記載の表示制御装置。
7. 前記車両の前方の映像を取得する映像取得部をさらに備え、
   前記重畳表示部は、前記表示装置に表示された前記映像取得部により取得された映像に、前記視線補正部により変換された表示位置を示す重畳データを重畳表示させる
   ことを特徴とする請求項１記載の表示制御装置。
8. 前記映像取得部により取得された映像を画像認識する画像認識部をさらに備え、
   前記音声認識部は、前記指示語およびそれに付随する特徴語を認識し、
   前記視線補正部は、前記画像認識部により認識された画像から、前記音声認識部により認識された前記特徴語に対応する画像を認識して、前記変換を行う
   ことを特徴とする請求項７記載の表示制御装置。
9. 前記視線補正部は、前記音声認識部により前記指示語が認識された時点と当該指示語が認識された時間から所定時間遡った時点との間に視線認識部により認識された視線位置の平均値を、前記表示装置の画面上の表示位置に変換する
   ことを特徴とする請求項１記載の表示制御装置。
10. 前記視線補正部は、前記音声認識部により前記指示語が認識された時点を中心に前後の所定時間の間に前記視線認識部により認識された視線位置の平均値を、前記表示装置の画面上の表示位置に変換する
    ことを特徴とする請求項１記載の表示制御装置。
11. 前記重畳表示部は、前記視線位置の平均値を算出する際の前記視線位置のばらつき度合いに応じて、前記重畳データの形、大きさ、色、内容のうちの少なくとも１つを可変させる
    ことを特徴とする請求項９または請求項１０記載の表示制御装置。
12. 前記重畳表示部は、特定の条件に応じて、前記重畳データの形、大きさ、色、内容のうちの少なくとも１つを可変させる
    ことを特徴とする請求項１記載の表示制御装置。
13. 前記特定の条件とは、発話者の発した指示語の数、発話者がどの座席の人か、焦点距離の長さ、表示装置を視認する人の座席の違い、車両情報のうちの少なくとも１つである
    ことを特徴とする請求項１２記載の表示制御装置。
14. 前記表示装置が複数存在する場合に、
    前記視線補正部は、前記乗員ごとの前記表示装置を予め登録しており、前記発話者の視線位置を前記各表示装置の画面上の表示位置に変換する
    ことを特徴とする請求項１記載の表示制御装置。
15. 前記表示装置が複数存在する場合に、
    前記視線補正部は、前記発話者の視線位置を、当該発話者の視線位置に応じた前記表示装置の画面上の表示位置に変換する
    ことを特徴とする請求項１記載の表示制御装置。

Images