JP2014089327A - 画像表示システム、画像表示方法 - Google Patents

Abstract

【課題】アプリケーションの表示内容を利用者に提示する画像表示システムにおいて、より自然な表示画像を得る。
【解決手段】実行中のアプリケーションの表示内容を、立体形状を有する表示面上に表示することで利用者に提示する画像表示システムであって、提示対象の一つ以上のアプリケーションを実行するソフトウェア実行手段と、前記実行されているアプリケーションの表示内容を、利用者に提供する画像である表示画像として出力する表示画像生成手段と、表示面の立体形状に関する情報である表示面情報を記憶し、前記表示面情報を用いて、仮想的な三次元空間内に前記表示面の三次元モデルを生成し、表示画像を前記三次元モデルにＵＶマッピングするマッピング手段と、前記マッピング手段が行ったＵＶマッピングの結果に基づいて、前記表示面上に画像を表示する表示手段と、を有する。
【選択図】図１

Description

本発明は、画像を表示する技術に関する。

近年、プロジェクタによって画像を投影する画像投影装置の利用が増加している。液晶画面などを用いた表示装置とは異なり、プロジェクタは、任意の場所に画像を投影することができるため、従来活用されていなかった領域を表示領域として活用することができる。

従来のプロジェクタは、平面に画像を投影するものが主であったが、平面以外に対して画像を投影する技術も考案されている。例えば、特許文献１には、プロジェクタに正対する平面以外に画像を投影した場合の画像の歪みを検出し、フィードバック補正を行うことで、歪みの少ない自然な投影画像を得ることができるプロジェクタが開示されている。また、特許文献２には、投影面のモデルを生成して画像とのマッピングを行い、投影する画像の歪みを補正するプロジェクタ装置が開示されている。これらの技術を用いることで、曲面など、本来画像の投影が想定されていない場所に画像を投影することができる。

一方、携帯情報端末の普及に伴い、モバイルアプリケーションが提供する画面を、自動車の乗員に提示したいという要求がある。モバイルアプリケーションは、車載端末や携帯端末上で動作するアプリケーションであり、例えば天気情報や、メーラー、渋滞情報、地図情報といったものがある。
これらの要求に対し、アプリケーションの表示内容を、プロジェクタを用いて車内の空き領域に投影することが考えられる。例えば、ダッシュボードなど、ある程度の面積を持った領域に情報を投影することで、大量の情報を一度に乗員に提示することができる。

特開２００１−８３９４９号公報 特開２００６−９４４５８号公報

自動車のダッシュボードなど、平面でない領域に画像を投影しようとした場合、従来のプロジェクタでは、歪みが多く発生してしまうという問題がある。特許文献２に記載の技術は、投影面のモデルを生成してマッピングを行うことで歪みの補正を行うことができるが、自動車のダッシュボードのような複雑な形状のモデルを正確に生成することができない。すなわち、投影面に凹凸が多い環境において、歪みを完全に除去することが難しい。この問題は、プロジェクタによる投影だけでなく、フィルム状の有機ＥＬパネルなど、凹凸に沿って湾曲するディスプレイを用いて画像を表示する場合にも同様に発生する。

本発明は上記の問題点を考慮してなされたものであり、アプリケーションの表示内容を利用者に提示する画像表示システムにおいて、より自然な表示画像を得ることを目的とする。

本発明に係る画像表示システムは、実行中のアプリケーションの表示内容を、立体形状を有する表示面上に表示することで利用者に提示するシステムである。
具体的には、提示対象の、一つ以上のアプリケーションを実行するソフトウェア実行手段と、前記ソフトウェア実行手段によって実行されているアプリケーションの表示内容を、利用者に提供する画像である表示画像として出力する表示画像生成手段と、前記表示面の立体形状に関する情報である表示面情報を記憶し、前記表示面情報を用いて、仮想的な三次元空間内に前記表示面の三次元モデルを生成し、表示画像を前記三次元モデルにＵＶマッピングするマッピング手段と、前記マッピング手段が行ったＵＶマッピングの結果に基づいて、前記表示面上に画像を表示する表示手段と、を有する。

本発明に係る画像表示システムは、任意の立体形状を有する表示面上に画像を表示するシステムである。例えば、プロジェクタが表示面に画像を投影する、または、表示面に貼り付けられたフレキシブル有機ＥＬディスプレイ等によって画像の表示を行う。また、画像の歪みを補正するために、表示面の立体的な形状に関する情報を記憶させ、当該情報に基づいて表示画像を仮想的に表示面にマッピングし、その結果に基づいて実際に表示する画像を生成する。

具体的には、まず、仮想的な三次元空間内に表示面の三次元モデルを生成し、表示画像をＵＶマッピングする。ＵＶマッピングとは、三次元モデルが有するポリゴンに、画像中の任意の領域を割り当てる技術である。すなわち、表示画像が複数のテクスチャに分割され、ポリゴンごとに割り当てられる。これにより、表示画像を表示面に歪みなく貼り付けることができる。そして、マッピングの結果に基づいて、表示手段が画像の表示を行う。画像は、前述したように、プロジェクタによって表示面に投影されてもよいし、表示面の形状にあわせて貼り付けられたフィルム状の表示デバイスによって表示されてもよい。
このように構成することで、表示面の形状にかかわらず、表示結果として自然な画像を得ることができる。

また、本発明に係る画像表示システムは、プロジェクタが画像を投影することで、実行中のアプリケーションの表示内容を利用者に提示する画像表示システムであって、前記表示手段は、前記表示画像がマッピングされた前記三次元モデルを、前記三次元空間内のプロジェクタに対応する座標から観測した画像を取得し、投影画像として出力する投影画像出力手段と、生成した前記投影画像を投影するプロジェクタと、からなることを特徴としてもよい。

プロジェクタによって画像を投影する場合、表示画像がマッピングされた三次元モデルを、プロジェクタに対応する座標から観測し、観測された画像を実際に投影する画像とする。このようにすることで、投影を行う画像に適切な歪みを付加することができる。

また、前記表示画像生成手段は、前記ソフトウェア実行手段によって実行されているアプリケーションの表示内容を、アプリケーションの属性に応じて二次元平面に各々配置し、表示画像として出力することを特徴としてもよい。

モバイルアプリケーションが動作するＯＳは、軽量であることが要求されるため、ウインドウマネージャを搭載していない場合が多い。すなわち、アプリケーションが全画面表示を行うため、他のアプリケーションを使用したい場合、利用者はその都度切り替え操作を行わなくてはならない。また、ウインドウマネージャを搭載しているＯＳを使用したとしても、アプリケーションごとの表示位置の指定は利用者が行わなければならず、表示されるアプリケーションが増えると、ウインドウの並べ替えや、重なったウインドウの移動などを行わなければならない。
一方で、自動車のドライバーなど、身体的な負荷がかかっている利用者に対して情報を提示する場合は、余分な操作は極力無くすことが好ましい。
このような問題に対応するため、表示画像生成手段に、複数のアプリケーションを、そ
の属性に応じて画面内に自動で配置する機能を追加してもよい。属性とは、アプリケーションに与えられた、ジャンルや情報提示対象者、優先度などの情報である。このようにすることで、環境に適したアプリケーションの配置を行うことができる。例えば、自動車の車内で画像を表示する場合、運転に関連するアプリケーションは運転者の近傍に、娯楽に関連するアプリケーションは同乗者の近傍に配置するといったことが可能になる。

また、前記ソフトウェア実行手段は、アプリケーションごとの優先度情報を記憶し、前記表示画像生成手段は、各アプリケーションの表示内容を二次元平面に配置する際に、前記優先度情報に基づいて配置位置を決定することを特徴としてもよい。また、前記表示画像生成手段は、アプリケーションに割り当てられた優先度が高いほど、当該アプリケーションの表示内容を利用者に近い位置に配置することを特徴としてもよい。

アプリケーションを表示画面に配置する際には、例えば重要度が高いアプリケーションほど、利用者の近くに配置するなど、定義された優先度に基づいて配置位置を決定することが好ましい。そこで、あらかじめアプリケーションの優先度に関する情報を記憶させ、表示画像を生成する際に、優先度に基づいて配置位置を調整する。もし、優先度が異なるアプリケーションが起動または終了した場合は、優先度順に表示位置の再割り当てが行われる。このようにすることで、利用者の視線の移動を最小限にし、身体的負荷を低減させることができる。

また、前記表示画像生成手段は、アプリケーションの表示内容が利用者の方向を向くように、アプリケーションの表示内容を各々回転させて前記二次元平面に配置することを特徴としてもよい。また、本発明に係る画像表示システムは、利用者の視線の方向を取得する視線取得手段をさらに有し、前記表示画像生成手段は、前記利用者の視線の方向に基づいて、アプリケーションの表示内容を各々回転させて前記二次元平面に配置することを特徴としてもよい。

広い表示面に対して利用者が近くにいる場合、アプリケーションの表示が利用者に対して異なる方向を向いてしまい、内容が視認しづらくなるという問題が発生する。そこで、表示内容を二次元平面に配置する際に、表示内容が利用者の方向を向くように回転させて配置する。このようにすることで、利用者のアプリケーションに対する視認性を向上させることができる。また、利用者の視線の方向を取得し、取得した視線の方向と一致する方向にその都度ウインドウを回転させることでも同様の効果を得ることができる。

また、前記マッピング手段は、利用者の視点を加味して前記表示画像を変形させたうえで、前記三次元モデルにＵＶマッピングすることを特徴としてもよい。

狭い空間で画像を表示した場合、利用者の視野における画像に歪みが生じてしまうおそれがある。例えば、四角形を表示していても、表示面に近い位置にいる利用者の目には台形に映ってしまうといった現象が発生する。そこで、表示画像を、利用者の視点において歪みなく表示されるように変形させたうえで、ＵＶマッピングを実施する。このようにすることで、利用者は、歪みの無い画像を視認することができる。

なお、本発明は、上記手段の少なくとも一部を含む画像表示システムとして特定することができる。また、前記システムが行う画像表示方法として特定することもできる。また、画像表示システムを構成する要素として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

本発明によれば、アプリケーションの表示内容を利用者に提示する画像表示システムに
おいて、より自然な表示画像を得ることができる。

第一の実施形態に係る、画像投影システムのシステム構成図である。 アプリケーションの表示内容を表示画像に割り当てる例である。 車内におけるプロジェクタの配置位置を説明する図である。 投影を行う領域を、上部視点にて模式的に示した図である。 第一の実施形態に係る、画像投影システムの処理フローチャートである。 投影画像生成部が保持している、投影場所に対する距離情報を説明する図である。 乗員の視界を説明する図である。 第二の実施形態に係る、画像投影システムの処理フローチャートである。 乗員の視点に合わせて表示画像を変形させる様子を説明する図である。 第三の実施形態に係る、画像投影システムのシステム構成図である。 車内における視線検出カメラの配置位置を説明する図である。 視線の方向に対応して表示を調整する動作を説明する図である。 第四の実施形態における、表示画像領域を説明する図である。

（第一の実施形態）
第一の実施形態に係る画像投影システムの構成を、図１を参照しながら説明する。第一の実施形態に係る画像投影システムは、アプリケーションを実行し、投影する画像を生成する装置である画像生成装置１０と、生成した画像を投影するプロジェクタ２０からなる。画像生成装置１０およびプロジェクタ２０は、自動車の車内に配置され、画像を車内に投影する。本実施形態では、ダッシュボードの表面に画像の投影を行う。

<システム構成>
まず、画像生成装置１０について説明する。
アプリケーション実行部１１は、複数のモバイルアプリケーションを実行する手段である。実行されるアプリケーションは、車両の乗員に情報を提供するものであれば、どのようなものであってもよい。例えば、天気情報、交通情報、証券情報、ＳＮＳ、メーラーなどである。また、アプリケーション実行部１１は、アプリケーションの表示内容を外部に出力することができる。なお、アプリケーションは全て同じ画面サイズで表示される。本例では、アプリケーションの画面サイズを、横６４０ピクセル、縦９６０ピクセルとする。
なお、アプリケーションが通信を行う必要がある場合は、アプリケーション実行部は、不図示の通信手段を介してネットワークに接続し、情報を収集してもよい。また、タッチパネルやキーボードといった、不図示の入力手段を介して、利用者から入力を受け取ってもよい。

表示画像生成部１２は、アプリケーション実行部１１が実行しているアプリケーションの表示内容を取得し、一枚の画像内に配置することで、乗員に提示する画像（以下、表示画像）を生成する手段である。
ここで、図２を参照しながら、本発明における表示画像について説明する。図２（ａ）は、アプリケーション実行部１１が実行しているアプリケーションの表示内容を表している。ここでは、車両の状態を表示するアプリケーションＡ、地図を表示するアプリケーションＢ、天気情報を表示するアプリケーションＣの、三つのアプリケーションが動作しているものとする。図２（ｂ）は、アプリケーションの表示内容を、表示画像に対応する矩形領域（符号２００）に配置した結果を表している。ここでは、車両の状態を表示するアプリケーションを運転者の近くに配置し、続いて地図アプリケーション、天気アプリケー
ションの順に配置している。アプリケーションの配置位置を決定する方法については後述する。

投影画像生成部１３は、表示画像生成部１２が生成した表示画像から、実際に投影する画像（以下、投影画像）を生成する手段である。通常の画像投影装置では、プロジェクタと、プロジェクタに対して垂直な投影面が向き合っているため、表示画像をそのまま投影すれば、歪みなく画像を投影できる。しかし、本発明に係る画像投影システムは、立体的な形状を有するダッシュボードに映像を投影するため、プロジェクタから投影場所までの距離が場所によって異なる。すなわち、画像を適切に補正したうえで投影しなければ、投影された画像が歪んでしまう。投影画像生成部１３は、投影場所の形状に関する情報を有しており、当該情報に基づいて画像を補正し、投影画像を生成する手段である。

なお、画像生成装置１０は、コンピュータによって実現されてもよいし、専用に設計されたハードウェアによって実現されてもよい。コンピュータによって実現される場合、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることによって図１に図示した各手段が機能する。（ＣＰＵ、補助記憶装置、主記憶装置はいずれも不図示）

プロジェクタ２０は、投影画像生成部１３が生成した投影画像を投影する手段である。図３および図４は、プロジェクタ２０の車内における配置位置と、投影範囲を示した図である。プロジェクタ２０は、車両中央部の天井付近に、ダッシュボードを向いた方向で配置される。また、プロジェクタ２０は、図４に示したように、ダッシュボードの全面に画像を投影することができる。

<画像投影処理>
次に、アプリケーション実行部で実行されているアプリケーションの表示内容を、プロジェクタによって投影する処理の詳細について説明する。図５は、本実施形態に係る画像投影システムが行う、画像投影処理のフローチャートである。図５の処理は、画像投影中は周期的に実行される。例えば、１秒間に３０回といった所定のフレームレートで実行してもよい。

ステップＳ１１では、アプリケーション実行部１１が、実行中のアプリケーションの表示内容を表示画像生成部１２へ送信する。図２の例では、実行中のアプリケーションが三つであるため、６４０×９６０ピクセルの画像三枚を送信する。

次に、ステップＳ１２で、表示画像生成部１２が、受信した画像を用いて表示画像を生成する。具体的には、まず、ウインドウのインスタンスを生成し、受信した画像をウインドウごとに当てはめる。そして、表示画像（すなわち利用者が視認する画像）に対応する平面を生成し、当該平面の領域内に、生成したウインドウをそれぞれ配置する。
各ウインドウを、どのようなサイズで、領域内のどこに配置するかは、アプリケーションの属性によって決定することができる。例えば、車両の運転に直接関連するアプリケーション、運転を補助するアプリケーション、その他のアプリケーション、といったように種類で分類し、運転者にとって重要なものであるほど運転席側に配置するようにしてもよい。もちろん、属性としてアプリケーションの種類以外を用いてもよい。サイズも同様であり、例えば、常に内容を確認する必要があるものほどウインドウを大きくするようにしてもよい。また、定められたポリシーがある場合は、それに従ってもよい。

なお、投影に適さない領域については、配置不可領域として、配置の対象から除外する。本実施形態においては、投影を行う場所はダッシュボードであるため、ハンドルや計器がある領域（例えば符号２０１で示した領域）を配置不可領域としてもよい。配置不可領
域は、表示画像生成部１２にあらかじめ記憶させておくことが好ましい。
表示画像に対応する領域に全てのウインドウが配置されると、表示画像生成部１２は、その内容（画像データ）を表示画像として投影画像生成部１３に送信する。

次に、ステップＳ１３で、投影画像生成部１３が、取得した表示画像から投影画像を生成する。
まず、ステップＳ１３の処理全体について概説する。
凸凹のある面に通常の二次元画像を投影すると、プロジェクタからの距離が均一ではないため、大きな歪みが生じてしまう。そこで、投影を行いたい画像を、投影場所（本例ではダッシュボード）の実際の形状に合わせてマッピングする処理を行う。そして、マッピングの結果をプロジェクタ視点で観測した画像であるテクスチャ画像を生成する。生成されたテクスチャ画像は、投影する場所の形状にあわせて歪みが付加された画像であるため、これを実際の投影場所に投影することで、歪みのない画像を得ることができる。本実施形態におけるテクスチャ画像が、本発明における投影画像である。

次に、ステップＳ１３の処理を、ステップＳ１３１〜Ｓ１３３に分けて詳しく説明する。
ステップＳ１３１では、まず、投影画像生成部１３が、仮想的な三次元空間を生成する。生成された三次元空間は、車両を基準とする座標系を有している。

ステップＳ１３２は、表示画像を仮想的なダッシュボードにマッピングするステップである。投影画像生成部１３は、まず、記憶している、ダッシュボードの立体形状に関する情報を用いて、ダッシュボードの三次元モデルを生成する。形状に関する情報とは、例えば図６のように、投影を行う領域をメッシュ状に分割して、それぞれにプロジェクタからの距離情報を割り当てたものであってもよいし、ポリゴンの座標情報であってもよい。投影画像生成部１３が記憶している情報によって、ダッシュボードの三次元モデルを生成することができればよい。
そして、生成したモデルに含まれるポリゴンの座標にあわせて、歪みが生じないように、取得した表示画像をＵＶマッピングする。三次元モデルに対するテクスチャのＵＶマッピングには、既存の技術を用いることができる。

次に、ステップＳ１３３で、三次元空間内の、プロジェクタの位置に相当する座標から、仮想的なダッシュボードにマッピングされたテクスチャを観測した画像を取得する。ここで得られた画像が、最終的にプロジェクタから投影される画像であるテクスチャ画像となる。なお、画像の取得においては、実際に使用するプロジェクタの光学特性（焦点距離など）に合わせたパラメータを使用することが好ましい。

ステップＳ１３の処理が完了すると、ステップＳ１４で、生成したテクスチャ画像をプロジェクタ２０が投影する。投影を行うテクスチャ画像は、ダッシュボードの形状に対応して歪みが付加された画像であるため、この結果、三次元空間内でマッピングされたものと同じ画像が、実際のダッシュボードに投影される。

（第一の実施形態の効果）
第一の実施形態によると、アプリケーション実行部１１が実行している複数のアプリケーションの表示内容を、利用者が視認する画像に対応する平面領域に配置し、投影場所の形状を考慮したテクスチャ画像を生成したうえで投影することで、乗員に歪みのない画像を提示することができる。また、自動車のダッシュボードといった、従来活用されていなかった領域を情報の提示に活用することができる。
また、アプリケーションの表示内容からウインドウを生成し、ウインドウを自動で配置するため、アプリケーションの製作者はウインドウの配置位置について考慮する必要がな
い。すなわち、従来のモバイルアプリケーションをそのまま本システムで動作させることができる。

（第一の実施形態の変形例）
第一の実施形態では、ダッシュボード上に画像を表示するための表示手段としてプロジェクタを用いたが、変形するフィルム状の表示デバイスを用いてもよい。例えば、フィルム状の有機ＥＬディスプレイを、ダッシュボードの形状に合わせてダッシュボード表面に貼り付け、表示を行うようにしてもよい。この場合、ステップＳ１３２で、ダッシュボードの三次元モデルに対してＵＶマッピングを行った後、マッピング結果のテクスチャを、ポリゴンごとに、ディスプレイ上の対応する領域に出力すればよい（ステップＳ１３３およびＳ１４は実行しない）。

（第二の実施形態）
第一の実施形態では、ステップＳ１２で生成した表示画像を、そのままダッシュボードの形状にマッピングした。しかし、プロジェクタが投影した画像を、前部座席に着座している乗員が見た場合、投影面に対する角度に差があるため、内容を視認しづらくなってしまう場合がある。

図７を参照して、具体例を示す。プロジェクタがダッシュボードに長方形のウインドウを投影した場合、これを運転者が観測すると、図７（ａ）のような見え方になる。すなわち、アプリケーションのウインドウが運転者とは異なる方向を向いてしまい、内容が読み取りづらくなってしまう。

第二の実施形態は、これを防ぐために、表示画像を変形させたうえでＵＶマッピングを行い、利用者の視点で自然な表示を得られるようにした実施形態である。図７（ａ）の例に対して補正を実施すると、その見え方は図７（ｂ）のようになる。
第二の実施形態に係る画像投影システムのシステム構成は、第一の実施形態と同様である。また、図８は、第二の実施形態に係る画像投影システムが行う処理のうち、ステップＳ１３の処理を示したフローチャートである。点線で示したステップは、第一の実施形態と同じであることを示す。

第二の実施形態では、ステップＳ１３１を実行した後に、新規のステップであるステップＳ１３１Ａを実行する。ステップ１３１Ａは、表示画像を一時的に三次元オブジェクトに変換し、乗員の視点を考慮して表示画像を変形させるステップである。
まず、投影画像生成部１３が、表示画像と同じサイズの板ポリゴンを生成し、当該板ポリゴンに、取得した表示画像をマッピングする。そして、生成した板ポリゴンを、一時的に三次元空間に配置する。ここで使用する三次元空間は、ダッシュボードのモデルが配置される三次元空間と座標系が一致していればよく、別の空間であってもよい。
板ポリゴンは、その法線ベクトルが乗員の視点に対応する座標を向くように配置される。そして、配置された板ポリゴンを、プロジェクタの視点に対応する座標から観測した画像を、表示画像として上書きする。例えば、ステップＳ１３１Ａを実行する前の表示画像が図９（ａ）であった場合、実行後の表示画像は図９（ｂ）のようになる。

なお、三次元空間における座標変換は、ｘ，ｙ，ｚ軸に対する回転を表す行列をそれぞれ乗算することで行うことができる。三次元空間における座標変換処理は、既知の処理であるため詳細な説明は省略する。
また、乗員の視点に対応する座標は、設計値としてあらかじめ記憶されたものを用いてもよいし、乗員の顔や目の位置を検出するセンサ手段などがあれば、当該センサから得た情報を用いてもよい。

ステップＳ１３２以降では、第一の実施形態と同様に、表示画像を仮想的なダッシュボードにＵＶマッピングする。これにより、乗員から遠い位置に投影される部分ほど、実際には大きく投影されるようになるため、図７（ｂ）に示したような見え方を得ることができる。このように、第二の実施形態では、乗員の視点を加味して表示画像を変形させることで、乗員がより自然な画像を視認することができる。

（第三の実施形態）
第三の実施形態は、ウインドウを表示画面に配置する際に、乗員の視線の方向を考慮してウインドウを傾けることで、乗員に対する情報の視認性を向上させる実施形態である。第三の実施形態のシステム構成図を図１０に示す。

視線検出カメラ３０は、情報を提示する対象である乗員の顔画像を、可視光または赤外線によって取得するカメラである。カメラは、例えば図１１のように、ダッシュボード上に配置することができる。図１１のカメラ配置は一例であるが、乗員の顔を捉えることができれば、カメラは任意の場所に配置することができる。
第三の実施形態に係る表示画像生成部１２は、視線検出カメラ３０が取得した顔画像から、乗員の視線の向きを判定する機能をさらに有している。顔画像から視線の方向を抽出する技術は、例えば特開平６−２６１８６３号公報に開示されている。この他にも、顔の特徴点を抽出し、目の位置や鼻の位置を特定するなどの既存の技術を利用してもよい。

また、表示画像生成部１２は、ステップＳ１２でアプリケーションの表示内容をウインドウ化して配置する際に、対象である乗員の視線の方向にウインドウを回転させる制御を行う。具体的な方法について、投影される画像を上部からの俯瞰視点で示した図である図１２を参照しながら説明する。
図１２において、符号１００１〜１００３は、乗員の視線ベクトルを表している。表示画像生成部１２は、ステップＳ１２でウインドウの配置を行う際に、ウインドウの方向を、乗員の視線ベクトルと一致する方向に回転させる。適切な回転角は、投影を行う場所によって変化するため、表示画像生成部１２は、どの程度の回転角をウインドウに与えるかというパラメータをあらかじめ記憶、または演算できるように構成することが好ましい。

なお、ステップＳ１２では、視線ベクトルが、対象となるウインドウの方向を向いていない場合は、当該ウインドウの回転は行わない。例えば、視線ベクトルが符号１００２の向きであった場合、ウインドウＣは回転の対象とならない。また、視線ベクトルが符号１００３の向きであった場合、ウインドウＡ，Ｂは回転の対象とはならない。

また、ウインドウの回転を行う際は、ウインドウと乗員との距離が小さくなるほど回転角を小さくする。例えば、視線ベクトルが符号１００２の方向であった場合、ウインドウＡは、方向がほぼ視線ベクトルと一致するよう大きく回転させ、ウインドウＢは、ウインドウＡよりも回転角を小さくする。対象のウインドウが乗員に対して近い位置にあった場合、回転角を多く与えなくても情報を読み取ることができるためである。なお、回転によってウインドウ同士が重なった場合は、乗員に対してより近い位置にあるウインドウを上に重ねて表示してもよいし、重なった場合の優先度を定義し、それに従ってもよい。

第三の実施形態によると、乗員の視線の向きに応じてウインドウを回転させることで、乗員のアプリケーションに対する視認性を向上させることができる。第三の実施形態では、ウインドウの回転のみを行うため、座標の変換を伴う第二の実施形態と比較すると、違和感を少なくすることができるという利点がある。

なお、本実施形態では、ウインドウが投影される場所と乗員との距離が大きいほど、ウインドウの回転角を大きくする制御を行ったが、乗員の視線の方向に基づいてウインドウ
を回転して配置することができれば、視線の方向と回転角は必ずしも比例していなくてもよい。また、乗員の視線の向きは、例示したような、顔画像を解析して判定する方法に限られない。例えば、距離画像センサなどを用いて判定してもよい。また、視線検出カメラを用いず、乗員の方向を常に向くように、ウインドウの配置場所に応じて固定された角度だけ回転させるようにしてもよい。

（第四の実施形態）
第四の実施形態は、アプリケーション実行部１１で実行されるアプリケーションにそれぞれ優先度を付与し、表示画像生成部１２がウインドウを配置する際に、優先度を考慮して配置を行う実施形態である。第四の実施形態に係る画像投影システムのシステム構成は、第一の実施形態と同様である。

第四の実施形態に係る画像投影システムは、アプリケーション実行部１１が、アプリケーションごとの優先度を記憶しており、表示画像生成部１２が、当該優先度に基づいてウインドウの配置を行うという点で第一の実施形態と相違する。以下、図５に示した処理との相違点について述べる。

第四の実施形態では、アプリケーション実行部１１は、例えば図１３（ａ）に示したようなテーブルを記憶しており、実行中のアプリケーションの優先度を取得することができる。また、表示画像生成部１２に表示内容を送信する際に、優先度情報を同時に送信する。
そして、表示画像生成部１２が、ステップＳ１２で表示画像領域にウインドウを配置する際に、優先度に応じた配置を行う。例えば、図１３（ｂ）のように、ウインドウの配置領域が優先度ごとに定義されている場合、優先度が２である“CarStatus”を優先度２の
領域に配置し、優先度３である“Maps”については優先度３の領域に配置する。

また、ウインドウの配置は、優先度が高い領域から順に詰めて行ってもよい。例えば、優先度が１のアプリケーションが起動していない場合は、“CarStatus”が優先度１の領
域に、“Maps”が優先度２の領域に表示されるようにしてもよい。この場合、より優先度が高いアプリケーションが起動した場合は、ウインドウ配置の再割り当てを行うようにしてもよい。ウインドウ配置の再割り当てを行う場合、優先度が高い順に、配置が再度実行される。例えば、優先度１の領域に“CarStatus”が配置されている場合であって、“EarthquakeWarning”が起動した場合、“CarStatus”および他のアプリケーションは、順次
左に移動する。

第四の実施形態によれば、アプリケーションの優先度によってウインドウの配置位置を制御するため、乗員にとって必要な情報であるほど乗員の近くに表示させることができ、情報を視認するのにかかる負荷を軽減することができる。

なお、本実施形態では、定義された優先度が高い順に、運転者側に詰めてアプリケーションを配置する例を述べたが、優先度に基づいて配置を行うことができれば、例示した方法以外で配置を行ってもよい。例えば、アプリケーションが増減しても場所詰めを行わず、固定して表示するようにしてもよい。また、優先度の定義は、例示したような単一の数値でなくてもよい。例えば、運転者にとっての優先度、同乗者にとっての優先度などを定義し、スコアを演算することで配置位置を決定するようにしてもよい。このようにすることで、娯楽系のアプリケーションは常に同乗者側に表示するといったことが可能になる。

（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
例えば、アプリケーション実行部１１のかわりに、スマートフォンなどの携帯端末とのインタフェースを配置し、表示画像生成部１２は、携帯端末から取得した画面をそのまま表示画像として出力するようにしてもよい。

また、表示画像生成部１２が行ったウインドウ配置に対して乗員が再配置の指示を行えるようにしてもよい。また、表示するアプリケーションが多く、表示領域が不足した場合は、最も優先度が低い、もしくは利用率の低いアプリケーションを一時的にアイコン化するなどしてもよい。このように、ウインドウの配置方法について、さらなる機能を付加してもよい。

また、車両情報を取得するセンサが利用できる場合、当該センサから情報を取得し、センサ情報に基づいてウインドウの配置方法や回転角、優先度など、表示のためのパラメータを変更するようにしてもよい。

１０ 画像生成装置
１１ アプリケーション実行部
１２ 表示画像生成部
１３ 投影画像生成部
２０ プロジェクタ
３０ 視線検出カメラ

Claims (10)

1. 実行中のアプリケーションの表示内容を、立体形状を有する表示面上に表示することで利用者に提示する画像表示システムであって、
   提示対象の、一つ以上のアプリケーションを実行するソフトウェア実行手段と、
   前記ソフトウェア実行手段によって実行されているアプリケーションの表示内容を、利用者に提供する画像である表示画像として出力する表示画像生成手段と、
   前記表示面の立体形状に関する情報である表示面情報を記憶し、前記表示面情報を用いて、仮想的な三次元空間内に前記表示面の三次元モデルを生成し、表示画像を前記三次元モデルにＵＶマッピングするマッピング手段と、
   前記マッピング手段が行ったＵＶマッピングの結果に基づいて、前記表示面上に画像を表示する表示手段と、
   を有する、画像表示システム。
2. プロジェクタが画像を投影することで、実行中のアプリケーションの表示内容を利用者に提示する画像表示システムであって、
   前記表示手段は、
   前記表示画像がマッピングされた前記三次元モデルを、前記三次元空間内のプロジェクタに対応する座標から観測した画像を取得し、投影画像として出力する投影画像出力手段と、
   生成した前記投影画像を投影するプロジェクタと、からなる、
   請求項１に記載の画像表示システム。
3. 前記表示画像生成手段は、前記ソフトウェア実行手段によって実行されているアプリケーションの表示内容を、アプリケーションの属性に応じて二次元平面に各々配置し、表示画像として出力する、
   請求項１または２に記載の画像表示システム。
4. 前記ソフトウェア実行手段は、アプリケーションごとの優先度情報を記憶し、
   前記表示画像生成手段は、各アプリケーションの表示内容を二次元平面に配置する際に、前記優先度情報に基づいて配置位置を決定する、
   請求項３に記載の画像表示システム。
5. 前記表示画像生成手段は、アプリケーションに割り当てられた優先度が高いほど、当該アプリケーションの表示内容を利用者に近い位置に配置する、
   請求項４に記載の画像表示システム。
6. 前記表示画像生成手段は、アプリケーションの表示内容が利用者の方向を向くように、アプリケーションの表示内容を各々回転させて前記二次元平面に配置する、
   請求項１から５のいずれかに記載の画像表示システム。
7. 利用者の視線の方向を取得する視線取得手段をさらに有し、
   前記表示画像生成手段は、前記利用者の視線の方向に基づいて、アプリケーションの表示内容を各々回転させて前記二次元平面に配置する、
   請求項１から５のいずれかに記載の画像表示システム。
8. 前記マッピング手段は、利用者の視点を加味して前記表示画像を変形させたうえで、前記三次元モデルにＵＶマッピングする、
   請求項１から７のいずれかに記載の画像表示システム。
9. 実行中のアプリケーションの内容を、立体形状を有する表示面上に表示することで利用者に提示する画像表示方法であって、
   提示対象の、一つ以上のアプリケーションを実行するステップと、
   前記実行されているアプリケーションの表示内容を、利用者に提供する画像である表示画像として出力するステップと、
   前記表示面の立体形状に関する情報である表示面情報を記憶し、前記表示面情報を用いて、仮想的な三次元空間内に前記表示面の三次元モデルを生成し、表示画像を前記三次元モデルにＵＶマッピングするステップと、
   前記ＵＶマッピングの結果に基づいて、前記表示面上に画像を表示するステップと、
   を含む、画像表示方法。
10. 一つ以上のアプリケーションを実行するソフトウェア実行手段と、
    前記ソフトウェア実行手段によって実行されているアプリケーションの表示内容を、アプリケーションの属性に応じて二次元平面に各々配置し、利用者に提供する画像である表示画像として出力する表示画像生成手段と、
    を有する、ウインドウマネージャ装置。

Images