JP2015518580A - 透明ディスプレイ装置及びそのディスプレイ方法 - Google Patents

Abstract

本発明は、透明ディスプレイ装置及びそのディスプレイ方法に関し、透明ディスプレイ装置は、透明ディスプレイと、物体の位置及びユーザの位置を検知する少なくとも１つのセンサと、検知された物体の位置及びユーザの位置に基づいて、前記物体がユーザによって透過して見える透明ディスプレイ領域を決定し、領域に基づいて透明ディスプレイに情報を表示するように透明ディスプレイを制御する制御部とを含む。

Description

本発明は、透明ディスプレイ装置及びそのディスプレイ方法に関し、より詳細には、透明ディスプレイの後ろにある物体に鑑みて、透明ディスプレイの各領域上の透明ディスプレイに表示された客体を識別するユーザの識別力を考慮し、透明ディスプレイに客体を表示する透明ディスプレイ装置及びそのディスプレイ方法に関する。

電子技術の発達により、多様な分野において多様な類型のディスプレイ装置が使用されている。特に、最近は透明ディスプレイ装置のような次世代ディスプレイ装置に対する研究及び議論が加速化している。

透明ディスプレイ装置とは、透明な性質を有することで、装置の裏側背景がそのまま透けて見える装置を意味する。従来は、シリコン（Ｓｉ）、ガリウム砒素（ＧａＡｓ）等のような不透明な半導体化合物を用いてディスプレイパネルを製作していたが、既存のディスプレイパネルとしては対応しきれない多様な応答分野が開拓されることにより、新たな形の電子素子に対する開発への取り組みが行われた。このような取り組みのもと、開発されたものの１つが透明ディスプレイ装置である。

透明ディスプレイ装置は、透明な酸化物半導体膜を含む形態で実現され、透明な性質を有するようになる。透明ディスプレイ装置を使用する場合、ユーザは装置の裏側に位置する背面背景を見ながら、必要な情報を透明ディスプレイ装置画面を介して見ることができるようになる。よって、既存のディスプレイ装置が有する空間的及び時間的制約を解消することができるようになる。

透明ディスプレイ装置は、多様な環境で便利に使用することができる。例えば、ショップのショーウィンドーが透明ディスプレイ装置で実現される場合、ユーザがその前を通るときに、広告フレーズをショーウィンドーに表示し、ユーザの興味を引くように実現することができる。なお、一般家庭内でベランダの窓を透明ディスプレイ装置で実現する場合、ユーザが各種マルチディスプレイコンテンツをサイズの大きいベランダの窓を通して使用することができるため、ユーザの満足度を増大させることもできる。

このように、透明ディスプレイ装置は、その透明な性質ゆえ、従来のディスプレイ装置に比べてより多くの長所をもつようになるが、逆に、その透明な性質につき、発生する問題点もある。一例として、透明な性質のため、画面上の情報がよく見えなくなるという問題点があり得る。

よって、透明ディスプレイ装置に表示された情報を移動しつつ容易に見ることができるようにする技術を必要とする声が上がっている。

米国特開第２０１２−００７２８７３号公報 国際出願ＷＯ０２−３３６８８８号 米国特開第２００９−０２９５７３１号公報 日本特開第２００５−２５８０１５号公報

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、情報を効果的にディスプレイすることができる透明ディスプレイ装置及びそのディスプレイ方法を提供することにある。

以上のような目的を達成するための本発明の一実施形態に係る透明ディスプレイ装置は、透明ディスプレイと、物体の位置及びユーザの位置を検知する少なくとも１つのセンサと、前記検知された物体の位置及びユーザの位置に基づいて、前記物体が前記ユーザによって透過して見える前記透明ディスプレイ領域を決定し（ｄｅｔｅｒｍｉｎｅ）、前記領域に基づいて前記透明ディスプレイに情報を表示するように前記透明ディスプレイを制御する制御部とを含む。

前記物体の位置は、前記透明ディスプレイ装置の位置に相対的な（ｒｅｌａｔｉｖｅ）位置であり、前記ユーザの位置は、前記透明ディスプレイの前記位置に相対的な位置であってよい。

前記少なくとも１つのセンサは、前記物体及び前記ユーザを撮影する少なくとも１つのカメラを含み、前記物体の撮影イメージ（ｐｈｏｔｏｇｒａｐｈ）に基づいて前記物体の位置を検知し、前記ユーザの撮影イメージに基づいて前記ユーザの位置を検知してよい。

前記制御部は、前記ユーザの位置及び前記物体の位置に基づいて、前記ユーザと前記物体との間の視線（ｌｉｎｅ ｏｆ ｓｉｇｈｔ）を決定してよい。

前記制御部は、前記視線に基づいて前記領域を決定してよい。

前記制御部は、前記領域と重畳しない前記透明ディスプレイの別の領域に前記情報を表示するように前記透明ディスプレイを制御してよい。

前記制御部は、前記物体の第２カラーと異なる第１カラーで前記情報を表示するように前記透明ディスプレイを制御してよい。

前記制御部は、前記透明ディスプレイで第１位置に前記情報を表示するように前記透明ディスプレイを制御し、前記第１位置が前記物体の位置及び前記ユーザの位置のうち少なくとも一方を検知する少なくとも１つのセンサに対応して前記領域と重畳するか否かを決定し、前記第１位置が前記領域と重畳するか否かの決定に対応して前記領域に重畳しない第２位置を決定してよい。

前記制御部は、前記第２位置で前記情報を表示するように前記透明ディスプレイ装置を制御してよい。

前記透明ディスプレイ装置は、前記物体と前記ユーザとの間に介在（iｎｔｅｒｐｏｓｅ）されてよい。

前記制御部は、前記透明ディスプレイの第１位置に前記情報を表示するように前記透明ディスプレイを制御し、前記第１位置が前記物体の位置及び前記ユーザの位置のうち少なくとも一方を検知する前記少なくとも１つのセンサに対応して前記領域と重畳するか決定し、前記情報の属性（ａｔｔｒｉｂｕｔｅ）を調整してよい。

前記属性は、カラーであり、前記制御部は、前記物体の第２カラーと異なる第１カラーで前記情報を表示するように前記透明ディスプレイを制御してよい。

前記属性は、大きさ（ｓｉｚｅ）、カラー、フォント、不透明度（ｏｐａｃｉｔｙ）、厚さ（ｔｈｉｃｋｎｅｓｓ）及び背景色のうち、少なくとも１つであってよい。

なお、本発明の実施形態に係る透明ディスプレイに情報を表示する方法は、物体の位置を検知するステップと、ユーザの位置を検知するステップと、前記物体が前記ユーザによって見られる前記透明ディスプレイの位置を決定するステップと、前記領域に基づいて前記透明ディスプレイに前記情報を表示するステップとを含む。

更に、本発明の実施形態に係るコンピュータ読み取り可能な記録媒体は、透明ディスプレイに情報を表示する方法を実行するためのプログラムを含むコンピュータ読み取り可能な記録媒体において、物体の位置を検知するステップと、ユーザの位置を検知するステップと、前記物体が前記ユーザによって見られる前記透明ディスプレイの位置を決定するステップと、前記領域に基づいて前記透明ディスプレイに前記情報を表示するステップとを含む。

以上説明したように、本発明によれば、透明ディスプレイ装置でディスプレイされる客体の識別力を向上することができるようになる。

本発明の一実施形態に係る透明ディスプレイ装置の動作を説明するための図である。 本発明の一実施形態に係る透明ディスプレイ装置の構成を説明するためのブロック図である。 透明ディスプレイ装置に適用される透明ディスプレイ部の細部構成の一例を示す図である。 透明ディスプレイ装置に適用される透明ディスプレイ部の細部構成の別の例を示す図である。 本発明の多様な実施形態に係る透明ディスプレイ装置の構成を説明するためのブロック図である。 透明ディスプレイ部の全領域を複数個に区分した状態を示す図である。 図６の透明ディスプレイ部にマッピングされるマトリックステーブルを用いて識別力低下領域を記録する方法を説明するための図である。 図７のマトリックステーブルを用いて客体を移動する方法を説明するための図である。 ユーザ及び物体を撮像する撮像部を具備する透明ディスプレイ装置の一例を示す図である。 ユーザ及び物体の位置に基づいた透明領域を計算するための方法を説明するための図である。 ユーザの位置に応じて適応的に動作する複数の撮像部を含む透明ディスプレイ装置の構成を示す図である。 ユーザの目の動きを追跡する方法を説明するための図である。 ユーザの目の動きを追跡する方法を説明するための図である。 マトリックステーブルを修正する方法を説明するための図である。 ラップトップコンピュータ形態で実現された透明ディスプレイ装置の動作を説明するための図である。 物体の動きを説明するための図である。 表示情報重畳を説明するための図である。 情報のレイアウト（ｌａｙｏｕｔ）変更を説明するための図である。 ユーザの位置移動により情報表示位置が移動する実施形態を説明するための図である。 車両で実現された透明ディスプレイ装置の動作を説明するための図である。 設定画面の一例を示す図である。 本発明の多様な実施形態に係る透明ディスプレイ装置に情報を表示する動作を説明するためのフローチャートである。 本発明の多様な実施形態に係る透明ディスプレイ装置に情報を表示する動作を説明するためのフローチャートである。 本発明の別の実施形態に係る透明ディスプレイ装置の動作を説明するための図である。 本発明の更に別の実施形態に係る透明ディスプレイ装置の動作を説明するための図である。 ユーザ情報に応じて情報を追加表示する実施形態を説明するための図である。 本発明の実施形態に係る透明ディスプレイ装置で使用され得る制御部の細部構成の一例を示すブロック図である。 制御部によって利用できるソフトウェア階層図である。 ユーザの位置移動に応じてユーザＵＩ画面を表示する実施形態を示す図である。 ユーザとの距離に応じて情報表示領域の大きさを調整することを示す図である。 ユーザとの距離に応じて情報表示領域の大きさを調整することを示す図である。 ユーザの可視範囲変更による情報表示領域の位置変更方法を説明するための図である。 ユーザ情報に基づいて表示された情報の属性を変更する方法を説明するための図である。 ユーザ情報に応じて情報の内容を変更する方法を説明するための図である。 カメラで実現された透明ディスプレイ装置の動作を説明するための図である。 本発明の実施形態に係る透明ディスプレイ装置を説明するための図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の一実施形態に係る透明ディスプレイ装置の動作を説明するための図である。

図１によると、透明ディスプレイ装置１００は、ディスプレイ画面が透明に実現され、後面背景が透明に透けるようになる。よって、情報が後面背景と重なるか又は干渉されると、情報がよく見えなくなり、識別力が低下するという問題点が発生するおそれがある。

図１のように、透明ディスプレイ装置１００の第１方向を基準に任意の物体２０が置かれ、その反対の第２方向にユーザ１０が位置した場合、ユーザ１０は、透明ディスプレイ装置１００を介して反対側の物体２０をそのまま見ることができる。以下、本明細書では、説明の便宜上、透明ディスプレイ装置１００の画面を基準に第２方向、すなわち、ユーザの位置する側を前方とし、第１方向、すなわち、透明ディスプレイ装置１００と対向するユーザの反対側を後方とする。ユーザ及び客体は、透明ディスプレイ装置１００の上側、下側及び側面のように、透明ディスプレイ装置１００からいずれの方向によらず位置することができるため、方向を前方及び後方に特に限定しない。

透明ディスプレイ装置１００は、透明ディスプレイ装置１００に相対的な物体２０の位置と、透明ディスプレイ装置１００に相対的なユーザ１０の位置とをそれぞれ認識した後、表示する情報の位置やカラー、大きさ等のような属性を評価（または、判断）する。透明ディスプレイ装置１００は、例えば、物体１０の存在による干渉を占有するために（或いは、遮るために）、評価結果に応じて、透明ディスプレイ装置１００に表示された情報の位置、カラー、または大きさを設定するような情報をディスプレイすることができる。

透明ディスプレイが実現される方法及びそのための透明ディスプレイ構造について、詳細は図面を参照して後述する。

物体２０とは、具体的な形状をもって存在するものとして、販売可能な商品、動植物、家具、壁、壁紙等のような多様な物であってよい。

透明ディスプレイ装置１００は、透明ディスプレイ装置１００を通って見える物体２０を占有して情報３０をディスプレイすることができる。透明ディスプレイ装置１００に表示された情報３０とは、透明ディスプレイ装置１００に表示されたイメージ、テキスト、コンテンツ再生画面、アプリケーション実行画面、ウェブブラウザ画面、各種グラフィック客体等であってよい。

透明ディスプレイ装置１００は、ユーザ１０の位置及び物体２０の位置をそれぞれ検知し、ユーザの位置から物体２０を眺めた際、透明ディスプレイ部上で物体が透過して見える領域を推定する。すなわち、透明ディスプレイ装置１００は、透明ディスプレイ装置を介してユーザから物体２１０までの視線を判断することができ、その視線に基づいて、ユーザが物体２０を認識する透明ディスプレイ装置１００の領域を判断することができる。以下では、説明の便宜上、物体が透過して見える領域を透過領域という。透過領域に情報が表示されると、透明ディスプレイ装置を通っても見える物体の存在により、透明ディスプレイ装置１００に表示された情報２０の識別力（ｖｉｓｉｂｉｌｉｔｙ）が低下する。よって、透過領域は、他に識別力低下領域と称することもできる。

透明ディスプレイ装置１００は、透過領域を推定するために、透明ディスプレイ部の全領域を予め設定されたサイズの仮想分割領域に区分することができる。透明ディスプレイ装置１００は、区分された仮想分割領域を使用し、ユーザの位置及び物体２０の位置に基づいて透過領域を推定することができる。

この場合、透明ディスプレイ装置１００は、ユーザ１０の位置及び形状をディスプレイ表面にマッピングさせたマッピング領域１０’と、物体２０の位置及び形状をディスプレイ表面にマッピングさせたマッピング領域２０’の間の相関関係を考慮し、透過領域を推定することもできる。例えば、両マッピング領域が相互オーバーラップする領域（１０’∩２０’）が透過領域と推定されてよい。

透明ディスプレイ装置１００は、各マッピング領域１０’、 ２０’を正確に算出するために、仮想分割領域をマトリックステーブルにマッピングさせることができる。この場合、マトリックステーブル内でユーザのマッピング領域にマッピングされるセルと、情報３０が表示される物体２０のマッピング領域にマッピングされるセルとの間の相関関係を考慮し、オーバーラップするか否かを判断する。透明ディスプレイ装置１００は、両マッピング領域１０’、 ２０’が相互オーバーラップする場合に透過領域が判断され、透明ディスプレイ装置１００は情報３０が透過領域に割り当てられて表示される位置を調整する。

すなわち、透明ディスプレイ装置１００は、透過領域が推定されると、透過領域に表示されていた情報３０を識別力が低下するおそれのない他領域に移動させてディスプレイする。情報３０表示を移動させる方向及び移動距離は、透過領域と情報３０表示位置が重複する程度、重複する領域の位置、情報３０の識別力が確認できる（或いは、識別力の低下しない）透明ディスプレイ装置１００の他領域の位置等を考慮して決定することができる。

なお、透明ディスプレイ装置１００は、情報３０の位置とともに、または、別途に、大きさ、カラー、厚さ、フォント等のような多様な情報３０の表示属性を調整することもできる。

この場合、透明ディスプレイ装置１００は、物体の特性と情報の表示属性とを比較する。例えば、表示された情報３０が重なる透明領域の広さ、表示された情報３０が重なる物体２０の色相、物体と透明ディスプレイ装置１００との間の距離、ユーザ１０と透明ディスプレイ装置１００との間の距離等を判断し、その判断結果に応じて情報３０の表示属性を変更することができる。

具体的には、物体の透過領域中で重なる領域の物体色相が、情報の表示色相と類似する場合、物体２０から情報を区別し、情報３０の識別性を改善するために、情報の表示色相を別の色に変更して表示する。または、ユーザが透明ディスプレイ装置１００と離れている場合、情報の表示領域の大きさを拡大して表示し、近い場合、情報の表示領域を小さく表示する。表示（或いは、重なる）領域が広い場合には、情報の表示位置の移動距離が長くなるため、その長くなった方向に合う形に情報のレイアウトを変更することもできる。または、物体が遠く離れている場合、物体に対する拡大イメージを情報として提供することもできる。

一方、表示された情報３０の調整は、自動的に行われてよい。仮に、透明ディスプレイ装置１００は透過領域を検出し、透過領域に応じて表示された情報３０の位置を変更するために、客体２０の位置及びユーザ１０の位置を判断してよい。しかし、例えば、ユーザが情報３０の適応的な表示を自動的に実行するように機能をオン（ＯＮ）させた状態で、情報３０の動的表示が追加条件に応じて設定されてよい。または、条件は、条件３０に表示された位置が透過領域内に含まれてよく、情報３０は情報３０の位置が予め設定された時間以上の間に透過領域内にあれば、調整されてよい。

図２は、本発明の一実施形態に係る透明ディスプレイ装置の構成を示すブロック図である。図２によると、透明ディスプレイ装置１００は、第１検知部１１０と、第２検知部１２０と、制御部１３０と、透明ディスプレイ部１４０を含む。

第１検知部１１０は、透明ディスプレイ装置１００に相対的な物体の位置を検知する。第２検知部１２０は、透明ディスプレイ装置１００に相対的なユーザの位置を検知する。制御部１３０は、検知された物体の位置及びユーザの位置を考慮し、透明ディスプレイ部１４０上に情報をディスプレイする。

第１検知部１１０及び第２検知部１２０は、多様な方式で物体及びユーザの位置を検知することができる。説明の便宜上、第１及び第２検知部１１０、１２０は分離されているものとして記述しているが、単一センサは物体及びユーザの位置を検知することができる。以下では、第１及び第２検知部１１０、１２０の検知方法に対する多様な例について説明する。

一例として、第１検知部１１０は、カメラのような撮像素子を用いて後方背景イメージを撮像し、その撮像された後方背景イメージを分析し、物体との距離、物体の位置等を検知することができる。それについては、後述の図５を参照して具体的に説明する。

別の例として、第１検知部１１０は、光センサを用いて、透明ディスプレイ装置１０の前方で受信された光のように特定方向から受信された光の強度を検知し、その光の強度分布を分析して物体の位置を検知することができる。

光センサは、フォトダイオード、フォトトランジスタ、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等で実現されてよく、透明ディスプレイ部１４０の全領域に均一に分布される。各光センサは、入射される全方向からの光に強度を算出する。通常、物体２０の置かれた周辺背景のカラーと、物体２０のカラーとが異なると、物体２０から反射される反射光の強度と、その周辺背景から反射される反射光の強度が変わる。それにより、透明ディスプレイ部１４０を透過する各反射光の強度を検出し、強度に基づいて物体２０の位置を判断することができる。

更に別の例として、ユーザが透明ディスプレイ装置１００に位置を入力し、物体の位置を決定することもできる。この場合、第１検知部１１０は、タッチスクリーン、キーボード、マウス、ジョイスティック、タッチパッド、ボタン等のような多様な入力手段で実現されてよい。

例えば、透明ディスプレイ部１４０の全領域を複数の領域（例えば、９つ）に区分する。ユーザが、その領域のうち少なくとも１つ以上を選択すると、選択された領域が即座に物体の位置に対応するディスプレイ領域、すなわち透過領域と認識することができる。よって、ユーザの選択した透過領域を除く残りの領域に情報が表示される。

更に別の例として、第１検知部１１０は、近距離無線通信モジュールで実現されてよい。近距離無線通信モジュールとは、近距離無線通信タグや近距離無線通信リーダー、またはこれら全てを含むモジュールを意味する。近距離無線通信リーダーとは、近距離無線通信タグの付着された外部物体とタグ付けされた際、近距離無線通信タグに記録された情報を近距離無線通信方式でリーディングする装置である。ここで、タグ付けとは、近距離無線通信タグ及び近距離無線通信リーダーのうち少なくとも一方が移動し、タグ及びリーダーが相互の通信可能範囲内に位置するようになる行為を意味する。近距離無線通信方式の例としては、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）が使用されてよい。ＮＦＣとは、１３．５６Ｍｚ周波数帯域を使用する非接触式近距離無線通信方式である。ＮＦＣ技術を利用すると、複数の端末機が約１０ｃｍ以内のような近距離に接近した際、データが送受信されてよい。

この場合、近距離無線通信タグの付着された物体が第１検知部１１０にタグ付けされると、第１検知部１１０は物体の配置位置に関する情報を近距離無線通信タグから提供を受け、提供された配置位置を物体の実際の位置と判断する。

更に別の例として、第１検知部１１０は、撮像部及び近距離無線通信モジュール全てを含む形態で実現されてよい。この場合、近距離無線通信タグの付着された物体がタグ付けされると、近距離無線通信タグに記録された物体の形状及びカラー等に関する属性情報を受信する。その後、撮像部で撮像されたイメージのうち、属性情報に該当する領域を検出し、その検出された領域を物体の実際の位置と判断する。

以上のような多様な実施形態において、第１検知部１１０は物体の位置を検知するものとして説明したが、物体の位置以外に物体の色相や物体に書かれているテキスト、物体に描かれるか又は付着されたイメージ等を認識することもできる。物体の色相の場合には、カメラを介して撮像されたイメージでエッジを検出し、検出されたエッジ内部の色相を検出することができる。または、近距離無線通信タグを通じて当該物体の色相情報を受けることもできる。テキストやイメージの場合にも、カメラを介して撮像されたイメージからテキスト読み込みまたはイメージ読み込みアルゴリズムを用いて検出するか又は、近距離無線通信方式で提供されてよい。このような色相や、テキスト、イメージ等が検出されると、透明ディスプレイ装置１００は当該物体がどのような種類かを把握し、それに合った情報をディスプレイすることができる。第１センサ１１０が物体の位置を検知することはできるものの、物体の位置は透明ディスプレイ装置で入力されて設定されてよく、それにより、物体の位置を知ることができ、第１センサ１００は省略されてよい。

一方、第２検知部１２０は、透明ディスプレイ装置１００のユーザの位置、例えば前方に位置するユーザの位置を検知する。

第２検知部１２０も、第１検知部１１０と同様に、撮像素子を利用するか又は、光センサを用いてユーザの位置を検出することができる。

別の例として、第２検知部２１０は、他の位置にある複数の近距離無線通信モジュールで実現されてよい。ユーザの位置は、ユーザがセンサでタグ付けするＮＦＣを採択する際、センサの位置であるとして検出することができる。または、各モジュールの中でタグ付けが行われたモジュールの位置を基準にユーザの位置を検出することもできる。

第２検知部１２０は、このような近距離無線通信モジュールを複数具備し、タグ付けが行われたモジュールが設置された透明ディスプレイ部の領域を透過領域と認識することができる。具体的には、透明ディスプレイ装置１００が大型ショーウィンドーで実現された場合、ショーウィンドーの外側表面またはその周辺に一定間隔で複数の近距離無線通信モジュールを設置することができる。

この場合、ユーザが通り過ぎる途中、興味のある商品が存在する位置に立ち止まり、その周辺の近距離無線通信モジュールに対して自分のユーザ端末装置をタグ付けすることができる。ここにおけるユーザ端末装置は、近距離無線通信モジュールが備えられた携帯電話や、ＰＤＡ、タブレットパソコン、ＭＰ３プレーヤ等であってよい。または、ユーザは近距離無線通信タグが備えられたネームカードや、クレジットカード等でタグ付けすることもできる。このように、ユーザがタグ付けすると、第２検知部１２０はタグ付けされたモジュールが設定された位置にユーザが存在すると判断し、ショールームウィンドー（ｓｈｏｗ ｒｏｏｍ ｗｉｎｄｏｗ）の後の物体位置とユーザの位置とを考慮して透過領域を推定することができる。

または、第２検知部１２０は、透明ディスプレイ部１４０を基準に第２方向側の床等に配置された複数のセンサを含むことができる。センサは、光センサや、圧力センサ、モーション検知センサ等が使用されてよい。それにより、ユーザが特定ポイントに位置すると、そのポイントに配置されたセンサからセンシング信号が検出される。第２検知部１２０は、センシング信号に検出されたセンサの位置をユーザの位置と決定することができる。
以上のように、第１及び第２検知部１１０、１２０が物体及びユーザの位置を検知する方式は、多様な実施形態によって異なるように実現されてよい。

制御部１３０は、第１及び第２検知部１１０、１２０でそれぞれ検知した物体２０の位置及びユーザ１０の位置に基づいて、ユーザ１０が透明ディスプレイ部１４０を眺めた際、透明ディスプレイ１４０上で物体２０が見える領域、すなわち、透過領域を推定する。

そして、制御部１３０は、透明ディスプレイ部１４０で透過領域に含まれる情報３０をディスプレイしているか否かを確認し、確認された情報の表示位置を他領域に移動するように決定する。上記において述べたように、制御部１３０は、位置変更の代わりに色相または大きさのような情報の他の属性を調整してよい。

透明ディスプレイ部１４０は、物体２０が透明に透ける状態で、情報３０をディスプレイする。上述のような情報は、多様な例で実現されてよい。情報３０が透過領域と重なる場合、透明ディスプレイ部１４０は制御部１３０によって決定された位置に情報３０を移動させて表示する。それにより、情報３０は調整されるため、ユーザが客体から情報３０を容易に区別することができ、結果、識別力が向上するようになる。

透明ディスプレイ部１４０は、実施形態によって透明ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）型、透明ＴＦＥＬ（Ｔｈｉｎ−Ｆｉｌｍ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｔ Ｐａｎｅｌ）型、透明ＯＬＥＤ型、投射型等のような多様な形態で実現されてよい。以下では、透明ディスプレイ部１４０の構造に対する多様な実施形態について説明する。

透明ＬＣＤ型とは、現在使用されているＬＣＤ装置でバックライトユニットを除去し、一対の偏光板、工学フィルム、透明薄膜トランジスタ、透明電極等を使用して実現した透明ディスプレイ装置を意味する。透明ＬＣＤ装置では、偏光板や工学フィルム等によって透過度が低下し、バックライトユニットの代わりに、周辺光を用いるようになるため光効率が低下するが、対面的透明ディスプレイを実現することができるというメリットがある。透明ＴＦＥＬ型とは、透明電極、無機蛍光体、絶縁膜からなる交流型無機薄膜ＥＬディスプレイ（ＡＣ−ＴＦＥＬ）を使用する装置を意味する。ＡＣ−ＴＦＥＬは、無機蛍光体の内部に加速した電子が通りつつ、蛍光体を励起させて光を発するディスプレイである。透明ディスプレイ部１３０が透明ＴＦＥＬ形態で実現された場合、制御部１３０は適切な位置に電子が投射されるように調整し、情報表示位置を決定することができる。無機蛍光体、絶縁膜が透明な特性を有するため、非常に透明なディスプレイを実現することができる。

その他に、透明ＯＬＥＤ型とは、自ら発光が可能なＯＬＥＤを利用する透明ディスプレイ装置を意味する。有機発光層が透明であるため、両極電極を透明電極で使用すると、透明ディスプレイ装置が実現可能である。ＯＬＥＤは、有機発光層両側で電子と正孔とを注入して、これらが有機発光層内で結合されつつ光を発生するようになる。透明ＯＬＥＤ装置は、このような原理を用いて所望の位置に電子及び正孔を注入して、情報を表示する。

図３は、透明ＯＬＥＤ型で実現された透明ディスプレイ部の細部構成例を示す図である。説明の便宜上、透明ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）型で実現された透明ディスプレイ部について参照符号１４０−１を付する。

図３によると、透明ディスプレイ部１４０−１は、透明基板１４１−１、透明トランジスタ層１４２−２、第１透明電極１４３−１、透明有機発光層（Ｔｒａｎｓｐａｒｅｎｔ Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ ｌａｙｅｒ）１４４−１、第２透明電極１４５−１、接続電極１４６−１を含む。

透明基板１４１−１は、透明な性質を有するプラスチックのようなポリマ材料またはガラスを使用することができる。透明基板１４１−１の材質は、透明ディスプレイ装置１００の適用された使用環境に応じて決定されてよい。例えば、ポリマ材料は、軽量かつ柔軟というメリットがあり、携帯型ディスプレイ装置に使用されてよく、ガラスはショップのショーウィンドーや通常窓等に使用されてよい。

透明トランジスタ層１４２−２とは、従来の薄膜トランジスタの不透明なシリコンを透明な亜鉛酸化物、酸化チタニウム等のような透明物質に代替して製作したトランジスタを含むレイヤを意味する。透明トランジスタ層１４２−２内には、ソース、ゲート、ドレイン及び各種誘電膜１４７−１、１４８−１が設けられ、ドレインと第１透明電極１４３−１とを電気的に接続する接続電極１４６−１も設けられてよい。図３では、透明トランジスタ層１４２−１内に、ソース、ゲート、ドレインからなる１つの透明トランジスタのみが示されているが、実際には、ディスプレイ表面の全領域に満遍なく分布された複数の透明トランジスタが設けられる。制御部１３０は、透明トランジスタ層１４２−２内の各トランジストのゲートに制御信号を印加し、当該透明トランジスタを駆動させて情報を表示することができる。

第１透明電極１４３−１及び第２透明電極１４５−１は、透明有機発光層１４４−１を基準に相互反対方向に配置される。第１透明電極、透明有機発光層及び第２透明電極１４３−１、１４４−１、１４５−１は、透明有機発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）を形成する。

透明有機発光ダイオードは、駆動方式に応じて大きく、受動型（Ｐａｓｓｉｖｅ Ｍａｔｒｉｘ ＯＬＥＤ）と能動型（Ａｃｔｉｖｅ Ｍａｔｒｉｘ ＯＬＥＤ）とに分類される。ＰＭＯＬＥＤは、第１及び第２透明電極１４３−１、１４５−１が相互交差する部分が画素を形成する構造である。一方、ＡＭＯＬＥＤは、各画素を駆動する薄膜トランジスタ（ＴＦＴ）がある構造である。図３では、能動型を示している。

第１透明電極１４３−１及び第２透明電極１４５−１は、それぞれ複数個のライン電極を含み、ライン電極の整列方向は相互垂直に形成される。例えば、第１透明電極１４３−１のライン電極が横方向に配列されたなら、第２透明電極１４５−１のライン電極は縦方向に配列される。それにより、第１透明電極１４３−１及び第２透明電極１４５−１の間には複数の交差領域が形成される。各交差領域には、図３に示すように透明トランジスタが接続される。

制御部１３０は、透明トランジスタを用いて各交差領域別に電位差が形成されるようにする。電位差の形成された交差領域内において、各電極から電子と正孔とが透明有機発光層１４４−１に流入されて結合しつつ、発光が行われる。一方、電位層の形成されていない交差領域は発光が行われず、それにより後面背景がそのまま透明に透けるようになる。

第１及び第２透明電極１４３−１、１４５−１としては、ＩＴＯ（ｉｎｄｉｕｍ ｔｉｎ ｏｘｉｄｅ）が使用されてよい。または、グラフェンのような新素材が使用されてよい。グラフェンとは、炭素原子が相互連結されて、蜂の巣模様の平面構造をなして透明な性質を有する物質を意味する。その他に、透明有機発光層１４４−１も多様な材料で実現されてよい。

一方、上述のように、透明ディスプレイ部１４０は、透明ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）型、透明ＴＦＥＬ（Ｔｈｉｎ−Ｆｉｌｍ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｔ Ｐａｎｅｌ）型、透明ＯＬＥＤ型以外に、投射型でも実現されてよい。投射型とは、ＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）のように透明なスクリーンに映像を投射してディスプレイする方式を意味する。

図４は、投射型透明ディスプレイ装置で実現される場合、透明ディスプレイ部の細部構成の例を示す図である。投射型で実現された実施形態では、説明の便宜上、透明ディスプレイ部について参照符号１４０−２を付する。

投射型透明ディスプレイ部１４０−２は、透明スクリーン１４１−２、光学装置１４２−２、光源装置１４３−２を含む。

光源装置１４３−２は、ＶＦＤ（Ｖａｃｕｕｍ Ｆｌｕｏｒｅｓｃｅｎｔ Ｄｉｓｐｌａｙ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、ＬＥＤ等のような多様な種類の光源を用いて、情報を表記するための光を発散する。

光学装置１４２−２は、光源装置１４３−２から発せられる光を透明スクリーン１４１−２側に伝達して投射する装置である。光学装置１４２−２は、少なくとも１つ以上のレンズ及びガラスを含む導光板で実現されてよい。

光源装置１４３−２及び光学装置１４２−２は、１つのディスプレイモジュールで実現されてよい。それにより、透明スクリーン１４１−２の上下左右側の境界部分に配置されて透明スクリーン１４１−２に光を投射し、透明スクリーン１４１−２に情報が表示されるようにすることができる。その他に、レーザを光源として利用するホログラフィ方式で実現されてよい。この場合、レーザを用いて透明スクリーン１４１−２上に直接情報を描写するようになる。

透明スクリーン１４１−２は、一般的なガラスからなってよい。図４の透明ディスプレイ部１４０−２の構成は、透明ディスプレイ装置１００や車両や船舶、飛行機等のような移動体のガラス窓や、一般家庭における窓、ショップのショーウィンドー等に適用された際、採用が可能である。以上のように、透明ディスプレイ装置１００は多様な環境に適用され、ユーザの位置及び物体の位置を認識し、その位置に基づいて画面を構成してディスプレイする。

制御部１３０は、ユーザ及び物体に対して認識された位置に基づいて、透過領域を判断する。透過領域を判断する方法については後述する。

一方、上述のように、ユーザの位置及び後方の物体の位置は、多様な方式で認識されてよい。図５では、カメラのような撮像部を用いてユーザ及び物体の位置を検知する実施形態で実現された透明ディスプレイ装置について説明する。

図５は、本発明の具体的な実施形態に係る透明ディスプレイ装置の構成を説明するためのブロック図である。図５によると、透明ディスプレイ装置１００は、第１検知部１１０と、第２検知部１２０と、制御部１３０と、透明ディスプレイ部１４０と、保存部１５０及び入力部１６０を含む。

第１検知部１１０は、物体の位置を検知する。第１検知部１１０は、第１撮像部１１１と、第１検出部１１２及び第２検出部１１３を含む。

第１撮像部１１１は、透明ディスプレイ装置１００の第１方向に撮像を行う。それによって、第１方向にある物体を含む少なくとも１つの事物を撮像することができる。説明の便宜上、本明細書では、第１撮像部１１１の撮像したイメージを後方背景イメージと称する。

第１検出部１１２は、後方背景イメージの各イメージピクセル情報を用いて各事物のエッジを検出する。エッジ検出は、多様な検出アルゴリズムによって行われてよい。

一例として、第１検出部１１２は、後方背景イメージをｍ＊ｎピクセル単位で分割して複数のブロックで区分する。第１検出部１１２は、各ブロックの代表値を検出する。代表値は、当該ブロック内の全ピクセルの平均ピクセル値、当該ブロック内の各ピクセルのピクセル値の中で最も多いピクセル値、各ピクセルのピクセル値を全て加算した合計ピクセル値等であってよい。第１検出部１１２は、検出された各代表値を比較し、相互類似する代表値を有しつつ連続的に配置されたブロックが存在するかを確認する。同一の物体の雑像された領域に含まれたブロックは、代表値が相互類似する範囲を有するようになる。

第１検出部１１２は、連続する類似ブロックが確認されると、確認された類似ブロックと異なる代表値を有するブロック間の境界地点に該当するブロックをエッジ部分として検出する。

第２検出部１１３は、検出されたエッジを用いて第１撮像部１１１の撮像した各事物の中から物体を識別し、識別された物体の位置と撮像イメージ上における識別領域を検出する。一例として、第２検出部１１３は、第１検出部１１２から検出されたエッジ部分が閉曲線を形成すると、後方背景イメージの全ブロックの中で閉曲線内に該当するブロックの位置を物体位置と検出する。そして、後方背景イメージと透明ディスプレイ部１４０の全領域とを比較し、透明ディスプレイ部１４０の全領域の中から物体が識別される識別領域を検出する。

一方、透明ディスプレイ装置１００は、各物体に関する特性情報を用いて、物体の位置及び識別領域を検出することもできる。特性情報は、近距離無線通信方式や、その他の通信方式によって物体から直接提供されるか又は、その他のソースから提供されてよい。例えば、各物体が近距離無線通信タグを備えて透明ディスプレイ装置１００が近距離無線通信リーダーを備えた場合なら、各物体を近距離無線通信リーダーにタグ付けして当該物体に関する特性情報を受信することができる。特性情報には、当該物体のカラー、形状、大きさ、配置位置等が含まれてよい。第２検出部１１３は、後方背景イメージ上で検出されたエッジを基準に後方背景イメージ内に含まれた各事物を区分する。それにより、区分された事物のうち、特性情報に合致する事物を上述の物体２０と認識し、その位置を検出することができる。例えば、陳列台の上に置かれた物体２０の場合、陳列台も同時に撮像されて後方背景イメージ内に含まれる。この場合、第２検出部１１３は、物体２０のカラーに合致するイメージピクセル情報を有する領域を当該物体２０の位置と判断することができる。

または、物体を供給する供給者のサーバや供給者の端末装置から当該物体に関する特性情報を受信するか又は、透明ディスプレイ装置１００に接続された入力手段を通じて特性情報を直接入力することもできる。第２検出部１１３は、以上のように多様なソースを通じて提供された特性情報を用いて、物体の透過領域を正確に検出することができる。

第２検知部１２０は、第２撮像部１２１及びユーザ位置検出部１２２を含む。第２撮像部１２１は、透明ディスプレイ装置１００を基準に第２方向に撮像を行う。それにより、前方背景イメージを獲得する。

ユーザ位置検出部１２２は、第２撮像部１２１から撮像された前方背景イメージを分析してユーザの位置を検出する。ユーザの位置検出方式は、上述の第１検出部１１２の物体位置検出方式と同様に実現されてよい。

なお、ユーザに関する特性情報も予め登録をさせておくか又は、ユーザが備えた近距離無線通信モジュールが含まれたユーザ端末装置またはタグを通じて提供を受け、その特性情報に応じてユーザの位置を正確に検出することもできる。

一方、第１検知部及び第２検知部１１０、１２０の検知時点は、実施形態別に多様な決定をされてよい。

一例として、制御部１３０は、物体を配置すること、又は、持って来た人やユーザの外部入力によって、第１及び第２検知部１１０、１２０を駆動させることができる。例えば、ユーザが透明ディスプレイ部１４０の表面をタッチするか又は、別途に設けられた入力手段を通じて任意の入力信号を入力する場合に、第１及び第２検知部１１０、１２０を駆動させ、物体及びユーザの位置を検知することができる。透明ディスプレイ装置１００が音声認識モジュールや、モーション認識モジュールを備えていた場合は、特定音声や特定ジェスチャを取り、第１及び第２検知部１１０、１２０をそれぞれ駆動させることもできる。図５の実施形態では、第１及び第２検知部１１０、１２０が撮像方式で物体及びユーザの位置を検知する場合を説明したが、上述のように第１及び第２検知部１１０、１２０は撮像方式以外に、光センサ利用方式、近距離無線通信方式、ユーザ直接設定方式のように多様に実現されてよい。このような各方式でも、位置認識のためのユーザ命令があった後に、撮像、光センシング、近距離無線通信、ユーザ領域指定等を行って位置を検知するように実現されてよい。

別の例として、透明ディスプレイ装置１００が動作検知センサを備えている場合ならば、制御部１３０は動作検知センサを用いて、ユーザや物体の動作を検知し、その動作が一定時間以上停止すると、第１及び第２検知部１１０、１２０を駆動させて、物体及びユーザの位置を検知することもできる。それにより、不要な電力消耗を防止することもできる。

更に別の例として、近距離無線通信モジュールを備えている場合ならば、タグ付けが行われた際、第１及び第２検知部１１０、１２０を駆動させて物体及びユーザの位置を検知することもできる。具体的には、物体をショップ内に配置しつつショップ内または透明ディスプレイ装置１００に設けられた近距離無線通信モジュールにタグ付けする場合、ユーザが自ら持っている近距離無線通信リーダーをショップの外部または透明ディスプレイ装置１００に設けられた近距離無線通信モジュールにタグ付けする場合が発生すると、制御部１３０は第１及び第２検知部１１０、１２０を駆動させることができる。

制御部１３０は、第１及び第２検知部１１０、１２０でそれぞれ検知された物体の位置及びユーザの位置に基づいて、透過領域を判断する。

制御部１３０は、透明ディスプレイ部１４０の全領域を複数個に区分し、区分された各領域のうち、ユーザの位置から物体が見える領域を透過領域と判断する。制御部１３０は、透過領域内に情報が表示されていた場合は、当該情報の表示位置を変更するか又は、情報がユーザの不在時最初に表示されなければ、ユーザの位置が検出される際の情報を表示するように透明ディスプレイ部１４０を制御することができる。

保存部１５０には、第１撮像部１１１、第２撮像部１２１でそれぞれ撮像したイメージ、物体位置及びユーザの位置に関する情報及びその他の多様な情報と、透明ディスプレイ装置１００の動作に関連して、ユーザが設定した各種セッティング情報、システム駆動ソフトウェア（Ｏｐｅｒａｔｉｎｇ Ｓｏｆｔｗａｒｅ）、各種アプリケーションプログラム等が保存されてよい。

入力部１６０は、透明ディスプレイ装置１００の動作に関連し、多様なユーザ命令を受信するための部分である。入力部１６０は、透明ディスプレイ部１４０上に実現されるタッチスクリーン、透明ディスプレイ装置１００の本体に具備された各種ボタン、透明ディスプレイ装置１００に接続されたキーボード、マウス等のような外部入力手段から各種入力信号を受信するＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｉｎｔｅｒｆａｃｅ）等のように多様な形態で実現されてよい。ユーザは、入力部１６０を介して情報表示位置移動機能をオンまたはオフさせることができ、情報表示位置を移動するための条件や、移動時の表示属性変更方式等を設定することができる。

制御部１３０は、入力部１６０によって入力されたユーザ命令に応じて、上述の動作を行うことができる。すなわち、ユーザが情報表示位置移動機能をオンさせた場合、制御部１３０は第１及び第２検知部１１０、１２０を制御し、物体及びユーザの位置を検知し、その検知結果を保存部１５０に保存する。そして、保存された結果に基づいて、制御部１４０は透明領域を判断し、透過領域内にある表示された情報の領域を透過領域の外部に調整する。

図６は、透明ディスプレイ部１４０の全領域を複数個のブロックに区分した状態を説明するための図である。

図６によると、透明ディスプレイ部１４０の全領域は複数個の縦ライン（Ｖ_１〜Ｖ_ｘ）及び複数個の横ライン（Ｈ_１〜Ｈ_ｙ）からなる仮想分割領域に区分される。仮想分割領域はマトリックス形態で実現されてよい。

高解像度を要求する場合、マトリックスの各セルは１つのピクセル単位で行われてよいが、演算への負担を考慮し、各セルは複数個のピクセル単位で構成されてよい。より大きくは、仮想分割領域は透明ディスプレイ部１４０の全領域を４分割、６分割、９分割、１２分割等に分けて構成することもできる。

制御部１３０は、ユーザの位置及び物体の位置をそれぞれ透明ディスプレイ部１４０の全領域のうち、対応する領域にマッチングさせる。図６では、物体２０は、（Ｖ_ｎ＋４、Ｈ_ｍ＋２）、（Ｖ_ｎ＋５、Ｈ_ｍ＋２）、（Ｖ_ｎ＋６、Ｈ_ｍ＋２）、（Ｖ_ｎ＋７、Ｈ_ｍ＋２）、（Ｖ_ｎ＋４、Ｈ_ｍ＋３）、（Ｖ_ｎ＋５、Ｈ_ｍ＋３）、（Ｖ_ｎ＋６、Ｈ_ｍ＋３）、（Ｖ_ｎ＋７、Ｈ_ｍ＋３）、（Ｖ_ｎ＋４、Ｈ_ｍ＋４）、（Ｖ_ｎ＋５、Ｈ_ｍ＋４）、（Ｖ_ｎ＋６、Ｈ_ｍ＋４）、（Ｖ_ｎ＋７、Ｈ_ｍ＋４）、（Ｖ_ｎ＋４、Ｈ_ｍ＋５）、（Ｖ_ｎ＋５、Ｈ_ｍ＋５）、（Ｖ_ｎ＋６、Ｈ_ｍ＋５）、（Ｖ_ｎ＋７、Ｈ_ｍ＋５）領域に透けるようになる。以下では、物体２０が透明ディスプレイ部１４０上に透ける領域を参照符号２０’と表記する。

一方、ユーザの位置は、（Ｖ_ｎ＋３、Ｈ_ｍ＋１）、（Ｖ_ｎ＋４、Ｈ_ｍ＋１）、（Ｖ_ｎ＋５、Ｈ_ｍ＋１）、（Ｖ_ｎ＋６、Ｈ_ｍ＋１）、（Ｖ_ｎ＋３、Ｈ_ｍ＋２）、（Ｖ_ｎ＋４、Ｈ_ｍ＋２）、（Ｖ_ｎ＋５、Ｈ_ｍ＋２）、（Ｖ_ｎ＋６、Ｈ_ｍ＋２）、（Ｖ_ｎ＋３、Ｈ_ｍ＋３）、（Ｖ_ｎ＋４、Ｈ_ｍ＋３）、（Ｖ_ｎ＋５、Ｈ_ｍ＋３）、（Ｖ_ｎ＋６、Ｈ_ｍ＋３）、（Ｖ_ｎ＋３、Ｈ_ｍ＋４）、（Ｖ_ｎ＋４、Ｈ_ｍ＋４）、（Ｖ_ｎ＋５、Ｈ_ｍ＋４）、（Ｖ_ｎ＋６、Ｈ_ｍ＋４）、（Ｖ_ｎ＋３、Ｈ_ｍ＋５）、（Ｖ_ｎ＋４、Ｈ_ｍ＋５）、（Ｖ_ｎ＋５、Ｈ_ｍ＋５）、（Ｖ_ｎ＋６、Ｈ_ｍ＋５）、（Ｖ_ｎ＋４、Ｈ_ｍ＋６）、（Ｖ_ｎ＋５、Ｈ_ｍ＋６）、（Ｖ_ｎ＋４、Ｈ_ｍ＋７）、（Ｖ_ｎ＋５、Ｈ_ｍ＋７）、（Ｖ_ｎ＋４、Ｈ_ｍ＋８）、（Ｖ_ｎ＋５、Ｈ_ｍ＋８）領域に透けるようになる。以下では、ユーザ１０が透明ディスプレイ部１４０上に透ける領域を参照符号１０’と表記する。なお、図６では、情報３０が物体マッチング領域２０’及びユーザマッチング領域１０’と一部分重なる領域に表示された状態を示す。

制御部１３０は、第１検知部１１０で検知された物体位置と第２検知部１２０で検知されたユーザ位置とをそれぞれ保存部１５０に保存されたマトリックステーブルに記録する。それにより、両位置が重なる部分を透過領域と判断する。

または、制御部１３０は、物体を透明ディスプレイ部１４０にそのまま垂直に投影させ、物体マッチング領域２０’を決定し、ユーザも垂直に投影させてユーザマッチング領域１０’を決定することができる。この場合、ユーザの位置から物体が見える領域、すなわち、透過領域は物体マッチング領域２０’及びユーザマッチング領域１０’の間に形成されてよい。この場合、制御部１３０は、物体と透明ディスプレイ部１４０との間の距離、ユーザと透明ディスプレイ部１４０との間の距離、及び、その距離の比率に応じて透過領域を決定することができる。すなわち、制御部１３０は、透明ディスプレイ部１４０の表面と物体とを垂直に連結した地点を中心に、物体の形状及び物体の大きさを考慮し、上述の物体マッチング領域２０’を判断することができる。なお、ユーザマッチング領域１０’も同様に、ユーザと透明ディスプレイ部１４０の表面を垂直に連結した地点を中心にユーザの形状及び大きさを考慮して判断することができる。それによると、物体とユーザとが透明ディスプレイ部１４０の表面から垂直に相互対称になるように位置したならば、ユーザマッチング領域１０’及び物体マッチング領域２０’の間の重複領域がそのまま透過領域に該当する。

一方、物体及びユーザがそれぞれ透明ディスプレイ部１４０を基準に４５度の角度に傾いた状態で位置した場合、ユーザマッチング領域１０’及び物体マッチング領域２０’の間の領域のうち、真ん中の領域が透過領域に該当する。このように、透過領域は、ユーザ、物体との距離とその角度に応じて算出されてよい。それについて、詳細は後述する。

一方、制御部１３０は、ユーザまたは物体の位置変更や新規ユーザまたは新規物体の出現が検知されると、その検知結果に応じてマトリックステーブルを更新する。

図７は、保存部１５０に保存されたマトリックステーブルの一例を示す。図７によると、マトリックステーブル７００は、図６の透明ディスプレイ部１４０を複数の領域に区分する方式と同様の方式で構成することができる。すなわち、マトリックステーブル７００は、複数の縦ライン（Ｖ_１〜Ｖ_ｘ）及び複数の横ライン（Ｈ_１〜Ｈ_ｙ）からなってよく、各縦ライン及び横ラインが交差するセルにデータが記録されてよい。

図７によると、マトリックステーブル７００内の各セルには、基本値が記録され、セル中に物体の位置に該当するセルには、予め設定された第１値、ユーザの位置に該当するセルには第２値が記録される。図７において、基本値、第１値、第２値はそれぞれ０、１、２に設定されているが、それは説明の便宜上、任意に定めた値であるだけで、それに限定されるものではない。

制御部１３０は、第１検知部１１０から検知された結果に応じて、マトリックステーブル７００内の（Ｖ_ｎ＋４、Ｈ_ｍ＋２）、（Ｖ_ｎ＋５、Ｈ_ｍ＋２）、（Ｖ_ｎ＋６、Ｈ_ｍ＋２）、（Ｖ_ｎ＋７、Ｈ_ｍ＋２）、（Ｖ_ｎ＋４、Ｈ_ｍ＋３）、（Ｖ_ｎ＋５、Ｈ_ｍ＋３）、（Ｖ_ｎ＋６、Ｈ_ｍ＋３）、（Ｖ_ｎ＋７、Ｈ_ｍ＋３）、（Ｖ_ｎ＋４、Ｈ_ｍ＋４）、（Ｖ_ｎ＋５、Ｈ_ｍ＋４）、（Ｖ_ｎ＋６、Ｈ_ｍ＋４）、（Ｖ_ｎ＋７、Ｈ_ｍ＋４）、（Ｖ_ｎ＋４、Ｈ_ｍ＋５）、（Ｖ_ｎ＋５、Ｈ_ｍ＋５）、（Ｖ_ｎ＋６、Ｈ_ｍ＋５）、（Ｖ_ｎ＋７、Ｈ_ｍ＋５）番目のセルには２を記録する。

そして、第２検知部１２０から検知された結果に応じて、マトリックステーブル７００内の（Ｖ_ｎ＋３、Ｈ_ｍ＋１）、（Ｖ_ｎ＋４、Ｈ_ｍ＋１）、（Ｖ_ｎ＋５、Ｈ_ｍ＋１）、（Ｖ_ｎ＋６、Ｈ_ｍ＋１）、（Ｖ_ｎ＋３、Ｈ_ｍ＋２）、（Ｖ_ｎ＋４、Ｈ_ｍ＋２）、（Ｖ_ｎ＋５、Ｈ_ｍ＋２）、（Ｖ_ｎ＋６、Ｈ_ｍ＋２）、（Ｖ_ｎ＋３、Ｈ_ｍ＋３）、（Ｖ_ｎ＋４、Ｈ_ｍ＋３）、（Ｖ_ｎ＋５、Ｈ_ｍ＋３）、（Ｖ_ｎ＋６、Ｈ_ｍ＋３）、（Ｖ_ｎ＋３、Ｈ_ｍ＋４）、（Ｖ_ｎ＋４、Ｈ_ｍ＋４）、（Ｖ_ｎ＋５、Ｈ_ｍ＋４）、（Ｖ_ｎ＋６、Ｈ_ｍ＋４）、（Ｖ_ｎ＋３、Ｈ_ｍ＋５）、（Ｖ_ｎ＋４、Ｈ_ｍ＋５）、（Ｖ_ｎ＋５、Ｈ_ｍ＋５）、（Ｖ_ｎ＋６、Ｈ_ｍ＋５）、（Ｖ_ｎ＋４、Ｈ_ｍ＋６）、（Ｖ_ｎ＋５、Ｈ_ｍ＋６）、（Ｖ_ｎ＋４、Ｈ_ｍ＋７）、（Ｖ_ｎ＋５、Ｈ_ｍ＋７）、（Ｖ_ｎ＋４、Ｈ_ｍ＋８）、（Ｖ_ｎ＋５、Ｈ_ｍ＋８）番目のセルには１を記録する。

制御部１３０は、両領域間に相互重畳する領域の（Ｖ_ｎ＋４、Ｈ_ｍ＋２）、（Ｖ_ｎ＋５、Ｈ_ｍ＋２）、（Ｖ_ｎ＋６、Ｈ_ｍ＋２）、（Ｖ_ｎ＋４、Ｈ_ｍ＋３）、（Ｖ_ｎ＋５、Ｈ_ｍ＋３）、（Ｖ_ｎ＋６、Ｈ_ｍ＋３）、（Ｖ_ｎ＋４、Ｈ_ｍ＋４）、（Ｖ_ｎ＋５、Ｈ_ｍ＋４）、（Ｖ_ｎ＋６、Ｈ_ｍ＋４）、（Ｖ_ｎ＋４、Ｈ_ｍ＋５）、（Ｖ_ｎ＋５、Ｈ_ｍ＋５）、（Ｖ_ｎ＋６、Ｈ_ｍ＋５）番目のセルには１と２とを合算した結果値の３を記録する。

ただ、それは一例に過ぎず、必ずしもそれに限定されるものではない。すなわち、両領域間の重複領域に該当するセルには２値を合算した値ではなく、当該セルが重複領域に該当することを示すように別途に設定された第３値を記録することもできる。

制御部１３０は、透明ディスプレイ部１４０上において、情報３０が表示された領域とマトリックステーブル７００とを比較する。それにより、マトリックステーブル内の各セルのうち３が記録されたセル（積集合領域に該当）と、情報表示領域が一部または全部が重なると、情報３０の表示位置を移動させる。実施形態によっては、マトリックステーブル内の各セルのうち、１、２、３のうちいずれの値であっても、記録されたセル（和集合領域に該当）に位置した場合にも、表示位置を移動させることができる。

図８は、制御部１３０によって情報表示位置が変更された状態を示す図である。図８によると、マトリックステーブル内で１、２、３のうちいずれか１つが記録されたセルと重なる領域に表示されていた情報３０が、（Ｖ_ｎ＋１、Ｈ_ｍ−１）、（Ｖ_ｎ、Ｈ_ｍ）、（Ｖ_ｎ＋１、Ｈ_ｍ）、（Ｖ_ｎ＋２、Ｈ_ｍ）、（Ｖ_ｎ、Ｈ_ｍ＋１）、（Ｖ_ｎ＋１、Ｈ_ｍ＋１）、（Ｖ_ｎ＋２、Ｈ_ｍ＋１）、（Ｖ_ｎ−１、Ｈ_ｍ＋２）、（Ｖ_ｎ、Ｈ_ｍ＋２）、（Ｖ_ｎ＋１、Ｈ_ｍ＋２）、（Ｖ_ｎ＋２、Ｈ_ｍ＋２）、（Ｖ_ｎ＋３、Ｈ_ｍ＋２）領域に移動して表示されることを示す。

制御部１３０は、透過領域と情報表示領域との間のオーバーラップ領域の位置と識別力の低下しない周辺の他領域との距離等に基づいて、情報３０の移動距離及び移動方向を決定することができる。図８では、元の位置から左上側に３または４領域程度シフトされて透過領域からある程度離隔して表示されることを示しているが、必ずしもそれに限定されるものではなく、透過領域と重なる領域までにのみ移動させ、可能な限り、元の位置の近くに表示することもできる。

または、情報表示領域の移動方向は、管理者またはユーザが予め定めることができる。仮に、情報表示領域は、物体の位置、ユーザの位置、ユーザの可視範囲等を基準に、上、下、左、右、対角線方向等のような一定の方向に移動されるように設定することができる。

一方、図７では、１つのマトリックステーブル７００を用いて物体位置、ユーザ位置、情報位置を総合的に判断することについて説明しているが、物体、ユーザ、情報別に別途のマトリックステーブルを生成し、そのマトリックステーブルを比較して透過領域を判断することもできる。

または、制御部１３０は、マトリックステーブルを設ける代わりに、ユーザを撮像したイメージフレーム及び物体を撮像したイメージフレームを相互異なるレイヤで組み合わせて、組み合わせられた状態でユーザ領域及び物体領域の間の重なる領域やその中間領域のうち、１領域を透過領域と判断することができる。この場合、組み合わせられたフレームと情報を含む画面フレームとを直接比較し、情報が透過領域に重なるかを把握することができる。

図９は、第１撮像部１１１及び第２撮像部１２１の配置位置を説明するための図である。図９は、透明ディスプレイ装置１００の上側から眺めた状態の図である。図９によると、第１撮像部１１１は、透明ディスプレイ装置１００を基準にユーザの反対側の上部に付着され、物体２０を撮像する。一方、第２撮像部１２１は、透明ディスプレイ装置１００を基準にユーザ側の上部に付着されてユーザ１０を撮像する。

図９では、第１撮像部１１１及び第２撮像部１２１は、それぞれ１つずつ設けられ、透明ディスプレイ装置の上部中央部分に設置される。

図９において、ユーザ１０が透明ディスプレイ装置１００に関連し、地点（ａ）に位置してユーザ１０及び物体２０が並んで配置された場合、透明ディスプレイ装置１００上で透過領域は、ユーザ１０及び物体２０を連結した線、すなわち視線と透明ディスプレイ部１４０とが交わる地点Ｔ（ａ）に形成される。よって、透明ディスプレイ装置１００は、透過領域Ｔ（ａ）ではない他領域に情報を表示する。

一方、透明ディスプレイ装置１００は、物体２０をそのまま透明に映すため、物体２０が固定された位置にあっても、ユーザの位置に応じて透明ディスプレイ部１４０上で物体２０のイメージが結像する位置及び形状が変わるようになる。すなわち、図９において、ユーザが地点（ｂ）に位置すると透過領域Ｔ（ｂ）地点に形成され、ユーザが地点（ｃ）に位置すると透明領域Ｔ（ｃ）地点に形成される。それと同様に、ユーザが位置を変更するとしても、物体２０は位置を変更することができ、ユーザ１０と物体２０とは位置を変更することができる。なお、物体２０が正方形のキュービック状の場合、ユーザが地点（ａ）に位置して目の高さが物体２０と同一の場合には、正方形状に見えるようになるが、地点（ｂ）や地点（ｃ）に位置するようになると、長方形状や菱形状等に見えるようになる。よって、ユーザの位置移動により、物体２０に対する識別領域を正確に検出する必要がある。

図１０は、ユーザ位置及び物体位置に基づいて透過領域を算出する方法を説明するための図である。

図１０において、ユーザの位置移動があっても、三角関数法を用いて物体２０の識別領域を推定する方法を説明する。図１０では、デプスカメラや距離感知センサ等を用いて物体との距離、配置角度等を測定した後、測定値を用いて物体２０の識別領域を推定する実施形態について説明する。

図１０によると、第１撮像部１１１及び第２撮像部１２１がそれぞれ透明ディスプレイ装置１００の上部中央に設置されてよい。第１撮像部１１１及び第２撮像部１２１の設置位置が相互対応すると、その地点を原点（０、０）とし、物体２０の実際の位置をＬ１(ｘ１、ｙ１)、ユーザ１０の実際の位置をＬ２(ｘ２、ｙ２)と仮定する。

第１撮像部１１１及び第２撮像部１２１がそれぞれデプスカメラで実現された場合、第１検出部１１２は第１撮像部１１１で撮像された後方背景イメージを用いて物体との距離ｄ１、物体方向と透明ディスプレイ装置１００の表面との角度θ１を検出することができる。なお、第２検出部１２２は、第２撮像部１２１で撮像された前方背景イメージを用いて、ユーザとの距離ｄ２、ユーザ方向と透明ディスプレイ装置１００の表面間の角度θ２を検出することができる。２つの撮像部１１１、１２１について説明されたが、単位デプスカメラが、単位デプスカメラに相対的な透明ディスプレイ装置１００、ユーザ及び物体２０の位置を判断するように採択することができ、そのため、透明ディスプレイ装置１００に相対的なユーザ１０及び物体２０の位置は決定されてよい。

制御部１３０は、三角関数法を用いて、ｘ１、ｙ１、ｘ２、ｙ２をそれぞれ算出することができる。すなわち、ｄ１＊ｓｉｎθ１＝ｙ１、ｄ１＊ｃｏｓθ１＝ｘ１になる。そして、ｄ２＊ｓｉｎθ２＝ｙ２、ｄ２＊ｃｏｓθ２＝ｘ２になる。それにより、ｘ１、ｙ１、ｘ２、ｙ２が算出されると、Ｌ１とＬ２地点を連結する直線方程式が求められる。すなわち、ｙ＝（ｙ１−ｙ２）＊ｘ／（ｘ１−ｘ２）＋ｙ１−（ｙ１−ｙ２）＊ｘ１／（ｘ１−ｘ２）のような方程式を求めることができる。よって、透明ディスプレイ部１４０上で物体が見える領域のＴは、（（ｘ２ｙ１−ｘ１ｙ２）／（ｙ１−ｙ２）、０）で算出されてよい。それにより、制御部１３０は、算出された地点Ｔに表示される情報をその周辺領域に移動させることができる。

図１０では、地点Ｔを１つの座標値として記載しているが、それは説明の便宜のためのものであり、実際には物体の大きさとユーザ及び物体との間の直線距離を用いて、地点Ｔを中心に一定距離内の領域を全て透過領域と推定することができる。

図９及び図１０では、第１及び第２撮像部１１１、１２１がそれぞれ１つずつ設けられた場合を示しているが、各撮像部は複数で設けられてよい。すなわち、撮像部が複数で設けられた場合、ユーザが位置移動をするとしても、その位置移動方向に対応する撮像部を用いて物体に対する識別領域を推定することができる。よって、正確な識別領域推定が可能となる。

図１１は、撮像部が複数で設けられた実施形態に係る透明ディスプレイ装置の構成を示す。

図１１によると、６つの第１撮像部１１１−１〜１１１−６、６つの第２撮像部１２１−１〜１２１−６が相互反対方向に対称になる形で配置される。相互対称になる位置に配置された第１撮像部及び第２撮像部は相互連動することができる。すなわち、ユーザが地点（ａ）に位置すると、３番目の第１撮像部１１１−３及び３番目の第２撮像部１２１−３でそれぞれ撮像されたイメージを用いて透過領域Ｔ（ａ）を判断する。このような状態で、ユーザが地点（ｂ）に移動すると、４番目の第１撮像部１１１−４及び４番目の第２撮像部１２１−４でそれぞれ撮像されたイメージを用いて、透過領域Ｔ（ｂ）を判断する。

ユーザの位置は、別途に設けられたモーション検知センサ（図示せず）を用いて検知することもでき、第２撮像部１２１−１〜１２１２−６でそれぞれ撮像されたイメージを用いてユーザの位置を分析した後、全ての第１撮像部１１１−１〜１１１−６のうち、それに対称になる第１撮像部を選択的に作動させ、物体の位置を検知することもできる。

例えば、一番目の第２撮像部１２１−１でユーザが撮像されたと判断されると、制御部１３０は、ユーザが撮像されたフレームを相互比較し、ユーザの動作ベクトルを算出することができる。それにより、ユーザの移動方向が判断されると、移動方向に存在する次の撮像部を駆動させて撮像を行うことができる。すなわち、図１１において、ユーザ１０が右側に移動中ならば、制御部１３０は１番目の第２撮像部１２１−１で撮像されたイメージに基づいてユーザの移動方向を予測し、２番目の第１撮像部１１１−２と２番目の第２撮像部１２１−２とをターンオンさせ、右方に向かったユーザの連続する動きを予測するユーザ１０と物体２０の撮像を行うようにする。ユーザが引き続き右側に移動すると、右方に４番目の第１及び第２撮像部１１１−３、１２１−３をターンオンさせて撮像を行うようにする。制御部１３０は、ターンオンされた撮像部から撮像されたイメージに基づいて透過領域を判断することができる。

このように、複数の第１撮像部１１１−１〜１１１−６、複数の第２撮像部１２１−１〜１２１−６を用いるようになると、ユーザの視線方向が変更されるとしても、透明ディスプレイ部１４０上で物体が識別される領域を正確に認識し、透過領域を判断することができるようになる。

一方、より改良された実施形態によると、制御部１３０が介入することなく、第１撮像部１１１−１〜１１１−６の間、または第２撮像部１２１−１〜１２１−６が相互有線または無線通信プロトコルによる通信を行い、ユーザの位置移動方向を他の撮像部に通知することもできる。例えば、１番目の第２撮像部１２１−１でユーザが撮像された場合、第２撮像部１２１−１は１番目の第１撮像部１１１−１にユーザ検知信号を伝送する。１番目の第１撮像部１１１−１は、ユーザ検知信号に応じて物体２０を撮像し、イメージを制御部１３０に提供することができる。このような状態で、ユーザが右側に移動するようになると、１番目の第２撮像部１２１−１は、２番目の第１及び第２撮像部１１１−２、１２１−２にそれぞれユーザ検知信号を伝送する。このような方式で、ユーザ位置移動に適応的に反応し、透過領域を正確に検知し、それにより情報３０の表示位置を移動させることができる。

図１１では、第１及び第２撮像部がともに、複数で実現された場合を説明しているが、必ずしもそれに限定されるものではなく、第１撮像部のみが複数で設けられ、第２撮像部は１つのみ設けられてよく、その反対の場合も可能である。

各撮像部は動画カメラ、静止映像カメラ、デプス（ｄｅｐｔｈ）カメラ等のように多様な形態で実現されてよい。デプスカメラとは、ＩＲ（ＩｎｆｒａＲｅｄ）パターンを発散し、周辺環境から反射されるＩＲパターンを受信し、ＩＲ映像を獲得するカメラを意味する。制御部１３０は、ＩＲ映像を分析して周辺環境に位置する各事物との距離を知ることができる。

一方、制御部１３０は、物体との距離またはユーザとの距離を考慮し、各撮像部で撮像された物体またはユーザの位置をキャリブレーションすることもできる。それにより、正確な透過領域を算出することができる。

図１１では、複数の撮像部を利用する実施形態を説明したが、ユーザの視線方向に応じて、撮像部を回転させて撮像角度を調整する実施形態でも実現できる。複数の撮像部が設けられた場合には、ユーザ１０の位置と物体２０の位置とを連結する直線上に位置するか、その直線と近接する位置の撮像部を選択して撮像を行うことができる。この場合、選択された撮像部が回転されて撮像角度を前記直線が向かう方向に調節することができる。すなわち、撮像部の回転角度が調節されてよい。それにより、ユーザが位置移動をして視点方向が変わるとしても、それに合致する透過領域を判断することができる。

図１２及び図１３は、ユーザの視線方向に合わせて物体の位置を認識するために撮像部を回転させる透明ディスプレイ装置の構成の一例を示す図である。図１２及び図１３は、透明ディスプレイ装置１００がショーウィンドーで実現された場合を示す。

まず、図１２によると、バッグのような物体２０−１が置かれたショーウィンドーの外側に位置するユーザ１０が真ん中に立ち、物体２０−１を眺める場合、中央部上段に配置された第１撮像部１１１は、基準位置で撮像を行う。情報３０−１は、ユーザ１０が眺めた物体２０−１の位置と重ならない領域に表示される。図１２のようにショーウィンドーで実現された場合、情報３０−１は、物体２０−１に関連する説明や、当該ショップに関する広告フレーズ等のように、多様な情報であってよい。透明ディスプレイ装置１００を管理する管理者は、透明ディスプレイ装置１００に備えられた入力部を介して情報３０−１内容を直接入力することもでき、パソコンのようなユーザ端末装置を用いて情報を構成した後、透明ディスプレイ装置１００に伝達することもできる。

このような状態で、ユーザが一方向に移動するようになると、その方向に合わせて第１撮像部１１１を回転させ、ユーザの位置から眺めた物体２０−１の位置を正確に推定することができる。

図１３は、ユーザ１０が左方に移動した状態を示す。この場合、第１撮像部１１１は右方に回転される。それにより、物体２０−１が透明ディスプレイ部１４０上に結像する位置も変更され、ユーザ１０が真ん中に位置した際には見えなかった新規物体２０−２が撮像範囲内に入ってくることがある。透明ディスプレイ装置１００は、ユーザ１０の位置移動に応じて、物体２０−１の周辺に表示されていた情報３０−１の表示位置を変更する。この場合、変更された位置に合わせて情報３０−１の表示形態も同時に変更することができる。なお、透明ディスプレイ装置１００は、新規物体２０−２に対する新たな情報３０−２も更にディスプレイすることができる。

一方、図１３に示すように、ショーウィンドー上で物体２０−１とショーウィンドー周縁までの実際の距離ｄ３と、撮像部１１１で撮像されたイメージ上における物体２０−１及びその周縁までの距離ｄ４は異なってよい。

この場合、制御部１３０は、実際の距離ｄ３とイメージ上の距離ｄ４との間の比率を反映し、マトリックステーブルのセル値を訂正することができる。

図１４においては、マトリックステーブルの各セル値を訂正する方法を説明するための図である。図１４によると、撮像部１１１の切り替わった撮像範囲内で実際に撮像されたイメージによると、Ｖ２、Ｖ３、Ｖ４ラインと、Ｈｍ、Ｈｍ＋１、Ｈｍ＋２ラインとが交差するセルに１番目の物体２０−１に対応する値１を記録し、Ｖｋ、Ｖｋ＋１ラインと、Ｈｍ、Ｈｍ＋１、Ｈｍ＋２、Ｈｍ＋３、Ｈｍ＋４ラインとが交差するセルに２番目の物体２０−２に対応する値２を記録する。

しかし、制御部１３０は、ｄ３とｄ４との間の比率に対応する距離分だけ、１番目の物体２０−１の位置を右側にシフトさせ、２番目の物体２０−２の位置は固定されるようにマトリックステーブル７００の各セル値を修正する。

ソフト距離は、繰り返し実験を通じて獲得した最適値を記録したデータベースから獲得することができる。

一方、上述のように、情報の表示移動距離及び移動方向は、透過領域と重なる領域の位置に応じて決定されてよい。以下では、情報の表示移動距離及び移動方向を変更する多様な実施形態について説明する。

図１５は、透明ディスプレイ装置１００がラップトップコンピュータで実現された場合を示す。図１５によると、透明ディスプレイ装置１００の透明ディスプレイ部１４０には物体２０が透明に透けて見える。

それにより、ユーザ１０の実際位置と物体２０の位置とに応じて、透過領域２０’が決定される。透明ディスプレイ装置１００は透過領域２０’内に表示される情報３０の表示位置を他領域に変更する。

図１６は、図１５のような状況で、新規物体が登場した場合を示す。図１６によると、新規物体４０が透明ディスプレイ部１４０の後方に移動し、そのディスプレイ領域４０’が情報３０の表示位置と重なるようになると、情報３０の表示位置は再び他領域に変更される。この場合、識別力が低下しない残りの領域の形及び位置に合わせて、情報３０の表示形態も変更される。図１６によると、横方向に長い長方形状に表示されていた情報３０が移動とともに、縦方向に長い長方形状に変更されることを示す。

透明ディスプレイ装置１００は、新規物体４０が動く間は、透過領域に対する判断を先送りするようになる。透明ディスプレイ装置１００は、新規物体４０が一定時間（例えば、５秒以上）の間停止すると、その状態で透過領域を判断する。

図１７は、透過領域と情報表示位置との間のオーバーラップ程度に応じて、情報表示を移動させる方法を説明するための図である。図１７によると、情報３０の一部分のみが透過領域２０’と重なる場合、透明ディスプレイ装置１００は、その重なる幅だけ情報３０の表示位置を移動させる。移動方向は、情報３０内で重ならない部分が存在する方向であってよい。図１７では、情報３０の右側部分が重なるため、左方に表示が移動される。

図１７に示すように、情報の表示位置の移動方向は、透過領域２０’内におけるオーバーラップ領域の位置に応じて決定されてよい。例えば、情報３０全体が透過領域２０’内に含まれる場合、透過領域２０’の各境界から情報３０までの距離を考慮し、移動方向を決定する。例えば、情報３０が透過領域２０’の下側の境界と最も近くに表示されたならば、情報３０の表示の移動方向は下側になる。なお、移動距離は、透過領域２０’の下側境界から情報３０の上側境界までの距離より大きい値に決定されてよい。

または、情報の表示位置の移動方向は、物体基準、ユーザ基準、ディスプレイ基準、可視範囲基準等のような多様な基準に応じて決定されてよい。

例えば、物体を基準に決定される場合、透過領域の上、下、左、右、左上、左下、右上、右下方向のうちの１つを、優先移動方向に設定することができる。残りの方向に対しても、それぞれ優先順位を設定することができる。優先移動方向に空間的余裕がない場合には、次順位の移動方向に移動するように設定することができる。図１７のように、情報３０と透過領域５０とが重なる場合、右方の優先移動方向に設定されていても、右側空間が不足するため、移動することができない。この場合、次順位移動方向が左側なら、図１７に示すように左側に移動されてよい。

または、ユーザの位置を基準に決定される場合、透明ディスプレイ部１４０の全領域のうち、透過領域を基準にユーザの位置する方向に対して優先順位を設定することができる。この場合、上、下、左、右、左上、左下、右上、右下方向に対して優先順位が設定されてよい。それにより、最優先順位方向に先に移動させることを考慮し、移動が不可能な場合、次の順位の移動方向に順次に移動方向を決定する。

その他に、透明ディスプレイ部１４０のディスプレイ表面上の絶対的な方向を優先基準に設定し、それに合わせて移動させることもでき、ユーザの可視範囲を考慮する場合には、物体透過領域を基準に可視範囲以内で情報表示方向を上、下、左、右、左上、左下、右上、右下方向のうちの１つに決定することができる。

その他に、透過領域を基準に定めずに、ディスプレイ表面全体を基準に上下左右側周縁や、各角部分に情報表示位置を移動することもできる。

一方、情報表示が移動される領域が、情報が表示されていた元の領域と大きさ及び形が異なる場合、それに合わせて情報のレイアウトも変更されてよい。

図１８は、識別力の低下しない残りの領域の大きさ及び形に応じて、情報３０のレイアウトを変更する方法を示す。図１８によると、識別力抵抗領域５０と情報３０とが重なり、最も近い境界方向の左上側に情報３０が移動される場合、現在情報３０の大きさ及び形と移動される領域の大きさが異なってよい。このような場合、情報３０の大きさ及び形を移動される領域に合わせて変更しつつ、情報３０内のレイアウトも同時に変更して新たな情報３０’形態で表示する。

なお、情報の表示位置は、ユーザの位置移動に応じても変更されてよい。

一方、図１５ないし図１８で説明したように、透明ディスプレイ装置１００がラップトップコンピュータで実現される場合、ユーザの位置は通常大きく変わらないと考えてよい。すなわち、ラップトップコンピュータ使用のためには、ほとんどラップトップコンピュータの正面から近距離内にユーザが位置する。よって、ユーザの位置をあえて検知しなくても、透過領域を推定することができる。ラップトップコンピュータ以外に、カメラや携帯電話、ＰＤＡ、ＭＰ３プレーヤ、電子書籍、電子手帳等のようにディスプレイサイズが相対的に小型であり、ユーザが至近距離で使用することが一般的な装置の場合にも、事実上ユーザの位置はそれほど意味を持たなくてよい。このような場合には、上述の第２検知部が省略された状態で、透明ディスプレイ装置１００が実現されてよい。この場合、透明ディスプレイ装置１００は後方の物体を撮像してその位置及び距離を把握し、透過領域を推定することができる。そして、推定された透過領域を考慮して情報を表示することができる。ただ、テレビ電話等のために、透明ディスプレイ装置１００が既にユーザを撮像するためのカメラを備えた場合には、そのカメラを用いてユーザの位置や視線方向等を検知し、透過領域を推定することができる。

一方、透明ディスプレイ装置１００は、ユーザが頻繁に通る場所に設置された掲示板や、広告板、キヨスク端末で実現されてよい。この場合、ユーザの位置移動の度に、反応して情報表示状態を変更するには無理が伴うことがある。よって、大勢の人が存在する領域において、透明ディスプレイ装置１００は透明ディスプレイ装置１００を見ている大勢の人のうちの１人を判断するためのアルゴリズムを適用することができる。透明ディスプレイ装置１００は、ユーザの動き、ユーザの手の動きまたはユーザの視線の動きを追跡し、透明ディスプレイ装置１００を見ている１人以上の人を判断することができる。ユーザが透明ディスプレイ装置１００を見ていて、他に別ユーザがユーザと透明ディスプレイ装置１００の間を通る際、ユーザが透明ディスプレイ装置１００を継続して見ていると推測されてよい。

透明ディスプレイ装置１００は、人の間に優先順位を決め、優先順位に応じて情報を表示することができる。最も高い優先順位のユーザのための情報が中央位置に表示されたり、最も大きなフォントで映してよく、最も低い順位の情報が透明ディスプレイ装置１００の周縁に表示したり小さいフォントで表示されてよい。

もし、２名の人が透明ディスプレイ装置１００を見ていると判断されると、より近い視聴者に優先権があり、透明ディスプレイ装置１００の効果的な空間の視聴者に優先権があってよい。効果的な空間は、情報がフォントの大きさに基づいて映せる空間であるか又は、透明ディスプレイ装置１００の後ろの情報及び商品が正確に見える空間であってよい。なお、より長くまたはより短い時間の間、透明ディスプレイ装置１００を視聴した視聴者に優先権があってよい。最も最近の視聴者に優先権があってよく、視聴者は商品に応じて優先権が与えられてよい。例えば、透明ディスプレイ装置１００の後ろに位置するスポーツアイテムを見ている男性に女性より優先権があってよく、透明ディスプレイ装置１００の後ろに位置するドレスを視聴する女性に男性より優先権があってよい。

図１９は、ユーザの位置移動を考慮して情報表示位置を変更する場合に対する図である。

図１９によると、ユーザ１０が透明ディスプレイ部１４０を隔てて物体２０の正面に位置する場合、情報３０の物体２０の透過領域２０’の一側に表示される。

このような状態で、ユーザが片方向に移動するようになると、ユーザの位置に応じて透過領域２０’が変更される。それにより、以前に情報３０が表示されていた領域と透過領域３０’とが重なるようになるため、情報３０の表示位置は再び変更される。この場合、ユーザが動きを止めずに移動し続ける場合には、動きが止まるまでは情報３０の表示位置を変更せずに待機することもできる。

図２０は、透明ディスプレイ装置１００が車両に適用された場合を示す。具体的には、透明ディスプレイ部１４０が車両の前面ガラスに適用された状態を示す。

図２０によると、ユーザ１０が車両に搭乗して運行中の状態で、各種情報が前面ガラスに表示される。本実施形態における情報３０は、車両状態や、車両運行、周辺環境等に関連する多様な情報であってよい。仮に、ナビゲーション画面や、燃料残量、速度、ＲＰＭ、周辺交通状況、周辺車両情報等が前面ガラスに表示されてよい。

図２０の透明ディスプレイ部１４０は、図４のような投射型で実現されてよい。この場合、車両の前面ガラスが透明スクリーン１４１−２になる。透明ディスプレイ装置１００は、車両前方の物体２０が前面ガラスに透けて見える領域を透過領域と判断し、その領域ではない他領域に情報３０をディスプレイする。図２０のように、車両の場合には、透明ディスプレイ部１４０、すなわち前面ガラスのサイズが大きいが、ユーザが運転席で固定された姿勢を維持するようになるため、ユーザの位置移動幅は大きくない。よって、この場合にも、ユーザの位置を検知するための第２検知部が使用されなくてよい。それにより、車両前方の物体２０がガラス１４１−２に透けて見える領域のみを考慮して透過領域を判断することができる。

または、第２検知部が設けられた場合には、第２検知部を用いてユーザの視線を追跡し、その視線が向く方向に情報３０の表示位置を移動させることもできる。この場合、第２検知部１２０は、車両の内部のルームミラーや運転席上段またはユーザの着用した眼鏡等に配置された第２撮像部１２１を用いてユーザの顔領域を撮像する。そして、イメージプロセシング技法を用いて、撮像されたイメージを分析してユーザの瞳孔領域を検出し、その瞳孔領域の位置変化を追跡してユーザの視線を把握することができる。制御部１３０は、ユーザの視線が把握されると、把握された視線に合う位置に情報３０を表示する。

一方、上述の多様な実施形態で開示された透明ディスプレイ装置１００は、情報表示位置移動機能をユーザの設定に応じて選択的に行うことができる。

図２１は、当該機能を設定するための設定画面の一例を示す図である。

図２１は、透明ディスプレイ部１４０上に機能設定のためのＵＩ画面６０が表示された状態を示す。図２１では、単に機能オンまたはオフを選択するためのメニューのみがＵＩ画面６０に表示されたが、その機能実行のための条件や情報表示属性等を設定するためのメニューもＵＩ画面６０に同時に表示され、ユーザが選択することができる。すなわち、ユーザは、透過領域内に情報が何秒以上含まれた際に情報表示位置を移動させるか、情報表示位置移動距離をどのくらいにするか、情報表示を移動させた場合に大きさ、形、カラー、フォント、太さ等をどのように変更するか、情報表示位置移動方向をどの方向にするか等を選択することができる。ユーザは、情報を表示するアプリケーションごとに上述の機能を設定することができる。

入力部１６０がタッチスクリーンで実現された場合、ユーザはＵＩ画面６０を直接タッチして機能を設定することができる。ユーザが設定した設定情報は保存部１５０に保存される。

それにより、透明ディスプレイ装置１００は、アプリケーションを実行させて情報を表示するようになると、実行されたアプリケーションに対して保存部１５０に予め保存された設定情報に応じて情報表示移動機能を実行することができるようになる。

図２２は、本発明の一実施形態に係る透明ディスプレイ装置におけるディスプレイ方法を説明するためのフローチャートである。

図２２によると、物体の位置及びユーザの位置が検知されると（Ｓ２２１０）、検知された位置を基準に透過領域を判断する（Ｓ２２２０）。

物体の位置及びユーザの位置は物体及びユーザをそれぞれ撮像したイメージから検出することもでき、別途に設けられた光センサを用いて透明ディスプレイ部を透過する光の強度を検出して位置を検出することもできる。

なお、透過領域は物体が透明ディスプレイ部１４０上に透けて見える領域と、ユーザが透明ディスプレイ部１４０にマッチングする領域間の積集合に該当する領域または和集合に該当する領域に決定されてよい。透過領域を判断するためには、上述のようにマトリックステーブルが利用されてよい。

透過領域が判断されると、透明ディスプレイ装置は透過領域内に情報が位置するか否かを判断する（Ｓ２２３０）。具体的には、マトリックステーブルに情報の表示位置をマッチングさせ、そのマッチングセルと透過領域に該当するセルとを比較し、少なくとも一部が重なると、透過領域内に情報が位置すると判断することができる。

それにより、透過領域内に情報が含まれると判断されると、透明ディスプレイ装置は情報表示位置を他領域に移動させる（Ｓ２２４０）。具体的には、マトリックステーブル内で物体及びユーザのうちいずれにもマッチングされないセルを把握し、その把握されたセルのうち、現在情報表示位置と最も近いセルを検出し、検出されたセルに対応する領域に情報を表示する。なお、上述のように、表示された情報は、その代わりに大きさ、透明度、色相が調整されるか、または透過領域に表示された情報の物体の衝撃を軽減するために調整されてよい。表示された情報は、調整される表示された情報の属性（ｐｒｏｐｅｒｔｙ）を付加して全て移動することができる。

一方、透過領域内に情報が含まれていない場合には、別途の措置なしに情報をその位置のまま表示する（Ｓ２２５０）。

結果的に、透明ディスプレイ装置１００において物体とユーザの位置とが重なる領域に情報が表示されることを防止することができるため、情報の識別力を向上することができるようになる。

図２３は、本発明の別の実施形態に係る透明ディスプレイ装置のディスプレイ方法を説明するためのフローチャートである。

図２３によると、透明ディスプレイ装置１００は、周囲にユーザが検知されない際には、何の情報も表示せずに、ユーザが検知された際に物体に関連する情報をディスプレイする。

図２３のディスプレイ方法によると、ユーザが周囲に移動したことが検知されると（Ｓ２３１０）、物体の位置とユーザの位置とをそれぞれ判断する（Ｓ２３２０）。

その後、判断結果に基づいて透過領域を判断する（Ｓ２３３０）。位置判断方法及び透過領域判断方法については、上述の多様な実施形態を参照して説明しているため、繰り返しの説明は省略する。

透過領域が判断されると、透明ディスプレイ装置１００は物体に関連する情報を透過領域の周辺にディスプレイする（Ｓ２３４０）。ここで、表示される情報は物体に関連して管理者が予め入力しておいた情報であってよい。仮に、透明ディスプレイ装置１００がショップのショーウィンドーに適用された場合、物体の名前、値段、スペック等に関する情報が物体周辺に表示されてよい。または、透明ディスプレイ装置１００が通信機能を備えた場合、物体に関連する情報をネットワークを介して接続されたサーバ装置から受信して随時アップグレードして表示することもできる。

このような状態で、ユーザの動きまたは新規物体の動きにより、透明ディスプレイ装置１００を介したユーザの視野領域（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）で新規物体が認識されると（Ｓ２３５０）、透明ディスプレイ装置１００はユーザ及び新規物体の透過領域を再判断する（Ｓ２３６０）。

それにより、新たな透過領域と以前情報表示位置とが重なるようになった場合、以前情報表示位置を変更し、新規物体に関する新たな情報も全透過領域と重ならない領域に追加でディスプレイする（Ｓ２３７０）。

一方、新規物体が認識されずに新規ユーザが追加された場合ならば（Ｓ２３８０）、新規ユーザの位置から物体を眺めたとき、識別力の低下する領域まで含めて透過領域を再判断する（Ｓ２３９０）。

それにより、物体及び新規ユーザの透過領域が重ならないように表示された情報を更新する（Ｓ２４００）。もし、元のユーザ及び新規ユーザの２人が物体を見ることができる場合、表示された情報は物体と元のユーザの透過領域に基づいて、さらに、物体と新規ユーザの透過領域に基づいて調整されてよい。

もし、新規物体または新規ユーザが予め設定された臨界時間未満の短い時間の間に検知されると、表示された情報は維持されてよい。

以上のように、透明ディスプレイ装置は、ユーザ及び物体の位置に適応的に反応し、適切な位置に情報を表示するか又は、情報表示位置を移動させることができる。なお、上述のように、表示された情報は、その代わりに大きさ、透明度、色相が調整されるか、または透過領域に表示された情報の物体の衝撃を軽減するために調整されてよい。表示された情報は、調整される表示された情報の属性（ｐｒｏｐｅｒｔｙ）を付加して全て移動することができる。

一方、以上のような多様な実施形態では、情報が透過領域に重なる場合、情報の表示位置を移動させるものとして説明したが、その他に多様な実施形態に変形可能である。特に、透明ディスプレイ装置１００は、物体を透明に見せつつ、それに加えて情報を表示するものであるため、状況によっては、物体表示位置と重なる状態で情報を表示しなければならない場合があってよい。例えば、物体が大型マップの場合、その大型マップ上で特定位置を指定するための情報を表示するためには、物体が透けて見える領域と情報の表示位置とが重なるしかない。図２４は、このような場合に対して、識別力を高めることができる実施形態について説明する。

図２４は、本発明の更に別の実施形態に係る透明ディスプレイ装置の動作を説明するための図である。

図２４によると、透明ディスプレイ部１４０の後方に複数の物体２１、２２、２３が存在し、各物体に対応する情報３１、３２がディスプレイされた状態で、ユーザが接近した場合を示す。

図２４の透明ディスプレイ装置１００では、物体の種類及び特性に応じて情報の表示位置を移動するか又は、情報の表示属性を変更して識別力を向上させる。

図２４に示すように、物体が単一色の物体２２ならば、物体２２及び情報３０の属性を把握して識別力が低下するか否かを判断し、判断結果に応じて、情報３０の表示状態を変更することができる。仮に、物体２２が赤色の場合、情報３０のカラーも赤色または類似する色でありかつ透過領域内に位置するとしたら、識別力が低下すると判断し、情報３０の表示属性を変更することができる。このとき、カラーは物体２２のカラーの補色に該当するカラーに変更することができる。

なお、カラーのみを変更するわけではなく、カラー及び位置を全て変更することができる。一方、物体２０及び情報３０のカラーが相互異なる色なら、透過領域内に情報３０が位置するとしても情報３０の表示属性をそのまま維持することもできる。

なお、物体がマップ２３ならば、マップ２３と重なる情報３１の表示位置を移動させずに、そのカラーを識別力の高い原色に変更して識別力を高めることができる。

一方、物体がいろんな色の柄のある絵２４や壁紙ならば、その物体と重なる情報３３の表示位置を他領域に変更する。

このような動作のために、管理者は透明ディスプレイ装置１００の後方にある物体のそれぞれに対し、その物体が透けて見え得る候補領域を定め、候補領域別に情報表示移動を行うか否かを定め、表示属性を変更するかを設定しておくことができる。

図２４の実施形態では、透明ディスプレイ部１４０を基準に各物体２１、２２、２３、２４に対して正確に対称となる前方位置及び高さから眺めた際、物体２１、２２、２３、２４が見える領域を基準領域とし、その基準領域の上下左右側にマージンを与えて規準領域を含む候補領域を定めることができる。マージンは、透明ディスプレイ部１４０の横縦の長さ、透明ディスプレイ部１４０の全領域上で基準領域の位置を考慮し、上下左右のそれぞれに対して異なるように与えることができる。すなわち、右側境界までの距離が左側境界より２倍長い場合、右側マージンを左側マージンより２倍以上大きい値で与えることができる。このように、各物体に対して候補領域が決定されると、その候補領域内に表示される情報に対して表示移動をするか否か、表示属性を変更するか否かを設定しておくことができるようになる。

または、透明ディスプレイ装置１００は、後方背景イメージ上で検出された物体のエッジ部分を検出し、そのエッジ内に相互異なるカラーを有する一定面積以上の領域が臨界数以上含まれているか否かを判断し、様々な色の柄の部分か否かを判断することができる。例えば、臨界数が５つに設定されている場合、５つ以上のカラーが含まれた絵や壁紙部分に表示される情報は表示位置を移動させ、残りの場合には情報の表示属性を変更させて識別力を維持することができる。マップの場合、マップ全体の色は一定であり、各種名称や線は一定の大きさ未満であるため、表示属性を変更するものと決定されてよい。

このように、図２４の実施形態によると、情報の特性を考慮して位置移動及び表示属性変更を適応的に行うことができるため、識別力を向上すると同時に透明ディスプレイ装置１００の活用を多様化することができるようになる。一方、図２４では、カラーのみを変更させるものとして示しているが、カラー以外に、形、大きさ、太さ、フォント等のような属性も同時に変更させることができる。

一方、透明ディスプレイ装置１００は、ユーザの位置に応じて情報の表示位置を移動させると同時に、新規情報を更に表示する動作も行うことができる。

図２５は、本発明の更に別の実施形態に係る透明ディスプレイ装置の動作を説明するための図である。図２５によると、ユーザの位置変化に応じて多様な情報を表示するか又は位置を移動させ、ユーザの興味を引くことができる。

図２５によると、ユーザ１０が（第２撮像部１２１の撮像範囲内で）検知されなければ、透明ディスプレイ装置１００は何の情報も表示しない。もし、物体が検知されなければ、透明ディスプレイ装置１００は情報を表示しなくてよい。または、ユーザ１０及び物体２０のうちの一方が検知される際に情報が表示されるか又は、ユーザ１０及び物体２０の両方が検知されるときにのみ、情報が表示されてよい。

このような状態で、ユーザ１０が、例えば、撮像範囲内のように透明ディスプレイ装置１００の検知領域内に進入すると、現在陳列されている商品２０に関する説明フレーズを含む情報３０−１を当該商品２０の周辺にディスプレイする。更に、商品２０とは関係のない各種宣伝フレーズを含む情報３０−２を透明ディスプレイ部１４０の１領域にディスプレイする。説明フレーズを含む情報３０−１と違い、宣伝フレーズを含む情報３０−２は点滅するか又は表示属性を周期的に変更させてユーザの興味を引き起こすことができる。

ユーザ１０が撮像範囲内で継続して移動をする場合、ユーザの位置移動に合わせて情報３０−１、３０−２の表示位置を移動させる。図２５によると、ユーザの移動する方向側の透明ディスプレイ部１４０の領域に情報３０−１、３０−２を移動させ、ユーザが商品２０を正確に見ることができない角度からも、情報３０−１、３０−２を確認することができるようにする。

透明ディスプレイ装置１００は、ユーザの位置移動方向を考慮し、ユーザが撮像範囲を離脱すると判断されると、このような状況に合う新たな情報３０−３を更にディスプレイする。

ユーザ１０が撮像範囲を離脱したと判断されると、透明ディスプレイ装置１００は情報３０−１、３０−２、３０−３を削除し、待機状態になる。図２５では、情報３０−１、３０−２、３０−３を全て削除するものとして説明したが、そのうち、宣伝フレーズを含む情報３０−２は常に基準位置に表示することができる。

図２５に示すように、透明ディスプレイ装置１００は、商店に適用され、多様な方式で活用されてよい。

一方、上述の様々な実施形態では、管理者が入力した情報や外部装置から受信した情報、アプリケーション実行による情報等に情報として表示する場合を説明したが、ユーザ情報を取得することができる場合、ユーザ情報に関連する情報を情報として表示することもできる。

図２６は、ユーザ情報を受信し、その情報に対応する情報を適切に表示する透明ディスプレイ装置に対する実施形態を説明するための図である。

図２６によると、透明ディスプレイ装置１００は近距離無線通信モジュール２００を更に含むことができる。近距離無線通信モジュール２００は、近距離無線通信タグ、近距離無線通信リーダー、またはこれら全てを含むモジュールで実現されてよい。一例として、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）モジュールが使用されてよい。

図２６によると、透明ディスプレイ装置１００は複数の商品２０−１、２０−２、２０−３、２０−４が陳列されたショーウィンドーに適用されてよい。ショーウィンドー、すなわち透明ディスプレイ部１４０には宣伝フレームを含む情報３０がディスプレイされる。このような情報３０は、ユーザ１０が撮像範囲内に入らない場合にも、持続的にディスプレイされてよい。

このような状態で、ユーザ１０が撮像範囲内に進入すると、陳列された各商品２０−１、２０−２、２０−３、２０−４が透明ディスプレイ部１４０に透けて見える領域２０’−１、２０’−２、２０’−３、２０’−４の周辺に各商品に対応する情報３０−１、３０−２、３０−３、３０−４をディスプレイする。各情報３０−１、３０−２、３０−３、３０−４の表示位置はユーザ１０の位置移動に応じて変更されてよい。

このような状態で、ユーザ１０が近距離無線通信モジュールが具備された自分のユーザ端末装置３００を近距離無線通信モジュール２００にタグ付けすると、ユーザ情報が検出される。ここで、透明ディスプレイ装置１００に具備された近距離無線通信モジュール２００は近距離無線通信リーダーであってよく、ユーザ端末装置３００に具備された近距離無線通信モジュール２００は近距離無線通信タグであってよい。

透明ディスプレイ装置１００は、上述の近距離無線通信方式によってユーザ端末装置３００からユーザ情報が提供されると、提供されたユーザ情報を活用して多様な情報を透明ディスプレイ部１４０に表示することができる。

一例として、ユーザが近距離無線通信モジュールが含まれたユーザ端末装置３００またはカードを具備した状態で、通信可能な範囲内に接近して近距離無線通信モジュール２００にタグ付けすると、近距離無線通信モジュールに含まれたユーザ情報を受信する。ユーザ情報には、ユーザ名やＩＤ、性別、年齢等のような識別情報が含まれてよい。

透明ディスプレイ装置１００は、受信されたユーザ情報に合致する情報をサーバ装置に要請する。それにより、ユーザ１０のショッピング履歴や、ユーザが予め選択したウィッシュリスト（ｗｉｓｈ ｌｉｓｔ）、職業等を受信することができる。透明ディスプレイ装置１００は、サーバ装置から受信された付加情報及び近距離無線通信モジュールによって検出された識別情報等を用いて、ユーザが興味をもちそうな商品を確認することができる。

確認の結果、ショーウィンドーに陳列された商品のうち、ユーザが興味をもちそうな商品が存在する場合、当該商品に関連する各種説明を含む情報を透明ディスプレイ部１４０、すなわちショーウィンドーにディスプレイすることができる。

一方、透明ディスプレイ装置１００はショーウィンドーに陳列されない商品のうち、ユーザが購入する可能性がある商品が存在する場合、当該商品に関連する情報を含む情報を透明ディスプレイ部１４０、すなわちショーウィンドーにディスプレイすることができる。

図２６によると、陳列された商品２０−１、２０−２、２０−３、２０−４に関する情報３０−１、３０−２、３０−３、３０−４以外に、売場内の商品に関する情報３０−５、３０−６、３０−７が新たに表示される。新たに表示される情報３０−５、３０−６、３０−７は当該商品の位置を報知するための矢印マークを含むことができる。

このような動作を実現するために、透明ディスプレイ装置１００の保存部１５０には当該売場が保有している商品に対する簡単な説明や位置を示す情報や、その情報を表現するための情報に関する情報等が予め保存されていてよい。このような情報は、趣味、特技、職業等のような多様な基準に応じてグループ化することができる。それにより、制御部１５０は、ユーザに関する付加情報にマッピングするグループ内の情報を探索してディスプレイすることもできる。

一方、上述の例と違って、付加情報そのものも、ユーザ端末装置３００から直接提供されてよく、この場合には、その付加情報を即座に用いて関連する情報を透明ディスプレイ部１４０上に表示することができる。

このような新規の情報が更に表示される場合、既存に表示されていた情報３０−１、３０−２、３０−３、３０−４の表示は削除されるか又は、図２６に示すように、一部の情報３０−１の表示位置が新たな情報３０−５と重ならないように移動されてよい。このような位置移動は、上述のように、構成されたマトリックステーブルに基づいて行われてよい。すなわち、各情報の位置もマトリックステーブルに同時に記録し、位置移動時の参考資料として活用することができる。

なお、上述の実施形態では、近距離無線通信モジュールを用いてユーザ情報を確認するとして説明したが、他に、透明ディスプレイ装置１００はＷｉ−Ｆｉ、ブルートゥース、Ｚｉｇｂｅｅ（登録商標）等のような無線通信方式によってユーザ端末装置からユーザ情報を受信することもできる。この場合、ユーザ情報は、ユーザ名やＩＤ、住民番号等のような識別情報以外にユーザのショッピング履歴、ウィッシュリスト等が更に含まれてよい。

上述のように、透明ディスプレイ装置１００で表示される情報は一般的なＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）メッセージ、グラフィックイメージ等だけでなく、各種アプリケーション実行画面、コンテンツ再生画面、ウェブページ等であってよい。制御部１３０は、予め保存された多様なアプリケーションを実行してこのような情報を生成することができる。

例えば、コンテンツ再生画面の場合、制御部１３０は、保存部１５０に保存されたコンテンツデータを読み取るか又は、外部ソースからコンテンツデータを受信する。そして、制御部１３０は、コンテンツデータに対するデコード、レンダリング、スケーリング等を順次に行い、コンテンツ再生画面を生成することができる。

透明ディスプレイ部１４０が図３で説明したような透明ＯＬＥＤで実現された場合、制御部１３０は、生成されたコンテンツ再生画面に応じて透明ディスプレイ部１４０内の各セルに具備された透明薄膜トランジスタをオン／オフさせてコンテンツ再生画面の各ピクセルを表現する。上述のような多様な実施形態で説明したように、情報表示を移動させなければならない場合、制御部１３０はコンテンツ再生画面が表示されるピクセル座標を異なるように変更し、変更された位置にコンテンツ再生画面が表示されるようにする。一方、情報の表示属性を変更しなければならない場合、制御部１３０はレンダラ、スケーラ等を用いて変更することができる。制御部１３０を含む透明ディスプレイ装置１００の細部構成については、図２７を参照して説明する。

図２７は、透明ディスプレイ装置１００に適用される制御部１３０の細部構成の一例を示す図である。図２７によると、制御部１３０は、システムメモリ１３１、メインＣＰＵ１３２、イメージプロセッサ１３３、システムバス１３４、インターフェース１３５、第１カメラインターフェース１３６、第２カメラインターフェース１３７、入力インターフェース１３８、ネットワークインターフェース１３９を含む。

システムメモリ１３１、メインＣＰＵ１３２、イメージプロセッサ１３３、各インターフェース１３５、１３６、１３７、１３８、１３９は、システムバス１３４を介して相互接続され、各種データや信号等を送受信することができる。

インターフェース１３５は、保存部１５０と接続される各種プログラム、コンテンツ、データ等を送受信する。一例として、ユーザが保存部１５０に保存されたコンテンツを確認するための確認命令を入力すると、メインＣＰＵ１３２はインターフェース１３５を介して保存部１５０にアクセスし、保存されたコンテンツに対するリストを生成した後、そのリストを透明ディスプレイ部１４０上にディスプレイする。このような状態で、ユーザが１つのコンテンツを選択して再生命令を入力すると、メインＣＰＵ１３２は保存部１５０に保存されたコンテンツ再生プログラムを実行させる。コンテンツ再生プログラムに含まれた命令語に応じて、メインＣＰＵ１３２はイメージ処理部１３３を制御してコンテンツ再生画面を構成する。

イメージ処理部１３３は、デコーダ、レンダラ、スケーラ等を含むことができる。それにより、保存されたコンテンツをデコードし、デコードされたコンテンツデータをレンダリングしてフレームを構成し、構成されたフレームのサイズを情報表示領域に合わせてスケーリングする。

メインＣＰＵ１３２は、上述のように情報の表示位置を移動させるべきイベントが発生すると、イメージ処理部１３３でレンダリングされたフレームが表示されるピクセル座標値を変更する。そして、透明ディスプレイ部１４０上で、変更されたピクセル座標値に該当するディスプレイ領域に情報をディスプレイする。

第１カメラインターフェース１３６及び第２カメラインターフェース１３７は、それぞれカメラと接続される。上述の実施形態では、第１及び第２検知部１１０、１２０がそれぞれ物体の位置とユーザの位置とを直接検知するものとして説明したが、それとは異なり、第１検知部１１０及び第２検知部１２０はそれぞれカメラのみで実現されてよい。この場合、メインＣＰＵ１３２は、各カメラで撮像されたイメージを第１及び第２カメラインターフェース１３６、１３７を介して受信し、保存部１５０に保存されたイメージ分析プログラムを実行させ、各イメージ内に含まれた物体及びユーザの位置をそれぞれ判断することができる。

入力インターフェース１３８は、入力部１６０と接続され、ユーザが入力した多様な選択信号等を受信する。図２７では、１つの入力インターフェース１３８のみが示されているが、入力部１６０がキーボードや、マウス、ジョイスティック等のような多様な入力手段を含む場合、各入力手段に対応する数だけの入力インターフェース１３８が設けられてよい。メインＣＰＵ１３２は、入力インターフェース１３８を介して入力されるユーザ信号に応じて、透明ディスプレイ部１４０に各種情報をディスプレイするか又は、情報表示位置移動機能を設定するためのＵＩ画面６０をディスプレイする等の動作を行う。

ネットワークインターフェース１３９は、ネットワークを介して外部装置と接続される部分である。例えば、メインＣＰＵ１３２はウェブブラウザプログラムが実行されると、ネットワークインターフェース１３９を介してウェブサーバにアクセスする。ウェブサーバからウェブページデータが受信されると、メインＣＰＵ１３２はイメージ処理部１３３を制御してウェブページ画面を構成し、構成されたウェブページ画面を透明ディスプレイ部１４０にディスプレイする。

システムメモリ１３１は、ＲＯＭ１３１−１及びＲＡＭ１３１−２を含む。ＲＯＭ１３１−１には、システムブートのための命令語セット等が保存される。ターンオン命令が入力されて電源が供給されると、メインＣＰＵ１３２はＲＯＭ１３１−１に保存された命令語に従って保存部１５０に保存されたＯ／ＳをＲＡＭ１３１−２にコピーし、Ｏ／Ｓを実行させてシステムをブートさせる。ブートが完了すると、メインＣＰＵ１３２は、保存部１５０に保存された各種アプリケーションプログラムをＲＡＭ１３１−２にコピーし、ＲＡＭ１３１−２にコピーされたアプリケーションプログラムを実行させて各種動作を行う。

以上のように、メインＣＰＵ１３２は、保存部１５０に保存されたアプリケーションプログラムの実行に応じて多様な種類の情報を生成し、透明ディスプレイ部１４０にディスプレイする。

一方、本発明の更に別の実施形態によると、ユーザ位置移動を検知し、透明ディスプレイ部１４０上でユーザの移動された位置に対応する領域に、適切な客体（ｏｂｊｅｃｔ）をディスプレイすることができる。

上述のように、制御部１３０は、保存部１５０に保存されたプログラムをシステムメモリ１３１にコピーして実行させ、多様な動作を行うことができる。

図２８は、保存部１５０に保存されたソフトウェアの階層を説明するための図である。図２８によると、保存部１５０には、ベースモジュール２８１０と、デバイス管理モジュール２８２０と、通信モジュール２８３０と、プレゼンテーションモジュール２８４０と、ウェブブラウザモジュール２８５０及びサービスモジュール２８６０を含む。

ベースモジュール２８１０とは、透明ディスプレイ装置１００に含まれた各ハードウェアから伝達される信号を処理し、上位レイヤモジュールに伝達する基礎モジュールを意味する。

ベースモジュール２８１０は、ストレージモジュール２８１１と、位置基盤モジュール２８１２と、セキュリティモジュール２８１３及びネットワークモジュール２８１４等を含む。

ストレージモジュール２８１１とは、データベース（ＤＢ）やレジストリを管理するプログラムモジュールである。位置基盤モジュール２８１２とは、ＧＰＳチップのようなハードウェアと連動して位置基盤サービスをサポートするプログラムモジュールである。セキュリティモジュール２８１３とは、ハードウェアに対する認証（Ｃｅｒｔｉｆｉｃａｔｉｏｎ）、要求許容（Ｐｅｒｍｉｓｓｉｏｎ）、セキュリティ保存（Ｓｅｃｕｒｅ Ｓｔｏｒａｇｅ）等をサポートするプログラムモジュールであり、ネットワークモジュール２８１４とは、ネットワーク接続をサポートするためのモジュールとして、ＤＮＥＴモジュールやＵＰｎＰモジュール等を含む。

デバイス管理モジュール２８２０は、外部入力及び外部デバイスに対する情報を管理し、それを利用するためのモジュールである。デバイス管理モジュール２８２０は、センシングモジュール２８２１と、デバイス情報管理モジュール２８２２及び遠隔制御モジュール２８２３等を含んでよい。

センシングモジュール２８２１は、第１検知部１１０及び第２検知部１２０のような各種センサから提供されるセンサデータを分析するモジュールである。具体的には、物体の位置やユーザの位置、色相、形、大きさ及びその他のプロフィールを検出する動作を行うプログラムモジュールである。その他に、センシングモジュール２８２１は、顔認識モジュール、音声認識モジュール、モーション認識モジュール、ＮＦＣ認識モジュール等を含んでよい。デバイス情報管理モジュール２８２２は、各種デバイスに対する情報を提供するモジュールであり、遠隔制御モジュール２８２３は、電話やテレビ、プリンタ、カメラ、エアコン等のような周辺デバイスを遠隔から制御する動作を行うプログラムモジュールである。

通信モジュール２８３０は、外部と通信を行うためのモジュールである。通信モジュール２８３０は、メッセンジャプログラム、ＳＭＳ（Ｓｈｏｒｔ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ）＆ＭＭＳ（Ｍｕｌｔｉｍｅｄｉａ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ）プログラム、Ｅ−メールプログラム等のようなメッセージングモジュール２８３１と、電話情報収集器（Ｃａｌｌ Ｉｎｆｏ Ａｇｇｒｅｇａｔｏｒ）プログラムモジュール、ＶｏＩＰモジュール等を含む電話モジュール２８３２を含んでよい。

プレゼンテーションモジュール２８４０は、ディスプレイ画面を構成するためのモジュールである。プレゼンテーションモジュール２８４０は、マルチメディアコンテンツを再生して出力するためのマルチメディアモジュール２８４１と、ＵＩ及びグラフィック処理を行うＵＩ＆グラフィックモジュール２８４２を含む。マルチメディアモジュール２８４１は、プレーヤモジュールやカムコーダーモジュール、サウンド処理モジュール等を含んでよい。それにより、各種マルチメディアコンテンツを再生して、画面及び音響を生成して再生する動作を行う。ＵＩ＆グラフィックモジュール２８４２は、イメージを組み合わせるイメージ合成器（Ｉｍａｇｅ Ｃｏｍｐｏｓｉｔｏｒ Ｍｏｄｕｌｅ）２８４２−１、イメージをディスプレイする画面上の座標を組み合わせて生成する座標組み合わせモジュール２８４２−２、ハードウェアから各種イベントを受信するＸ１１モジュール２８４２−３、２Ｄまたは３Ｄ形態のＵＩを構成するためのツール（Ｔｏｏｌ）を提供する２Ｄ／３Ｄ ＵＩツールキット２８４２−４等を含んでよい。

ウェブブラウザモジュール２８５０は、ウェブブラウジングを行ってウェブサーバにアクセスするモジュールを意味する。ウェブブラウザモジュール２８５０は、ウェブページを構成するウェブビュー（ｗｅｂ ｖｉｅｗ）モジュール、ダウンロードを行うダウンロードエージェントモジュール、ブックマークモジュール、ウェブキット（Ｗｅｂｋｉｔ）モジュール等のような多様なモジュールを含んでよい。

その他に、サービスモジュール２８６０は、多様なサービスを提供するためのアプリケーションモジュールを意味する。例えば、サービスモジュール２８６０は、マップや現在位置、ランドマーク、ルート情報等を提供するナビゲーションサービスモジュール、ゲームモジュール、広告アプリケーションモジュール等のような多様なモジュールを含んでよい。

制御部１３０内のメインＣＰＵ１３２は、インターフェース１３５を介して保存部１５０にアクセスし、保存部１５０に保存された各種モジュールをＲＡＭ１３１−２にコピーし、コピーされたモジュールの動作に応じて動作を行う。

具体的には、メインＣＰＵ１３２は、センシングモジュール２８２１の動作に応じて、物体の位置及びユーザの位置を検知し、透過領域を判断する。そして、プレゼンテーションモジュール２８４０を実行させ、透過領域ではない他位置に情報が表示されるようにする。具体的には、座標組み合わせモジュール２８４２−２を用いて、移動される位置の座標を生成した後、その座標位置に情報を表示する。なお、メインＣＰＵ１３２は、イメージ組み合わせモジュール２８４２−１を用いて、情報の大きさ、色相、形、レイアウト等のような多様な属性を変更する

表示される情報は、マルチメディアモジュール２８４１によって再生されるマルチメディアコンテンツであってよく、ＵＩ＆グラフィックモジュール２８４２で生成される各種ＵＩやグラフィックイメージ、テキスト等になってよい。

なお、メインＣＰＵ１３２は、メッセージングモジュール２８４１を実行させ、通信相手ノードからメッセンジャ、ＳＭＳメッセージ、ＭＭＳメッセージ、Ｅ−ｍａｉｌ等を受信することができる。受信された各種メッセージは透明ディスプレイ部１４０に表示される。

一方、図２５及び図２６等に示すように、透明ディスプレイ装置がショーウィンドーに適用される場合、メインＣＰＵ１３２はＵＩ＆グラフィックモジュール２８４２を実行させ、各種広告イメージや広告フレーズ等をディスプレイすることもできる。このような広告イメージや広告フレーズは、ウェブサーバやその他のネットワーク装置を通じて受信されてよい。メインＣＰＵ１３２は、ウェブブラウザモジュール２８５０を実行させてネットワークインターフェース１３９を介して外部のウェブサーバにアクセスし、そのウェブサーバからウェブページデータを受信した後、そのウェブページデータによる画面をディスプレイすることができる。透明ディスプレイ装置１００は、サーバと通信することができ、サーバは情報を全体的に、または、収集してディスプレイするために、他の透明ディスプレイ装置に組み合わせて透明ディスプレイ装置を制御することができる。

以上のように、保存部１５０には多様な構造のプログラムが保存されていてよく、制御部１３０は保存部１５０に保存されたプログラムを用いて上述の多様な実施形態による動作を行うことができる。

図２９は、ユーザの位置に対応する領域のユーザＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面をディスプレイする実施形態を示す。

図２９によると、ユーザが透明ディスプレイ部１４０を隔てて物体２０の反対方向に位置する状態で片方向に移動すると、移動された位置に応じて透過領域２０’が変更され、変更された位置を考慮して適切な位置に客体３０が表示される。

このような状態で、透明ディスプレイ装置１００は、ユーザが透明ディスプレイ部１４０を基準に一定距離内に接近したと判断されると、ユーザ１０の位置に対応する領域にユーザＵＩをディスプレイする。ユーザＵＩには、物体２０に関する情報や、透明ディスプレイ装置１００が適用された環境（例えば、売場）に関する情報、情報３０を別の情報に変更するためのメニューや、情報３０の表示属性を変更するためのメニュー等が含まれてよい。ユーザ１０は、ユーザＵＩを通じて当該売場が具備した別の商品に関する情報を確認することもでき、その他に担当者を呼び出すこともできる。

なお、上述のように、情報の表示属性は、ユーザの位置に応じて変更されてよい。図３０及び図３１は、ユーザと透明ディスプレイ部との間の距離に応じて、情報の表示領域の大きさを異なるように調整する実施形態を示す図である。

図３０に示すように、ユーザがＬＤ分だけ離れた位置に存在すると、透過領域２０’の一側に相対的に大きいサイズの情報３０を表示する。

一方、図３１に示すように、ユーザがＬＤより小さいＳＤ分だけ離れた位置に存在すると、情報３０をその距離に比例する分だけ縮小させて表示する。

それにより、ユーザが距離に関係なく、情報を便利に識別することができるようになる。

図３２は、ユーザの可視範囲に応じて、情報３０の表示位置を調整する方法を示す図である。

図３２によると、ユーザが物体２０の正面から眺めた際は、透過領域２０’が正面に形成され、情報３０はその一側に表示される。

このような状態で、ユーザが左側に移動して可視範囲が変更された場合、透明ディスプレイ装置１００はユーザの可視範囲内で透過領域２０’を回避して情報３０をディスプレイする。

ユーザの可視範囲は、ユーザのイメージを撮像して顔方向または視線を追跡して算出することができる。または、ユーザの位置と物体２０の位置を連結する線を基準に、ユーザの位置から一般の人の視覚内の範囲を可視範囲として算出することもできる。

一方、複数の物体が存在する場合、ユーザの位置に対応する物体のみに対して、適切な情報を表示することができる。

なお、複数の情報が表示されている場合、ユーザの位置移動があれば、ユーザの位置に対応するディスプレイ領域に各情報を受け入れてディスプレイすることもできる。

一方、上述のように、情報の位置だけではなく、情報の表示属性も同時に変更されてよい。以前の状況と現在の状況に対する評価の結果、同一の環境の場合には、情報の表示属性はそのまま維持され、単に位置移動だけが行われてよい。仮に、同一のユーザと同一の物体とが存在する状態で、物体またはユーザが位置のみを移動した場合、その移動された位置に応じて透過領域が変更されるため、変更された透過領域を避けた他領域に同一の属性の情報を表示する。

一方、透過領域の面積が大きいために回避することができる空間が十分でない場合、情報の表示色相のみを物体の色相と対比できる色相に変更して表示することができる。または、物体の色相が情報表示色相と類似しており、情報表示位置を移動するとしても、識別力が低下するおそれがある場合には、情報の表示位置を移動させつつ情報の表示色相も同時に変更することができる。または、位置移動により、ユーザから最も近い物体に関する情報、またはユーザから最も近い位置に表示される情報、ユーザの視線の向かう位置に表示される情報等の色相を変更することもできる。

太さの場合も、カラーと類似するように変更されてよい。例えば、ユーザから遠く離れた物体に関する情報や、遠く離れたディスプレイ領域に表示される情報の場合には太線で表示し、近い場所に表示される情報の場合には細線で表示することができる。または、ユーザの視線の向かう場所に表示される情報の場合には太線で表示することができる。このような例示は、設定状態に応じて異なってよい。例えば、ユーザから遠く離れた位置の情報に対しては逆に細線で表示されるように設定することもできる。

大きさの場合も同様に、ユーザの視線の向かう場所か、ユーザから遠く離れた物体に関する情報か、ユーザから遠く離れた位置に表示される情報か、ユーザ及び透明ディスプレ部１４０の間の距離が遠いか近いか等に応じて、異なる大きさで決定されてよい。

以上のような色相、大きさ、太さ以外にも、言語やフォント等のような多様な属性が異なるように設定されてよい。

このような属性は、上述のように、ユーザ、物体等の位置や、その表示環境に応じて異なってよいが、このような異なる実施形態では近距離無線通信方式やその他の通信方式によってユーザに関する情報に応じて異なるように設定されてよい。

すなわち、近距離無線通信方式によってユーザ情報が提供された場合、ユーザ情報に基づいて客体の太さやカラー、大きさ、言語、フォント等を調整することもでき、情報の種類や情報の水準も異なるように表示することもできる。例えば、ユーザ情報に応じて、特定情報に対しては、より太く、大きく表示することができる。

図３３は、近距離無線通信方式で提供されたユーザ情報に応じて、情報の表示属性を異なるように変更する実施形態に対する図である。

図３３によると、ユーザ１０がお年寄りや外国人だとしても、まずはそのユーザ１０の位置及び物体２０の位置を考慮して適切な位置に情報３０を表示する。このような状態で、ユーザが自分のユーザ端末装置３００を近距離無線通信モジュール２００にタグ付けさせると、近距離無線通信モジュール２００はユーザ情報を受信する。ユーザ情報には、ユーザ名、性別、年齢、国籍等が含まれてよい。

透明ディスプレイ装置１００は、ユーザ情報が受信されると、そのユーザ情報に合致する属性を決定する。

図３３では、お年寄りがタグ付けした場合を示している。この場合、透明ディスプレイ装置１００は元々表示されていた情報をより太くより大きく表示する。それにより、視力の衰えたお年寄りも情報３０を容易に認識することができるようになる。

または、外国人の場合、その国籍に応じて、英語や日本語、フランス語、中国語等のような多様な言語で情報を表示する。

一方、情報の表示属性以外に、情報の内容や水準も異なるように変更されてよい。例えば、４０代主婦がタグ付けした場合には、４０代主婦に興味がありそうな情報を表示するようにするか又は、１０代学生がタグ付けをした場合には、大人向けのコンテンツ等に対する情報は表示しないように実現することができる。

図３３では、近距離無線通信方式でユーザ情報を受信し、それに合わせて情報を変更する実施形態を説明したが、その他にＷｉ−Ｆｉ、Ｚｉｇｂｅｅ（登録商標）、ブルートゥースのような多様な無線通信方式が使用できてよい。または、透明ディスプレイ部１４０の表面または外側に備えられた端末機を通じてユーザが自分の情報を直接入力するように実現することもできる。

または、無線通信方式を利用することなく、透明ディスプレイ装置１００が直接ユーザのイメージを撮像し、撮像されたイメージを分析してユーザの特性を判断することもできる。

図３４は、ユーザを撮像してその特性を把握し、その特性に応じて情報表示状態を変更する実施形態を示す図である。

図３４によると、第１ユーザ１０−１が透明ディスプレイ部１４０の正面に立っている場合には、第１ユーザ１０−１を撮像してイメージを獲得する。透明ディスプレイ装置１００は、獲得されたイメージを分析して大人か子供かを判断する。具体的には、獲得されたイメージの縦の長さ、そのイメージ上で第１ユーザ１０−１に対応する領域の縦の長さ及び透明ディスプレイ部１４０と第１ユーザ１０−１との間の距離を用いて、比例して第１ユーザ１０−１の身長を算出することができる。それにより、算出された身長が閾値を超過すると、第１ユーザ１０−１を大人と見なす。

第１ユーザ１０−１が大人と判断されると、透明ディスプレイ装置１００は大人のために設けられた情報３０−１を大人１０−１の目の高さに合う高さにディスプレイする。

このような状態で、第１ユーザ１０−１が撮像範囲から離れて、第２ユーザ１０−２が新たに撮像範囲内に入ってきた場合、第２ユーザ１０−２を撮像してイメージを獲得し、獲得されたイメージを分析して、大人か子供かを再び判断する。それにより、子供と判断されると、以前に表示されていた情報３０−１を削除し、子供のために設けられた情報３０−２、３０−３を子供の目の高さに合う高さにディスプレイする。

結果的に、ユーザに合う多様な情報を、識別力をもたせて提供することができる。

上述の多様な実施形態では、情報が全てボックス状で表現されたが、それは説明の便宜のためのものであり、情報はテキストのみで表現されてよい。または、情報が表示される領域の背景色を不透明に処理し、情報が後方背景とはっきりと区別できるように実現することもできる。

一方、上述の本発明の多様な実施形態に係る方法は、透明ディスプレイが可能な全類型の装置に適用されてよい。例えば、窓、ＨＵＤ（Ｈｅａｄ Ｕｐ ｄｉｓｐｌａｙ）システム、ＨＭＤ（Ｈｅｌｍｅｔ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）システム、ノートパソコン、パソコンモニタ、テレビ、ＰＤＡ、デジタルフォトフレーム、タブレットパソコン、カメラ等のような多様な装置に適用されてよい。

図３５は、カメラで実現された透明ディスプレイ装置を示す図である。図３５によると、カメラ１０００は透明ディスプレイ部１４００を含む。透明ディスプレイ部１４００は、従来のカメラ装置でライブビュー（ｌｉｖｅ ｖｉｅｗ）を表示する一般ディスプレイユニットに代えて、その位置に設けられてよい。それにより、ユーザはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）アレイ等のような撮像素子を撮像されたライブビューを見るわけではなく、透明ディスプレイ部１４００に透明に透ける実際のカメラの前方背景を見ながら撮像を行うことができる。

この場合、透明ディスプレイ部１４００は、前方を向く撮像素子を用いて前方背景に位置する被写体２０の位置を検知することができる。カメラ１０００は、デプスカメラやその他の距離検知センサを用いて被写体とカメラ１０００との間の距離を検知することもできる。カメラ１０００は、検知された距離と被写体の位置に基づいて、透明ディスプレイ部１４００上で被写体は透けて見える透過領域を判断することができる。カメラ１０００の場合、カメラ１０００を使用しようとするユーザが、カメラ１０００を基準に位置するユーザと、カメラ１０００間の統計的な距離または角度等に基づいて、ユーザの位置を検出する過程がなくても、透過領域が判断されることもできる。なお、カメラ１０００を使用しようとするユーザの位置及び／またはユーザの視線を検出し、ユーザの視線に対応する被写体２０、対応する被写体の位置及び／または対応する被写体２０の識別領域が推定されてよい。それにより、ユーザの位置、ユーザの視線、対応する被写体２０の位置及び／または被写体２０の識別領域等に基づいて透明ディスプレイ部１４００に物体が透けて見える透過領域が判断されることもできる。

それにより、透過領域２０’が判断されると、カメラ１０００は透明ディスプレイ部１４００上で透過領域２０’以外の領域に情報３０を表示する。図３５では、選択可能なメニューに関する情報３０が表示された状態を示しているが、その他にも、カメラ１０００のバッテリ残量、動作モード、メモリ容量等のような多様な情報が表示されてよく、このような情報も透過領域２０’を回避した他領域に表示して識別力を向上することができる。

以上のように、透明ディスプレイ装置１００はカメラでも実現できる。

一方、上述の説明においては、ユーザの位置移動に応じて透過領域を正確に判断するために、撮像部を複数で具備するか又は、撮像部を回転させる実施形態について説明している。しかし、その他に、撮像部もユーザの位置移動に応じて移動するように実現することもできる。

図３６は、本発明の更に別の実施形態に係る透明ディスプレイ装置を示す図である。図３６によると、透明ディスプレイ装置１００の上側にはレール３６及びレール３６に沿って移動可能な移動体３６００が設けられる。

第１撮像部１１１及び第２撮像部１２１はそれぞれ反対方向を向くように移動体３６００に付着される。移動体３６００は、ユーザの位置に沿って移動する。

ユーザが存在しない待機状態の場合、移動体３６００は透明ディスプレイ部１４０の中央部や片方の端の部分に固定された状態で待機することができる。

このうち、待機状態で移動体３６００が透明ディスプレイ部１４０の中央部に位置する場合を例えると、制御部１３０は第２撮像部１２１で撮像されたイメージからユーザが最初に検知されると、イメージ内におけるユーザ位置を判断する。制御部１３０は、ユーザの位置が判断されると、イメージの中心を基準にユーザの位置する方向に移動体３６００を移動させつつ、持続的に撮像を行う。それにより、ユーザが中央に位置したイメージが獲得されると、そのときからはユーザの位置移動方向及び速度に応じて、移動体３６００を移動させる。上述のように、第１及び第２撮像部１１１、１２１がそれぞれ移動体３６００に付着された状態であるため、移動体３６００の移動により、第１撮像部１１０の撮像範囲も変更される。それにより、第１撮像部１１１０で撮像されたイメージから検出された物体の識別領域は、ユーザの目に認識される透過領域と一致するようになる。

または、図３６に示すように、移動体３６００が片方の端で待機する途中に、ユーザが撮像範囲内に進入する場合を例えると、制御部１３０はユーザが中心に位置するイメージを獲得するまで移動体３６００を待機させる。このような状態で、連続的に撮像されるイメージにおけるユーザ位置を比較し、動きベクトルを算出する。制御部１３０は、ユーザ１０が中央に位置するイメージが獲得されると、動きベクトルに応じて移動体３６００を移動させる。それにより、第１撮像部１１０で撮像されたイメージから検出された物体の識別領域は、ユーザの目に認識される透過領域と一致するようになる。

その他に、移動体３６００はユーザが左から右に、または、右から左に通るのではなく、後ろに遠ざかった場合には、その時点の移動位置で待機することもできる。または、待機状態で周期的に左右に往復しながらユーザが検知されるか確認することもできる。このような多様な場合でも、ユーザが検知されると、そのユーザが検知された位置に移動体３６００を移動させ、ユーザの可視範囲内に入ってくる物体を認識し、それに対応する透過領域を決定して情報を表示することができるようになる。

以上のように、本発明の多様な実施形態によると、ユーザの位置及び物体の位置を考慮し、情報をより効果的に伝達することができるようになる。

一方、このような多様な実施形態に係る方法は、プログラミングされて各種保存媒体に保存されてよい。それにより、保存媒体を実行する多様な電子装置で上述の多様な実施形態に係る方法が実現されてよい。

具体的には、本発明の一実施形態によると、透明ディスプレイ部の物体の位置及びユーザの位置をそれぞれ検知するステップと、検知された位置に基づいて透過領域を推定するステップと、推定された透過領域に含まれる情報の表示位置を移動するステップとを順次に行うプログラムが保存された非一時的な読み取り可能な媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）が提供されてよい。

非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のように短い間だけデータを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り（ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、ＣＤやＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０ ユーザ
１０−１ 第１ユーザ
１０−２ 第２ユーザ
１０’、２０’ マッピング領域
２０ 物体
２０−１、２０−２、２０−３、２０−４ 商品
２０’−１、２０’−２、２０’−３、２０’−４ 領域
２１、２２、２３ 物体
３０ 情報
３０−１、３０−２、３０−３、３０−４ 情報
３０−５、３０−６、３０−７ 情報
３１、３２、３３ 情報
３６ レール
４０ 新規物体
４０’ ディスプレイ領域
６０ ＵＩ画面
１００ ディスプレイ装置
１１０ 第１検知部
１１１、１２１ 撮像部
１１１−１〜１１１−６ 第１撮像部
１１２ 第１検出部
１１３ 第２検出部
１２０ 第２検知部
１２１ 第２撮像部
１２１−１〜１２１−６ 第２撮像部
１２２ ユーザ位置検出部
１３０ 制御部
１３１ システムメモリ
１３１−１ ＲＯＭ
１３１−２ ＲＡＭ
１３２ メインＣＰＵ
１３３ イメージ処理部
１３４ システムバス
１３５、１３６、１３７、１３８、１３９ インターフェース
１４０ 透明ディスプレイ部
１４０−１ 透明ディスプレイ部
１４１−２ 透明スクリーン
１４２−２ 透明トランジスタ層
１４３−１ 第１透明電極
１４４−１ 透明有機発光層
１４５−１ 第２透明電極
１４６−１ 接続電極
１４７−１、１４８−１ 種誘電膜
１５０ 保存部
１６０ 入力部
２００ 近距離無線通信モジュール
３００ ユーザ端末装置
７００ マトリックステーブル
１０００ カメラ
１４００ 透明ディスプレイ部
２８１０ ベースモジュール
２８１１ ストレージモジュール
２８１２ 位置基盤モジュール
２８１３ セキュリティモジュール
２８１４ ネットワークモジュール
２８２０ デバイス管理モジュール
２８２１ センシングモジュール
２８２２ デバイス情報管理モジュール
２８２３ 遠隔制御モジュール
２８３０ 通信モジュール
２８３１ メッセージングモジュール
２８３２ 電話モジュール
２８４０ プレゼンテーションモジュール
２８４１ マルチメディアモジュール
２８４２ グラフィックモジュール
２８４２−１ イメージ合成器
２８４２−２、３ モジュール
２８４２−４ ＵＩツールキット
２８５０ ウェブブラウザモジュール
２８６０ サービスモジュール
３６００ 移動体

Claims (15)

1. 透明ディスプレイと、
   物体の位置及びユーザの位置を検知する少なくとも１つのセンサと、
   前記検知された物体の位置及びユーザの位置に基づいて、前記物体が前記ユーザによって透過して見える前記透明ディスプレイ領域を決定し、前記領域に基づいて前記透明ディスプレイに情報を表示するように前記透明ディスプレイを制御する制御部と
   を含む透明ディスプレイ装置。
2. 前記物体の位置は、前記透明ディスプレイ装置の位置に相対的な位置であり、
   前記ユーザの位置は、前記透明ディスプレイ装置の前記位置に相対的な位置であること
   を特徴とする請求項１に記載の透明ディスプレイ装置。
3. 前記少なくとも１つのセンサは、前記物体及び前記ユーザを撮影する少なくとも１つのカメラを含み、前記物体の撮影イメージ（ｐｈｏｔｏｇｒａｐｈ）に基づいて前記物体の位置を検知し、前記ユーザの撮影イメージに基づいて前記ユーザの位置を検知することを特徴とする請求項１に記載の透明ディスプレイ装置。
4. 前記制御部は、
   前記ユーザの位置及び前記物体の位置に基づいて、前記ユーザと前記物体との間の視線を判断すること
   を特徴とする請求項１に記載の透明ディスプレイ装置。
5. 前記制御部は、
   前記視線に基づいて前記領域を判断することを特徴とする請求項４に記載の透明ディスプレイ装置。
6. 前記制御部は、
   前記領域と重畳しない前記透明ディスプレイの別の領域に前記情報を表示するように前記透明ディスプレイを制御すること
   を特徴とする請求項１に記載の透明ディスプレイ装置。
7. 前記制御部は、
   前記物体の第２カラーと異なる第１カラーで前記情報を表示するように前記透明ディスプレイを制御すること
   を特徴とする請求項１に記載の透明ディスプレイ装置。
8. 前記制御部は、
   前記透明ディスプレイで第１位置に前記情報を表示するように前記透明ディスプレイを制御し、前記第１位置が前記物体の位置及び前記ユーザの位置のうち少なくとも一方を検知する少なくとも１つのセンサに対応して前記領域と重畳するかを決定し、前記第１位置が前記領域と重畳するかの決定に対応して前記領域に重畳しない第２位置を決定すること
   を特徴とする請求項１に記載の透明ディスプレイ装置。
9. 前記制御部は、
   前記第２位置で前記情報を表示するように前記透明ディスプレイ装置を制御すること
   を特徴とする請求項８に記載の透明ディスプレイ装置。
10. 前記透明ディスプレイ装置は、前記物体と前記ユーザとの間に介在（iｎｔｅｒｐｏｓｅ）されることを特徴とする請求項１に記載の透明ディスプレイ装置。
11. 前記制御部は、
    前記透明ディスプレイの第１位置に前記情報を表示するように前記透明ディスプレイを制御し、前記第１位置が前記物体の位置及び前記ユーザの位置のうち少なくとも一方を検知する前記少なくとも１つのセンサに対応して前記領域と重畳するか決定し、前記情報の属性（ａｔｔｒｉｂｕｔｅ）を調整すること
    を特徴とする請求項１に記載の透明ディスプレイ装置。
12. 前記属性は、カラーであり、
    前記制御部は、
    前記物体の第２カラーと異なる第１カラーで前記情報を表示するように前記透明ディスプレイを制御すること
    を特徴とする請求項１１に記載の透明ディスプレイ装置。
13. 前記属性は、大きさ（ｓｉｚｅ）、カラー、フォント、不透明度（ｏｐａｃｉｔｙ）、厚さ（ｔｈｉｃｋｎｅｓｓ）及び背景色のうち、少なくとも１つであることを特徴とする請求項１１に記載の透明ディスプレイ装置。
14. 透明ディスプレイに情報を表示する方法において、
    物体の位置を検知するステップと、
    ユーザの位置を検知するステップと、
    前記物体が前記ユーザによって見られる前記透明ディスプレイの位置を決定するステップと、
    領域に基づいて前記透明ディスプレイに前記情報を表示するステップと
    を含む透明ディスプレイに情報を表示する方法。
15. 透明ディスプレイに情報を表示する方法を実行するためのプログラムを含むコンピュータ読み取り可能な記録媒体において、
    物体の位置を検知するステップと、
    ユーザの位置を検知するステップと、
    前記物体が前記ユーザによって見られる前記透明ディスプレイの位置を決定するステップと、
    領域に基づいて前記透明ディスプレイに前記情報を表示するステップと
    を実行するコンピュータ読み取り可能な記録媒体。

Images