JP2015176588A - 表示装置、画像表示システムおよび情報処理方法 - Google Patents

Abstract

【課題】ユーザの利便性と操作性に優れた表示装置、画像表示システムおよび情報処理方法を提供する。【解決手段】実施形態の表示装置は、投射部と光学部材と第１取得部とを備える。投射部は、投射用画像の情報を含む光を投射する。光学部材は、表示面へのタッチ操作を検出可能な第１検出部と、検出したタッチ操作に応じて表示用画像のうちの少なくとも一部の第１画像を表示する表示部とを有する情報処理装置からの光を透過させる一方、入射した投射用画像の情報を含む光を反射させる。第１取得部は、表示用画像のうち第１画像の少なくとも一部と重ならない非重畳領域を含む第２画像に対して、光学部材を透過する情報処理装置からの光と、光学部材で反射する投射用画像の情報を含む光とから、表示部の周囲に非重畳領域が配置された状態が観察されるよう、表示部の位置に基づく変換を施すことで得られた投射用画像を取得する。【選択図】図２

Description

本発明の実施形態は、表示装置、画像表示システムおよび情報処理方法に関する。

近年、腕時計型端末やメガネ型端末などのウェアラブルデバイスに注目が集まっている。ユーザの頭部に装着されるとともに、小型のディスプレイに表示する画像をユーザの眼前の光学系に投射することで当該画像をユーザに提示することが可能なメガネ型端末は、非透過型と透過型の２種類に大別される。非透過型は装着者の視野全体を覆い尽くして臨場感の高い映像を表示する用途に適している。従来から知られているヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ；ＨＭＤ）の多くが非透過型に分類される。一方、透過型は装着者の視野を遮らずに補助的な情報を表示する用途に適しており、非透過型に比べて小型軽量であることが多い。

このようなウェアラブルデバイスは即時性と可搬性に優れており、装着者はいつでもどこでも、ハンズフリーで情報を見ることができる。しかし、ハンズフリーであるがゆえに、操作しづらいという問題がある。音声コマンドで操作する技術や、メガネ型端末のツル（テンプル）に組み込まれたタッチパネルを触って操作する技術が実用化されているが、見た眼に不自然であり、公共の場では使いづらい。

この問題を解決するため、携帯電話やスマートフォン、タブレットなどの携帯端末を介してウェアラブルデバイス（典型的にはメガネ型端末）を操作する技術が提案されている。例えば、従来技術として、携帯端末の画面をメガネ型端末に組み込まれたカメラで撮影し、撮影した画像に写っている携帯端末の画面の周囲を覆うように、携帯端末の画面に表示し切れない外側の領域の画像を合成し、１つの大画面を構成するようつなぎ合わせてメガネ型端末で表示する技術が知られている。この技術では、ユーザは、携帯端末の画面をタッチすることで、メガネ型端末から提示される大画面のうち携帯端末の画面が表示される領域の特定の箇所を指し示すことができる。そして、ユーザのタッチ操作に応じて、メガネ型端末に表示する画像を制御することができる。

N. Sakata et al: A Tablet interface for laying out AR objects -Outlook of relationship with smartphone and AR-, IDW13, INP2/DES2-2.

しかし、上記従来技術は、非透過型のメガネ型端末を前提としており、装着者自身の眼で周囲の状況を把握することができない。メガネ型端末に組み込まれたカメラの画像を介して周囲の状況を把握することは可能であるが、バッテリー切れや故障の際に視界が失われることを考慮すると、安全性の面から屋外で使うのは現実的でない。したがって、従来技術では使用環境が制限されてしまい、ユーザの利便性が低いという問題がある。

本発明が解決しようとする課題は、ユーザの利便性と操作性に優れた表示装置、画像表示システムおよび情報処理方法を提供することである。

実施形態の表示装置は、投射部と光学部材と第１取得部とを備える。投射部は、投射用画像の情報を含む光を投射する。光学部材は、表示面へのタッチ操作を検出可能な第１検出部と、検出したタッチ操作に応じて表示用画像のうちの少なくとも一部の第１画像を表示する表示部とを有する情報処理装置からの光を透過させる一方、入射した投射用画像の情報を含む光を反射させる。第１取得部は、表示用画像のうち第１画像の少なくとも一部と重ならない非重畳領域を含む第２画像に対して、光学部材を透過する情報処理装置からの光と、光学部材で反射する投射用画像の情報を含む光とから、表示部の周囲に非重畳領域が配置された状態が観察されるよう、表示部の位置に基づく変換を施すことで得られた投射用画像を取得する。

実施形態の画像表示システムの構成例を示す図。 第１実施形態の画像表示システムの機能構成の一例を示す図。 第１実施形態の第１画像と第２画像の一例を示す図。 第１実施形態のメガネ型端末の各構成要素の配置の一例を示す図。 第１実施形態の検出部による検出方法を説明するための図。 第１実施形態の光学部材を介して観察される外側領域の反射像を示す図。 第１実施形態の携帯端末のハードウェア構成の一例を示す図。 第１実施形態の携帯端末の動作例を示すフローチャート。 第１実施形態のメガネ型端末の動作例を示すフローチャート。 変形例の画像表示システムの機能構成の一例を示す図。 変形例の画像表示システムの機能構成の一例を示す図。 変形例の画像表示システムの機能構成の一例を示す図。 変形例の画像表示システムの機能構成の一例を示す図。 変形例の画像表示システムの機能構成の一例を示す図。 第２実施形態の画像表示システムの機能構成の一例を示す図。 変形例の画像表示システムの機能構成の一例を示す図。 第３実施形態の画像表示システムの機能構成の一例を示す図。 第３実施形態の縁取り領域の一例を示す図。 変形例の画像表示システムの機能構成の一例を示す図。 第４実施形態の画像表示システムの機能構成の一例を示す図。 変形例の画像表示システムの機能構成の一例を示す図。 第５実施形態の画像表示システムの機能構成の一例を示す図。 変形例の画像表示システムの機能構成の一例を示す図。

以下、添付図面を参照しながら、本発明に係る表示装置、画像表示システムおよび情報処理方法の実施形態を詳細に説明する。

（第１実施形態）
図１は、本実施形態の画像表示システム１の概略構成例を示すブロック図である。図１に示すように、画像表示システム１は、携帯端末２と、メガネ型端末３とを備える。携帯端末２とメガネ型端末３は、有線あるいは無線を介して、直接的または間接的に、相互に通信することが可能である。携帯端末２とメガネ型端末３との間の通信方法は任意であり、いずれの通信方法を用いても構わないものとする。

携帯端末２は、タッチ操作が可能な後述のタッチパネル４を少なくとも有する端末であり、例えば携帯電話、スマートフォン、タブレットなどのモバイルデバイスや、腕時計型端末やネックレス型端末などのウェアラブルデバイスなどの、ユーザが所持可能な端末で構成され得る。この例では、携帯端末２は、請求項の「情報処理装置」に対応していると考えることができる。

メガネ型端末３は、ユーザの頭部に装着されるとともに、小型のディスプレイに表示する画像をユーザの眼前の光学系に投射することで当該画像をユーザに提示することが可能な表示装置である。メガネ型端末３は、非透過型と透過型の２種類に大別されるが、ここでは後者の透過型に限定される。透過型は小型であることが多いが、大型のものであっても構わない。また、メガネ型端末３には片方の眼にだけ情報を表示する単眼型と、両方の眼に情報を表示する両眼型が存在するが、ここでは何れを用いても構わない。この例では、メガネ型端末３は、請求項の「表示装置」に対応していると考えることができる。

図２は、携帯端末２およびメガネ型端末３の各々の機能構成の一例を示す図である。図２に示すように、携帯端末２は、タッチパネル４と、生成部２２と、変換部２３とを備える。

タッチパネル４は、第１検出部５０と、表示部６０とを備える。第１検出部５０は、表示面（タッチパネル４（表示部６０）が有する、画像を表示する面）へのタッチ操作を検出することができる。この例では、第１検出部５０は、請求項の「第１検出部」または「検出部」に対応している。表示部６０は、第１検出部５０が検出したタッチ操作に応じて、表示用画像のうちの少なくとも一部の第１画像を表示する。表示部６０の表示方式は任意であり、例えば表示部６０は、液晶や有機ＥＬなどの直視型のディスプレイ装置だけでなく、プロジェクタなどの投射型のディスプレイ装置であってもよい。また、タッチ操作の検出方法は任意であり、静電容量方式、抵抗膜方式（感圧式）に限らず、他の検出方法を用いた検出装置を採用することもできる。タッチパネル４（第１検出部５０）は、ユーザのタッチ操作を検出した場合、その検出したタッチ操作を示す操作情報を、生成部２２へ供給する。

なお、本明細書における「タッチ操作」には、ユーザが、自身の指を表示面に接触させる操作だけでなく、ペンなどの入力デバイスを表示面に接触させる操作も含まれ得る。

生成部２２は、第１検出部５０から受け取った操作情報と、予め用意された表示用画像とに基づいて、第１画像と、表示用画像のうち第１画像の少なくとも一部と重ならない非重畳領域を含む第２画像とを生成する。本実施形態では、非重畳領域とは、表示用画像のうち第１画像の外側の領域（表示用画像のうち第１画像以外の領域、以下の説明では、「外側領域」と称する場合がある）である。生成部２２により生成された第１画像はタッチパネル４（表示部６０）へ供給される。そして、表示部６０は、生成部２２により生成された第１画像を表示する。

なお、この例では、表示用画像は、表示部６０では表示し切れないサイズの画像であることを前提として説明する。生成部２２が表示用画像を取得する方法は任意であり、例えば生成部２２は、サーバ装置などの外部装置から表示用画像を取得することもできるし、表示用画像が予め格納された不図示のメモリにアクセスして表示用画像を取得することもできる。

例えば、第１検出部５０により検出されたタッチ操作が、表示部６０に表示し切れていない部分を表示部６０に表示するために表示用画像を上下左右の何れかに移動させるスクロールを表している場合は、生成部２２は、当該操作情報に応じて表示用画像をスクロールさせて、表示部６０に表示すべき画像（第１画像）を生成する。また、例えば第１検出部５０により検出されたタッチ操作が、現在、表示部６０に表示されている画像の拡大縮小を表している場合は、生成部２２は、検出されたタッチ操作に応じて、現在、表示部６０に表示されている画像を拡大または縮小して、表示部６０に表示すべき画像（第１画像）を生成する。さらに、例えば第１検出部５０により検出されたタッチ操作が、所定の情報を閲覧可能なウェブページへ移動するためのＵＲＬリンクの選択を表している場合は、生成部２２は、リンク先のウェブページの画像を、表示部６０に表示すべき画像（第１画像）として生成するという具合である。

以下の説明では、一例として、図３の（ａ）に示すようなテキストを表す表示用画像（コンテンツ）が与えられた場合を想定する。生成部２２は、図３の（ｂ）に示すような画像を、第１画像として生成する。また、生成部２２は、図３の（ｃ）に示すような、表示用画像のうち第１画像の外側の領域（表示部６０に表示し切れなかった領域、非重畳領域に相当）を含む第２画像を生成する。この例では、第２画像は、表示用画像のうち第１画像に対応する領域の輝度値（画素値）が予め定められた閾値（この例では「黒」に相当する輝度値）以下に設定された画像である。

次に、携帯端末２の変換部２３を説明する前に、メガネ型端末３の構成を説明する。図２に示すように、メガネ型端末３は、第２検出部３１と、光学部材３２と、投射部３３とを備える。また、図４は、メガネ型端末３に含まれる各要素の配置の一例を示す模式図である。図４に示すように、メガネ型端末３は、検出部３１、光学部材３２、および、投射部３３を保持するための保持部材４０をさらに備える。

第２検出部３１は、携帯端末２（表示部６０）の位置を検出する。本実施形態では、第２検出部３１は赤外線カメラで構成される。第２検出部３１はユーザの視線と同じ方向を向いており、ユーザの視野とほぼ一致する範囲を撮影することができる。また、本実施形態では、図５の（ａ）に示すように、表示部６０（タッチパネル４）の周囲には、可視光よりも波長が長い赤外光を発光する赤外線ＬＥＤマーカー２８が少なくとも３つ配置されており、ユーザの視野に表示部６０が存在する場合は、第２検出部３１の撮影により、表示部６０の周囲に配置された赤外線ＬＥＤマーカー２８が映り込んだ画像を得ることができる。

例えばユーザの視野において、図５の（ｂ）に示すように、携帯端末２が配置されている場合、第２検出部３１の撮影により、図５の（ｃ）に示すような３個の赤外線ＬＥＤマーカー２８の配置を表す画像が得られる。例えば３個の赤外線ＬＥＤマーカー２８のそれぞれが点滅するパターンを変える、あるいは点灯する光の周波数を変えることにより、３個の赤外線ＬＥＤマーカー２８のそれぞれが、図５の（ｃ）に示す画像上のどの位置に写っているかを識別（検出）することができる。第２検出部３１は、３個の赤外線ＬＥＤマーカー２８のそれぞれの位置を示す位置情報（この例では撮影により得られる画像内の座標値）を生成し、生成した位置情報を携帯端末２へ送信する。

メガネ型端末３の構成の説明を続ける。図２および図４に示す投射部３３は、携帯端末２の変換部２３から投射用画像を取得し、その取得した投射用画像の情報を含む光を、ユーザの眼前に配置された光学部材３２へ投射する。投射用画像の具体的な内容については後述する。例えば投射部３３は、投射用画像を表示するためのディスプレイ装置（不図示）と、ディスプレイ装置から射出される光を光学部材３２へ導くためのレンズなどの光学系（不図示）とを含む。投射用画像を表示するためのディスプレイ装置の方式は任意であり、例えば液晶透過型のディスプレイ装置であってもよいし、有機ＥＬ型のディスプレイ装置であってもよい。また、これに限らず、例えば投射部３３は、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）パネルで構成されてもよい。

また、図４に示すように、光学部材３２は、光学部材３２を挟んでユーザの眼とは反対側の領域を示す外界からの光を透過させる一方、入射した投射用画像（投射部３３によって投射された投射用画像）の情報を含む光を反射させる。投射用画像の具体的な内容については後述する。携帯端末２が、メガネ型端末３を装着したユーザの視野に存在する場合、光学部材３２は、携帯端末２からの光（携帯端末２の実像を形成する光）を透過させる一方、入射した投射用画像の情報を含む光を反射させるという具合である。携帯端末２からの光と、投射用画像の情報を含む光とは、光学部材３２の異なる面に入射し、光学部材３２を透過する携帯端末２からの光、および、光学部材３２で反射した投射用画像の情報を含む光の各々は、ユーザの眼に導かれる。この例では、光学部材３２は、ハーフミラーで構成されているが、これに限られるものではない。なお、光学部材３２の透過率（外界からの光を透過させる割合）、および、反射率（投射用画像の光を反射させる割合）の各々は、５０％に限られるものではなく、表示部６０や投射部３３の性能に合わせて任意に設定することができる。

図２に戻り、携帯端末２の変換部２３について説明する。変換部２３は、前述の第２画像に対して、光学部材３２を透過する携帯端末２からの光と、光学部材３２で反射する投射用画像の情報を含む光とから、表示部６０の周囲に前述の外側領域（表示用画像のうち第１画像の少なくとも一部と重ならない非重畳領域に相当）が配置された状態が観察されるよう、表示部６０の位置に基づく変換を施すことで投射用画像を生成する。上記変換は、アフィン変換を含む幾何変換である。より具体的には以下のとおりである。

本実施形態では、変換部２３は、メガネ型端末３の第２検出部３１から前述の位置情報を取得し、その取得した位置情報から、メガネ型端末３に対する表示部６０の相対的な位置と姿勢を計算する。なお、これに限らず、例えばメガネ型端末３の第２検出部３１が、３個の赤外線ＬＥＤマーカー２８のそれぞれの位置を示す位置情報から、メガネ型端末３に対する表示部６０の相対的な位置と姿勢を計算し、その計算結果を変換部２３へ送信する形態であってもよい。

変換部２３により計算された、メガネ型端末３に対する表示部６０の相対的な位置と姿勢は、光学部材３２を介して観察される外側領域の反射像が、図６の（ａ）に示すような初期状態から、図６の（ｂ）に示すようなマーカー配置（初期状態から少し傾いた状態の表示部６０のマーカー配置）に合うようにアフィン変換するための変換行列として表すことができる。変換行列は、例えばＡＲＴｏｏｌＫｉｔなどの既存のソフトウェアを利用して計算することができる。変換部２３は、計算した変換行列を用いて、生成部２２によって生成された第２画像をアフィン変換することにより、投射用画像を生成する。そして、生成した投射用画像をメガネ型端末３へ送信する。

メガネ型端末３の投射部３３が、以上のようにして生成された投射用画像の情報を含む光を光学部材３２へ投射することにより、図６の（ｃ）に示すように、光学部材３２を介して観察される表示部６０の透過像（この例では、初期状態から少し傾いた状態の表示部６０の透過像）と、光学部材３２を介して観察される外側領域の反射像がつながって１つの大画面を構成しているように、ユーザに見せることができる。

なお、投射部３３が、図６の（ｂ）に対応する投射用画像を光学部材３２へ投射する場合、投射用画像のうち、図６の（ｂ）において黒く塗りつぶされた領域（第１画像を示す領域）に対応する領域からは光が投射されず、反射像が形成されないため、図６の（ｂ）において黒く塗りつぶされた領域においては、ユーザは、光学部材３２を透過する外界からの光により形成される透過像（この例では表示部６０の透過像）を観察することになる。一方、投射用画像のうち、図６の（ｂ）において黒く塗りつぶされた領域の外側の領域に対応する領域からは光が投射されて反射像が形成されるので、図６の（ｂ）において黒く塗りつぶされた領域の外側の領域においては、ユーザは、光学部材３２で反射する投射用画像の情報を含む光により形成される反射像を観察することになる。これにより、ユーザは、表示部６０の透過像と、表示用画像のうち表示部６０に表示し切れなかった外側の領域の反射像がつながって１つの大画面を構成しているように見ることができる。

以上のように、本実施形態では、メガネ型端末３の投射部３３は、変換部２３により生成された投射用画像を取得し、その取得した投射用画像の情報を含む光を光学部材３２へ投射する機能を有している。この例では、投射部３３は、請求項の「第１取得部」に対応する機能と、請求項の「投射部」に対応する機能とを有していると考えることができるが、これに限られるものではない。例えば投射部３３とは別に、請求項の「第１取得部」に対応する機能が設けられる形態であってもよい。

また、図７は、携帯端末２のハードウェア構成の一例を示す図である。図７に示すように、携帯端末２は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、メガネ型端末３と通信するための通信Ｉ／Ｆ２０４と、タッチパネル４とを備えている。上述の携帯端末２の生成部２２および変換部２３の各々の機能は、ＣＰＵ２０１がＲＯＭ２０２等に格納されたプログラムをＲＡＭ２０３上に読み出して実行することにより実現される。なお、これに限らず、例えば上述の携帯端末２の生成部２２および変換部２３の各々の機能のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路等）で実現される形態であってもよい。

なお、携帯端末２で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、携帯端末２で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。さらに、携帯端末２で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。

次に、本実施形態の画像表示システム１の動作例を説明する。まず、図８を用いて、携帯端末２側の動作例を説明する。図８に示すように、まず第１検出部５０が、タッチ操作を検出する（ステップＳ１００）。次に、生成部２２は、ステップＳ１００で検出されたタッチ操作に応じて、前述の第１画像を生成する（ステップＳ１０１）。次に、生成部２２は、ステップＳ１００で検出されたタッチ操作に応じて、前述の第２画像を生成する（ステップＳ１０２）。次に、変換部２３は、携帯端末２から前述の位置情報を取得する（ステップＳ１０３）。本実施形態では、前述のステップＳ１００においてタッチ操作を検出したタッチパネル４は、メガネ型端末３（第２検出部３１）に対して位置情報の送信を要求する。そして、上記ステップＳ１０３において、変換部２３は、タッチパネル４からの要求に対する応答としての位置情報を、メガネ型端末３（第２検出部３１）から取得することができる。なお、これに限らず、例えばメガネ型端末３の第２検出部３１による検出は、所定の期間が経過するたびに行われ、第２検出部３１による検出が行われるたびに、そのときの検出結果を示す位置情報が携帯端末２に送信されて不図示のメモリに順次に格納されていく形態であってもよい。この形態では、上記ステップＳ１０３において、変換部２３は、不図示のメモリに格納された最新の位置情報を取得することができる。

次に、変換部２３は、上記ステップＳ１０３で取得した位置情報に基づいて、ステップＳ１０２で生成された第２画像をアフィン変換することで、投射用画像を生成する（ステップＳ１０４）。この例では、変換部２３は、上記ステップＳ１０２で生成された第２画像に対して、光学部材３２を透過する携帯端末２からの光と、光学部材３２で反射する投射用画像の情報を含む光とから、表示部６０の周囲に前述の外側領域が配置された状態が観察されるよう、上記ステップＳ１０３で取得した位置情報に基づくアフィン変換を施すことで、投射用画像を生成する。次に、変換部２３は、上記ステップＳ１０４で生成した投射用画像をメガネ型端末３へ送信する（ステップＳ１０５）。

この例では、携帯端末２は、表示部６０の位置を取得するとともに、前述の第２画像に対して、光学部材３２を透過する携帯端末２からの光と、光学部材３２で反射する投射用画像の情報を含む光とから、表示部６０の周囲に外側領域が配置された状態が観察されるよう、表示部６０の位置に基づく変換を施すことで生成した投射用画像を、メガネ型端末３に投射させる制御を行っていると考えることもできる。

次に、図９を用いて、メガネ型端末３側の動作例を説明する。この例では、携帯端末２から位置情報の送信を要求された後のメガネ型端末３の動作例を説明する。まず、第２検出部３１は、表示部６０の位置を検出する（ステップＳ１１０）。前述したように、２検出部３１は、ユーザの視野とほぼ一致する範囲を撮影し、表示部６０の周囲に配置された３個の赤外線ＬＥＤマーカー２８のそれぞれが、当該撮影により得られた画像上のどの位置に写っているかを検出する。そして、第２検出部３１は、ステップＳ１１０の検出結果を示す位置情報を、携帯端末２へ送信する（ステップＳ１１１）。その後、投射部３３は、携帯端末２により生成された投射用画像を取得する（ステップＳ１１２）。次に、投射部３３は、ステップＳ１１２で取得した投射用画像の情報を含む光を光学部材３２へ投射する（ステップＳ１１３）。

以上に説明したように、本実施形態のメガネ型端末３は透過型で構成され、メガネ型端末３の光学部材３２は、携帯端末２からの光（外界からの光）を透過させてユーザの眼に導く一方、投射用画像の情報を含む光を反射させてユーザの眼に導く。そして、メガネ型端末３の投射部３３は、表示用画像のうち第１画像の外側の領域を含む第２画像に対して、光学部材３２を透過する携帯端末２からの光と、光学部材３２で反射する投射用画像の情報を含む光とから、表示部６０の周囲に外側領域が配置された状態が観察されるよう、表示部６０の位置に基づく変換を施すことで得られた投射用画像を取得し、その取得した投射用画像の情報を含む光を光学部材３２へ投射する。これにより、メガネ型端末３を装着したユーザは、表示部６０の透過像と、表示用画像のうち表示部６０に表示し切れなかった外側領域の反射像がつながって１つの大画面を構成しているように見ることができる。

また、本実施形態によれば、ユーザは、前述の光学部材３２を介して、周囲の状況（外界の状況）を把握することができるので、メガネ型端末３の使用環境が屋内のみに制限されることはなく、従来技術に比べてユーザの利便性を向上させることが可能になる。また、本実施形態によれば、ユーザは、タッチパネル４の表示面（表示部６０の表示面であると考えてもよい）に対するタッチ操作を行うことで、例えば表示用画像を上下左右の何れかに移動させて（スクロールさせて）、表示部６０に表示される画像（第１画像）を切り替えながら、表示用画像の任意の位置を直接指し示すことができる。すなわち、本実施形態によれば、安全性と操作性に優れたメガネ型端末３を提供することが可能になる。

さらに、本実施形態によれば、ユーザは、光学部材３２を介して表示部６０の透過像を見ながら、表示面に対するタッチ操作を行うことができるので、従来技術のようにタッチパネルを有する携帯端末を可視光カメラで撮影した画像を非透過型のメガネ型端末で見ながら、タッチパネルに対するタッチ操作を行う構成に比べて、違和感の少ない操作を行うことができる。したがって、従来技術に比べてユーザの操作性を一層向上させることが可能になる。また、前述したように、本実施形態のメガネ型端末３は非透過型で構成されるので、従来技術のように可視光カメラで表示部６０（タッチパネル４）を撮影する必要はない。したがって、可視光カメラは必須ではないので、可視光カメラの使用が困難な状況（例えば公共の場等）であっても、メガネ型端末３の使用が制限されることはなく、ユーザの利便性をさらに向上させることができる。

（第１実施形態の変形例１）
前述の第１画像と前述の第２画像は、必ずしも同等の情報量を有する画像（同等の詳細度の画像）である必要は無い。例えば、光学部材３２を介して見える反射像の表示能力に比べて、表示部６０の表示能力が高い場合、より情報量が多い（より詳細度の高い）画像を表示部６０に表示してもよい。例えば、地図を表すコンテンツが与えられた場合、地名や番地などが小さな文字で細かく記載された情報量が多い（詳細度の高い）地図を示す画像を第１画像として表示部６０に表示し、主要な地名だけが大きな文字で記載された情報量が少ない（詳細度の低い）地図を示す画像を第２画像として投射することで、ユーザが全体像と詳細を同時に把握することが可能になる。なお、地図は一例であり、表示するコンテンツはその他のコンテンツであってもよい。

すなわち、前述の生成部２２は、表示用画像を元に、第２画像に比べて情報量が多い（詳細度の高い）第１画像と、第２画像とを生成することもできる。

（第１実施形態の変形例２）
第１実施形態では、第２検出部３１として赤外線カメラを用いて、赤外線カメラの撮影により得られた画像に映り込んだ赤外線マーカー２８の配置、大きさ、歪みなどを解析することで、メガネ型端末３に対する表示部６０の相対的な位置と姿勢を検出する方法を採用しているが、これに限られるものではない。例えば第２検出部３１として、奥行き情報を計測して画像化するカメラ（デプスセンサ）を用いることもできる。

また、例えば第２検出部３１として可視光カメラを用いてもよい。この場合、表示部６０の周囲には、赤外線ＬＥＤマーカー２８の代わりに、予め定められた固定パターンが配置され、ユーザの視野に表示部６０が存在する場合は、可視光カメラの撮影により、表示部６０の周囲に配置された固定パターンが映り込んだ画像を得ることができる。そして、この画像に映り込んだ固定パターンの配置、大きさ、歪みなどを解析することで、メガネ型端末３に対する表示部６０の相対的な位置と姿勢を検出することもできる。

ただし、可視光カメラを採用する場合、プライバシーの問題等から公共の場では使い難いというケースも想定されるため、第２検出部３１としては、可視光カメラ以外のセンサを用いることが好ましい。第２検出部３１が、可視光カメラ以外のセンサで構成されることにより、公共の場であってもメガネ型端末３を使用することができるので、メガネ型端末３の使用環境に関する制限を一層緩和することができる。したがって、ユーザの利便性をさらに向上させることができる。また、例えば可視光カメラを採用する場合であっても、撮像した画像そのものを出力または保存する構成ではなく、撮像した画像から、求められた相対的な位置関係に関する情報のみを出力する構成であってもよい。

また、例えば上述の赤外線ＬＥＤマーカー２８や固定パターンなどを配置せずに、第２検出部３１の撮影により得られた画像の特徴量を用いて、メガネ型端末３に対する表示部６０の相対的な位置と姿勢を検出することもできる。

（第１実施形態の変形例３）
例えば図１０に示すように、前述の第２検出部３１が携帯端末２側に搭載される形態であってもよい。この例では、第２検出部３１は、表示部６０に対するメガネ型端末３の相対的な位置と姿勢を検出し、表示部６０に対するメガネ型端末３の相対的な位置と姿勢を示す第２位置情報（見方を変えれば、表示部６０の位置を示す情報であると捉えることもできる）を生成する。なお、検出方法は限定せず、携帯端末２に組み込まれた可視光カメラでメガネ型端末３に備え付けられた固定パターンを撮影し、得られた画像を解析する方法でもよいし、携帯端末２に組み込まれた赤外線カメラでメガネ型端末３に備え付けられた赤外線ＬＥＤマーカーを撮影し、得られた画像を解析する方法でも構わない。

第１実施形態と同様に、変換部２３は、生成部２２により生成された第２画像に対して、光学部材３２を透過する携帯端末２からの光と、光学部材３２で反射する投射用画像の情報を含む光とから、表示部６０の周囲に前述の外側領域が配置された状態が観察されるよう、第２検出部３１により生成された第２位置情報に基づくアフィン変換を施すことで、投射用画像を生成する。そして、生成した投射用画像をメガネ型端末３へ送信する。メガネ型端末３の構成は、第２検出部３１が設けられていないことを除いて第１実施形態の構成と同様である。

（第１実施形態の変形例４）
例えば図１１に示すように、前述の変換部２３がメガネ型端末３側に搭載される形態であってもよい。その他の構成は、第１実施形態と同様である。この例では、メガネ型端末３に設けられた変換部２３が、請求項の「第１取得部」に対応する機能を有していると考えることができる。

（第１実施形態の変形例５）
前述の変形例４のさらなる変形例として、第１画像を生成する機能が携帯端末２側に搭載され、第２画像を生成する機能がメガネ型端末３側に搭載される形態とすることもできる。図１２は、本変形例の携帯端末２およびメガネ型端末３の各々の機能構成の一例を示すブロック図である。図１２に示すように、携帯端末２は、タッチパネル４と、第１画像生成部２４と、表示用画像送信部２５とを備える。タッチパネル４（第１検出部５０）は、タッチ操作を検出した場合、その検出したタッチ操作を示す操作情報を、第１画像生成部２４およびメガネ型端末３の各々へ供給する点で第１実施形態と相違する。

第１画像生成部２４は、タッチパネル４（第１検出部５０）から受け取った操作情報と、表示用画像とに基づいて第１画像を生成し、生成した第１画像をタッチパネル４（表示部６０）へ供給する。表示用画像送信部２５は、表示用画像をメガネ型端末３へ送信する。

また、図１２に示すように、メガネ型端末３は、前述の第２検出部３１、変換部２３、光学部材３２、および、投射部３３に加えて、第２取得部３４、第３取得部３５、第２画像生成部３６をさらに備える点で図１１の構成と相違する。

第２取得部３４は、表示用画像を取得する機能を有する。この例では、第２取得部３４は、携帯端末２の表示用画像送信部２５から送られてくる表示用画像を取得（受信）する機能を有するが、これに限らず、例えば外部装置から表示用画像を直接取得する形態であってもよい。この形態によれば、表示用画像送信部２５を省略することができる。

第３取得部３５は、前述の操作情報をタッチパネル４（第１検出部５０）から取得する。第２画像生成部３６は、第２取得部３４により取得された表示用画像と、第３取得部３５により取得された操作情報とに基づいて、第２画像を生成する。例えば、操作情報が示すタッチ操作が、表示部６０に表示し切れていない部分を表示部６０に表示するために表示用画像を上下左右の何れかに移動させるスクロールを表している場合は、第２画像生成部３６は、当該操作情報に応じて表示用画像をスクロールさせて、表示用画像のうち表示部６０に表示すべき画像（第１画像）に対応する領域の輝度値（画素値）を閾値（この例では「黒」に相当する輝度値）以下に設定することで、第２画像を生成するという具合である。第２画像生成部３６により生成された第２画像は変換部２３へ供給される。その他の構成は、図１１の構成と同様である。

本変形例では、表示用画像を、予め携帯端末２からメガネ型端末３へ転送しておき、以降は、第１検出部５０により検出されたタッチ操作を示す操作情報をメガネ型端末３へ転送するだけで済むので、第１検出部５０によりタッチ操作が検出されるたびに、検出されたタッチ操作に応じて生成された投射用画像をメガネ型端末３へ転送する形態に比べて、通信量を大幅に低減することができる。これにより、タッチ操作に応じて表示部６０の透過像が更新されるタイミングに比べて、当該タッチ操作に応じて投射用画像の反射像が更新されるタイミングが遅れることを大幅に軽減できる。

なお、この例においても、メガネ型端末３に設けられた変換部２３は、請求項の「第１取得部」に対応する機能を有していると考えることができる。

（第１実施形態の変形例６）
前述の変形例４のさらなる変形例として、例えば図１３に示すように、前述の第２検出部３１が携帯端末２側に搭載される形態であってもよい。本変形例における第２検出部３１の機能や動作は前述の変形例３と同様である。また、本変形例における変換部２３の機能や動作は前述の変形例４と同様である。

（第１実施形態の変形例７）
前述の変形例５のさらなる変形例として、例えば図１４に示すように、前述の第２検出部３１が携帯端末２側に搭載される形態であってもよい。本変形例における第２検出部３１の機能や動作は前述の変形例３と同様である。その他の構成は、前述の変形例５と同様である。

（第２実施形態）
次に、第２実施形態について説明する。第２実施形態の画像表示システム１は、メガネ型端末３と表示部６０との位置関係が、特定の基準を満たさない場合は、前述の投射用画像を投射しない制御を行う判定部をさらに備える。以下、具体的な内容を説明する。なお、前述の第１実施形態と共通する部分については適宜に説明を省略する。

図１５は、第２実施形態の携帯端末２およびメガネ型端末３の各々の機能構成の一例を示す図である。図１５に示すように、携帯端末２は判定部２４０をさらに有している点で前述の第１実施形態と相違する。判定部２４０は、投射用画像を生成するための前述のアフィン変換に用いられるアフィン変換行列における並進量が予め定められた閾値未満の場合は、表示部６０（携帯端末２）は視野内に存在すると判定し、上記特定の基準を満たすと判定する。一方、判定部２４０は、上記アフィン変換行列における並進量が予め定められた閾値以上の場合は、表示部６０は視野内に存在しないと判定し、上記特定の基準を満たさないと判定する。

また、判定部２４０は、上記アフィン変換行列における回転量が予め定められた閾値未満の場合は、ユーザと表示部６０とが互いに真正面から相対している（正対している）と判定し、上記特定の基準を満たすと判定する。一方、判定部２４０は、上記アフィン変換行列における回転量が予め定められた閾値以上の場合は、ユーザと表示部６０とが互いに真正面から相対していない（正対していない）と判定し、上記特定の基準を満たさないと判定する。

判定部２４０により上記特定の基準を満たすと判定された場合、携帯端末２およびメガネ型端末３の各々は、前述の第１実施形態と同様に動作する。一方、判定部２４０は、上記特定の基準を満たさないと判定した場合、ユーザが表示部６０を見ていないと解釈して、前述の投射用画像を投射しない制御を行う。例えば判定部２４０は、生成部２２に対して、第２画像の生成を停止することを指示するとともに変換部２３への第２画像の供給を停止することを指示することができる。また、例えば判定部２４０は、変換部２３、および、メガネ型端末３の投射部３３の動作を停止する制御を行うこともできる。また、例えば判定部２４０は、生成部２２に対して、表示用画像の全領域の輝度値を閾値（この例では「黒」に相当する輝度値）以下に設定した画像を第２画像として生成することを指示することもできる。要するに、判定部２４０は、メガネ型端末３と表示部６０との位置関係が、上記特定の基準を満たさない場合は、前述の投射用画像を投射しない制御を行う機能を有する形態であればよい。

なお、本実施形態では、判定部２４０は、メガネ型端末３と表示部６０との位置関係が上記特定の基準を満たすか否かを判定する機能と、前述の投射用画像を投射しない制御を行う機能とを兼ね備えているが、これらの機能が別々に（独立して）設けられる形態であってもよい。

本実施形態によれば、ユーザの視野内に携帯端末２が存在し、当該ユーザが携帯端末２の表示部６０を正面から見ている場合に、当該ユーザに対して外側領域の反射像が提示されるので、例えば当該ユーザの視線が表示部６０以外に向けられているときに、当該ユーザの視野が反射像によって不用意に遮られる危険性が減少する。これにより、ユーザの安全性を向上させることができる。また、画像表示システム１（特にメガネ型端末３）の消費電力を低減することもできる。

（第２実施形態の変形例１）
例えば判定部２４０は、メガネ型端末３に対する表示部６０の相対的な位置と姿勢を示す情報（表示部６０の位置を示す情報であると捉えることもできる）を変換部２３から受け取り、この情報に基づいて、メガネ型端末３を装着したユーザの観察方向を表す仮想的な直線（予め設定された直線）と、表示部６０の法線とのなす角度を計算することもできる。そして、上記角度が予め定められた閾値未満の場合は、ユーザと表示部６０とが正対していると判定し、上記特定の基準を満たすと判定することもできる。一方、判定部２４０は、上記角度が予め定められた閾値以上の場合は、ユーザと表示部６０とが正対していないと判定し、上記特定の基準を満たさないと判定することもできる。

（第２実施形態の変形例２）
例えば判定部２４０がメガネ型端末３側に搭載される形態であってもよい。例えば図１１に示す構成に対して第２実施形態を適用することで、図１６に示すような構成とすることもできる。同様にして、他の実施形態および変形例のそれぞれが示す構成に対して第２実施形態を適用することで、メガネ型端末３が判定部２４０を備える構成とすることもできる。要するに、メガネ型端末３が判定部２４０を備える形態とすることもできる。

（第３実施形態）
次に、第３実施形態について説明する。前述したように、第２画像は、表示用画像のうち第１画像に対応する領域の輝度値が予め定められた閾値以下に設定された画像である。第３実施形態の画像表示システム１は、第２画像のうち第１画像に対応する領域における周縁部分の輝度値を、上記閾値よりも大きい値に設定する境界処理部をさらに備える。以下、具体的な内容を説明する。なお、前述の第１実施形態と共通する部分については適宜に説明を省略する。

図１７は、第３実施形態の携帯端末２およびメガネ型端末３の各々の機能構成の一例を示す図である。図１７に示すように、携帯端末２は境界処理部２５０をさらに有している点で前述の第１実施形態と相違する。境界処理部２５０は、生成部２２によって生成された第２画像を受け取り、第２画像のうち第１画像に対応する領域（この例では、第２画像のうち黒く塗りつぶされた領域）の上端、下端、左端および右端のそれぞれに対して、輝度値を高めた縁取り領域を追加する。例えば図３の（ｃ）に示す第２画像に対して、図１８に示すような、灰色（図８ではドットの集合で表示）に相当する輝度値（「黒」に相当する輝度値を示す閾値よりも高い輝度値の一例）が設定された縁取り領域を追加することができる。そして、境界処理部２５０は、縁取り領域を追加した第２画像を変換部２３へ供給する。その他の内容は前述の第１実施形態と同様である。

以上のように、本実施形態では、境界処理部２５０が、第２画像に対して縁取り領域を追加する処理を行うことにより、表示部６０の透過像の周縁部分（反射像との境界部分）を半透明な状態にして、ユーザに見せることができる。これにより、第２検出部３１における検出誤差や、変換部２３における計算誤差などによって、透過像と反射像とのつなぎ目がずれてしまったとしても、そのずれをユーザに視認させにくくすることができる。

（第３実施形態の変形例）
例えば境界処理部２５０がメガネ型端末３側に搭載される形態であってもよい。例えば図１１に示す構成に対して第３実施形態を適用することで、図１９に示すような構成とすることもできる。同様にして、他の実施形態および変形例のそれぞれが示す構成に対して第３実施形態を適用することで、メガネ型端末３が境界処理部２５０を備える構成とすることもできる。要するに、メガネ型端末３が境界処理部２５０を備える形態とすることもできる。

（第４実施形態）
次に、第４実施形態について説明する。第４実施形態の画像表示システム１は、表示部６０の透過像の見え方（画像の見た目を表す画質）と、投射用画像の反射像の見え方とが揃うように、メガネ型端末３および携帯端末２のうちの少なくとも一方の光源の輝度（明るさ）、または、第１画像および第２画像のうちの少なくとも一方の階調を制御する色制御部をさらに備える。以下、具体的な内容を説明する。なお、前述の第１実施形態と共通する部分については適宜に説明を省略する。

図２０は、第４実施形態の携帯端末２およびメガネ型端末３の各々の機能構成の一例を示す図である。図２０に示すように、携帯端末２は色制御部２６０をさらに有している点で前述の第１実施形態と相違する。色制御部２６０は、周囲の環境の輝度（明るさ）を検出し、その輝度に基づいて、表示部６０または投射部３３の光源（例えば液晶ディスプレイの場合はバックライトが光源となり、有機ＥＬディスプレイの場合は、ディスプレイパネル自体が光源であると考えることができる）の輝度（明るさ）を調整することにより、透過像の輝度と反射像の輝度とを近づけることができる。または、色制御部２６０は、表示部６０の透過像の色味と、投射用画像の反射像の色味とを揃えるために、第１画像の階調または第２画像の階調を調整することを生成部２２に対して指示することもできる。あるいは、色制御部２６０は、表示部６０の透過像の色味および輝度と、投射用画像の反射像の色味および輝度とを揃えるために、周囲の環境の輝度に基づいて、表示部６０または投射部３３の光源の輝度を調整するとともに、第１画像の階調または第２画像の階調を調整することを生成部２２に対して指示することもできる。

要するに、色制御部２６０は、表示部６０の透過像の見え方と、投射用画像の反射像の見え方とが揃うように、メガネ型端末３および携帯端末２のうちの少なくとも一方の光源の輝度、または、第１画像および第２画像のうちの少なくとも一方の階調を制御する形態であればよい。本実施形態によれば、透過像の見え方と反射像の見え方とが乖離することを低減できるので、メガネ型端末３を装着したユーザに対して、透過像と反射像とがより自然な形でつながった画面を提示することが可能になる。

なお、これに限らず、例えば表示部６０の透過像の見え方と、投射用画像の反射像の見え方とを異ならせる形態であってもよい。例えばメガネ型端末３側の省電力化のために、第２画像を構成する複数の画素の各々の階調を反転（いわゆるネガポジ変換）させた画像を、投射用画像として投射する形態であってもよい。

（第４実施形態の変形例）
例えば色制御部２６０がメガネ型端末３側に搭載される形態であってもよい。例えば図２に示す構成に対して第４実施形態を適用することで、図２１に示すような構成とすることもできる。同様にして、他の実施形態および変形例のそれぞれが示す構成に対して第４実施形態を適用することで、メガネ型端末３が色制御部２６０を備える構成とすることもできる。要するに、メガネ型端末３が色制御部２６０を備える形態とすることもできる。

（第５実施形態）
次に、第５実施形態について説明する。第５実施形態の画像表示システム１は、タッチ操作に応じて表示部６０の透過像が更新されるタイミングと、投射用画像の反射像が更新されるタイミングとが揃うように、第１画像を更新するタイミングまたは第２画像を更新するタイミングを制御する更新制御部をさらに備える。以下、具体的な内容を説明する。なお、前述の第１実施形態と共通する部分については適宜に説明を省略する。

図２２は、第５実施形態の携帯端末２およびメガネ型端末３の各々の機能構成の一例を示す図である。図２２に示すように、携帯端末２は更新制御部２７０をさらに有している点で前述の第１実施形態と相違する。更新制御部２７０は、タッチ操作に応じて第１画像を更新するタイミングと、当該タッチ操作に応じて第２画像を更新するタイミングとをずらすように、生成部２２に対して指示する。例えば、携帯端末２からメガネ型端末３への画像通信（投射用画像の転送）による遅延で、表示部６０の透過像が更新されるタイミングに比べて投射用画像の反射像が更新されるタイミングが遅れる場合は、更新制御部２７０は、第１画像を更新するタイミングを遅らせるよう、生成部２２に対して指示する。あるいは、更新制御部２７０は、第１検出部５０において検出されたタッチ操作の時系列データから、カルマンフィルタなどを用いて次のユーザの動きを予測し、その予測結果から、第２画像を更新するタイミングを早めるよう、生成部２２に対して指示することもできる。

要するに、更新制御部２７０は、タッチ操作に応じて表示部６０の透過像が更新されるタイミングと、投射用画像の反射像が更新されるタイミングとが揃うように、第１画像を更新するタイミングまたは第２画像を更新するタイミングを制御する形態であればよい。本実施形態によれば、タッチ操作に応じて透過像が更新されるタイミングと、当該タッチ操作に応じて反射像が更新されるタイミングとのずれを小さくすることができるので、透過像と反射像とのつなぎ目をユーザに視認させにくくすることができる。

（第５実施形態の変形例）
例えば更新制御部２７０がメガネ型端末３側に搭載される形態であってもよい。例えば図２に示す構成に対して第５実施形態を適用することで、図２３に示すような構成とすることもできる。同様にして、他の実施形態および変形例のそれぞれが示す構成に対して第５実施形態を適用することで、メガネ型端末３が更新制御部２７０を備える構成とすることもできる。要するに、メガネ端末３が更新制御部２７０を備える形態とすることもできる。

以上、本発明の実施形態を説明したが、上述の実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

なお、以上の各実施形態および各変形例は、任意に組み合わせることが可能である。

１ 画像表示システム
２ 携帯端末
３ メガネ型端末
４ タッチパネル
２２ 生成部
２３ 変換部
３１ 第２検出部
３２ 光学部材
３３ 投射部
５０ 第１検出部
６０ 表示部
２４０ 判定部
２５０ 境界処理部
２６０ 色制御部
２７０ 更新制御部

Claims (14)

1. 投射用画像の情報を含む光を投射する投射部と、
   表示面へのタッチ操作を検出可能な第１検出部と、検出した前記タッチ操作に応じて、表示用画像のうちの少なくとも一部の第１画像を表示する表示部と、を有する情報処理装置からの光を透過させる一方、入射した前記投射用画像の情報を含む光を反射させる光学部材と、
   前記表示用画像のうち前記第１画像の少なくとも一部と重ならない非重畳領域を含む第２画像に対して、前記光学部材を透過する前記情報処理装置からの光と、前記光学部材で反射する前記投射用画像の情報を含む光とから、前記表示部の周囲に前記非重畳領域が配置された状態が観察されるよう、前記表示部の位置に基づく変換を施すことで得られた前記投射用画像を取得する第１取得部と、を備える、
   表示装置。
2. 前記非重畳領域は、前記表示用画像のうち前記第１画像の外側の領域である、
   請求項１に記載の表示装置。
3. 前記表示装置と前記表示部との位置関係が、特定の基準を満たさない場合は、前記投射用画像を投射しない制御を行う判定部をさらに備える、
   請求項１に記載の表示装置。
4. 前記変換はアフィン変換であり、
   前記判定部は、前記アフィン変換に用いられるアフィン変換行列における並進量が予め定められた閾値以上の場合は、前記特定の基準を満たさないと判定する、
   請求項３に記載の表示装置。
5. 前記変換はアフィン変換であり、
   前記判定部は、前記アフィン変換に用いられるアフィン変換行列における回転量が予め定められた閾値以上の場合は、前記特定の基準を満たさないと判定する、
   請求項３に記載の表示装置。
6. 前記判定部は、前記表示部の位置に基づいて、ユーザの観察方向を表す仮想的な直線と、前記表示部の法線とのなす角度を求め、前記角度が予め定められた閾値以上の場合は、前記特定の基準を満たさないと判定する、
   請求項３に記載の表示装置。
7. 前記第２画像は、前記表示用画像のうち前記第１画像に対応する領域の輝度値が予め定められた閾値以下に設定された画像であり、
   前記第２画像のうち前記第１画像に対応する領域における周縁部分の輝度値を、前記閾値よりも大きい値に設定する境界処理部をさらに備える、
   請求項２に記載の表示装置。
8. 前記表示部の透過像の見え方と、前記投射用画像の反射像の見え方とが揃うように、前記表示装置および前記情報処理装置のうちの少なくとも一方の光源の輝度、または、前記第１画像および前記第２画像のうちの少なくとも一方の階調を制御する色制御部をさらに備える、
   請求項１に記載の表示装置。
9. 前記タッチ操作に応じて前記表示部の透過像が更新されるタイミングと、前記投射用画像の反射像が更新されるタイミングとが揃うように、前記第１画像を更新するタイミングまたは前記第２画像を更新するタイミングを制御する更新制御部をさらに備える、
   請求項１に記載の表示装置。
10. 前記表示部の位置を検出するための第２検出部をさらに備え、
    前記検出部は、可視光カメラ以外のセンサで構成される、
    請求項１に記載の表示装置。
11. 前記表示用画像を取得する第２取得部と、
    前記第１検出部で検出された前記タッチ操作を示す操作情報を取得する第３取得部と、
    前記表示用画像と前記操作情報とに基づいて前記第２画像を生成する第２画像生成部と、をさらに備え、
    前記第１取得部は、前記第２画像に対して前記変換を施すことで前記投射用画像を生成する、
    請求項１に記載の表示装置。
12. 前記第１画像は、前記第２画像に比べて情報量が多い画像である、
    請求項１に記載の表示装置。
13. 表示面へのタッチ操作を検出可能な検出部と、検出した前記タッチ操作に応じて、表示用画像のうちの少なくとも一部の第１画像を表示する表示部と、を有する情報処理装置と、表示装置とを備えるシステムであって、
    投射用画像の情報を含む光を投射する投射部と、
    前記情報処理装置からの光を透過させる一方、投射用画像の情報を含む光を反射させる光学部材と、
    前記表示用画像のうち前記第１画像の少なくとも一部と重ならない非重畳領域を含む第２画像に対して、前記光学部材を透過する前記情報処理装置からの光と、前記光学部材で反射する前記投射用画像の情報を含む光とから、前記表示部の周囲に前記非重畳領域が配置された状態が観察されるよう、前記表示部の位置に基づく変換を施すことで前記投射用画像を生成する変換部と、を備える、
    画像表示システム。
14. 表示面へのタッチ操作を検出する検出ステップと、
    検出した前記タッチ操作に応じて表示用画像のうちの少なくとも一部の第１画像を表示する表示部の位置を取得する取得ステップと、
    前記表示用画像のうち前記第１画像の少なくとも一部と重ならない非重畳領域を含む第２画像に対して、前記表示部を有する情報処理装置からの光を透過させる一方で投射用画像の情報を含む光を反射させる光学部材を透過する前記情報処理装置からの光と、前記光学部材で反射する前記投射用画像の情報を含む光とから、前記表示部の周囲に前記非重畳領域が配置された状態が観察されるよう、前記表示部の位置に基づく変換を施すことで前記投射用画像を生成する生成ステップと、
    前記投射用画像を、前記光学部材を有する表示装置に投射させる制御を行う制御ステップと、を含む、
    情報処理方法。

Images