JP2020008750A - 表示装置および表示処理方法 - Google Patents

Abstract

【課題】表示面に表示されるオブジェクトのうち所望のオブジェクトを携帯端末において取得する。【解決手段】表示装置は、表示画像データに基づく一または複数のオブジェクトを含む画像を表示面１０１に表示する表示部と、表示面１０１に接触する携帯端末４の位置を示す情報を、画像内における端末位置Ｐ８を示す端末位置情報として生成する位置生成部と、表示画像データおよび端末位置情報に基づいて、端末位置Ｐ８に対応するオブジェクトに関するオブジェクトデータを特定するオブジェクト特定部と、オブジェクトデータを前記携帯端末に送信する送信部と、を備える。【選択図】図１

Description

本発明は、表示装置および表示処理方法に関する。

デジタルカメラまたは携帯端末に保存されている画像を、テレビ等の表示装置へ表示させる技術が知られている。特許文献１には、表示装置の表示面に携帯端末が接触しているか否かを検知し、接触している箇所に、携帯端末から表示装置に対して送信した貼付画像を貼り付ける画像表示方法が開示されている。

特開２００７−３１６９２５号公報

しかし、従来の技術では、携帯端末が記憶する画像を表示装置に表示させることができても、表示装置に一または複数のオブジェクトが表示されている場合に、所望のオブジェクトを携帯端末において取得できないといった課題がある。

本発明の表示装置の一態様は、表示画像データに基づく一または複数のオブジェクトを含む画像を表示面に表示する表示部と、前記表示面に接触する携帯端末の位置を示す情報を、前記画像内における端末位置を示す端末位置情報として生成する位置生成部と、前記表示画像データおよび前記端末位置情報に基づいて、前記端末位置に対応するオブジェクトに関するオブジェクトデータを特定するオブジェクト特定部と、前記オブジェクトデータを前記携帯端末に送信する送信部と、を備える。

本発明の画像処理方法の一態様は、表示画像データに基づく一または複数のオブジェクトを含む画像を表示面に表示し、前記表示面に接触する携帯端末の位置を示す情報を、前記画像内における端末位置を示す端末位置情報として生成し、前記表示画像データおよび前記端末位置情報に基づいて、前記端末位置に対応するオブジェクトに関するオブジェクトデータを特定し、前記オブジェクトデータを前記携帯端末に送信する。

第１実施形態におけるプロジェクターシステムを示す概略図である。 第１実施形態におけるプロジェクターシステムを示すブロック図である。 第１実施形態におけるスクリーンが有する検出部を説明するための図である。 第１実施形態における画像処理方法の切取処理を説明するためのフローチャートである。 ステップＳ１１における投射画像を示す図である。 ステップＳ１２において表示面に携帯端末が接近または接触する状態を示す図である。 ステップＳ１２における携帯端末の表示面での接触位置を示す図である。 ステップＳ１３における携帯端末の投射画像での端末位置を示す図である。 ステップＳ１４におけるオブジェクト特定範囲を示す図である。 ステップＳ１８における切取処理後画像を示す図である。 第１実施形態における画像処理方法の貼付処理を説明するためのフローチャートである。 ステップＳ２２において表示面に携帯端末が接近または接触する状態を示す図である。 ステップＳ２２における携帯端末の表示面での接触位置を示す図である。 ステップＳ２３における携帯端末の投射画像での端末位置を示す図である。 ステップＳ２６における貼付処理後画像を示す図である。 第２実施形態における切取処理のステップＳ１２において表示面に携帯端末が接触する状態を示す図である。 第２実施形態における切取処理のステップＳ１３において端末位置およびオブジェクト特定範囲を示す図である。 第２実施形態における切取処理のステップＳ１７における切取処理後画像を示す図である。 第３実施形態におけるプロジェクターシステムを示すブロック図である。 第３実施形態における携帯端末が表示面に接触する状態を説明するための図である。

以下、添付図面を参照しながら本発明にかかる好適な実施形態を説明する。なお、図面において各部の寸法や縮尺は実際のものと適宜異なり、理解を容易にするために模式的に示す部分もある。また、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。

１．第１実施形態
本発明の表示装置を含む表示システムの一例として、プロジェクターシステム１００を例に説明する。

１−１．プロジェクターシステムの構成
図１は、第１実施形態におけるプロジェクターシステム１００を示す概略図である。まず、プロジェクターシステム１００の全体構成について簡単に説明する。

図１に示すプロジェクターシステム１００は、壁等に設置されるスクリーン１と、スクリーン１の上方に設置されるプロジェクター３と、電子ペン２と、携帯端末４とを備える。スクリーン１とプロジェクター３とは、画像を表示する表示装置の一例である。携帯端末４は、例えばスマートフォンまたはタブレット端末等の可搬型の情報端末である。また、スクリーン１、プロジェクター３、および携帯端末４は、それぞれ通信機能を有し、相互に通信可能である。また、プロジェクター３は、パーソナルコンピューター等の外部装置５と通信可能である。

かかるプロジェクターシステム１００において、プロジェクター３は、スクリーン１の表示面１０１に投射光ＬＬを拡大投影することにより「画像」の一例である投射画像８０を表示する。なお、投射画像８０は、例えば文字または図形で構成される複数のオブジェクト８０１を有する。

また、プロジェクター３は、いわゆるインタラクティブ機能を有しており、電子ペン２のペン先の軌跡を投射画像８０に描くことができる。つまり、プロジェクター３は、外部装置５から受信するデータに基づく第１画像８１と電子ペン２の軌跡に基づく第２画像８２とを表示面１０１に重畳して表示可能である。

さらに、プロジェクターシステム１００では、ユーザーがスクリーン１に携帯端末４を接触または接近させることで、投射画像８０に含まれる複数のオブジェクト８０１のうち所望のオブジェクト８０１に関するオブジェクトデータを携帯端末４に転送できる。また、ユーザーがスクリーン１に携帯端末４を接触または接近させることで、携帯端末４に記憶されるオブジェクト８０１を投射画像８０の一部として表示できる。つまり、ユーザーは、スクリーン１に携帯端末４を接触または接近させることで、あたかも紙の付箋のように、投射画像８０の一部のオブジェクト８０１を貼ったり剥がしたりすることができる。

なお、上述の説明では、スクリーン１の設置箇所は、壁であるが、この設置箇所は壁に限定されず、例えば、床およびテーブル等の任意の設置箇所であってもよい。また、プロジェクター３は、表示面１０１に投射画像８０を投射可能であればよく、その設置箇所は、天井に限定されず、例えば、スクリーン１、壁、床およびテーブル等の任意の設置箇所であってもよい。

次に、図１および図２を参照しつつ、プロジェクターシステム１００の各部の構成について詳細に説明する。図２は、第１実施形態におけるプロジェクターシステム１００の電気的構成を示すブロック図である。

１−１ａ．電子ペン
図２に示す電子ペン２は、センサー部２１と、発光部２２と、駆動回路２３と、を有する。センサー部２１は、例えば静電容量方式の感圧センサーである。発光部２２は、例えば赤外線発光ダイオード等の発光素子である。センサー部２１および発光部２２は、電子ペン２のペン先に設けられる。また、駆動回路２３は、発光部２２を駆動する。なお、図示はしないが、電子ペン２は、１次電池または２次電池を有する。かかる電子ペン２は、センサー部２１が表示面１０１に対する電子ペン２の接触を検出すると、駆動回路２３は発光部２２を発光させる。

１−１ｂ．プロジェクター
図２に示すように、プロジェクター３は、撮像部３１と、投射部３２と、光源駆動部３３１と、ライトバルブ駆動部３３２と、レンズ駆動部３３３と、操作部３４と、通信部３５と、記憶部３６と、画像処理部３７と、制御部３８と、を有する。投射部３２は表示面１０１に一または複数のオブジェクトを含む画像を表示する表示部として機能する。また、通信部３５はオブジェクトデータを携帯端末４に送信する送信部として機能する。

撮像部３１は、表示面１０１を撮像するカメラである。撮像部３１は、例えば、表示面１０１に電子ペン２の光で描かれる文字および図形等を撮像する。撮像部３１は、レンズ等を有する撮像光学部３１１と、撮像光学部３１１により集光される光を電気信号に変換する撮像素子３１２と、を有する。撮像素子３１２は、赤外線および可視光の波長域に感度を有する。撮像素子３１２は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサーまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーである。また、撮像部３１は、赤外線の波長域の光を通過させ、可視光の波長域の光を通過させない赤外線フィルターと、赤外線フィルターを制御信号に応じて可動させる可動機構を備える。可動機構は、赤外線フィルターを撮像素子３１２の入射光の光路中に移動させること、および入射光の光路に入らないように赤外線フィルターを移動させることができる。制御部３８は、電子ペン２の軌跡を検出する場合、赤外線フィルターを光路に移動させるように移動機構を制御する。赤外線フィルターを介して撮像することによって、電子ペン２の軌跡を高いＳＮ比で検出することが可能となる。また、制御部３８は、後述するキャリブレーションを実行する場合、赤外線フィルターが光路中に入らないように移動機構を制御する。また、撮像部３１の撮像画像の座標系として、互いに直交するＵ軸およびＶ軸で定められる撮像座標系が設定される。

投射部３２は、スクリーン１に投射光ＬＬを出射して表示面１０１上に投射画像８０を表示させる。投射部３２は、光源３２１と、複数のライトバルブ３２２と、投射光学部３２３と、を有する。光源３２１としては、例えば、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、およびレーザー光源等が挙げられる。ライトバルブ３２２は、例えば一対の透明基板間に液晶層が配置された液晶パネルで構成される。投射光学部３２３は、例えば焦点の調整を行うズームレンズ等を有する。

投射部３２では、光源３２１が出射する光をライトバルブ３２２が変調して投射光ＬＬを形成し、この投射光ＬＬを投射光学部３２３が拡大投射する。そして、拡大投射される投射光ＬＬが表示面１０１で結像することにより投射画像８０が表示面１０１に表示される。ここで、投射画像８０の座標系として、互いに直交するＸ軸およびＹ軸で定められる投射座標系が設定される。投射画像８０は、ライトバルブ３２２を通過する光によって形成される。したがって、投射座標系は画像処理部３７から投射部３２に供給される画像信号によって表現される画像の座標系である。また、表示面１０１の座標系として、互いに直交するＷ軸およびＺ軸で定められる表示座標系が設定される。

撮像部３１によって撮像された撮像画像に基づいて電子ペン２の軌跡は検出されるので、電子ペン２の軌跡は撮像座標系で与えられる。一方、プロジェクター３の投射画像８０に含まれるオブジェクトは投射座標系で規定される。電子ペン２の軌跡を投射画像８０のオブジェクトに含ませるためには、撮像座標系から投射座標系への変換が必要となる。

また、上述したようにプロジェクターシステム１００では、投射画像８０に含まれる複数のオブジェクト８０１のうち、携帯端末４が表示面１０１に近接または接触した箇所に位置するオブジェクトのオブジェクトデータをプロジェクター３から携帯端末４に転送する。そのために、携帯端末４の表示面１０１の位置を表示座標系で検出し、検出された位置を投射座標系に変換し、変換された座標に位置するオブジェクトを特定する必要がある。
プロジェクター３は、撮像座標系を投射座標系に変換する座標変換機能と、表示座標系を投射座標系に変換する座標変換機能とを有する。

光源駆動部３３１は、光源３２１を駆動する駆動回路である。また、ライトバルブ駆動部３３２は、ライトバルブ３２２を駆動する回路である。レンズ駆動部３３３は、投射光学部３２３の拡大率等を変更する回路である。

操作部３４は、プロジェクター３の外装に設けられ、ユーザーの指示を受けるボタンまたはタッチパネルを有する。例えば、ユーザーによる操作部３４の操作を受けると、上述の光源駆動部３３１は光源３２１を発光させる。なお、操作部３４は、例えばリモートコントローラーであってもよい。

通信部３５は、スクリーン１、携帯端末４、および外部装置５のそれぞれと、インターネットまたは無線ＬＡＮ等のネットワークを介してデータの送受信を行う。通信部３５は、ネットワークインターフェースを含んで構成される。

記憶部３６は、後述する制御部３８が読取可能な記録媒体であり、複数のプログラムおよびデータを記憶する。記憶部３６は、例えば、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）等の記憶回路の１種類以上で構成される。記憶部３６は、後述する画像処理に関する画像処理プログラム３６１を記憶する。また、記憶部３６は、通信部３５によって受信される画像データを記憶する。また、記憶部３６は、撮像部３１が出力する撮像座標系における座標（ｕ，ｖ）と投射部３２が表示する投射画像８０の投射座標系における座標（ｘ，ｙ）の間の座標変換式、およびスクリーン１の表示面１０１の表示座標系における座標（ｗ、ｚ）と投射画像８０の投射座標系における座標（ｘ，ｙ）との間の座標変換式等を記憶する。

画像処理部３７は、例えばＣＰＵ（Central Processing Unit）等のプロセッサーであり、記憶部３６に記憶される画像データに基づいて画像信号を生成する。画像処理部３７が生成する画像信号に基づいて、上述のライトバルブ駆動部３３２がライトバルブ３２２を駆動する。

制御部３８は、例えばＣＰＵ（Central Processing Unit）等のプロセッサーである。制御部３８は、記憶部３６に記憶される画像処理プログラム３６１を実行することにより、撮像制御部３８１、投射制御部３８２、ペン位置生成部３８３、「位置生成部」としての端末位置生成部３８４、オブジェクト特定部３８５、および画像データ生成部３８６として機能する。

撮像制御部３８１は、上述の撮像部３１による撮像を制御する。撮像制御部３８１の制御により、上述の撮像部３１が表示面１０１を繰り返し撮像して撮像画像を時系列で生成する。

投射制御部３８２は、上述の光源駆動部３３１、ライトバルブ駆動部３３２、およびレンズ駆動部３３４のそれぞれの駆動を制御する。投射制御部３８２の制御の下、光源駆動部３３１およびレンズ駆動部３３４のそれぞれが駆動するとともに、画像処理部３７が生成する画像信号に基づいてライトバルブ駆動部３３２が駆動することで、投射部３２は、投射画像８０を表示面１０１に表示させる。

ペン位置生成部３８３は、撮像座標系と投射座標系との間の座標変換式を用いて、撮像座標系でのペン先の位置を投射画像８０の投射座標系のペン先の位置に変換する。

端末位置生成部３８４は、表示座標系と投射座標系との間の座標変換式を用いて、表示座標系で与えられる携帯端末４の位置である接触位置Ｐ１を投射座標系での携帯端末４の位置である端末位置Ｐ８に変換する。また、端末位置生成部３８４は、端末位置P８を示す端末位置情報を生成する。接触位置Ｐ１は表示面１０１における携帯端末４の位置であり、端末位置Ｐ８は投射画像８０内における携帯端末４の位置である。この変換により、表示面１０１に近接または接触する携帯端末４が投射画像８０内のどこに対応しているかが分かる。

オブジェクト特定部３８５は、端末位置生成部３８４により求められる端末位置Ｐ８と表示画像データとに基づいて、投射画像８０に含まれる複数のオブジェクト８０１のうち端末位置Ｐ８に対応するオブジェクト８０１のオブジェクトデータを特定する。また、オブジェクト特定部３８５は、オブジェクトデータを特定するために、端末位置Ｐ８に対応するオブジェクト特定範囲Ａ８を決定する。なお、オブジェクト特定範囲Ａ８は、後述する画像処理で説明する。

画像データ生成部３８６は、ペン位置生成部３８３により求められる投射座標系での電子ペン２の位置と記憶部３６に記憶される画像データとに基づいて、電子ペン２の軌跡を含む投射画像８０の表示画像データを生成する。表示画像データは、一または複数のオブジェクトデータから構成される。各オブジェクトデータは、オブジェクトの内容と投射画像８０のどの位置に表示すべきかを規定する。第１のオブジェクトが写真である場合、第１のオブジェクトを示す第１のオブジェクトデータは、例えば、ＪＰＥＧ形式のデータであり、且つ、第１のオブジェクトの表示範囲を投射座標系で表した位置を有する。また、第２のオブジェクトがテキストである場合、第２のオブジェクトを示す第２のオブジェクトデータは、テキストを示すテキストデータであり、且つ第２のオブジェクトの表示範囲を投射座標系で表した位置を有する。したがって、投射座標系の座標を特定すれば、表示画像データに基づいて、特定された座標を表示範囲に含むオブジェクトデータを特定できる。

また、画像データ生成部３８６は、オブジェクト特定部３８５により特定されるオブジェクトデータと表示画像データとに基づいて、投射画像８０の表示画像データから特定されるオブジェクトデータを除く切取処理後画像データを生成する。さらに、画像データ生成部３８６は、通信部３５が受信する携帯端末４からのオブジェクトデータと表示画像データとに基づいて、当該オブジェクトデータが追加される貼付処理後画像データを生成する。なお、画像データ生成部３８６が生成する表示画像データ、切取処理後画像データ、および貼付処理後画像データは、記憶部３６に記憶される。

１−１ｃ．携帯端末
携帯端末４は、上述のように、例えばスマートフォンまたはタブレット端末等の可搬型の情報端末であり、ユーザーが所持する情報端末である。また、携帯端末４は、ネットワーク通信部４１と、近距離無線通信部４２と、記憶部４３と、制御部４４と、を有する。

ネットワーク通信部４１は、ネットワークインターフェースを含んで構成され、プロジェクター３とインターネットまたは無線ＬＡＮ等のネットワークを介してデータの送受信を行う。近距離無線通信部４２は、近距離無線タグで構成され、後述するスクリーン１の検出部１１と近距離無線を介して通信を行う。近距離無線タグは、数ｃｍ程度の通信可能範囲を有し、例えば、ＮＦＣ（Near Field Communication）またはＩＳＯ／ＩＥＣ１４４４３等に対応した非接触の電子タグである。

記憶部４３は、制御部４４が読取可能な記録媒体である。記憶部４３は、後述する画像処理に関する画像処理アプリケーション４３１を記憶する。制御部３８は、例えばＣＰＵ（Central Processing Unit）等のプロセッサーであり、画像処理アプリケーション４３１を実行することにより、プロジェクター３に対して画像処理に関する指示ができる。

１−１ｄ．スクリーン
スクリーン１は、検出部１１を有する。検出部１１は、表示面１０１に接近または接触する携帯端末４の位置を検出して、表示座標系における携帯端末４の接触位置Ｐ１の情報を出力する。

図３は、図１に示すスクリーン１が有する検出部１１を説明するための図である。図３に示すように、スクリーン１に設けられる検出部１１は、複数の読取器１１１を有する。読取器１１１は、例えば、アンテナを備えるＬＳＩ（Large Scale Integration）で構成され、携帯端末４の近距離無線通信部４２と通信可能な電子タグリーダーである。したがって、読取器１１１は、数ｃｍ程度の通信可能範囲の電子タグと通信可能である。携帯端末４が読取器１１１に通信可能範囲内に近づくことにより、検出部１１は、携帯端末４の接近または接触を検出する。

複数の読取器１１１は、表示面１０１に沿って行列状に並び、表示面１０１のほぼ全域に配置される。図３に示す点線の外枠は、行列状に配列される複数の読取器１１１の範囲を示している。なお、これら複数の読取器１１１は、１つのカバーで覆われており、当該カバーの外表面が表示面１０１を構成する。表示面１０１には、表示座標系が定められており、行列状に分割される座標（ｗ，ｚ）が設定される。そして、複数の読取器１１１は、表示面１０１の座標（ｗ，ｚ）に対応して配置される。

また、投射画像８０は点線の外枠に対応するように表示される。そのために、キャリブレーションが実行される。キャリブレーションは、例えば、以下のように実行される。まず、表示面１０１には、外枠の四隅にマーカーＭ１〜Ｍ４が設けられている。画像処理部３７は投射画像８０として予め定められた基準画像を表示面１０１に表示させる。基準画像は、例えば、格子の画像である。撮像部３１は表示面１０１に表示される基準画像を撮像する。撮像部３１によって撮像された画像にはマーカーＭ１〜Ｍ４が含まれている。制御部３８は撮像された画像のどの箇所にマーカーＭ１〜Ｍ４が位置するかを特定する。制御部３８は、特定結果に基づいて、表示座標系と撮像座標系との関係を示す座標変換式を生成する。

また、制御部３８は、撮像された基準画像に基づいて、投射座標系と撮像座標系との関係を示す座標変換式を生成する。具体的には、撮像された基準画像の格子点の位置に基づいて投射座標系と撮像座標系との関係を示す座標変換式を生成する。
さらに、画像処理部３７は、撮像された基準画像の四隅がマーカーＭ１〜Ｍ４の位置に近づくように画像処理を施してもよい。

複数の読取器１１１のうち携帯端末４が近接する読取器１１１は、携帯端末４と通信接続される。読取器１１１と携帯端末４との通信接続とは、いわゆるペアリングを意味し、情報の送信および受信が可能になる状態を指す。読取器１１１は携帯端末４と通信接続されると、携帯端末４が近接したこと示す検出信号を出力する。検出部１１は、各読取器１１１から出力される検出信号に基づいて、複数の読取器１１１のうち、どの読取器１１１が検出信号を出力したかを特定することで、検出部１１は、携帯端末４の表示面１０１の座標（ｗ，ｚ）を求めることができる。具体的には、検出部１１は、読取器１１１を一意に識別する識別情報と読取器１１１の座標とを対応付けて記憶するテーブルを備えており、検出信号を出力する読取器１１１の識別情報に対応する座標をテーブルから読み出すことによって携帯端末４の端末位置Ｐ８を取得する。

また、読取器１１１は、近距離無線を用いて携帯端末４と通信接続すると、携帯端末４から端末情報を受信する。端末情報は、携帯端末４のサイズ、特に携帯端末４の表示画面のサイズに関する情報、携帯端末４からの後述する画像処理の指示に関する通知、および携帯端末４のネットワーク情報を含む。ネットワーク情報は、携帯端末４とプロジェクター３との間でオブジェクトデータ等の大容量のデータを通信する場合に、Wi-FiまたはBluetoothなどを用いて携帯端末４とプロジェクター３とをペアリングして通信接続を確立するために必要な情報である。なお、「Wi-Fi」および「Bluetooth」は、各々登録商標である。

また、検出部１１は、ネットワークを介して端末情報をプロジェクター３に送信可能に構成される。なお、検出部１１とプロジェクター３とは有線接続であってもよい。また、上述の複数の読取器１１１の配置は行列状でなくてもよい。また、複数の読取器１１１は、表示面１０１の全域でなく、一部のみに配置されてもよい。複数の読取器１１１が配置される範囲は、表示面１０１に表示される投射画像８０と一部または全部が重なる。

１−２．プロジェクターによる画像処理方法
次に、プロジェクター３による画像処理方法の一例について説明する。以下で説明する画像処理は、オブジェクト８０１を投射画像８０から切り取る切取処理と、オブジェクト８０１を投射画像８０に貼り付けるような貼付処理と、を有する。また、画像処理は、ユーザーによる操作部３４の操作を受けて、制御部３８が記憶部３６に記憶される画像処理プログラム３６１を読み出して実行することにより実現される。

１−２Ａ．切取処理
まず、表示処理方法のうち切取処理を説明する。図４は、第１実施形態における画像処理方法の切取処理を説明するためのフローチャートである。また、以下では、図２のブロック図、図４のフローチャート、および、図５〜図１０を参照しつつ説明する。

図４に示すステップＳ１１において、投射部３２は、表示面１０１に投射画像８０を表示させる。

図５は、ステップＳ１１における投射画像８０の一例を示す図である。投射制御部３８２の制御の下、光源駆動部３３１およびレンズ駆動部３３４のそれぞれが駆動するとともに、画像処理部３７が生成する画像信号に基づいてライトバルブ駆動部３３２が駆動することで、投射部３２は投射画像８０を表示面１０１に表示させる。また、撮像制御部３８１の制御の下で、撮像部３１が、表示面１０１に電子ペン２の光を撮像し、ペン位置生成部３８３が、撮像座標系でのペン先の位置から投射座標系でのペン先の位置を生成する。そして、画像データ生成部３８６が、電子ペン２の軌跡を含む投射画像８０の表示画像データを生成し、上述と同様にして投射部３２が、電子ペン２の軌跡を含む投射画像８０を表示面１０１に表示させる。

図４に示すステップＳ１２において、制御部３８は通信部３５がスクリーン１の検出部１１から携帯端末４の接触位置Ｐ１の情報および端末情報を受信したかを判定する。

図６は、ステップＳ１２において表示面に携帯端末が接近または接触する状態を示す図である。図６に示すように表示面１０１に携帯端末４が接近または接触すると、複数の読取器１１１のうち携帯端末４が接近する読取器１１１は、携帯端末４と通信接続する。図７は、ステップＳ１２における表示面１０１における携帯端末４の表示面１０１での接触位置Ｐ１を示す図である。検出部１１は、携帯端末４と通信接続される読取器１１１を特定して、表示座標系における携帯端末４の接触位置Ｐ１の位置を求める。具体的には、接触位置Ｐ１の座標（ｗ，ｚ）を求める。そして、検出部１１は、接触位置Ｐ１の情報と、携帯端末４から近距離無線を介して受信される端末情報とをプロジェクター３に送信する。端末情報は、携帯端末４の位置に対応するオブジェクト８０１のオブジェクトデータの送信を要求する送信要求を含む。

図４に示すステップＳ１３において、端末位置生成部３８４は、ステップＳ１２で受信される携帯端末４の接触位置Ｐ１の情報に基づいて端末位置Ｐ８の端末位置情報を生成する。

図８は、ステップＳ１３における携帯端末４の投射画像８０での端末位置Ｐ８を示す図である。端末位置生成部３８４は、図７に示す表示座標系における接触位置Ｐ１から図８に示す投射座標系における端末位置Ｐ８を生成する。具体的には、表示面１０１の座標系における座標（ｗ，ｚ）と投射画像８０の座標系における座標（ｘ，ｙ）との間の座標変換式を用いて、接触位置Ｐ１の座標（ｗ，ｚ）を、端末位置Ｐ８の座標（ｘ，ｙ）に変換する。

図４に示すステップＳ１４において、オブジェクト特定部３８５は、ステップＳ１３で生成される端末位置Ｐ８に対応するオブジェクト特定範囲Ａ８を決定する。

図９は、ステップＳ１４におけるオブジェクト特定範囲Ａ８を示す図である。オブジェクト特定部３１５は、ステップＳ１２で受信する携帯端末４のサイズと、ステップＳ１３で生成される投射座標系における端末位置Ｐ８とを基にして、オブジェクト特定範囲Ａ８を決定する。オブジェクト特定範囲Ａ８は、例えば、端末位置Ｐ８を中心として携帯端末４のサイズと同等のサイズで設定される。なお、オブジェクト特定範囲Ａ８のサイズはこれに限定されず、任意である。

図４に示すステップＳ１５において、オブジェクト特定部３８５は、ステップＳ１４で求められるオブジェクト特定範囲Ａ８に位置するオブジェクト８０１のオブジェクトデータを特定する。オブジェクト特定部３８５は、オブジェクト特定範囲Ａ８と一部または全部が重なるオブジェクトデータを、表示画像データに基づいて特定する。

ステップＳ１６において、通信部３５は、ステップＳ１５で特定されるオブジェクトデータを携帯端末４に送信する。通信部３５は、端末情報に含まれるネットワーク情報を用いて、携帯端末４のネットワーク通信部４１との間でWi-FiまたはBluetoothなどのデータ通信を確立した後、オブジェクトデータを携帯端末４に送信する。なお、通信部３５はステップＳ１６で携帯端末４とデータ通信を確立するが、データ通信の確立はステップＳ１６より前であればステップＳ１３、Ｓ１４およびＳ１５と並列して行ってもよい。

ステップＳ１７において、画像データ生成部３８６は、ステップＳ１５で特定されるオブジェクトデータと表示画像データとに基づいて、投射画像８０の表示画像データからオブジェクトデータを除く切取処理後画像データを生成する。

ステップＳ１８において、投射部３２は、投射制御部３８２の制御の下、ステップＳ１６で生成される切取処理後画像データに基づく切取処理後画像８０ａを表示面１０１に表示させる。

図１０は、ステップＳ１８における切取処理後画像８０ａを示す図である。投射部３２は、切取処理後画像８０ａを表示面１０１に表示させ、携帯端末４には、オブジェクト８０１が表示される。切取処理後画像８０ａでは、携帯端末４に送信させるオブジェクトデータに対応するオブジェクト８０１が除かれる。以上によりオブジェクト切取処理が終了する。

１−２Ｂ．貼付処理
次に、画像処理方法のうち貼付処理を説明する。図１１は、第１実施形態における画像処理方法の貼付処理を説明するためのフローチャートである。また、以下では、図２のブロック図、図１１のフローチャート、および、図１２〜図１５を参照しつつ説明する。また、以下では、上述の切取処理と同様の内容については簡単に説明する。

図１１に示すステップＳ２１において、投射部３２は、投射光ＬＬを投射して表示面１０１に投射画像８０ｂを表示させる。

ステップＳ２２において、通信部３５がスクリーン１の検出部１１から携帯端末４の接触位置Ｐ１の情報および端末情報を受信したかを判定する。端末情報には、携帯端末４からのオブジェクト８０１を貼り付けることを要求する貼付要求が含まれる。

図１２は、ステップＳ２２において表示面１０１に携帯端末４が接近または接触する状態を示す図である。図１２に示すように表示面１０１に携帯端末４が接近または接触すると、複数の読取器１１１のうち携帯端末４が接近または接触する読取器１１１は、携帯端末４との通信を確立する。図１３は、ステップＳ２２における携帯端末４の表示面１０１での接触位置Ｐ１を示す図である。検出部１１は、携帯端末４との通信する読取器１１１を特定して、表示座標系における携帯端末４の接触位置Ｐ１の位置を求める。

図１１に示すステップＳ２３において、端末位置生成部３８４は、ステップＳ２２で受信される携帯端末４の接触位置Ｐ１の情報に基づいて端末位置Ｐ８の端末位置情報を生成する。

図１４は、ステップＳ２３における携帯端末４の投射画像８０ｂでの端末位置を示す図である。端末位置生成部３８４は、図１２に示す表示座標系における接触位置Ｐ１から図１３に示す投射座標系における端末位置Ｐ８を生成する。

図１１に示すステップＳ２４において、通信部３５は、ステップＳ２３で特定されるオブジェクトデータを携帯端末４から受信する。通信部３５は、端末情報に含まれるネットワーク情報を用いて、Wi-FiまたはBluetoothなどのデータ通信を携帯端末４のネットワーク通信部４１との間で確立した後、オブジェクトデータを携帯端末４から受信する。なお、通信部３５はステップＳ２５で携帯端末４とデータ通信を確立するが、データ通信の確立はステップＳ２５より前であればステップＳ２３およびＳ２４と並列して行ってもよい。

ステップＳ２５において、画像データ生成部３８６は、投射画像８０の画像データにオブジェクトデータが追加される貼付処理後画像データを生成する。画像データ生成部３８６は、ステップＳ２３で生成される端末位置Ｐ８とステップＳ２４で受信されるオブジェクトデータと表示画像データとに基づいて、貼付処理後画像データを生成する。

ステップＳ２６において、投射部３２は、投射制御部３８２の制御の下、ステップＳ２５で生成される貼付処理後画像データに基づく貼付処理後画像８０ｃを表示面１０１に表示させる。

図１５は、ステップＳ２６における貼付処理後画像８０ｃを示す図である。投射部３２は、貼付処理後画像８０ｃを表示面１０１に表示させ、携帯端末４の表示画面においてオブジェクト８０１が非表示となる。貼付処理後画像８０ｃでは、携帯端末４から受信されるオブジェクトデータに対応するオブジェクト８０１が追加される。以上によりオブジェクト貼付処理が終了する。

以上がプロジェクターシステム１００の構成およびプロジェクターシステム１００による画像処理の一例である。上述のように、「表示装置」の一例であるスクリーン１とプロジェクター３とはプロジェクターシステム１００の一部である。プロジェクター３は、「表示部」としての投射部３２と、「位置生成部」としての端末位置生成部３１４と、オブジェクト特定部３１５と、「送信部」の機能を有する通信部３５と、を有する。投射部３２は、表示画像データに基づく一または複数のオブジェクト８０１を含む「画像」として投射画像８０を表示面１０１に表示する。端末位置生成部３１４は、表示面１０１に近接または接触する携帯端末４の位置を示す情報を、投射画像８０内における端末位置Ｐ８を示す端末位置情報として生成する。オブジェクト特定部３１５は、表示画像データおよび端末位置情報に基づいて、端末位置Ｐ８に対応するオブジェクト８０１に関するオブジェクトデータを特定する。通信部３５は、オブジェクトデータを携帯端末４に送信する。

かかるプロジェクター３によれば、投射画像８０における端末位置Ｐ８に対応するオブジェクト８０１を特定し、当該オブジェクト８０１に関するオブジェクトデータを携帯端末４に送信できる。したがって、表示装置に一または複数のオブジェクトが表示されている場合に、所望のオブジェクトを携帯端末４において取得できる。すなわち、本実施形態によれば、ユーザーは、表示面１０１において携帯端末４を所望のオブジェクト８０１に近づけるような動作をするだけで、投射画像８０中の所望のオブジェクト８０１についてオブジェクトデータを取得できる。くわえて、紙の付箋を剥がす動作と同様の動作を電子環境で実現でき、ユーザーのオブジェクトデータの取り扱いに関する利便性を高めることができる。

さらに、本実施形態では、投射画像８０ｂにおける携帯端末４の接触位置Ｐ１を投射画像８０ｂにおける端末位置Ｐ８に変換して、携帯端末４から受信するオブジェクトデータを投射画像８０ｂにおける端末位置Ｐ８に表示できる。そのため、ユーザーは、携帯端末４を表示面１０１の所望の箇所に近づけるような動作をするだけで、携帯端末４に記憶されるオブジェクト８０１を投射画像８０ｂ上に表示させることができる。つまり、紙の付箋を貼り付ける動作と同様の動作を電子環境で実現できる。それゆえ、かかるプロジェクター３によれば、紙の付箋を剥がしたり貼ったりするという紙の付箋の持つ利便性を電子環境で実現でき、ユーザーのオブジェクトデータの取り扱いに関する利便性を高めることができる。

また、上述のように表示装置は、スクリーン１を有する。スクリーン１は、表示面１０１における携帯端末４の位置である接触位置Ｐ１を検出する検出部１１を有する。そして、上述の端末位置生成部３１４は、表示面１０１と表示面１０１に表示される投射画像８０との位置関係に基づいて、検出部１１から出力される表示面１０１に接触する携帯端末４の位置を示す情報を、端末位置Ｐ８の端末位置情報に変換する。

プロジェクターシステム１００が検出部１１および端末位置生成部３１４を有することで、表示面１０１における携帯端末４の接触位置Ｐ１を投射画像８０における携帯端末４の端末位置Ｐ８に変換できるので、表示座標系における座標を投射座標系における座標に変換することができる。表示画像データは投射座標系で規定されるので、オブジェクト特定部３１５は表示画像データに基づいてオブジェクトデータを特定できる。

また、検出部１１は携帯端末４と近距離無線通信することにより表示面１０１における携帯端末４の接触位置Ｐ１を検出する。つまり、上述のように検出部１１は、複数の読取器１１１を有し、読取器１１１が近距離無線による通信接続することにより携帯端末４の表示面１０１への近接または接触を検出する。読取器１１１を用いることで、携帯端末４の近接または接触を簡単に検知できる。また、読取器１１１を用いることで、携帯端末４の近接または接触を検出することに加え、携帯端末４の端末情報を受信することができる。そのため、別途端末情報を受信する手間を省くことができる。

また、本実施形態では、検出部１１は、読取器１１１を用いる方法以外の方法で携帯端末４の接触を検出してもよい。例えば、検出部１１は、表示面１０１と携帯端末４との接触を検知することにより表示面１０１における携帯端末４の位置を検出する静電容量方式の感圧センサーを用いることができる。感圧センサーを用いることで携帯端末４の接触を簡単に検出できる。なお、感圧センサーを用いる場合、スクリーン１と携帯端末４とは、近距離無線を介して通信可能となっていなくてよい。

また、上述のように、画像データ生成部３１６は、表示画像データからオブジェクトデータを除く「第２表示画像データ」としての切取処理後画像データを生成する。「表示部」としての投射部３２は、処理後画像データに基づいて、投射画像８０から端末位置Ｐ８に対応するオブジェクト８０１を除く「第２画像」としての切取処理後画像８０ａを表示する。

オブジェクト８０１を除く切取処理後画像８０ａが表示されることで、ユーザーは直観的にオブジェクト８０１のオブジェクトデータの切取処理を実行されることが解る。これにより、ユーザーは所望のオブジェクトに関するオブジェクトデータが携帯端末４に転送されることを認識できる。

また、オブジェクト特定部３１５は、携帯端末４のサイズに応じて端末位置Ｐ８に対応するオブジェクト特定範囲Ａ８を決定し、オブジェクト特定範囲Ａ８と一部または全部が重なるオブジェクトを特定する。

オブジェクト特定範囲Ａ８を特定することで、オブジェクト特定範囲Ａ８を特定しない場合に比べ、より広範な範囲でオブジェクト８０１を特定できるので、ユーザーが適当にオブジェクト８０１に携帯端末４を接触させてもオブジェクト８０１の切取処理を高精度に行うことができる。

以上が本実施形態におけるプロジェクターシステム１００および画像処理である。なお、本実施形態では、１つの読取器１１１が携帯端末４と接近するが、複数の読取器１１１が携帯端末４と接触または接近してもよい。すなわち、検出部１１は、複数の読取器１１１との近接を検出してもよい。

２．第２実施形態
次に、本発明の第２実施形態について説明する。図１６は、第２実施形態における切取処理のステップＳ１２において表示面に携帯端末が接触する状態を示す図である。図１７は、第２実施形態における切取処理のステップＳ１３において端末位置およびオブジェクト特定範囲を示す図である。図１８は、第２実施形態における切取処理のステップＳ１７における処理後画像を示す図である。

本実施形態は、主に、画像処理において複数のオブジェクトデータが特定されること以外は、第１実施形態と同様である。なお、以下の説明では、第２実施形態に関し、第１実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図１６、図１７および図１８において、第１実施形態と同様の構成については、同一符号を付す。

図１６に示すように、ユーザーが複数のオブジェクト８０１に対して携帯端末４を接近または接触させる場合、プロジェクター３は、当該複数のオブジェクト８０１のオブジェクトデータを携帯端末４に送信する。

切取処理のステップＳ１５において、図１７に示すようにオブジェクト特定範囲Ａ８内に、第１のオブジェクト８０１ｄと第２のオブジェクト８０１ｅとが有る場合、オブジェクト特定部３８５は、第１のオブジェクト８０１ｄおよび第２のオブジェクト８０１ｅを含む１つのオブジェクトデータを特定する。より具体的には、オブジェクト特定部３８５は、第１のオブジェクト８０１ｄに関する第１のオブジェクトデータと第２のオブジェクト８０１ｅに関する第２のオブジェクトデータとを含む第３のオブジェクトデータを生成し、第３のオブジェクトデータをオブジェクトデータとして特定する。例えば、第１のオブジェクト８０１ｄが写真であり、第２のオブジェクト８０１ｅがテキストである場合、写真とテキストを含む第３のオブジェクトデータが生成される。

また、ステップＳ１６において、通信部３５は、第３のオブジェクトデータを携帯端末４に送信し、ステップＳ１７において、画像データ生成部３８６は、第３のオブジェクトデータを除く切取処理後画像データを生成する。そして、ステップＳ１８において、投射部３２は、図１８に示すように、当該切取処理後画像データに基づく切取処理後画像８０ｄを表示面１０１に表示させる。

第１のオブジェクト８０１ｄおよび第２のオブジェクト８０１ｅを１つのオブジェクトデータとして携帯端末４に送信することで、ユーザーは、第１のオブジェクト８０１ｄおよび第２のオブジェクト８０１ｅを表示画面で一括して視認できる。また、１つのオブジェクトデータとして取り扱うことができて利便性にも優れる。

また、切取処理のステップＳ１５において、オブジェクト特定部３１５は、第１のオブジェクト８０１ｄに関する第１のオブジェクトデータと第２のオブジェクト８０１ｅに関する第２のオブジェクトデータとをそれぞれ個別に特定することも可能である。そして、ステップＳ１６において、通信部３５は、第１のオブジェクトデータと第２のオブジェクトデータとを携帯端末４に送信する。

第１のオブジェクト８０１ｄおよび第２のオブジェクト８０１ｅをそれぞれ個別のオブジェクトデータとして携帯端末４に送信することで、ユーザーは、第１のオブジェクト８０１ｄおよび第２のオブジェクト８０１ｅを個別に使用できる。

さらに、オブジェクト特定部３１５は、第１のオブジェクト８０１ｄおよび第２のオブジェクト８０１ｅを１つのオブジェクトデータとして特定することと、それぞれ個別のオブジェクトデータとして特定することを選択できる。また、オブジェクト特定部３１５は、この選択をユーザーの携帯端末４を用いた指示を受けて行う。そのため、ユーザーにとってオブジェクトデータの使い勝手を高めることができる。

なお、貼付処理についても上述の切取処理と同様のことが言える。

本実施形態によっても、第１実施形態と同様に、紙の付箋を剥がす動作と同様の動作を電子環境で実現でき、ユーザーの利便性を高めることができる。

３．第３実施形態
次に、本発明の第３実施形態について説明する。図１９は、第３実施形態におけるプロジェクターシステムを示すブロック図である。図２０は、第３実施形態における携帯端末が表示面に接触する状態を説明するための図である。

本実施形態は、主に、プロジェクター３Ａが撮像部３１で撮像された撮像画像に基づいて端末位置Ｐ８を生成こと以外は、第１実施形態と同様である。なお、以下の説明では、第３実施形態に関し、第１実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図１９および図２０において、第１実施形態と同様の構成については、同一符号を付す。

図１９に示すプロジェクターシステム１００Ａでは、プロジェクター３Ａの撮像部３１は、表示面１０１に接近または接触する携帯端末４Ａを撮像する。撮像部３１は、携帯端末４Ａの撮像において、可視光の波長領域において感度を有する。

端末位置生成部３８４Ａは、撮像部３１で撮像された撮像画像に基づいて端末位置Ｐ８を生成する。具体的には、端末位置生成部３８４Ａはスクリーン１Ａに近接または接触する携帯端末４Ａを画像認識し、撮像座標系と投射座標系との間の座標変換式を用いて、撮像画像における携帯端末４の位置を投射画像８０の座標系での端末位置Ｐ８に変換する。

携帯端末４Ａの制御部４４が画像処理アプリケーション４３１Ａを実行することにより、図２０に示すような携帯端末４Ａの表示画面に端末情報を示す指示画像４０が表示される。指示画像４０は、例えば、ＱＲコード等の２次元コードの画像である。ＱＲコードは登録商標である。プロジェクター３Ａの制御部３８は、撮像部３１によって撮像された指示画像４０を解析して端末情報を取得する。例えば、ＱＲコードから端末情報が生成される。なお、携帯端末４Ａは、第１実施形態における近距離無線通信部４２を有さない。

図１９に示すスクリーン１Ａは、第１実施形態における検出部１１を有しておらず、例えば、表示面１０１を有する垂幕またはホワイトボード等で構成される。

本実施形態では、撮像部３１で撮像された撮像画像に基づいて端末位置Ｐ８が生成されるので、携帯端末４Ａが近距離無線通信部４２を有さず、さらにスクリーン１が検出部１１を備えなくても、携帯端末４の端末位置Ｐ８を生成できる。加えて、端末位置Ｐ８を生成するためにキャリブレーションに用いる撮像部３１を兼用できる。よって、本実施形態によれば、簡易な構成で、投射部３２とスクリーン１を備える表示装置に一または複数のオブジェクトが表示されている場合、所望のオブジェクトを携帯端末４Ａにおいて取得できる。そして、本実施形態によっても、第１実施形態と同様に、紙の付箋を剥がす動作と同様の動作を電子環境で実現でき、ユーザーの利便性を高めることができる。

４．変形例
本発明は、上述した実施形態に限定されるものではなく、例えば、次に述べるような各種の変形が可能である。また、次に述べる変形の態様の中から任意に選択された一または複数の変形を適宜組み合わせることもできる。

４−１．変形例１
上述した実施形態では、表示装置として投射部３２とスクリーン１とを例示したが、表示装置はこれに限定されない。例えば、タッチ機能を有する表示パネルを用いてよい。表示パネルとしては、液晶パネルまたは有機ＥＬパネルを用いることができる。この場合、表示パネルの表示面１０１に携帯端末４が接触すると、表示パネルは携帯端末４の表示面１０１における接触位置Ｐ１を出力する。また、接触位置Ｐ１は表示される画像における位置を示しているので、接触位置Ｐ１は端末位置Ｐ８と一致する。

４−２．変形例２
オブジェクト特定部３１５は、携帯端末４のサイズと端末位置Ｐ８とを基にして、オブジェクト特定範囲Ａ８を決定したが、オブジェクト特定範囲Ａ８は端末位置Ｐ８そのものであってもよい。この場合、オブジェクト特定部３１５は、表示範囲に端末位置Ｐ８を含むオブジェクトデータを特定する。

４−３．変形例３
上述した実施形態では、撮像座標系から投射座標系への座標変換および表示座標系から投射座標系への座標変換には、座標変換式を用いたが、座標変換できるのであればどのような方法を採用してもよい。例えば、撮像座標系の座標と投射座標系の座標とを対応付けて記憶する第１のテーブルと、表示座標系の座標と投射座標系の座標とを対応付けて記憶する第２のテーブルとを用いて、座標変換してもよい。要は、端末位置生成部３８４は、表示面１０１と表示面１０１に表示される投射画像８０との位置関係に基づいて、検出部１１から出力される表示面１０１における携帯端末４の位置を、投射画像８０内における端末位置Ｐ８に変換すればよい。

１…スクリーン、２…電子ペン、３…プロジェクター、４…携帯端末、５…外部装置、１１…検出部、３１…撮像部、３２…投射部、３５…通信部、３８…制御部、４１…ネットワーク通信部、４２…近距離無線通信部、８０…投射画像、８０ａ…切取処理後画像、１００…プロジェクターシステム、１０１…表示面、１１１…読取器、３１４…端末位置生成部、３１５…オブジェクト特定部、３８４…端末位置生成部、８０１…オブジェクト、８０１ｄ…第１のオブジェクト、８０１ｅ…第２のオブジェクト、Ａ８…オブジェクト特定範囲、Ｐ８…端末位置。

Claims (10)

1. 表示画像データに基づく一または複数のオブジェクトを含む画像を表示面に表示する表示部と、
   前記表示面に接触する携帯端末の位置を示す情報を、前記画像内における端末位置を示す端末位置情報として生成する位置生成部と、
   前記表示画像データおよび前記端末位置情報に基づいて、前記端末位置に対応するオブジェクトに関するオブジェクトデータを特定するオブジェクト特定部と、
   前記オブジェクトデータを前記携帯端末に送信する送信部と、
   を備える表示装置。
2. 前記表示面における前記携帯端末の位置を検出する検出部をさらに有し、
   前記位置生成部は、前記表示面と前記表示面に表示される前記画像との位置関係に基づいて、前記検出部から出力される前記表示面に接触する前記携帯端末の位置を示す情報を、前記端末位置情報に変換する請求項１に記載の表示装置。
3. 前記検出部は、前記携帯端末と近距離無線通信することにより前記表示面における前記携帯端末の位置を検出する請求項２に記載の表示装置。
4. 前記検出部は、前記表示面と前記携帯端末との接触を検知することにより前記表示面における前記携帯端末の位置を検出する請求項２に記載の表示装置。
5. 前記携帯端末を撮像する撮像部を有し、
   前記位置生成部は、前記撮像部で撮像された撮像画像に基づいて、前記端末位置を生成する、
   請求項１に記載の表示装置。
6. 前記表示画像データから前記オブジェクトデータを除く第２表示画像データを生成する画像データ生成部をさらに有し、
   前記表示部は、前記第２表示画像データに基づいて、前記画像から前記端末位置に対応するオブジェクトを除く第２画像を表示する請求項１ないし５のいずれか１項に記載の表示装置。
7. 前記オブジェクト特定部は、前記携帯端末のサイズに応じて前記端末位置に対応するオブジェクト特定範囲を決定し、前記オブジェクト特定範囲と一部または全部が重なる前記オブジェクトを特定する請求項１ないし６のいずれか１項に記載の表示装置。
8. 前記オブジェクト特定部は、前記端末位置に対応して第１のオブジェクトと第２のオブジェクトとが有る場合、前記第１のオブジェクトに関する第１のオブジェクトデータと前記第２のオブジェクトに関する第２のオブジェクトデータとを含む第３のオブジェクトデータを生成し、前記第３のオブジェクトデータを前記オブジェクトデータとして特定する、請求項１ないし７に記載の表示装置。
9. 前記オブジェクト特定部は、前記端末位置に対応して第１のオブジェクトと第２のオブジェクトとが有る場合、前記第１のオブジェクトを示す第１のオブジェクトデータと、前記第２のオブジェクトを示す第２のオブジェクトデータとを特定し、
   前記送信部は、前記第１のオブジェクトデータと前記第２のオブジェクトデータとを送信する請求項１ないし７に記載の表示装置。
10. 表示画像データに基づく一または複数のオブジェクトを含む画像を表示面に表示し、
    前記表示面に接触する携帯端末の位置を示す情報を、前記画像内における端末位置を示す端末位置情報として生成し、
    前記表示画像データおよび前記端末位置情報に基づいて、前記端末位置に対応するオブジェクトに関するオブジェクトデータを特定し、
    前記オブジェクトデータを前記携帯端末に送信する、
    ことを特徴とする表示処理方法。
    

Images