JP2014059791A

JP2014059791A - 端末装置、および、画像表示システム

Info

Publication number: JP2014059791A
Application number: JP2012205352A
Authority: JP
Inventors: Satoru Kyogoku; 哲京極
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2012-09-19
Filing date: 2012-09-19
Publication date: 2014-04-03

Abstract

【課題】外部表示装置の表示部の表示画像上でユーザが指定した位置に対応する処理を適切に行う。
【解決手段】記憶部１７が、ユーザが指定した画面内の位置の情報を取得可能な外部表示装置における画面の解像度情報を記憶し、画像生成部１８ａが、画面の解像度情報に基づき、第１の画像に対応する第２の画像と第２の画像以外の第３の画像とを含み、外部表示装置の画面の解像度に応じた解像度の第４の画像を生成し、有線通信部１３が、第４の画像を外部表示装置に送信し、第４の画像が表示された外部表示装置の画面内においてユーザが指定した位置の情報を外部表示装置から受信し、位置判定部１８ｂが、前記位置が第２の画像の表示領域に含まれるのか、第３の画像の表示領域に含まれるのかを判定し、処理実行部１８ｃが、その判定結果に基づき、前記位置が第２の画像の表示領域に含まれるのか、第３の画像の表示領域に含まれるのかに応じて異なる処理を行う。
【選択図】図１

Description

本発明は、端末装置、および、画像表示システムに関し、詳しくは、画像を表示する端末装置、および、画像を表示する端末装置と、ユーザにより指定された画面内の位置の情報を取得可能な外部表示装置とからなる画像表示システムに関する。

近年、スマートフォンなどの携帯型の端末装置が急速に普及してきている。このような端末装置は、自ら映像を表示するとともに、外部表示装置にその映像を表示させる機能を備えている。

図９は、外部表示装置２０に映像を表示させる機能について説明する図である。端末装置１０と外部表示装置２０とは、例えば、ＨＤＭＩ（High-Definition Multimedia Interface、登録商標）ケーブル３０を介して接続される。図９の例では、端末装置１０の画面に表示された画像４０ａを拡大した画像４０ｂが、外部表示装置２０の画面に表示されている。

図９に示すように、端末装置１０の画面のアスペクト比と、外部表示装置２０の画面のアスペクト比とが異なる場合、アスペクト比を変えることなく、拡大後の画像４０ｂを外部表示装置２０の画面全体に表示することはできないので、端末装置１０は、画像４０ｂの両側に黒画像４０ｃ、４０ｄを付加した画像を生成し、その画像を外部表示装置２０に表示させることになる。

また、特許文献１にも、情報処理装置の表示部に表示された画像を外部表示装置の表示させる技術が開示されている。この技術では、情報処理装置の表示部に表示される画像と同一の表示向き、及び、同一のアスペクト比の映像を、外部表示装置の表示部に縮小表示させる。この場合、外部表示装置の表示部の画面における縮小表示された画像の左右の領域は、何も表示されない空白領域となる。

特開２００５−２４２０７４号公報

上述したように、図９や特許文献１の従来技術では、画像の両側に黒画像４０ｃ、４０ｄの領域や空白領域が生じることになるが、外部表示装置がタッチパネルからなる装置である場合に、それらの領域がユーザによりタッチされた際の処理については何ら考慮されていない。

また、端末装置１０と外部表示装置２０とでは画面上の位置の座標を決定する座標系が異なる。そのため、ユーザにより外部表示装置２０の画面に表示された画像４０ｃがタッチされ、タッチされた位置の座標値が端末装置１０に送信された場合に、思わぬ処理が実行される可能性がある。

例えば、図９に示した外部表示装置２０の画面に表示された黒画像４０ｃをユーザがタッチした場合、そのタッチ操作は無視されるべきであるが、端末装置１０において画像４０ａがタッチされた場合の処理と同様の処理（例えば、画像４０ａが地図画像である場合に、タッチされた位置の住所を表示する処理）が実行される可能性がある。

本発明は、上記実情に鑑み、端末装置の表示部に表示される画像と、その画像以外の画像とを含む画像が外部表示装置の表示部に表示され、外部表示装置の表示部に表示された画像内の位置がユーザにより指定された場合に、指定された位置に対応する処理を適切に実行することが可能な画像表示装置を提供することを目的とする。

上記課題を解決する為に、本発明の第１の技術手段は、第１の画像を表示する表示部を備える端末装置であって、ユーザにより指定された画面内の位置の情報を取得可能な外部表示装置の画面の解像度の情報を記憶する記憶部と、前記画面の解像度の情報に基づいて、前記第１の画像に対応する第２の画像と前記第２の画像以外の第３の画像とを含み、前記外部表示装置の画面の解像度に応じた解像度の第４の画像を生成する画像生成部と、前記第４の画像を前記外部表示装置に送信し、該第４の画像が表示された前記外部表示装置の画面内においてユーザにより指定された位置の情報を前記外部表示装置から受信する通信部と、前記位置が前記第２の画像の表示領域に含まれるのか、前記第３の画像の表示領域に含まれるのかを判定する位置判定部と、該判定の結果に基づき、前記位置が前記第２の画像の表示領域に含まれるのか、前記第３の画像の表示領域に含まれるのかに応じて異なる処理を実行する処理実行部と、を備えることを特徴とする。

本発明の第２の技術手段は、第１の技術手段において、前記外部表示装置から送信される位置の情報は、該外部表示装置の画面における座標系で表された位置の情報であり、前記処理実行部は、前記位置が前記第２の画像の表示領域に含まれる場合に、前記外部表示装置の座標系で表された位置の情報を、前記端末装置の画面における座標系で表された位置の情報に変換し、変換後の位置の情報に基づいて、前記位置が前記第２の画像の表示領域に含まれる場合に対応する処理を実行することを特徴とする。

本発明の第３の技術手段は、第１または第２の技術手段において、前記処理実行部は、前記位置が前記第３の画像の表示領域に含まれる場合に、前記外部表示装置から受信した位置の情報を利用せず、該情報を破棄する処理を実行することを特徴とする。

本発明の第４の技術手段は、第１または第２の技術手段において、前記処理実行部は、前記位置が前記第３の画像の表示領域に含まれる場合に、該第３の画像の表示領域に割り当てられた処理を実行することを特徴とする。

本発明の第５の技術手段は、第１または第２の技術手段において、前記第３の画像の表示領域には、所定の処理が割り当てられたボタンが含まれ、前記処理実行部は、前記位置が前記ボタンの表示領域に含まれる場合に、該ボタンに割り当てられた処理を実行することを特徴とする。

本発明の第６の技術手段は、第１または第２の技術手段において、前記位置が、前記第３の画像の表示領域から前記第２の画像の表示領域に変化した場合に、前記処理実行部は、該変化に割り当てられた処理を実行することを特徴とする。

本発明の第７の技術手段は、第４〜第６のいずれかの技術手段において、前記割り当てられた処理は、前記端末装置のハードキーに割り当てられた処理であることを特徴とする。

本発明の第８の技術手段は、第１の画像を表示する表示部を備える端末装置と、ユーザにより指定された画面内の位置の情報を取得可能な外部表示装置とからなる画像表示システムであって、前記端末装置は、前記外部表示装置の表示部における前記画面の解像度の情報を記憶する記憶部と、前記画面の解像度の情報に基づいて、前記第１の画像に対応する第２の画像と前記第２の画像以外の第３の画像とを含み、前記外部表示装置の表示部における画面の解像度に応じた解像度の第４の画像を生成する画像生成部と、前記第４の画像を前記外部表示装置に送信し、該第４の画像が表示された前記外部表示装置の表示部の画面内においてユーザにより指定された位置の情報を前記外部表示装置から受信する通信部と、前記位置が前記第２の画像の表示領域に含まれるのか、前記第３の画像の表示領域に含まれるのかを判定する位置判定部と、該判定の結果に基づき、前記位置が前記第２の画像の表示領域に含まれるのか、前記第３の画像の表示領域に含まれるのかに応じて異なる処理を実行する処理実行部と、を備えることを特徴とする。

本発明によれば、ユーザにより指定された画面内の位置の情報を取得可能な外部表示装置の表示部における画面の解像度の情報に基づいて、第１の画像に対応する第２の画像と第２の画像以外の第３の画像とを含み、外部表示装置の表示部における画面の解像度に応じた解像度の第４の画像を生成し、第４の画像を外部表示装置に送信し、第４の画像が表示された外部表示装置の表示部の画面内においてユーザにより指定された位置の情報を外部表示装置から受信し、その位置が第２の画像の表示領域に含まれるのか、第３の画像の表示領域に含まれるのかを判定し、その判定の結果に基づき、その位置が第２の画像の表示領域に含まれるのか、第３の画像の表示領域に含まれるのかに応じて異なる処理を実行することとしたので、外部表示装置においてユーザが第２の画像の表示領域内の位置を指定したのか、第３の画像の表示領域内の位置を指定したのかを明らかにすることによって、指定された位置に対応する処理を適切に実行することが可能となる。

本発明の実施形態に係る端末装置の機能構成の一例を示すブロック図である。本発明の実施形態に係る外部表示装置の機能構成の一例を示すブロック図である。外部表示装置における表示用に生成される画像の別の例について説明する図である。黒画像の表示領域内に所定の処理が割り当てられたボタンを含む画像の一例を示す図である。座標の変換について説明する図である。黒画像の表示領域への処理の割り当てについて説明する図である。本発明の実施形態に係るタッチ操作受付処理の処理手順の一例について説明するフローチャートである。本発明の実施形態に係るタッチ操作受付処理の処理手順の一例について説明するフローチャートである。外部表示装置による位置情報の送信について説明する図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。図１は、本発明の実施形態に係る端末装置１０の機能構成の一例を示すブロック図、図２は、本発明の実施形態に係る外部表示装置２０の機能構成の一例を示すブロック図である。

図９に示したように、端末装置１０と外部表示装置２０とは、例えば、ＨＤＭＩケーブル３０などにより有線接続される。なお、端末装置１０と外部表示装置２０とは、無線接続されることとしてもよい。

端末装置１０は、例えば、タッチパネルを有するスマートフォンやパーソナルコンピュータ、タブレットＰＣなどの装置である。また、外部表示装置２０は、タッチパネルを有する液晶ディスプレイなどの装置である。ここで、端末装置１０、外部表示装置２０は、マウスなどの操作により画面内の位置の指定をユーザから受け付ける装置であってもよい。

図１に示すように、端末装置１０は、アンテナ１１、無線通信部１２、有線通信部１３、タッチパネル部１４、マイク１５、スピーカー１６、記憶部１７、制御部１８を備える。

アンテナ１１は、他の装置との間で無線通信を行うためのアンテナである。無線通信部１２は、アンテナ１１を介して、他の装置との間で無線通信を行う通信デバイスである。有線通信部１３は、ＨＤＭＩケーブル３０などのネットワークケーブルを介して他の装置との間で有線通信を行う通信デバイスである。

タッチパネル部１４は、情報の表示を行うとともに、ユーザのタッチ操作により、ユーザから情報の入力を受け付ける表示・入力デバイスである。タッチパネル部１４は、表示部１４ａ、タッチセンサ部１４ｂを備える。表示部１４ａは、液晶ディスプレイなどの表示デバイスである。タッチセンサ部１４ｂは、表示部１４ａに表示された画像において、ユーザによりタッチされた位置を検出するセンサ部である。

マイク１５は、音声信号を取得するためのマイクである。スピーカー１６は、音声を出力するためのスピーカーである。

記憶部１７は、メモリやハードディスク装置などの記憶デバイスである。記憶部１７は、画像データ１７ａ、外部表示用画像データ１７ｂ、画面解像度データ１７ｃ、位置データ１７ｄなどを記憶する。

画像データ１７ａは、表示部１４ａに表示される画像のデータである。外部表示用画像データ１７ｂは、外部表示装置２０に送信され、外部表示装置２０により表示される画像のデータである。外部表示用画像データ１７ｂは、端末装置１０により生成される。

画面解像度データ１７ｃは、外部表示装置２０の画面の解像度のデータである。位置データ１７ｄは、外部表示装置２０に画像が表示され、ユーザによりその画像がタッチされた場合のタッチ位置の座標値の情報である。画面解像度データ１７ｃ、および、位置データ１７ｄは、外部表示装置２０から取得される。

制御部１８は、端末装置１０の各部を制御するＣＰＵ（Central Processing Unit）などの制御デバイスである。制御部１８は、画像生成部１８ａ、位置判定部１８ｂ、処理実行部１８ｃを備える。

画像生成部１８ａは、図９を用いて説明したような画像４０ｂ〜４０ｄからなる画像を生成する処理部である。具体的には、画像生成部１８ａは、記憶部１７に記憶された画面解像度データ１７ｃを読み出して、外部表示装置２０の画面の解像度の情報を取得する。

また、画像生成部１８ａは、記憶部１７から画像４０ａのデータが含まれる画像データ１７ａを読み出し、外部表示装置２０の画面の解像度の情報を参照して、図９の外部表示装置２０に表示されている画像４０ｂのように、画像４０ａのアスペクト比を保ったまま、画像４０ａの縦のピクセル数が外部表示装置２０の画面の縦のピクセル数と一致するまでその画像４０ａを拡大する。

そして、画像生成部１８ａは、拡大後の画像４０ｂと、黒画像４０ｃ、４０ｄを含み、外部表示装置２０の画面の解像度（縦横のピクセル数）と解像度（縦横のピクセル数）が一致する画像を生成し、生成した画像のデータを記憶部１７に外部表示用画像データ１７ｂとして記憶する。

なお、ここでは、図９の外部表示装置２０に表示されている画像４０ｂのように、画像４０ａを拡大して外部表示用画像データ１７ｂを生成することとしたが、画像４０ａを拡大することなく、外部表示用画像データ１７ｂを生成することとしてもよい。

図３は、外部表示装置２０における表示用に生成される画像の別の例について説明する図である。この場合、端末装置１０に表示される画像４０ａの縦横のピクセル数と、外部表示装置２０に表示される画像に含まれる画像４０ｂの縦横のピクセル数は同じである。そして、外部表示装置２０に表示される画像には、画像４０ｂの周りに黒画像４０ｅが含まれる。画像生成部１８ａは、このような画像を生成し、その画像のデータを記憶部１７に外部表示用画像データ１７ｂとして記憶する。

また、画像生成部１８ａは、黒画像４０ｃ、４０ｄの表示領域内に、所定の処理が割り当てられたボタンを含む画像を生成することとしてもよい。図４は、黒画像４０ｄの表示領域内に所定の処理が割り当てられたボタン４１ａ〜４１ｃを含む画像の一例を示す図である。

この例では、黒画像４０ｄに、戻るボタン４１ａ、ホームボタン４１ｂ、メニュー４１ｃが含まれている。戻るボタン４１ａとは、一つ前の画面に表示画面を戻す指示をユーザから受け付けるボタンである。ホームボタン４１ｂとは、ホーム画面を表示する指示をユーザから受け付けるボタンである。メニューボタン４１ｃとは、表示中の画面で利用可能な機能のメニューを表示する指示をユーザから受け付けるボタンである。

図４の例では、黒画像４０ｄにボタン４１ａ〜４１ｃが表示される場合について示したが、黒画像４０ｃにボタン４１ａ〜４１ｃが表示されてもよく、黒画像４０ｃ、４０ｄの両方にボタン４１ａ〜４１ｃが表示されてもよい。

位置判定部１８ｂは、画像生成部１８ａにより生成された画像が外部表示装置２０により表示され、表示された画像がユーザによりタッチされた場合に、そのタッチされた位置が画像４０ｂの表示領域に含まれるのか、黒画像４０ｃ、４０ｄの表示領域に含まれるのかを判定する処理部である。具体的には、位置判定部１８ｂは、外部表示装置２０により送信されるタッチ位置の情報と、記憶部１７に記憶された外部表示用画像データ１７ｂとから、上記判定を行う。

なお、外部表示装置２０において、画面の解像度と、タッチセンサの解像度が異なる場合、位置判定部１８ｂは、タッチセンサの座標で表されたタッチ位置の情報を、画面の座標で表された位置に変換する。そして、位置判定部１８ｂは、変換後の位置の情報と、記憶部１７に記憶された外部表示用画像データ１７ｂとから、上記判定を行う。

この場合、端末装置１０の記憶部１７には、タッチセンサの解像度の情報が予め記憶される。そして、位置判定部１８ｂは、画面の解像度の情報と、タッチセンサの解像度の情報を用いて、タッチセンサの座標で表されたタッチ位置の情報を、画面の座標で表された位置に変換する。なお、この変換処理を外部表示装置２０が行い、変換後のタッチ位置の情報を端末装置１０が外部表示装置２０から取得することとしてもよい。

処理実行部１８ｃは、上記判定の結果を参照し、外部表示装置２０により表示された画像において、ユーザによりタッチされた位置が画像４０ｂの表示領域に含まれるのか、黒画像４０ｃ、４０ｄの表示領域に含まれるのかに応じて異なる処理を実行する処理部である。

具体的には、処理実行部１８ｃは、ユーザによりタッチされた位置が画像４０ｂの表示領域に含まれる場合に、外部表示装置２０の座標系で表されたタッチ位置の座標を、端末装置１０の座標系で表された位置の座標に変換する。

図５は、座標の変換について説明する図である。図５（Ａ）には、端末装置１０の座標系の一例が、図５（Ｂ）には、外部表示装置２０の座標系の一例が示されている。端末装置１０の座標系とは、端末装置１０の画面の左上を原点とし、その原点から右方向にＸ座標が増加し、下方向にＹ座標が増加するような直交座標系である。外部表示装置２０の座標系とは、外部表示装置２０の画面の左上を原点とし、その原点から右方向にＸ座標が増加し、下方向にＹ座標が増加するような直交座標系である。

この場合、端末装置１０の座標系における座標（ｘ，ｙ）と、外部表示装置２０の座標系における座標（Ｘ，Ｙ）との間の関係は、
（ｘ，ｙ）＝ｂ／Ｂ×（Ｘ−Ｃ，Ｙ）
となる。処理実行部１８ｃは、この関係を用いて、座標（Ｘ，Ｙ）を座標（ｘ，ｙ）に変換する。

その後、処理実行部１８ｃは、変換後の座標（ｘ，ｙ）を用いて、画像４０ａがユーザによりタッチされた場合に行われる処理を実行する。このような処理として、例えば、画像４０ａが地図画像である場合に、タッチされた位置に地図の中心を移動させる処理などがある。このように、ユーザは、外部表示装置２０においてタッチ操作をする場合に、端末装置１０においてタッチ操作をするのと同様の感覚で端末装置１０の操作を行うことができる。

ユーザによりタッチされた位置が画像４０ｂの表示領域に含まれず、黒画像４０ｃ、４０ｄの領域に含まれる場合、処理実行部１８ｃは、黒画像４０ｃ、４０ｄの領域に割り当てられた所定の処理を実行する。

例えば、黒画像４０ｃ、４０ｄの領域に対するユーザのタッチ動作を無視する場合、処理実行部１８ｃは、外部表示装置２０から受信したタッチ位置の情報を利用することなく破棄する処理を実行する。これにより、画像４０ｂ以外の部分に対するタッチ操作に端末装置１０が反応しないようにすることができる。

また、図４を用いて説明したように、黒画像４０ｄに所定の処理が割り当てられたボタン４１ａ〜４１ｃが表示され、そのボタン４１ａ〜４１ｃの表示領域がユーザによりタッチされた場合、処理実行部１８ｃは、各ボタン４１ａ〜４１ｃに割り当てられた処理を実行する。

また、処理実行部１８ｃは、黒画像４０ｄの表示領域に割り当てられた所定の処理を実行することとしてもよい。図６は、黒画像４０ｃ、４０ｄの表示領域への処理の割り当てについて説明する図である。

図６（Ａ）は、黒画像４０ｄの表示領域に対して所定の処理が割り当てられている例である。この場合、外部表示装置２０において黒画像４０ｄの表示領域がユーザによりタッチされると、端末装置１０の処理実行部１８ｃは、黒画像４０ｄの表示領域に割り当てられている所定の処理を実行する。

例えば、所定の処理の例として、一つ前の画面に表示画面を戻す処理や、ホーム画面を表示する処理、表示中の画面で利用可能な機能のメニューを表示する処理などが挙げられる。

なお、ここでは、黒画像４０ｄの表示領域に所定の処理が割り当てられることとしたが、黒画像４０ｃの表示領域に所定の処理が割り当てられてもよく、黒画像４０ｃ、４０ｄの両方に所定の処理が割り当てられてもよい。

図６（Ｂ）は、黒画像４０ｃの表示領域から画像４０ｂの表示領域へとユーザのタッチ位置が変化する場合に、その変化に対して所定の処理が割り当てられている例である。この場合、外部表示装置２０においてユーザのタッチ位置が黒画像４０ｃの表示領域から画像４０ｂの表示領域へと変化すると、端末装置１０の処理実行部１８ｃは、その変化に割り当てられている所定の処理を実行する。

なお、ここでは、黒画像４０ｃの表示領域から画像４０ｂの表示領域へのタッチ位置の変化に所定の処理が割り当てられることとしたが、黒画像４０ｄの表示領域から画像４０ｂの表示領域へのタッチ位置の変化に所定の処理が割り当てられてもよく、画像４０ｂの表示領域から黒画像４０ｃ、または、黒画像４０ｄの表示領域へのタッチ位置の変化に所定の処理が割り当てられてもよい。

また、黒画像４０ｃの表示領域から黒画像４０ｄの表示領域へのタッチ位置の変化や、黒画像４０ｄの表示領域から黒画像４０ｃの表示領域へのタッチ位置の変化に所定の処理が割り当てられてもよい。

ここで、どのような処理を黒画像４０ｃ、４０ｄの表示領域や、黒画像４０ｃ、４０ｄの表示領域に表示されるボタン４１ａ〜４１ｃ、または、タッチ位置の変化に割り当てるかは、予めユーザにより設定される。このように、黒画像４０ｃ、４０ｄの表示領域や、黒画像４０ｃ、４０ｄの表示領域に表示されるボタン４１ａ〜４１ｃ、タッチ位置の変化に所定の処理を割り当てることにより、本来利用されない黒画像４０ｃ、４０ｄの表示領域を有効に利用することができる。

また、黒画像４０ｃ、４０ｄの表示領域や、黒画像４０ｃ、４０ｄの表示領域に表示されるボタン４１ａ〜４１ｃ、または、タッチ位置の変化に割り当てられる処理は、端末装置１０のハードキーに割り当てられている処理であってもよい。この場合、外部表示装置２０におけるタッチ操作のみで、端末装置１０のすべての操作が可能となる。

つぎに、図２を用いて、本発明の実施形態に係る外部表示装置２０の機能構成について説明する。外部表示装置２０は、アンテナ２１、無線通信部２２、有線通信部２３、タッチパネル部２４、スピーカー２５、記憶部２６、制御部２７を備える。

アンテナ２１は、他の装置との間で無線通信を行うためのアンテナである。無線通信部２２は、アンテナ２１を介して、他の装置との間で無線通信を行う通信デバイスである。有線通信部２３は、ＨＤＭＩケーブル３０などのネットワークケーブルを介して他の装置との間で有線通信を行う通信デバイスである。

タッチパネル部２４は、情報の表示を行うとともに、ユーザのタッチ操作により、ユーザから情報の入力を受け付ける表示・入力デバイスである。タッチパネル部２４は、表示部２４ａ、タッチセンサ部２４ｂを備える。表示部２４ａは、液晶ディスプレイなどの表示デバイスである。タッチセンサ部２４ｂは、表示部２４ａに表示された画像において、ユーザによりタッチされた位置を検出するセンサ部である。

スピーカー２５は、音声を出力するためのスピーカーである。記憶部２６は、メモリやハードディスク装置などの記憶デバイスである。記憶部２６は、外部表示用画像データ２６ａ、画面解像度データ２６ｂ、位置データ２６ｃなどを記憶する。

外部表示用画像データ２６ａは、図１で説明した端末装置１０の記憶部１７に記憶される外部表示用画像データ１７ｂと同様のデータであり、端末装置１０から受信したものである。

画面解像度データ２６ｂ、位置データ２６ｃは、図１で説明した端末装置１０の記憶部１７に記憶される画面解像度データ１７ｃ、位置データ１７ｄと同様のデータであり、端末装置１０に送信されるものである。

制御部２７は、端末装置１０の各部を制御するＣＰＵなどの制御デバイスである。

つぎに、本発明の実施形態に係るタッチ操作受付処理について説明する。図７、図８は、本発明の実施形態に係るタッチ操作受付処理の処理手順の一例について説明するフローチャートである。

まず、端末装置１０の有線通信部１３と、外部表示装置２０の有線通信部２３は、通信を確立する（ステップＳ１０１、ステップＳ１０２）。そして、外部表示装置２０の有線通信部２３は、端末装置１０に外部表示装置２０の画面の解像度の情報を送信し（ステップＳ１０３）、端末装置１０の有線通信部１３は、その情報を受信する（ステップＳ１０４）。ここで、画面の解像度の情報の送信は、通信の確立後に自動的に行われることとしてもよいし、端末装置１０の有線通信部１３からの要求に応じて行われることとしてもよい。

その後、端末装置１０の画像生成部１８ａは、図３、図４、図６、または、図９に示したような、画像４０ｂと黒画像４０ｃ、４０ｄからなる画像を生成する（ステップＳ１０５）。そして、端末装置１０の有線通信部１３は、生成した画像を外部表示装置２０に送信する（ステップＳ１０６）。

外部表示装置２０の有線通信部２３は、その画像を受信し（ステップＳ１０７）、表示部２４ａに表示する（ステップＳ１０８）。そして、タッチセンサ部２４ｂは、その画像上におけるユーザからのタッチ操作を受け付ける（ステップＳ１０９）。

その後、図８に示すように、外部表示装置２０の有線通信部２３は、ユーザがタッチした画像上の位置の情報を端末装置１０に送信し（ステップＳ１１０）、端末装置１０の有線通信部１３は、その情報を受信する（ステップＳ１１１）。ここで、位置の情報の送信は、ユーザによるタッチ操作が検出された後に自動的に行われることとしてもよいし、端末装置１０の有線通信部１３からの要求に応じて行われることとしてもよい。

そして、端末装置１０の位置判定部１８ｂは、そのタッチ位置が画像４０ｂの表示領域に含まれるのか、黒画像４０ｃ、４０ｄの表示領域に含まれるのかを判定する（ステップＳ１１２）。

タッチ位置が画像４０ｂの表示領域に含まれる場合（ステップＳ１１２においてＹＥＳの場合）、処理実行部１８ｃは、外部表示装置２０の座標系におけるタッチ位置の座標値を、端末装置１０の座標系における座標値に変換し、変換後の座標値を用いて、画像４０ｂがユーザによりタッチされた場合に行われる処理を実行する（ステップＳ１１３）。そして、この操作受付処理を実行する。

タッチ位置が画像４０ｂの表示領域に含まれず、黒画像４０ｃ、４０ｄの表示領域に含まれる場合（ステップＳ１１２においてＮＯの場合）、処理実行部１８ｃは、黒画像４０ｃ、４０ｄ、または、タッチ位置の変化に割り当てられた所定の処理を実行する（ステップＳ１１４）。そして、この操作受付処理を実行する。

以上、本発明の実施形態について説明してきたが、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能である。例えば、上記実施形態では、図３、図４、図６、図９に示したように、縦長の画像４０ｂが表示される場合について説明したが、横長の画像が表示される場合にも同様に、本発明を適用することができる。

１０…端末装置、１１…アンテナ、１２…無線通信部、１３…有線通信部、１４…タッチパネル部、１４ａ…表示部、１４ｂ…タッチセンサ部、１５…マイク、１６…スピーカー、１７…記憶部、１７ａ…画像データ、１７ｂ…外部表示用画像データ、１７ｃ…画面解像度データ、１７ｄ…位置データ、１８…制御部、１８ａ…画像生成部、１８ｂ…位置判定部、１８ｃ…処理実行部、２０…外部表示装置、２１…アンテナ、２２…無線通信部、２３…有線通信部、２４…タッチパネル部、２４ａ…表示部、２４ｂ…タッチセンサ部、２５…スピーカー、２６…記憶部、２６ａ…外部表示用画像データ、２６ｂ…画面解像度データ、２６ｃ…位置データ、２７…制御部、３０…ＨＤＭＩケーブル、４０ａ〜４０ｅ…画像。

Claims

第１の画像を表示する表示部を備える端末装置であって、
ユーザにより指定された画面内の位置の情報を取得可能な外部表示装置の画面の解像度の情報を記憶する記憶部と、
前記画面の解像度の情報に基づいて、前記第１の画像に対応する第２の画像と前記第２の画像以外の第３の画像とを含み、前記外部表示装置の画面の解像度に応じた解像度の第４の画像を生成する画像生成部と、
前記第４の画像を前記外部表示装置に送信し、該第４の画像が表示された前記外部表示装置の画面内においてユーザにより指定された位置の情報を前記外部表示装置から受信する通信部と、
前記位置が前記第２の画像の表示領域に含まれるのか、前記第３の画像の表示領域に含まれるのかを判定する位置判定部と、
該判定の結果に基づき、前記位置が前記第２の画像の表示領域に含まれるのか、前記第３の画像の表示領域に含まれるのかに応じて異なる処理を実行する処理実行部と、
を備えることを特徴とする端末装置。
前記外部表示装置から送信される位置の情報は、該外部表示装置の画面における座標系で表された位置の情報であり、前記処理実行部は、前記位置が前記第２の画像の表示領域に含まれる場合に、前記外部表示装置の座標系で表された位置の情報を、前記端末装置の画面における座標系で表された位置の情報に変換し、変換後の位置の情報に基づいて、前記位置が前記第２の画像の表示領域に含まれる場合に対応する処理を実行することを特徴とする請求項１に記載の端末装置。
前記処理実行部は、前記位置が前記第３の画像の表示領域に含まれる場合に、前記外部表示装置から受信した位置の情報を利用せず、該情報を破棄する処理を実行することを特徴とする請求項１または２に記載の端末装置。
前記処理実行部は、前記位置が前記第３の画像の表示領域に含まれる場合に、該第３の画像の表示領域に割り当てられた処理を実行することを特徴とする請求項１または２に記載の端末装置。
前記第３の画像の表示領域には、所定の処理が割り当てられたボタンが含まれ、前記処理実行部は、前記位置が前記ボタンの表示領域に含まれる場合に、該ボタンに割り当てられた処理を実行することを特徴とする請求項１または２に記載の端末装置。
前記位置が、前記第３の画像の表示領域から前記第２の画像の表示領域に変化した場合に、前記処理実行部は、該変化に割り当てられた処理を実行することを特徴とする請求項１または２に記載の端末装置。
前記割り当てられた処理は、前記端末装置のハードキーに割り当てられた処理であることを特徴とする請求項４〜６のいずれか１項に記載の端末装置。
第１の画像を表示する表示部を備える端末装置と、ユーザにより指定された画面内の位置の情報を取得可能な外部表示装置とからなる画像表示システムであって、
前記端末装置は、
前記外部表示装置の表示部における前記画面の解像度の情報を記憶する記憶部と、
前記画面の解像度の情報に基づいて、前記第１の画像に対応する第２の画像と前記第２の画像以外の第３の画像とを含み、前記外部表示装置の表示部における画面の解像度に応じた解像度の第４の画像を生成する画像生成部と、
前記第４の画像を前記外部表示装置に送信し、該第４の画像が表示された前記外部表示装置の表示部の画面内においてユーザにより指定された位置の情報を前記外部表示装置から受信する通信部と、
前記位置が前記第２の画像の表示領域に含まれるのか、前記第３の画像の表示領域に含まれるのかを判定する位置判定部と、
該判定の結果に基づき、前記位置が前記第２の画像の表示領域に含まれるのか、前記第３の画像の表示領域に含まれるのかに応じて異なる処理を実行する処理実行部と、
を備えることを特徴とする画像表示システム。