JP2013182277A - 表示制御装置および表示制御方法 - Google Patents

Abstract

【課題】一例として、他装置から受信した画像データを表示する自装置において、他装置の入力操作部での入力操作をより認識しやすい表示制御装置、表示制御方法、電子機器、および電子機器の制御方法を得る。
【解決手段】実施形態にかかる表示制御装置では、表示制御部は、デコードされた画面画像のデータと生成された操作画像のデータとから画面画像と操作画像とを含む画像を第二装置に含まれる第二表示装置の第二表示画面に表示させる。また、表示制御部は、第一の時間に第一表示画面に表示された第一の画面画像と、第一の時間の後の第二の時間における入力操作を示す第一の操作画像と、第一の時間での第一表示画面に対する操作位置を示す画像と、を含む画像を、第二の時間の後の第三の時間に表示させる。
【選択図】図１

Description

本発明の実施形態は、表示制御装置および表示制御方法に関する。

従来、他装置から有線あるいは無線で受信した画像データを自装置の表示装置で表示することが可能な電子機器が知られている。

特開２００２−３２３８８５号公報

この種の技術で、他装置が表示部とこの表示部に重なったタッチパネルとを有する場合に、当該他装置でユーザ等によるタッチパネルでの操作によって画像が切り替えられると、それに応じて自装置でも画像が切り替わる。このような場合、他装置では、ユーザ等は、手指やスタイラス等の動きでタッチパネルに対してどのような操作が行われるかあるいは行われたかを認識できるが、自装置では、ユーザ等は、タッチパネルに対してどのような操作が行われるかあるいは行われたかを認識しにくい。

そこで、本発明の実施形態は、一例として、他装置から有線あるいは無線で受信した画像データを表示する表示装置を有した自装置において、他装置の入力操作部での入力操作をより認識しやすい表示制御装置および表示制御方法を得ることを目的の一つとする。

本発明の実施形態にかかる表示制御装置は、第一受信部と、デコード部と、第二受信部と、画像データ生成部と、表示制御部と、を備える。第一受信部は、第一装置の第一送信部から、エンコードされた画面画像のデータを受信する。デコード部は、第一受信部で受信されたエンコードされた画面画像のデータをデコードする。第二受信部は、第二送信部から送信された入力操作に応じたデータを受信する。画像データ生成部は、第二受信部で受信された入力操作に応じたデータに対応した操作画像のデータを生成する。表示制御部は、デコードされた画面画像のデータと生成された操作画像のデータとから画面画像と操作画像とを含む画像を第二装置に含まれる第二表示装置の第二表示画面に表示させる。また、表示制御部は、第一の時間に第一表示画面に表示された第一の画面画像と、第一の時間の後の第二の時間における入力操作を示す第一の操作画像と、第一の時間での第一表示画面に対する操作位置を示す画像と、を含む画像を、第二の時間の後の第三の時間に表示させる。

図１は、実施形態にかかる第一装置および第二装置を含むシステムの一例の概略構成が示された説明図である。 図２は、実施形態にかかる第一装置の概略構成の一例が示されたブロック図である。 図３は、第１実施形態にかかる第二装置の概略構成の一例が示されたブロック図である。 図４は、第１実施形態にかかる第一装置および第二装置の制御部の概略構成の一例が示されたブロック図である。 図５は、実施形態にかかる第一装置および第二装置における処理の一例が示されたフローチャートである。 図６は、実施形態にかかる第二表示画面に表示される操作画像のうち入力操作される前の時点に対応した画像の経時変化の一例が示された模式図である。 図７は、実施形態にかかる第二表示画面に表示される操作画像のうち入力操作に応じた画像の経時変化の一例が示された模式図である。 図８は、実施形態にかかる第二表示画面に表示される操作画像のうち入力操作に応じた画像の経時変化の別の一例が示された模式図である。 図９は、実施形態にかかる第二表示画面に表示される操作画像のうち入力操作された後の時点に対応した画像の経時変化の一例が示された模式図である。 図１０は、実施形態にかかる第一表示画面に重ねられた入力操作部に対する入力操作および当該入力操作に応じた第二表示画面に表示される操作画像の経時変化の一例が示された模式図である。 図１１は、実施形態にかかる第二表示画面に表示される操作画像の経時変化の一例が示された模式図である。 図１２は、実施形態にかかる第一表示画面及び第二表示画面に表示される画像の経時変化の一例が示された模式図である。 図１３は、実施形態にかかる第一装置の、入力操作部の入力操作が行われる前に画面画像が表示された状態の一例が示された正面図である。 図１４は、実施形態にかかる第二装置の、図１３に対応した画面画像が表示されるとともに、第一装置の入力操作部に対して入力操作が行われる前の時点に対応した操作画像が表示された状態の一例が示された正面図である。 図１５は、実施形態にかかる第一装置の、入力操作部に対する入力操作が開始された状態の一例が示された正面図である。 図１６は、実施形態にかかる第二装置の、図１５に対応した画面画像が表示されるとともに、第一装置の入力操作部に対して入力操作が開始された時点に対応した操作画像が表示された状態の一例が示された正面図である。 図１７は、実施形態にかかる第一装置の、入力操作部に対する入力操作が終了した状態の一例が示された正面図である。 図１８は、実施形態にかかる第二装置の、図１７に対応した画面画像が表示されるとともに、第一装置の入力操作部に対して行われた入力操作に応じた操作画像が表示された状態の一例が示された正面図である。 図１９は、実施形態にかかる第一装置の、入力操作部の入力操作が行われた後に画面画像が表示された状態の一例が示された正面図である。 図２０は、実施形態にかかる第二装置の、図１９に対応した画面画像が表示されるとともに、第一装置の入力操作部に対して入力操作が行われた後の時点に対応した操作画像が表示された状態の一例が示された正面図である。 図２１は、第２実施形態にかかる第一装置および第二装置の制御部の概略構成の一例が示されたブロック図である。 図２２は、第２実施形態にかかる第一装置および第二装置における処理の一例が示されたフローチャートである。 図２３は、第３実施形態にかかる第一装置の制御部の概略構成の一例が示されたブロック図である。 図２４は、第３実施形態にかかる第一装置および第二装置における処理の一例が示されたフローチャートである。

以下の複数の例示的な実施形態や変形例には、同様の構成要素が含まれている。以下では、それら同様の構成要素には共通の符号が付与されるとともに、重複する説明が省略される。なお、本明細書中の、第一、第二等の序数は、構成要素等を便宜上区別するために付与されており、処理の順序や、優先度、重要度等を意味するものではない。

＜第１実施形態＞
本実施形態では、一例として、図１に示されるように、システムは、電子機器１００（第一装置）および映像表示装置２００（第二装置、表示制御装置）を含む。電子機器１００は、表示画面１０１ａを有した表示部１０１（表示装置、第一表示装置）を備える。電子機器１００は、表示部１０１の表示画面１０１ａ上に重ねて設けられた入力操作部１０２と、表示部１０１とは外れて設けられた入力操作部１０９と、を備える。表示部１０１は、例えば、液晶ディスプレイ（ＬＣＤ，liquid crystal display）や、有機ＥＬディスプレイ（ＯＥＬＤ，organic electro-luminescent display）等である。入力操作部１０２は、例えば、透明なタッチパネル（タッチパッド、タッチセンサ、操作面、入力受付部）であり、入力操作部１０９は、例えば、クリックボタン（押しボタン）や、ポインティングデバイス（タッチパッド）等である。電子機器１００は、例えば、スマートフォンや、携帯電話機、ＰＤＡ（personal digital assistant）、パーソナルコンピュータ、テレビジョン受像機等である。なお、電子機器１００の表示部１０１や、記憶部１０４、通信部１０８（図２参照）等は、制御部１０３等を有した本体部とは一体化されず、所謂外付けの装置であることができる。

また、映像表示装置２００は、表示画面２０１ａを有した表示部２０１（表示装置、第二表示装置）を備える。表示部２０１は、例えば、液晶ディスプレイ（ＬＣＤ，liquid crystal display）や、有機ＥＬディスプレイ（ＯＥＬＤ，organic electro-luminescent display）等である。映像表示装置２００は、例えば、スマートフォンや、携帯電話機、ＰＤＡ（personal digital assistant）、パーソナルコンピュータ、テレビジョン受像機、ディスプレイ装置等である。なお、映像表示装置２００の表示部２０１や、記憶部２０２、通信部２０５（図３参照）等は、制御部２１０等を有した本体部とは一体化されず、所謂外付けの装置であることができる。なお、表示部２０１の表示画面２０１ａ上には、タッチパネルが設けられてもよい。

映像表示装置２００の表示画面２０１ａには、電子機器１００の表示画面１０１ａに表示された画像Ｉｍｏ（画面画像）と対応した（同じ）画像Ｉｍｙ（画面画像）が表示される。さらに、映像表示装置２００の表示画面２０１ａには、電子機器１００の入力操作部１０２への入力操作に応じた画像Ｉｍｒ（操作画像）が表示される。入力操作に応じた画像は、通常、電子機器１００の表示画面１０１ａでは表示されない。そこで、本実施形態では、一例として、入力操作部１０２で検出された表示画面１０１ａ上での位置Ｐｔに対応した表示画面２０１ａ上での位置Ｐｉに、生成された画像Ｉｍｒが表示される。入力操作部１０２は、手Ｈや、指Ｆ、スタイラス、タッチペン等による操作位置（接触位置、近接位置等）を検出する。電子機器１００での画像Ｉｍｏのデータ（画面画像のデータ）、ならびに映像表示装置２００での画像Ｉｍｒの元となるデータ（入力操作部１０２での入力操作に応じたデータ）は、電子機器１００から映像表示装置２００へ、有線または無線の通信システム（通信装置、送信装置、中継装置、受信装置、配線等）を介して送信される。電子機器１００はソース機器（ソース装置）、映像表示装置２００はシンク機器（シンク装置）と言うことができる。データの転送方式は、一例としては無線ＬＡＮ（local area network）等が用いられるが、これには限定されない。

本実施形態では、一例として、図２に示されるように、電子機器１００は、表示部１０１や、入力操作部１０２、制御部１０３、記憶部１０４、表示処理部１０５、画像データ取得部１０６、エンコード部１０７、通信部１０８、入力操作部１０９等を有する。

電子機器１００の制御部１０３による各処理は、一例としては、コンピュータの記憶部（例えば、ＨＤＤ等）に記憶され、コンピュータの演算処理部（例えば、ＣＰＵ（central processing unit）等）に読み出されて実行されたプログラム（アプリケーション等）の動作によって、実現される。また、制御部１０３は、通信部１０８等で受信したデータに含まれるプログラム（アプリケーション、スクリプト等）にしたがって処理を実行することができる。記憶部１０４は、電子機器１００での種々の処理に関わるデータを記憶し、一例としては、ＨＤＤ（hard disk drive）等である。

表示処理部１０５は、制御部１０３に制御され、表示部１０１の表示画面１０１ａで画像Ｉｍｏ（画面画像、図１参照）を表示させる処理を実行する。表示画面１０１ａで表示される画像Ｉｍｏは、例えば、動画のコンテンツや、ユーザインタフェース用の画像、静止画等、電子機器１００の使用によって出力される画像（映像）であれば、どのようなものであってもよい。画像データ取得部１０６は、制御部１０３に制御され、予め設定されたタイミング（サンプリング間隔）で、表示処理部１０５から、表示画面１０１ａで表示される画像のデータを取得する（サンプルする）。エンコード部１０７は、画像データ取得部１０６で取得された画像（映像）のデータを、所定の方式（一例としては、H.264/MPEG-4 AVC等）でエンコードする。制御部１０３は、通信部１０８を制御し、表示画面１０１ａで表示される画像Ｉｍｏのデータ（画面画像のデータ、一例としてはエンコードされたデータ）を送信する。すなわち、本実施形態では、通信部１０８は、第一送信部の一例である。

入力操作部１０２では、表示画面１０１ａ上の操作位置が検出される。制御部１０３は、通信部１０８を制御し、入力操作部１０２での入力操作に応じたデータ（例えば、操作位置（表示画面１０１ａに対応した二次元座標上での位置）を示すデータや、当該操作位置を示すデータから生成された画像データ等）を、所定のタイミング（間隔）で、送信する。すなわち、本実施形態では、通信部１０８は、第二送信部の一例でもある。なお、画面画像のデータを送信する第一送信部と、入力操作に応じたデータを送信する第二送信部とは、それぞれ別個に構成することができる。

また、本実施形態では、一例として、図３に示されるように、映像表示装置２００は、表示部２０１や、記憶部２０２、チューナ部２０３、デマルチプレクサ部２０４（Ｄｅｍｕｘ部）、通信部２０５、受信部２０６、ＧＵＩ処理部２０７、デコード部２０８、表示処理部２０９、制御部２１０、入力操作部２１１，２１２，２１３等を備える。記憶部２０２は、一例としては、ＨＤＤ（hard disk drive）等である。

チューナ部２０３は、放送データ（放送信号、放送波）の受信部である。デマルチプレクサ部２０４は、受信された放送データから、各種データを分離する分離部である。放送データから分離された映像のデータは、デコード部２０８へ送られる。また、放送データから分離されたデータや通信部２０５を介して取得されたデータ等は、記憶部２０２に送られ、記憶される。デコード部２０８は、デマルチプレクサ部２０４から受け取ったデータ、記憶部２０２から受け取ったデータ、あるいは通信部２０５から受け取ったデータを、デコードする。デコードされたデータは表示処理部２０９へ送られる。通信部２０５は、他装置（例えば電子機器１００や、中継装置（図示されず）等）との間でのデータの授受を実行する。

通信部２０５は、電子機器１００の通信部１０８から送られた表示画面１０１ａで表示される画像Ｉｍｏのデータ（画面画像のデータ）を受信する。すなわち、本実施形態では、通信部２０５は、第一受信部の一例である。また、通信部２０５は、電子機器１００の通信部１０８から送られた入力操作部１０２での入力操作に応じたデータを受信する。すなわち、本実施形態では、通信部２０５は、第二受信部の一例でもある。なお、画面画像のデータを受信する第一受信部と、入力操作に応じたデータを受信する第二受信部とは、それぞれ別個に構成することができる。

映像表示装置２００の制御部２１０による各処理は、一例としては、コンピュータの記憶部（例えば、ＨＤＤ等）に記憶され、コンピュータの演算処理部（例えば、ＣＰＵ（central processing unit）等）に読み出されて実行されたプログラム（アプリケーション等）の動作によって、実現される。また、制御部２１０は、チューナ部２０３や通信部２０５等で受信したデータに含まれるプログラム（アプリケーション、スクリプト等）にしたがって処理を実行することができる。

制御部２１０は、ＪａｖａＳｃｒｉｐｔ（登録商標）処理部や、ＨＴＭＬ処理部、Ｖｉｄｅｏ／Ａｕｄｉｏエレメント処理部、ＡＰＩ（application program interface）処理部、ＣＳＳ処理部等（いずれも図示されず）等を有したウエブブラウザ部（Ｗｅｂ ｂｒｏｗｓｅｒ部）を含むことができる。ＧＵＩ処理部２０７は、制御部２１０の指示により、ユーザインタフェース用の画像を生成する。表示処理部２０９は、デコード部２０８から受け取ったデータと、ＧＵＩ処理部２０７から受け取ったデータを合成する。表示処理部２０９で合成されたデータは、表示部２０１の表示画面２０１ａで表示される。

また、制御部２１０は、受信部２０６を介して、例えばリモコン等の入力操作部２１３から無線（一例としては赤外線等）による制御信号を受信する。また、制御部２１０は、映像表示装置２００に内蔵された入力操作部２１１（例えば、タッチセンサ、スイッチ等）や、外付けの入力操作部２１２（例えば、マウス、キーボード等）から制御信号を受信する。制御部２１０は、これら入力操作部２１１〜２１３より入力された制御信号に応じて各種演算処理を実行したり、各部を制御したりすることができる。

本実施形態では、一例として、図４に示されるように、電子機器１００から映像表示装置２００へは、エンコードされた表示画面１０１ａで表示される画像ＩｍｏのデータＤｅｉ（画面画像のデータ）と、入力操作部１０２での入力操作に応じた検出位置（操作位置）を示すデータＤｐ（入力操作データ）とが、送られる。すなわち、電子機器１００の制御部１０３は、入力操作部１０２での検出結果（操作結果）から、当該入力操作部１０２での入力操作に応じたデータＤｐを生成するデータ生成部３０ａ（データ生成部）として機能する。また、映像表示装置２００の制御部２１０は、電子機器１００より受け取った入力操作部１０２での入力操作に応じたデータＤｐから当該データＤｐに対応した表示画面２０１ａで表示される画像（操作画像、画像Ｉｍｒ等）のデータを生成する画像データ生成部３０ｂとして機能する。さらに、制御部２１０は、入力操作部１０２での入力操作に応じた画像（操作画像）のデータと、表示画面１０１ａで表示される画像Ｉｍｏ（画面画像）のデータとを合成するための合成制御部３０ｃとしても機能する。

本実施形態では、一例として、電子機器１００および映像表示装置２００は、図５に示されるフローチャートにしたがって動作する。図５の左側には、電子機器１００の動作の一例が示され、図５の右側には、映像表示装置２００の動作の一例が示される。

電子機器１００において、入力操作部１０２で入力操作が検出されると（ステップＳ１１でＹｅｓ）、制御部１０３は、データ生成部３０ａとして機能し、入力操作に応じた入力操作データを生成する（ステップＳ１２）。このステップＳ１２では、検出された箇所（操作された箇所）が複数存在する場合、入力操作データは、当該複数箇所の位置を表すデータとして生成される。また、入力操作データには、検出された（あるいは対応する画面画像のデータが表示された）タイミング（時刻、時間）を表すデータを含めることができる。制御部１０３は、通信部１０８を制御し、通信部１０８は、入力操作データＤｐ（入力操作に応じたデータ、図４参照）を送信する（ステップＳ１３）。また、本実施形態では、一例として、入力操作データは、エンコードされずに送信される。よって、一例としては、入力操作データをより迅速に送信することができる。

また、電子機器１００では、入力操作データの検出の有無に拘わらず、一例としては、入力操作データに関わる検出ならびに送信の処理と並行して、画像データが取得される。すなわち、制御部１０３は、表示処理部１０５や画像データ取得部１０６等を制御し、表示部１０１の表示画面１０１ａで表示される画像（映像）のデータ（画面画像のデータ）を取得する（ステップＳ１４）。次に、制御部１０３は、エンコード部１０７を制御し、エンコード部１０７は、取得された画像のデータをエンコードする（ステップＳ１５）。次に、制御部１０３は、通信部１０８を制御し、通信部１０８は、エンコードされた画像のデータＤｅｉ（エンコードされた画面画像のデータ、図４参照）を送信する（ステップＳ１６）。画像（映像）の転送処理が終了されない場合（ステップＳ１７でＮｏ）、ステップＳ１１に戻る。

一方、映像表示装置２００において、通信部２０５で入力操作データＤｐが受信されると（ステップＳ２１でＹｅｓ）、制御部２１０は、受信した入力操作データを解析する(ステップＳ２２)。制御部２１０は、画像データ生成部３０ｂとして機能し、今まで受信した入力操作データに応じた画像データ（操作画像のデータ）を生成する（ステップＳ２３）。なお、ステップＳ２１でＮｏの場合にも、ステップＳ２３での画像データ生成は実行される。これは、ステップＳ２１で入力操作データＤｐを受信していない場合であっても、例えば軌跡を生成する場合等には、今まで受信した入力操作データに応じた画像データを生成する場合があるからである。このステップＳ２３での処理によって表示部２０１の表示画面２０１ａに表示される画像の例については、後述する。

また、映像表示装置２００では、入力操作データの受信の有無に拘わらず、一例としては、入力操作データの受信ならびに入力操作に応じた画像データの生成の処理と並行して、画面画像のデータＤｅｉが受信される（ステップＳ２４）。次に、制御部２１０は、デコード部２０８を制御し、デコード部２０８は、受信された画面画像のデータＤｅｉをデコードする（ステップＳ２５）。次に、制御部２１０は、合成制御部３０ｃとして、表示処理部２０９を制御し、ステップＳ２５でデコードされた画像データ（画面画像のデータ）と、ステップＳ２３で生成された画像データ（操作画像のデータ）とを合成した画像データを生成する（ステップＳ２６）。このステップＳ２６では、生成された操作画像のデータが、対応する画面画像のデータに合成される。具体的には、例えば、入力操作に応じたデータに、検出された（あるいは対応する画面画像のデータが表示された）タイミング（時刻、時間）を表すデータが含まれていた場合、あるいは、入力操作に応じたデータおよび画面画像のデータのうち少なくとも一方に、同期タイミングや、時刻等を表すデータが含まれていた場合、制御部２１０は、当該データに基づいて画面画像のデータと操作画像のデータとを同期させやすい。また、電子機器１００で画像Ｉｍｏが表示されてから映像表示装置２００で画像Ｉｍｏと対応する（同じ）画像Ｉｍｙが表示されるまでの遅延時間が、事前のテスト（キャリブレーション）等で判明している場合、制御部２１０は、当該遅延時間のデータに基づいて画面画像のデータと操作画像のデータとを同期させやすい。

次に、制御部２１０は、表示処理部２０９を制御し、表示処理部２０９は、表示部２０１を制御して、表示画面２０１ａ（図１参照）に、画面画像と操作画像とが合成された画像を表示する（ステップＳ２７）。本実施形態では、一例として、制御部２１０、ＧＵＩ処理部２０７、表示処理部２０９等が、表示制御部の一例である。本実施形態では、一例として、入力操作部１０２における入力操作の検出から操作画像が生成されるまでの処理と、画面画像のデータが、取得され、エンコードされ、送信され、受信され、デコードされ合成されるまでの処理と、の少なくとも一部同士が、並行して実行される。

次に、図６〜図９を参照して、本実施形態にかかる映像表示装置２００の表示画面２０１ａにおける、操作画像（Ｉｍａ１，Ｉｍａ２，Ｉｍｒ１，Ｉｍｒ２，Ｉｍｒ３，Ｉｍｐ１，Ｉｍｐ２）の例について説明する。図６には、入力操作される前の時点で表示される操作画像Ｉｍａ１，Ｉｍａ２の例が示されている。すなわち、電子機器１００で画面画像Ｉｍｏが表示された状態で入力操作部１０２への入力操作が検出された時点から、映像表示装置２００の表示画面２０１ａで当該画面画像Ｉｍｏに対応した画面画像Ｉｍｙが表示されるまでには、電子機器１００から映像表示装置２００への画面画像のデータの送受信や、各装置での処理、画面画像のデータのエンコードおよびデコード等により、時間（遅延時間）を要する。よって、入力操作が検出された時点（例えば、検出が開始された時点）での入力操作の位置に対応したデータから生成した操作画像Ｉｍａ１，Ｉｍａ２を、入力操作が検出される前の時点での画面画像Ｉｍｙに合成することが可能である。また、図６の例では、入力操作される前の時点での操作画像Ｉｍａ１，Ｉｍａ２は、時間の経過とともに、入力操作が開始される時点に近付くにつれて、濃くなる。このような操作画像Ｉｍａ１，Ｉｍａ２は、入力操作部１０２に指Ｆ等が近付くにつれて色が濃くなる影のような印象を与えることができる。なお、図中、符号Ｔ１は、表示画面２０１ａ上で、操作画像が更新される（あるいは表示される）時間間隔であり、一例としては、１００［ｍｓ］である。

図７には、ユーザの指Ｆ（図１参照）等が入力操作部１０２に触れている場合（動かない場合、タップされた場合）の、入力操作に対応した操作画像Ｉｍｒ１，Ｉｍｒ２，Ｉｍｒ３の一例が示されている。この例では、指Ｆ等が入力操作部１０２に接触している場所が変化しなかった場合には、操作画像Ｉｍｒ１は、より拡がった操作画像Ｉｍｒ２を経てさらに拡がった操作画像Ｉｍｒ３へ変化している。このような操作画像Ｉｍｒ１，Ｉｍｒ２，Ｉｍｒ３は、液面に拡がる波紋のような印象を与えることができる。

図８には、ユーザの指Ｆ（図１参照）等が入力操作部１０２に触れている場合（動かない場合、タップアンドホールドされた場合）の、入力操作に対応した操作画像Ｉｍｒ１，Ｉｍｒ２，Ｉｍｒ３の別の一例が示されている。この例では、指Ｆ等が入力操作部１０２に接触している場所が変化しなかった場合には、操作画像Ｉｍｒ１は、より拡がった操作画像Ｉｍｒ２を経てさらに拡がった操作画像Ｉｍｒ３へ変化している。また、時間の経過とともに、新たな画像Ｉｍｒ１，Ｉｍｒ２等が出現している。このような操作画像Ｉｍｒ１，Ｉｍｒ２，Ｉｍｒ３は、液面に拡がる波紋のような印象を与えることができる。

図９には、入力操作された後の時点で表示される操作画像Ｉｍｐ１，Ｉｍｐ２の例が示されている。この例では、指Ｆ等が入力操作部１０２から離れた後も、しばらくの間は、操作画像Ｉｍｐ１，Ｉｍｐ２が、残像として表示される。操作画像Ｉｍｐ１，Ｉｍｐ２は、指Ｆ等が入力操作部１０２に最後に接触した場所に表示される。操作画像Ｉｍｐ１，Ｉｍｐ２は、入力操作の終了された時点から時間が経つほど、色が薄くなる。このような操作画像Ｉｍｐ１，Ｉｍｐ２は、入力操作部１０２から指Ｆ等が離れるにつれて色が薄くなる影のような印象を与えることができる。図６〜９に例示されるような操作画像（Ｉｍａ１，Ｉｍａ２，Ｉｍｒ１，Ｉｍｒ２，Ｉｍｒ３，Ｉｍｐ１，Ｉｍｐ２）は、一例としては、記憶部（本実施形態では、一例として記憶部２０２）に記憶された形状データベース（データ）に基づいて、生成することができる。形状データベースは、操作画像（Ｉｍａ１，Ｉｍａ２，Ｉｍｒ１，Ｉｍｒ２，Ｉｍｒ３，Ｉｍｐ１，Ｉｍｐ２）の表示形態（位置、大きさ、形状、色、濃さ、輝度、デザイン等）を示すデータが、操作画像の種別（入力操作時点より前、入力操作時点、入力操作時点より後）や、経過時間等のデータに対応づけて記憶されている。画像データ生成部３０ｂは、形状データベースを参照して、操作画像（Ｉｍａ１，Ｉｍａ２，Ｉｍｒ１，Ｉｍｒ２，Ｉｍｒ３，Ｉｍｐ１，Ｉｍｐ２）のデータを取得する。

図１０には、電子機器１００の表示部１０１の定点に指Ｆが接触した場合における、当該表示部１０１の状態（平面視）と、映像表示装置２００の表示部２０１での操作画像（Ｉｍａ１，Ｉｍａ２，Ｉｍｒ１，Ｉｍｒ２，Ｉｍｒ３，Ｉｍｐ１，Ｉｍｐ２）の経時変化の一例が示されている。図１０の各枠は、一定の時間間隔Ｔ１でサンプリングされた表示部１０１，２０１の一部を示しており、時刻（タイミング）ｔ１１０〜ｔ１１７は、それぞれ、時刻（タイミング）ｔ２１０〜ｔ２１７に対応している。この例では、表示部１０１で画面画像Ｉｍｏが表示されるかあるいは入力操作部１０２で当該画面画像Ｉｍｏに対応した指Ｆ等による入力操作が検出されてから、表示部２０１で画面画像Ｉｍｏに対応した画面画像Ｉｍｙが表示されるまでに、時間Ｔ２（遅延時間）を要している。指Ｆは、少なくとも時刻ｔ１１３から時刻ｔ１１４までの間は入力操作部１０２に接触して入力操作を行い、当該時刻ｔ１１３，ｔ１１４に対応した時刻ｔ２１３，ｔ２１４の間で、表示部２０１では、当該入力操作に対応した操作画像Ｉｍｒ１，Ｉｍｒ２，Ｉｍｒ３が表示されている。そして、それより前の時刻ｔ１１１やｔ１１２では、指Ｆは入力操作部１０２に接触していないが、これら時刻ｔ１１１やｔ１１２に対応した時刻ｔ２１１，ｔ２１２で、表示部２０１では、入力操作される前の時点での操作画像Ｉｍａ１，Ｉｍａ２が表示されている。図１０から、これら操作画像Ｉｍａ１，Ｉｍａ２が表示される時刻ｔ２１１，ｔ２１２は、入力操作が行われた（検出された）時刻ｔ１１３，ｔ１１４より後であることがわかる。すなわち、この図１０から、遅延時間Ｔ２を利用して、入力操作される前の時点での操作画像Ｉｍａ１，Ｉｍａ２が仮想的に生成されていることが理解できよう。

図１１には、電子機器１００の表示部１０１に対応した入力操作部１０２上で、指Ｆ等が接触しながら動かされた場合における、操作画像（Ｉｍａ１，Ｉｍａ２，Ｉｍｒ１，Ｉｍｒ２，Ｉｍｒ３，Ｉｍｐ１，Ｉｍｐ２）の経時変化の一例が示されている。図１１に示される操作画像（Ｉｍａ１，Ｉｍａ２，Ｉｍｒ１，Ｉｍｒ２，Ｉｍｒ３，Ｉｍｐ１，Ｉｍｐ２）は、入力操作部１０２での入力操作の軌跡に対応した画像である。図１１の各枠は、一定の間隔Ｔ１でサンプリングされた表示部２０１の一部を示しており、時刻（タイミング）ｔ２２０〜ｔ２２７は、一定の時間間隔でサンプリングされた各時刻を示している。図１１には、表示部１０１（入力操作部１０２）に接触した指Ｆが左下から右上に向けて動かされた（スワイプが行われた、スライドされた）場合が例示されている。図１１の例でも、表示部２０１では、時刻ｔ２２２〜ｔ２２５の間では、入力操作部１０２での入力操作に対応した操作画像Ｉｍｒ１〜Ｉｍｒ３が表示されている。ただし、入力操作部１０２での接触位置（入力操作位置）が変化するにつれて、操作画像Ｉｍｒ１〜Ｉｍｒ３の表示位置は、位置Ｐｉ１〜位置Ｐｉ４へ変化している。そして、操作画像Ｉｍｒ１〜Ｉｍｒ３は、位置Ｐｉ１〜位置Ｐｉ４の間で変化しながら、表示されてからの経過時間に応じて、形態が変化している。すなわち、時刻ｔ２２２に位置Ｐｉ１で出現した操作画像Ｉｍｒ１は、時刻ｔ２２３，ｔ２２４の経過につれて、色が薄くなるとともに大きくなる操作画像Ｉｍｒ２，Ｉｍｒ３に変化する。また、時刻ｔ２２３に位置Ｐｉ２で出現した操作画像Ｉｍｒ１は、時刻ｔ２２４，ｔ２２５の経過につれて、色が薄くなるとともに大きくなる操作画像Ｉｍｒ２，Ｉｍｒ３に変化する。また、時刻ｔ２２４に位置Ｐｉ３で出現した操作画像Ｉｍｒ１は、時刻ｔ２２５，ｔ２２６の経過につれて、色が薄くなるとともに大きくなる操作画像Ｉｍｒ２，Ｉｍｒ３に変化する。また、時刻ｔ２２５に位置Ｐｉ４で出現した操作画像Ｉｍｒ１は、時刻ｔ２２６，ｔ２２７の経過につれて、色が薄くなるとともに大きくなる操作画像Ｉｍｒ２，Ｉｍｒ３に変化する。そして、図１１の例でも、時刻ｔ２２０，２２１では、入力操作される前の時点での操作画像Ｉｍａ１，Ｉｍａ２が表示されている。これら画像Ｉｍａ１，Ｉｍａ２の位置は、入力操作部１０２で入力操作が開始された位置に対応した位置Ｐｉ１に設定されている。また、時刻ｔ２２６，ｔ２２７では、入力操作された後の時点での操作画像Ｉｍｐ１，Ｉｍｐ２が表示されている。これら画像Ｉｍｐ１，Ｉｍｐ２の位置は、入力操作部１０２で入力操作が終了された位置に対応した位置Ｐｉ５に設定されている。このように、入力操作される前および後の時点に対応した操作画像Ｉｍａ１，Ｉｍａ２，Ｉｍｐ１，Ｉｍｐ２の位置は、入力操作された位置に基づいて、決定（設定）することができる。

図１２は、電子機器１００と映像表示装置２００とに表示される画面の一例を示す図である。電子機器１００の表示画面１０１ａには、時間Ｔｘ１に画面Ｓｃ０が、時間Ｔｘ２に画面Ｓｃ２が、時間Ｔｘ３に画面Ｓｃ３が、時間Ｔｘ４に画面Ｓｃ４が、時間Ｔｘ５に画面Ｓｃ５が表示される。そして、電子機器１００の入力操作部１０２は、時間Ｔｘ１では入力操作（例えば、指等が入力操作部１０２に接触したこと、押圧したこと、近付いたこと等）を検出しておらず、時間Ｔｘ２に位置Ｐｘ１に対する入力操作を検出し、時間Ｔｘ２から時間Ｔｘ３の間に当該入力操作の位置Ｐｘ２への移動を検出し、時間Ｔｘ４および時間Ｔｘ５においては入力操作を検出していない。すなわち、電子機器１００の入力操作部１０２は、入力操作が開始されたことを時間Ｔｘ２に検出し、入力操作が終了したことを時間Ｔｘ３に検出する。

ここで、映像表示装置２００は、電子機器１００が時間Ｔｘ１に表示していた画面Ｓｃ１を、当該時間Ｔｘ１から映像遅延時間Ｔｄ１が経過した時間Ｔｘ２１に表示する。なお、映像遅延時間Ｔｄ１には、上述したように、例えば、電子機器１００が画面Ｓｃ１をエンコードする時間や、エンコードされた画面Ｓｃ１を電子機器１００が送信するまでの時間、送信された画面Ｓｃ１のデータを映像表示装置２００が受信するまでの時間、受信された画面Ｓｃ１を映像表示装置２００がデコードして表示するまでの時間等が、含まれる。また、映像表示装置２００は、入力操作部１０２が時間Ｔｘ２に検出した入力操作の位置Ｐｘ１に対応する画像Ｉｘ１（操作画像）を、時間Ｔｘ２からポインタ遅延時間Ｔｄ２（電子機器１００で入力操作が検出されてから映像表示装置２００で対応する画像が表示されるまでに要する時間）が経過した時間Ｔｘ２１に表示する。なお、画像Ｉｘ１は画面Ｓｃ２への操作に対応するが、電子機器１００は時間Ｔｘ２１において画面Ｓｃ１を表示している。このため、電子機器１００は、画像Ｉｘ１を例えば影のような表示形態で表示する。

次に、映像表示装置２００は、電子機器１００が時間Ｔｘ２に表示していた画面Ｓｃ２を、当該時間Ｔｘ２から映像遅延時間Ｔｄ１が経過した時間Ｔｘ３１に表示する。また、時間Ｔｘ３１において、映像表示装置２００は、入力操作部１０２が時間Ｔｘ２に検出した入力操作の位置Ｐｘ１に対応する画像Ｉｘ２（操作画像）を画面Ｓｃ２と共に表示する。

図１２におけるここまでの処理を言い換えると、電子機器１００が画面Ｓｃ２を表示している場合に、当該画面Ｓｃ２の位置Ｐｘ１に対する入力操作が開始されると、映像表示装置２００は、電子機器１００が画面Ｓｃ２を表示していた時間Ｔｘ２よりも前の時間Ｔｘ１に表示されていた画面Ｓｃ１と共に、位置Ｐｘ１に対応する画像Ｉｘ１を表示する。そして、映像表示装置２００は、画面Ｓｃ１と画像Ｉｘ１とを表示した後の時間Ｔｘ３１において、画面Ｓｃ２と画像Ｉｘ２とを表示する。なお、画像Ｉｘ２は、画面Ｓｃ２が電子機器１００に表示されていたときに当該電子機器１００が検出した入力操作の位置Ｐｘ１に対応する位置に表示される。すなわち、画像Ｉｘ２は、画像Ｉｘ１と同じ位置に表示される。なお、画像Ｉｘ１と画像Ｉｘ２との表示形態は異なっていてもよい。

さらに、時間Ｔｘ３１において、映像表示装置２００は画像Ｉｘ３（操作画像）を表示しても良い。ここで、画像Ｉｘ３は、電子機器１００が時間Ｔｘ３において検出した入力操作の位置Ｐｘ２に対応している。すなわち、映像表示装置２００は、画面Ｓｃ２を電子機器１００が表示していたときに当該電子機器１００が検出した位置Ｐｘ１（接触位置等）に対応する画像Ｉｘ２と、画面Ｓｃ２を電子機器１００が表示していたときに当該電子機器１００が検出した位置Ｐｘ２（接触位置等）に対応する画像Ｉｘ３とを、画面Ｓｃ２上に重ねて表示しても良い。そして、このとき、画像Ｉｘ２とＩｘ３とは表示形態が異なっている。なお、画面Ｓｃ０において表示される画像Ｉｘ１と、画面Ｓｃ１において表示される画像Ｉｘ３とのどちらも、将来表示される画面における操作位置を予告する画像である。このため、画像Ｉｘ１と画像Ｉｘ３の表示形態は同じであっても良い。

また、映像表示装置２００は、画面Ｓｃ２を表示している場合に、画像Ｉｘ２と、当該画像Ｉｘ２が移動する方向（位置Ｐｘ２の方向）を示す画像を表示しても良い。なお、図１２においては図示していないが、映像表示装置２００は、時間Ｔｘ２１と時間Ｔｘ３１の間の時間において、画像Ｉｘ１と当該画像Ｉｘ１が移動する方向を示す画像を表示しても良い。すなわち、電子機器１００が、Ｔｘ２とＴｘ３との間の時間において入力操作の移動を検出し、当該入力操作の位置を映像表示装置２００に通知した場合、映像表示装置２００は、時間Ｔｘ３１になって画像Ｉｘ２を表示するまでの間に、画像Ｉｘ１を移動させる、あるいは画像Ｉｘ１の移動方向を示す矢印を表示しても良い。

次に、映像表示装置２００は、電子機器１００が時間Ｔｘ３に表示していた画面Ｓｃ３を、当該時間Ｔｘ３から映像遅延時間Ｔｄ１が経過した時間Ｔｘ４１に表示する。また、時間Ｔｘ４１において、映像表示装置２００は、入力操作部１０２が時間Ｔｘ３に検出した入力操作の位置Ｐｘ２に対応する画像Ｉｘ４（操作画像）を画面Ｓｃ３と共に表示する。さらに、このとき、映像表示装置２００は、入力操作の軌跡を示す画像Ｉｘ５（操作画像）を表示しても良い。

次に、映像表示装置２００は、電子機器１００が時間Ｔｘ４に表示していた画面Ｓｃ４を、当該時間Ｔｘ４から映像遅延時間Ｔｄ１が経過した時間Ｔｘ５１に表示する。また、時間Ｔｘ５１において映像表示装置２００は、入力操作部１０２が時間Ｔｘ３に検出した入力操作の位置Ｐｘ２に対応する画像Ｉｘ６を画面Ｓｃ４と共に表示する。なお画像Ｉｘ６は、映像表示装置２００が過去に表示していた画面Ｓｃ３に対応するものである。このため画像Ｉｘ６の表示形態は、例えば波紋等により入力操作の軌跡を示すものであっても良い。

なお、図１２においては、画面が電子機器１００に表示されてから映像表示装置２００に表示されるまでの遅延時間が、画面Ｓｃ１乃至画面Ｓｃ５のいずれについても同じ（Ｔｄ１）であると説明した。しかし、画面Ｓｃ１乃至画面Ｓｃ５等の画面毎に遅延時間が異なる場合もある。これは、複雑な画像が表示される画面に関してはエンコードおよびデコードに時間を要する場合やデータ量が多くなる場合があるためである。しかし、いずれにしても、それぞれの画面が映像表示装置に表示されるまでの映像遅延時間は、ポインタ遅延時間Ｔｄ２よりも長い。なお、映像表示装置２００は、画像Ｉｘ１を、時間Ｔｘ２からポインタ遅延時間Ｔｄ２が経過した時間以降に、表示することができる。また、映像表示装置２００は、画像Ｉｘ１等を、当該画像Ｉｘ１が表示される時間Ｔｘ２より前の複数の時間で入力操作部１０２が検出した複数の入力操作データに基づいて生成することができる。この場合、複数の時間で検出された入力操作データ（位置データ）の内挿あるいは外挿等の処理により、実際の入力操作された位置とは外れた位置に、画像Ｉｘ１等を表示することができる。具体的には、入力操作が例えばスワイプ（スライド）であった場合、映像表示装置２００は、実際の入力操作の開始位置に対して当該入力操作の逆方向の位置に、画像Ｉｘ１を表示することができる。また、実際の入力操作の終了位置に対して当該入力操作の方向の位置に、画像Ｉｘ６を表示することができる。この場合、入力操作Ｉｘ２〜Ｉｘ５の動きに対応した仮想的な画像Ｉｘ１，Ｉｘ６を表示することができる。なお、本実施形態では、実際の入力操作を示さない（入力操作部１０２による検出結果を示すものではない）画像Ｉｘ１や画像Ｉｘ６等も、入力操作に関連したものであることから、便宜上、操作画像と称している。

図１３〜２０には、電子機器１００の表示部１０１に対応した入力操作部１０２上に二本の指Ｆが接触し、それら二本の指Ｆの間隔が広がるように動かされた（ピンチアウトが行われた、ピンチオープンが行われた、スライドされた）場合における表示部１０１，２０１の状態が示されている。図１３に示される表示部１０１での時刻ｔ１３０での画面画像Ｉｍｏに対応した画面画像Ｉｍｙは、図１４に示されるように、時刻ｔ２３０で表示部２０１に表示される。図１５に示される表示部１０１での時刻ｔ１３１での画面画像Ｉｍｏに対応した画面画像Ｉｍｙは、図１６に示されるように、時刻ｔ２３１で表示部２０１に表示される。図１７に示される表示部１０１での時刻ｔ１３２での画面画像Ｉｍｏに対応した画面画像Ｉｍｙは、図１８に示されるように、時刻ｔ２３２で表示部２０１に表示される。図１９に示される表示部１０１での時刻ｔ１３３での画面画像Ｉｍｏに対応した画面画像Ｉｍｙは、図２０に示されるように、時刻ｔ２３３で表示部２０１に表示される。図１５〜１８を参照すればわかるように、二本の指Ｆによる入力操作部１０２への入力操作により、画面画像Ｉｍｏ，Ｉｍｙは、拡大されている。

また、この例では、図１５，１７に示されるように、二つの指Ｆは、時刻ｔ１３１，ｔ１３２で入力操作部１０２に接触し、当該入力操作部１０２での入力操作に応じた操作画像Ｉｍｒ１１〜Ｉｍｒ１３，Ｉｍｒ２１〜Ｉｍｒ２３は、図１６，１８に示されるように、時刻ｔ２３１，ｔ２３２で表示部２０１に表示される。また、図１６，１８からわかるように、この例では、操作画像Ｉｍｒ１１〜Ｉｍｒ１３，Ｉｍｒ２１〜Ｉｍｒ２３は、動かされる方向に向いた部分を有した形状（本実施形態では、一例として、一つの角部（端部）が動かされる方向に向いた三角形状）に形成されている。この例でも、時刻ｔ２３１，ｔ２３２が、時刻ｔ１３１，ｔ１３２より遅く、操作画像Ｉｍｒ１１〜Ｉｍｒ１３，Ｉｍｒ２１〜Ｉｍｒ２３を生成する前に、入力操作部１０２で複数の時刻ｔ１３１，ｔ１３２での入力操作（の位置や方向）が検出されうるため、操作画像Ｉｍｒ１１〜Ｉｍｒ１３，Ｉｍｒ２１〜Ｉｍｒ２３での方向の指定が可能となる。また、図１８において、操作画像Ｉｍｒ１２は、他の操作画像Ｉｍｒ１１，Ｉｍｒ１３の位置Ｐｉ１１，Ｐｉ１２（Ｐｔ１１，Ｐｔ１２）に基づく補間処理（例えば、それらの中間位置の演算）によって生成され、操作画像Ｉｍｒ２２は、他の操作画像Ｉｍｒ２１，Ｉｍｒ２３の位置Ｐｉ２１，Ｐｉ２２（Ｐｔ２１，Ｐｔ２２）に基づく補間処理（例えば、それらの中間位置の演算）によって生成される。このように、入力操作部１０２での入力操作の検出結果に基づく種々の演算によって、操作画像の種々の形態での表示が可能となっている。

同様に、表示部２０１では、図１３に示されるように、まだ二本の指Ｆが入力操作部１０２に接触していない時刻ｔ１３０（図１３）に対応した時刻ｔ２３０で、二本の指Ｆの位置Ｐｔ１１，Ｐｔ２１に対応した位置Ｐｉ１１，Ｐｉ２１で、その後の二本の指Ｆの動く方向を向いた操作画像Ｉｍａ１，Ｉｍａ２を表示することができる。なお、表示部２０１では、図２０に示されるように、二本の指Ｆが入力操作部１０２から離れた時刻ｔ１３３（図１９）に対応した時刻ｔ２３３で、入力操作が終了した時点での二本の指Ｆの位置Ｐｔ１２，Ｐｔ２２（図１７参照）に対応した位置Ｐｉ１２，Ｐｉ２２で、特定の方向を向かない（この例では、一例として、円形状の）操作画像Ｉｍｐ１，Ｉｍｐ２を表示することができる。

以上のように、本実施形態によれば、一例としては、電子機器１００と映像表示装置２００との間の画像表示の時間差を利用して、映像表示装置２００に、入力操作部１０２での入力操作に対応した操作画像を、より効果的な形態で表示することができる。

また、本実施形態では、一例として、表示部２０１の表示画面２０１ａに画面画像Ｉｍｙと、入力操作部１０２への入力操作に対応した操作画像Ｉｍｒとが表示される。よって、ユーザ等は、他装置としての電子機器１００の入力操作部１０２にどのような操作が行われるかあるいは行われたかをより認識しやすい。

また、本実施形態では、一例として、画像データ生成部３０ｂは、入力操作を示す操作画像Ｉｍｒのデータを生成するとともに、入力操作に応じたデータ（第一データ）に基づいて入力操作の位置Ｐｔに対応した入力操作される前の時点での操作画像Ｉｍａのデータを生成する。よって、本実施形態によれば、一例としては、表示部２０１の表示画面２０１ａに表示される画面画像Ｉｍｙが変化する前に、当該表示画面２０１ａに、その変化を予告する操作画像Ｉｍａが表示されることができる。

また、本実施形態では、一例として、入力操作を示す操作画像Ｉｍｒと、入力操作される前の時点での操作画像Ｉｍａとが、外観上相異なるように表示される。よって、一例としては、ユーザ等は、表示部２０１において、実際の操作に基づく操作画像Ｉｍｒと、仮想的な操作画像Ｉｍａとを区別しやすい。また、本実施形態では、一例として、入力操作される前の時点での操作画像Ｉｍａは、入力操作を示す操作画像Ｉｍｒより暗い。よって、入力操作される前の時点での操作画像Ｉｍａを、影のように表現することができる。

また、本実施形態では、一例として、入力操作される前の時点での画像Ｉｍａは、入力操作の方向を向いた部分を有した。よって、一例としては、ユーザ等は、表示部２０１において、操作画像Ｉｍａ，Ｉｍｒがどの方向に動くのかを、予測しやすくなる。

また、本実施形態では、一例として、画像データ生成部３０ｂは、入力操作に応じたデータ（第一データ）に基づいて入力操作の位置Ｐｔに対応した入力操作された後の時点での操作画像Ｉｍｐのデータを生成する。よって、本実施形態によれば、一例としては、表示部２０１の表示画面２０１ａで操作画像Ｉｍｒが急に消滅するのを抑制することができる。

また、本実施形態では、一例として、操作画像Ｉｍｒは、入力操作部１０２での入力操作の軌跡に対応する。よって、本実施形態によれば、一例としては、ユーザ等は、他装置としての電子機器１００の入力操作部１０２にどのような操作が行われるかあるいは行われたかをより認識しやすい。

＜第２実施形態＞
上記実施形態での表示形態は、他の実施形態によっても得られる。具体的に、図２１，２２に示される実施形態では、画像データ生成部３０ｂが、電子機器１００に設けられている。そして、電子機器１００の画像データ生成部３０ｂが、上述したような操作画像Ｉｍａ，Ｉｍｒ，Ｉｍｐのデータを生成し（図２２のステップＳ１０２）、電子機器１００の通信部１０８が生成された操作画像Ｉｍａ，Ｉｍｒ，Ｉｍｐのデータを映像表示装置２００へ送信する（図２２のステップＳ１０３）。そして、映像表示装置２００の通信部２０５が操作画像Ｉｍａ，Ｉｍｒ，Ｉｍｐのデータを受信した場合に（ステップＳ２０１）、映像表示装置２００の合成制御部３０ｃが画面画像Ｉｍｏのデータと操作画像Ｉｍａ，Ｉｍｒ，Ｉｍｐのデータとを合成する（ステップＳ２６）。本実施形態における各部位や各ステップでの具体的な処理は上記実施形態と同様である。このような実施形態によっても、上記実施形態で例示されたような表示形態が得られる。

＜第３実施形態＞
また、図２３，２４に示される実施形態では、画像データ生成部３０ｂならびに合成制御部３０ｃが、電子機器１００に設けられている。そして、電子機器１００の画像データ生成部３０ｂが、上述したような操作画像Ｉｍａ，Ｉｍｒ，Ｉｍｐのデータを生成し（図２４のステップＳ１０２）、電子機器１００の合成制御部３０ｃが画面画像Ｉｍｏのデータと操作画像Ｉｍａ，Ｉｍｒ，Ｉｍｐのデータとを合成する（ステップＳ１２５）。電子機器１００のエンコード部１０７は、合成された画像データをエンコードし（ステップＳ１０５）、電子機器１００の通信部１０８は、エンコードされた画像データ（合成された画像データ）を送信する（ステップＳ１０６）。映像表示装置２００の通信部２０５がエンコードされた画像データ（合成された画像データ）を受信すると（ステップＳ２１３）、映像表示装置２００のデコード部２０８は、エンコードされた画像データ（合成された画像データ）をデコードする（ステップＳ２１４）。本実施形態における各部位や各ステップでの具体的な処理は上記実施形態と同様である。このような実施形態によっても、上記実施形態で例示されたような表示形態が得られる。ただし、本実施形態では、入力操作部１０２で入力操作された前の時点での操作画像Ｉｍａを表示する場合には、電子機器１００に、複数フレーム（複数のタイミング、複数のサンプリングタイミング）の画像データを一時的に記憶する記憶部（バッファ、リングバッファ等、例えばＨＤＤ等）が必要となる。入力操作部１０２で入力操作が検出された時点で、その時点より前の時点での画面画像Ｉｍｏのデータに、検出された時点での検出結果に基づいて生成された操作画像Ｉｍａのデータが合成される。

以上、本発明の実施形態を例示したが、上記実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、各構成要素のスペックは、適宜に変更して実施することができる。

上述した実施形態にかかる装置（システム）は、入力操作部に対する上述したタップ、スワイプ、ピンチアウト（ピンチオープン）以外の入力操作、例えば、ダブルタップ、ドラッグ、フリック、スクロール、二本指スクロール、ピンチイン（ピンチクローズ）、タッチアンドホールド等の入力操作についても、同様に動作し、同様の結果が得られる。

また、操作画像の表示形態（位置、大きさ、形状、色、濃さ、輝度、デザイン等）も、種々に変形することができる。入力操作に対応した操作画像、入力操作される前の時点での操作画像、ならびに入力操作された後の時点での操作画像は、これら表示形態の少なくともいずれかが相違することができる。また、操作画像は、複数のタイミングで繋がった画像とすることができる。また、第一装置から第二装置へ送られる入力操作データには、サンプリングされた時刻とは別の入力操作の開始時点と終了時点でのデータを含めることができる。
以下に、本願の原出願の特許査定時の特許請求の範囲に記載された発明を付記する。
［１］
第一表示画面を有した第一表示装置と、当該第一表示画面に表示される画面画像のデータをエンコードするエンコード部と、当該エンコード部でエンコードされた前記画面画像のデータを送信する第一送信部と、前記第一表示画面に重ねて設けられた入力操作部と、当該入力操作部での操作位置を示すデータを送信する第二送信部と、を備えた第一装置の前記第一送信部から、前記エンコードされた画面画像のデータを受信する第一受信部と、
前記第一受信部で受信された前記エンコードされた画面画像のデータをデコードするデコード部と、
前記第二送信部から送信された前記操作位置を示すデータを受信する第二受信部と、
前記第二受信部で受信された前記操作位置を示すデータに対応した操作画像のデータを生成する画像データ生成部と、
前記デコードされた画面画像のデータと前記生成された操作画像のデータとから前記画面画像と前記操作画像とを含む画像を第二装置に含まれる第二表示装置の第二表示画面に表示させる表示制御部と、
を備え、
前記表示制御部は、第一の時間に前記第一表示画面に表示された第一の画面画像と、前記第一の時間の後の第二の時間における前記入力操作を示す第一の操作画像とを含む画像を表示させた後に、前記第二の時間に前記第一表示画面に表示された第二の画面画像と前記第二の時間における入力操作を示す第二の操作画像とを含む画像を表示させる、表示制御装置。
［２］
表示制御部は、前記第一の操作画像と前記第二の操作画像とを外観上相異なるように表示させる、［１］に記載の表示制御装置。
［３］
前記第一の操作画像は、前記第二の操作画像より暗い、［２］に記載の表示制御装置。
［４］
前記第一の操作画像は、前記入力操作の方向を示す部分を有した、［１］〜［３］のうちいずれか一つに記載の表示制御装置。
［５］
前記表示制御部は、前記第二の時間に前記第一表示画面に表示された前記第二の画面画像と、前記第二の操作画像と、前記第二の時間よりも後の第三の時間における前記入力操作を示す第三の操作画像とを含む画像を表示させる、［１］に記載の表示制御装置。
［６］
前記画像データ生成部は、前記入力操作の軌跡に対応した前記操作画像のデータを生成する、［１］〜［５］のうち何れか一つに記載の表示制御装置。
［７］
前記画像データ生成部によるデータの生成の少なくとも一部が、前記デコード部によるデータのデコードと並行して行われる、［１］〜［６］のうちいずれか一つに記載の表示制御装置。
［８］
表示制御装置の表示制御方法であって、
前記表示制御装置が、
第一表示画面を有した第一表示装置と、当該第一表示画面に表示される画面画像のデータを送信する第一送信部と、前記第一表示画面に重ねて設けられた入力操作部と、当該入力操作部での操作位置を示すデータを送信する第二送信部と、を備えた第一装置の前記第一送信部から、前記画面画像のデータを受信すること、
前記送信された前記操作位置を示すデータを受信すること、
前記受信された前記操作位置を示すデータに対応した操作画像のデータを生成すること、および、
第一の時間に前記第一表示画面に表示された第一の画面画像と、前記第一の時間の後の第二の時間における前記操作位置を示すデータに対応した第一の操作画像とを含む画像を表示させた後に、前記第二の時間に前記第一表示画面に表示された第二の画面画像と前記第二の時間における入力操作を示す第二の操作画像とを含む画像を表示させること、
を含む、表示制御方法。
［９］
第一表示装置の第一表示画面に表示される画面画像のデータをエンコードするエンコード部と、
前記エンコード部でエンコードされた前記画面画像のデータを送信する第一送信部と、
前記第一表示画面に重ねて設けられた入力操作部での操作位置を示すデータに対応し別の装置の表示画面で表示される操作画像のデータを生成する画像データ生成部と、
前記画像データ生成部で生成された操作画像のデータを送信する第二送信部と、
を備え、
前記画像データ生成部は、第一の時間に前記第一表示画面に表示された第一の画面画像に重ねて表示される第一の操作画像であって前記第一の時間より後の第二の時間の入力操作を示す当該第一の操作画像のデータを生成するとともに、前記第二の時間に前記第一表示画面に表示された第二の画面画像に重ねて表示される当該第二の時間の入力操作を示す第二の操作画像のデータを生成する、
電子機器。
［１０］
電子機器の制御方法であって、
前記電子機器が、
第一表示装置の第一表示画面に表示される画面画像のデータをエンコードすること、
前記エンコードされた前記画面画像のデータを送信すること、
前記第一表示画面に重ねて設けられた入力操作部での操作位置を示すデータに対応し別の装置の表示画面で表示される操作画像のデータを生成すること、および、
前記生成された操作画像のデータを送信すること、
を含み、
前記操作画像のデータとして、前記第一の時間に前記第一表示画面に表示された第一の画面画像に重ねて表示される第一の操作画像であって前記第一の時間より後の第二の時間の入力操作を示す当該第一の操作画像のデータと、前記第二の時間に前記第一表示画面に表示された第二の画面画像に重ねて表示される当該第二の時間の入力操作を示す第二の操作画像のデータと、が生成される、
制御方法。

１００…電子機器（第一装置）、１０１…表示部（第一表示装置）、１０１ａ…表示画面、１０２…入力操作部、１０７…エンコード部、１０８…通信部（第一送信部、第二送信部）、２００…映像表示装置（第二装置）、２０１…表示部（第二表示装置）、２０１ａ…表示画面、２０５…通信部（第一受信部、第二受信部）、２０７…ＧＵＩ処理部（表示制御部）、２０８…デコード部、２０９…表示処理部（表示制御部）、２１０…制御部（表示制御部）、３０ｂ…画像データ生成部。

Claims (6)

1. 第一表示画面を有した第一表示装置と、当該第一表示画面に表示される画面画像のデータをエンコードするエンコード部と、当該エンコード部でエンコードされた前記画面画像のデータを送信する第一送信部と、ユーザからの入力操作を受け付ける入力操作部と、当該入力操作部での操作位置を示すデータを送信する第二送信部と、を備えた第一装置の前記第一送信部から、前記エンコードされた画面画像のデータを受信する第一受信部と、
   前記第一受信部で受信された前記エンコードされた画面画像のデータをデコードするデコード部と、
   前記第二送信部から送信された前記操作位置を示すデータを受信する第二受信部と、
   前記第二受信部で受信された前記操作位置を示すデータに対応した操作画像のデータを生成する画像データ生成部と、
   前記デコードされた画面画像のデータと前記生成された操作画像のデータとから前記画面画像と前記操作画像とを含む画像を第二装置に含まれる第二表示装置の第二表示画面に表示させる表示制御部と、
   を備え、
   前記表示制御部は、第一の時間に前記第一表示画面に表示された第一の画面画像と、前記第一の時間の後の第二の時間における前記入力操作を示す第一の操作画像と、前記第一の時間での前記第一表示画面に対する前記操作位置を示す画像と、を含む画像を、前記第二の時間の後の第三の時間に表示させる、表示制御装置。
2. 表示制御部は、前記第一の操作画像と前記第一の時間での前記第一表示画面に対する前記操作位置を示す画像とを外観上相異なるように表示させる、請求項１に記載の表示制御装置。
3. 前記第一の操作画像は、前記入力操作の方向を示す部分を有した、請求項１または２に記載の表示制御装置。
4. 前記画像データ生成部は、前記入力操作の軌跡に対応した前記操作画像のデータを生成する、請求項１〜３のうち何れか一つに記載の表示制御装置。
5. 前記画像データ生成部によるデータの生成の少なくとも一部が、前記デコード部によるデータのデコードと並行して行われる、請求項１〜４のうちいずれか一つに記載の表示制御装置。
6. 表示制御装置の表示制御方法であって、
   前記表示制御装置が、
   第一表示画面を有した第一表示装置と、当該第一表示画面に表示される画面画像のデータを送信する第一送信部と、ユーザからの入力操作を受け付ける入力操作部と、当該入力操作部での操作位置を示すデータを送信する第二送信部と、を備えた第一装置の前記第一送信部から、前記画面画像のデータを受信すること、
   前記送信された前記操作位置を示すデータを受信すること、
   前記受信された前記操作位置を示すデータに対応した操作画像のデータを生成すること、および、
   第一の時間に前記第一表示画面に表示された第一の画面画像と、前記第一の時間の後の第二の時間における前記操作位置を示すデータに対応した第一の操作画像と、前記第一の時間での前記第一表示画面に対する前記操作位置を示す画像と、を含む画像を、前記第二の時間の後の第三の時間に表示させること、
   を含む、表示制御方法。

Images