JP2014109894A - 通信装置、表示制御装置、通信方法、及び表示制御方法 - Google Patents

Abstract

【課題】操作性を向上させる。
【解決手段】実施形態の通信装置は、第１の送信部と、受信部と、第２の送信部と、を備える。第１の送信部は、表示制御装置に対して、カーソル情報が示された画面情報を送信する。受信部は、表示制御装置から、カーソル情報の移動が示された移動情報を受信する。第２の送信部は、移動情報に従って移動させたカーソル情報が示された画面情報を送信すると共に、移動情報に従ったカーソル情報の移動が停止した場合、所定の時間前の位置に戻した後のカーソル情報が示された画面情報を、表示制御装置に送信する。
【選択図】図２

Description

本発明の実施形態は、通信装置、表示制御装置、通信方法、及び表示制御方法に関する。

従来、任意の通信装置が表示していた画面データを、有線あるいは無線を介して他の表示装置に送信し、当該他の表示装置が受信した画面データを表示する技術が知られている。例えば、送信側の通信装置に接続されたポインティングデバイスで操作された操作結果を含む画面データが、受信側の表示装置に送信される。これにより、表示装置を参照しているユーザが、送信側の通信装置で行われた操作を確認できる。

特開２００１−１５９９４４号公報

近年、映像データの受信側の表示装置でも画面を操作したいという要求が高まっている。このため、画面データの受信側の表示装置にポインティングデバイス（例えばマウス）を接続し、当該表示装置で行われた操作を示したカーソルの移動情報を、画面データの送信側の通信装置に送信する技術が提案されている。これにより、通信装置が、表示装置で行われた操作結果を画面データに反映させることができる。しかしながら、このような処理を行う際に、ユーザが操作してから当該操作結果が画面に反映されるまでに遅延が生じる。このため、操作が難しいという問題がある。

本発明は、上記に鑑みてなされたものであって、操作性の向上を図る通信装置、表示制御装置、通信方法、及び表示制御方法を提供する。

実施形態の通信装置は、第１の送信部と、受信部と、第２の送信部と、を備える。第１の送信部は、表示制御装置に対して、カーソル情報が示された画面情報を送信する。受信部は、表示制御装置から、カーソル情報の移動が示された移動情報を受信する。第２の送信部は、移動情報に従って移動させたカーソル情報が示された画面情報を送信すると共に、移動情報に従ったカーソル情報の移動が停止した場合、所定の時間前の位置に戻した後のカーソル情報が示された画面情報を、表示制御装置に送信する。

図１は、第１の実施形態にかかる無線ＬＡＮ画面転送の概要を示した図である。 図２は、第１の実施形態にかかる通信装置の通信プロトコルスタックの構造を示した図である。 図３は、第１の実施形態にかかる軌跡記録部のテーブル構造を示した図である。 図４は、第１の実施形態において、テレビジョン表示装置に接続されたポインティングデバイスを用いて、画面操作を行う例を示した図である。 図５は、第１の実施形態において、テレビジョン表示装置から送信された移動情報によりカーソルがボタンまで移動した例を示した図である。 図６は、第１の実施形態において、テレビジョン表示装置から送信された移動情報により遅延時間分だけカーソルが多く移動した例を示した図である。 図７は、第１の実施形態において、通信装置からテレビジョン表示装置に対して無線ＬＡＮ画面転送を行っている状態で、所定の時間だけカーソルの位置を修正した例を示した図である。 図８は、第１の実施形態にかかる通信装置及びテレビジョン表示装置における、画面表示の処理の手順を示すフローチャートである。 図９は、第１の実施形態にかかる通信装置及びテレビジョン表示装置における、テレビジョン表示装置に接続されたポインティングデバイスを停止させた際の処理の手順を示すフローチャートである。 図１０は、第１の実施形態に係る通信装置の構成の一例を示すブロック図である。

（第１の実施形態）
本実施形態では、画面情報を送信する通信装置としてＰＣを適用し、受信した画面情報を表示する表示制御装置としてテレビジョン表示装置を適用した例について説明するが、他の機器と通信可能な装置であり表示部を備えていればどのような装置であっても良い。

図１は、第１の実施形態にかかる無線ＬＡＮ画面転送（Wi-Fi Screen Transfer）の概要を示した図である。図１に示す例では、送信側(Source側)として通信装置１００と、受信側（Sink側）としてテレビジョン表示装置１５０と、を備えている。本実施形態にかかる無線ＬＡＮを用いた画面転送は、通信装置１００が表示する画面データをエンコードして、テレビジョン表示装置１５０に送信する。そして、テレビジョン表示装置１５０は、受信した画面データに対してデコードした後、表示部に表示する。

本実施形態では、通信装置１００と、テレビジョン表示装置１５０と、の間で無線通信を行う際、無線ＬＡＮ規格のＩＥＥＥ８０２．１１ｎで接続するが、接続手法を制限するものではなく、他の通信規格で接続しても良い。また、無線通信ではなく有線通信しても良い。また、本実施形態では、接続する際、アクセスポイント（ＡＰ）を中継せずに、通信装置１００及びテレビジョン表示装置１５０と、の間を直接接続して通信を行うが、アクセスポイントを中継する通信方式を用いても良い。アクセスポイントなしに、１対１、又は１対ｎで接続する無線通信方式として、本実施形態ではＷｉ−Ｆｉ Ｄｉｒｅｃｔを用いる。Ｗｉ−Ｆｉ Ｄｉｒｅｃｔは、Ｗｉ−Ｆｉ Ａｌｌｉａｎｃｅが規格化した無線通信方式であるため説明を省略する。

本実施形態は、通信装置１００として、ＰＣを用いた例について説明するが、ＰＣに制限するものではなく、例えば、タブレット型通信端末、スマートフォンなどの携帯通信端末等を用いても良い。

そして、通信装置１００には、ポインティングデバイス１０１が接続されている。これにより、画面に示されたカーソル１０２の操作を行うことができる。そして、操作結果は通信装置１００の画面に反映されると共に、画面データの送信先であるテレビジョン表示装置１５０の画面にも反映される。

さらには、テレビジョン表示装置１５０にも、ポインティングデバイス１５１が接続されている。そして、ポインティングデバイス１５１によるカーソル（例えばマウスポインタ）の移動情報は、通信装置１００に送信される。そして、通信装置１００は、受信した移動情報に基づく操作結果を、通信装置１００の画面に反映すると共に、操作結果が反映された画面データをテレビジョン表示装置１５０に送信する。これによりテレビジョン表示装置１５０でもポインティングデバイス１５１の操作結果を参照できる。

しかしながら、通信装置１００が移動情報を受信してから、テレビジョン表示装置１５０で表示されるまでの間に、通信装置１００による画面データのエンコードと、テレビジョン表示装置１５０による画面データのデコードとが含まれている。本実施形態で用いられるエンコード（例えばH.264 encode）とデコード（例えばH.264 decode）には処理に時間を要する。

よって、テレビジョン表示装置１５０が操作してから、当該テレビジョン表示装置１５０で表示されるまでの間に遅延が生じる。このため、ユーザがテレビジョン表示装置１５０を閲覧しながら操作した場合に、カーソル（マウスポインタ）が本来停止したかった位置からずれた位置で停止するなど、ユーザが所望する操作ができない可能性がある。そこで、本実施形態にかかる通信装置１００では、カーソル（マウスポインタ）の停止位置の修正機能を備えることで、操作性の向上を図ることとした。

図２は、本実施形態にかかる通信装置１００の通信プロトコルスタックの構造を示した図である。図２に示す様に、通信装置１００は、ポインティングデバイス１０１のポインティングデバイスドライバ２０１を有している。そして、通信装置１００では、ポインティングデバイスドライバ２０１より下の階層に、無線ＬＡＮで画面データを転送するためのソフトウェア群が階層状に設けられている。

図２に示す様に、通信装置１００は、ソフトウェア群として、無線ＬＡＮ画面転送アプリケーション２０２と、Ｄｉｓｃｏｖｅｒｙ層２０３と、ＲＴＳＰ／ＲＴＣＰ層２０４と、ＶＲＡＭ２０５と、Ｖｉｄｅｏ＿Ｃｏｄｅｃ層２０６と、Ａｕｄｉｏ＿Ｃｏｄｅｃ層２０７と、ＰＥＳ層２０８と、ＨＤＣＰ＿２．０層２０９と、ＭＰＥＧ＿ＴＳ層２１０と、ＲＴＰ層２１１と、ＴＣＰ層２１２と、ＵＤＰ層２１３と、ＩＰ層２１４と、Ｗｉ−Ｆｉ（ＩＥＥＥ８０２．１１ｎ）層２１５と、を有している。

例えば、ＲＴＰ（Real-time Transport Protocol）層２１１は、ＲＦＣ３５５０に規格化された通信手法を用いて通信を行う。

ＲＴＳＰ（Real Time Streaming Protocol）／ＲＴＣＰ(RTP Control Protocol)層２０４は、無線通信を介して接続する通信装置を遠隔操作するためのプロトコルとする。本実施形態では、無線ＬＡＮ画面転送制御プロトコルとして、ＲＴＳＰを利用する。このプロトコルは、ＲＦＣ２３２６に基づいて、無線ＬＡＮ画面転送用に機能追加したものである。機能追加項目には、カーソルの移動情報を、画面と共に転送する機能も含まれている。

そして、本実施形態にかかる通信装置１００は、画面転送の制御プロトコルとしてＲＴＳＰ／ＲＴＣＰ（ＴＣＰ）を用い、映像送信プロトコルとしてＲＴＰ（ＵＤＰ）を用いる。なお、他の層については、通常の通信処理に用いられるレイヤー層と同様のため、説明を省略する。

ポインティングデバイス情報２２１には、通信装置１００に接続されたポインティングデバイス１０１の画面上での位置等が含まれている。さらに、ポインティングデバイス情報２２１には、画面上の位置の他に、画面上にカーソルの形状を示した画像データも含まれている。

ＶＲＡＭ２０５は、通信装置１００が表示部に表示するための画面データを記憶する。当該画面データには、画面上の位置座標を指し示すためのカーソル情報も含まれている。

ＶＲＡＭ２０５上に格納されている画面データには、ポインティングデバイス情報２２１に基づいたカーソルイメージが記録される。そして、当該画面データは、通信装置１００の表示部に表示されると共に、エンコードされた後にテレビジョン表示装置１５０に送信される。

Ｖｉｄｅｏ＿Ｃｏｄｅｃ層２０６は、ＶＲＡＭ２０５に記憶された画面データを、テレビジョン表示装置１５０に送信するためにエンコードする。

Ａｕｄｉｏ＿Ｃｏｄｅｃ層２０７は、通信装置１００で出力された音声データを、テレビジョン表示装置１５０に送信するためにエンコードする。

その後、図２で示したソフトウェア群に含まれる各ソフトウェアは、上位の層から入力された情報を通信に適した形式に変換して、当該下位の層に出力する。また、各ソフトウェアは、下位の層から入力された情報を上位の層に適した形に変換して、当該上位の層に出力する。

Ｄｉｓｃｏｖｅｒｙ層２０３は、無線通信可能な通信装置を検出するための層であり、Ｗｉ−Ｆｉ ｄｉｒｅｃｔ通信に対応している。

Ｗｉ−Ｆｉ（ＩＥＥＥ８０２．１１ｎ）層２１５は、無線通信を行うための層であり、受信制御部２７１と、送信制御部２７２と、を備え、Ｗｉ−Ｆｉ ｄｉｒｅｃｔ通信に対応している。

送信制御部２７２は、無線通信を用いて、他の通信装置（例えばテレビジョン表示装置１５０）に対して情報を送信制御する。送信制御の対象となる情報としては、例えば、パケット化された、エンコード毎の画面データ及び音声データがある。

受信制御部２７１は、無線通信を用いて、他の通信装置（例えばテレビジョン表示装置１５０）からの情報を受信制御する。受信制御の対象となる情報としては、例えば、カーソル情報の操作結果である移動情報がある。

無線ＬＡＮ画面転送アプリケーション２０２は、Ｄｉｓｃｏｖｅｒｙ層２０３と、ＲＴＳＰ／ＲＴＣＰ層２０４と、を呼び出して、通信装置１００との間で、画面データの送信開始までの制御を行う。また、無線ＬＡＮ画面転送アプリケーション２０２は、ＲＴＳＰ／ＲＴＣＰ層２０４を呼び出して、通信装置１００との間でデータの送受信（例えば、画面データの転送等）を行うための制御を行う。さらに、無線ＬＡＮ画面転送アプリケーション２０２は、画面データの送信終了時の制御を行う。

無線ＬＡＮ画面転送アプリケーション２０２は、軌跡記録部２５１と、ポインティングデバイス制御部２５２と、を備え、画面に表示されるカーソル情報の制御も行う。

軌跡記録部２５１は、画面上に表されるカーソル情報の移動軌跡を、少なくとも通信装置１００とテレビジョン表示装置１５０との間で生じる遅延時間以上記憶し、一定時間経過したレコードに対して最新情報で上書き保存する。これにより、古い情報から新しい情報に次々に書き替えられていくことになる。

図３は、軌跡記録部２５１のテーブル構造を示した図である。図３に示す様に、軌跡記録部２５１は、時刻情報と、当該時刻情報で示される時刻におけるカーソル情報の画面上の位置情報と、を対応付けて記憶する。

図３で示される位置情報には、このカーソル情報の画面上の位置情報は、受信制御部２７１が受信した移動情報に従ってカーソル情報が移動した後の位置情報、及びポインティングデバイスドライバ２０１からの移動情報に従ってカーソル情報が移動した後の位置情報が含まれている。

図３に示す例では、レコード３０１に最新のカーソルの位置情報が格納されており、レコード３０２に最も古いカーソルの位置情報が格納されている。そして、ポインティングデバイス制御部２５２は、軌跡記録部２５１を参照することで、ポインティングデバイス１５１の移動を制御する。

ポインティングデバイス制御部２５２は、停止検出部２６１と、移動修正部２６２と、を備える。ポインティングデバイス制御部２５２は、ポインティングデバイスドライバ２０１からの情報に基づいてカーソルの位置を制御するほか、テレビジョン表示装置１５０からの移動情報に基づいたカーソルの位置の制御も行う。従って、カーソルの位置は、通信装置１００に接続されたポインティングデバイス１０１、及びテレビジョン表示装置１５０に接続されたポインティングデバイス１５１の両方から制御される。

テレビジョン表示装置１５０（Sink側）から受信した移動情報に基づくカーソルの位置の制御では、上述した理由により表示遅延が生じるため、ポインティングデバイス１５１の操作が難しくなる。例えば、遅延時間が５００ｍｓとすると、ポインティングデバイス１５１は５００ｍｓの間に画面上を何ドットも移動する。このため、テレビジョン表示装置１５０でポインティングデバイス（例えばマウス）１５１を停止させた時、停止させた時刻からカーソルがさらに何ドットも移動することになる。そこで、本実施形態では、この遅延時間に基づく位置のズレを抑止することとした。

本実施形態においては、テレビジョン表示装置１５０に接続されたポインティングデバイス１５１に対する操作に基づくカーソルの移動情報は、ＲＴＳＰを利用して、通信装置１００の無線ＬＡＮ画面転送アプリケーション２０２のポインティングデバイス制御部２５２に受け渡される。

そして、ポインティングデバイス制御部２５２は、受け取った移動情報に基づくカーソルの移動制御を行うと共に、受け取った移動情報に基づくカーソルの位置座標と、受け取った時刻とを対応付けて、軌跡記録部２５１の最も古いレコードに上書き更新していく。

停止検出部２６１は、テレビジョン表示装置１５０から送信された移動情報に基づいて、テレビジョン表示装置１５０に接続されたポインティングデバイス１５１の停止を検出する。本実施形態にかかるポインティングデバイス１５１の停止の検出手法としては、軌跡記録部２５１が一定時間更新されない場合に、ポインティングデバイス１５１が停止したと検出する。例えば、軌跡記録部２５１を３０ｍｓ毎に周期監視するスレッドを設け、当該スレッドが軌跡記録部２５１に一定時間更新されていないことを検出した場合に、停止検出部２６１が、ポインティングデバイス１５１が停止したと判断する。なお、軌跡記録部２５１を周期監視するスレッドは、常に動作しているのではなく、軌跡記録部２５１に対する書き込みが開始された際に起動され、ポインティングデバイス１５１の動作が停止したことを検出した場合に終了しても良い。

移動修正部２６２は、停止検出部２６１がポインティングデバイス１５１の停止を検出した場合に、画面に表示されているカーソルは、上述した遅延時間分だけ移動しすぎているため当該遅延時間分だけ前の位置を軌跡記録部２５１から読み取り、読み取った位置をカーソルの現在の位置として修正する。

移動修正部２６２がカーソルの現在の位置を修正するための手法はどのような手法を用いても良い。ＯＳ側で修正するためのＡＰＩが用意されている場合には当該ＡＰＩを用いても良い。例えば、例えばＭＳ−ＷＩＮＤＯＷＳ（登録商標）であれば、SetCursorPos(int X, int Y)を用いることが考えられる。なお当該ＡＰＩの'X'と'Y'は、画面における位置座標である。

そして、位置が修正された後のポインティングデバイス情報２２１に基づくカーソル情報がＶＲＡＭ２０５に記録される。

これにより、送信制御部２７２は、テレビジョン表示装置１５０から送信された移動情報に従って移動させたカーソルが示された画面データを送信すると共に、当該移動情報に従ったカーソルの移動が停止した場合、所定の時間前の位置に戻した後のカーソルが示された画面データを、テレビジョン表示装置１５０に送信する。所定の時間前に戻した後のカーソルの位置とは、上述したように、所定の時間前の時刻と軌跡記録部２５１で対応付けられていた位置情報で示された位置とする。また、この所定の時間とは、遅延時間に基づいて定められる時間とする。遅延時間の算出手法は、実施の態様に基づいて算出されるものとする。例えば、エンコードに要する時間及びデコードに要する時間の和などが考えられる。エンコードに要する時間は、エンコードチップに起動を掛けてからエンコードデータがチップから出力されるまでの時間を計測することで求めることができる。デコードに要する時間も同様であるが、テレビジョン表示装置１５０側の処理のため、テレビジョン表示装置１５０から通信装置１００にＲＴＳＰコネクションを利用して通知するなどが考えられる。

次にカーソルの移動を画面例と共に説明する。本実施形態では、画面上の所定のボタンを押下させるためにカーソルを移動させる例について説明する。

図４は、通信装置１００からテレビジョン表示装置１５０に対して無線ＬＡＮ画面転送を行っている状態で、テレビジョン表示装置１５０に接続されたポインティングデバイス（例えば、マウス）１５１を用いて、画面操作を行う例を示した図である。

図４に示す様に、通信装置１００及びテレビジョン表示装置１５０においては同一の画面が表示されている。そこで、ユーザは、テレビジョン表示装置１５０に接続されたポインティングデバイス１５１を用いて、カーソル４０１を、ボタン４０２に移動させる例とする。このため、ユーザは、欄４１１に表された軌跡に従って、ポインティングデバイス１５１を移動させる。

図５は、通信装置１００からテレビジョン表示装置１５０に対して無線ＬＡＮ画面転送を行っている状態で、テレビジョン表示装置１５０から送信された移動情報によりカーソル５０１が、ボタン４０２まで移動した例を示した図である。

図５に示す例では、カーソル５０１が、ボタン４０２まで移動したため、欄５１１に示す様に、ユーザはポインティングデバイス１５１の移動を停止させたものとする。しかしながら、本実施形態では、上述したようにポインティングデバイス１５１を移動させてから、テレビジョン表示装置１５０にカーソルが表示されるまでに遅延が生じている。このため、ユーザがポインティングデバイス１５１を停止させたとしても、カーソル５０１は遅延時間分だけさらに移動することになる。

図６は、通信装置１００からテレビジョン表示装置１５０に対して無線ＬＡＮ画面転送を行っている状態で、テレビジョン表示装置１５０から送信された移動情報により遅延時間分だけカーソル６０１が移動した例を示した図である。図６に示す様に、画面データのエンコード及びデコードなどによる遅延により、カーソル６０１は、移動目標であるボタン４０２から遅延時間分だけ移動しすぎることになる。

図６に示す画面が表示された際に、遅延時間分だけ遅れて、停止検出部２６１が、移動情報に基づいて、テレビジョン表示装置１５０に接続されたポインティングデバイス１５１の停止を検出する。

そこで、移動修正部２６２が、軌跡記録部２５１から、所定の時間（例えば遅延時間）分だけ前の時刻と対応付けられた位置情報を読み出して、読み出した位置情報に従ってカーソルの位置を修正する。

図７は、通信装置１００からテレビジョン表示装置１５０に対して無線ＬＡＮ画面転送を行っている状態で、所定の時間（例えば遅延時間）だけカーソル７０１の位置を修正した例を示した図である。図７に示す例では、移動修正部２６２が、軌跡記録部２５１に基づいて、所定の時間だけ前の時刻と対応付けられているカーソルの位置に修正することで、移動目標だったボタン４０２上にカーソル７０１が表示される。

このように、本実施形態では、上述した制御を行うことで、通信装置１００とテレビジョン表示装置１５０との間の遅延に拘わらず、テレビジョン表示装置１５０に接続されたポインティングデバイス１５１を操作することで、カーソルを所望する位置まで移動させることができる。

次に、本実施形態にかかる通信装置１００及びテレビジョン表示装置１５０における、画面表示の処理について説明する。図８は、本実施形態にかかる通信装置１００及びテレビジョン表示装置１５０における上述した処理の手順を示すフローチャートである。

通信装置１００が、画面データを表示すると共に（ステップＳ８０１）、Ｖｉｄｅｏ＿Ｃｏｄｅｃ層２０６が、当該画面データをエンコードする（ステップＳ８０２）。なお、フローチャートでは示していないが、画面データのエンコードと並行に、Ａｕｄｉｏ＿Ｃｏｄｅｃ層２０７による音声データのエンコードも行われている。

そして、送信制御部２７２が、エンコードされた後の画面データを、テレビジョン表示装置１５０に送信する（ステップＳ８０３）。

テレビジョン表示装置１５０は画面データを受信した場合に、テレビジョン表示装置１５０内のＶｉｄｅｏ＿Ｃｏｄｅｃ層が、当該画面データのデコードを行う（ステップＳ８０４）。そして、テレビジョン表示装置１５０内の表示部が、デコードされた後の画面データを表示する（ステップＳ８０５）。その後、テレビジョン表示装置１５０において、表示された画面データに対して、ポインティングデバイス１５１による操作を受け付ける（ステップＳ８０６）。

そして、テレビジョン表示装置１５０は、受け付けた操作に基づくカーソルの移動情報を、通信装置１００に送信する（ステップＳ８０７）。

その後、通信装置１００のポインティングデバイス制御部２５２は、受信した移動情報に基づいてカーソル制御を行う（ステップＳ８０８）。その後、ポインティングデバイス制御部２５２は、軌跡記録部２５１に対してカーソルの位置情報を更新する（ステップＳ８０９）。

通信装置１００が、カーソル制御された後の画面データを表示すると共に（ステップＳ８１０）、Ｖｉｄｅｏ＿Ｃｏｄｅｃ層２０６が、当該画面データをエンコードする（ステップＳ８１１）。

そして、送信制御部２７２が、エンコードされた後の画面データを、テレビジョン表示装置１５０に送信する（ステップＳ８１２）。

テレビジョン表示装置１５０は画面データを受信した場合に、テレビジョン表示装置内のＶｉｄｅｏ＿Ｃｏｄｅｃ層が、当該画面データのデコードを行う（ステップＳ８１３）。そして、テレビジョン表示装置１５０内の表示部が、デコードされた後の画面データを表示する（ステップＳ８１４）。

上述した処理手順により、テレビジョン表示装置１５０で行われた操作に従って、通信装置１００及びテレビジョン表示装置１５０においてカーソル表示を行うことができる。なお、図８は、説明を容易にするために示した図であり、実際の処理においては、ステップＳ８０１〜Ｓ８０５の処理と、ステップＳ８０６〜Ｓ８０９の処理とは、独立しており、全二重で動作する。換言すれば、ステップＳ８０１〜Ｓ８０５が行われるタイミングに拘わらず、ステップＳ８０６〜Ｓ８０９の処理を実行することができる。

次に、本実施形態にかかる通信装置１００及びテレビジョン表示装置１５０における、テレビジョン表示装置１５０に接続されたポインティングデバイス１５１を停止させた際の処理について説明する。図９は、本実施形態にかかる通信装置１００及びテレビジョン表示装置１５０における上述した処理の手順を示すフローチャートである。なお、ポインティングデバイス１５１による操作を受け付けるまでの制御は、図８と同様として説明を省略する。

まず、テレビジョン表示装置１５０において、表示された画面データに対して、ポインティングデバイス１５１による操作を受け付ける（ステップＳ９０１）。

そして、テレビジョン表示装置１５０は、受け付けた操作に基づくカーソルの移動情報を、通信装置１００に送信する（ステップＳ９０２）。

その後、通信装置１００のポインティングデバイス制御部２５２の停止検出部２６１は、受信した移動情報に基づいて、カーソルの移動の停止を検出する（ステップＳ９０３）。このカーソルの停止の検出手法としては、移動情報を受信してから所定時間、次の移動情報を受信したか否か等とする。

そして、カーソルの移動が停止したと判定した場合に、移動修正部２６２が、軌跡記録部２５１から、所定時間前のカーソルの位置情報を読み出す（ステップＳ９０４）。そして、ポインティングデバイス制御部２５２の移動修正部２６２が、読み出したカーソルの位置情報に基づいて、カーソルの位置を修正する（ステップＳ９０５）。

その後、ポインティングデバイス制御部２５２は、カーソルの位置が修正された後の画面データを表示すると共に（ステップＳ９０６）、Ｖｉｄｅｏ＿Ｃｏｄｅｃ層２０６が、当該画面データをエンコードする（ステップＳ９０７）。

そして、送信制御部２７２が、エンコードされた後の画面データを、テレビジョン表示装置１５０に送信する（ステップＳ９０８）。

テレビジョン表示装置１５０は画面データを受信した場合に、テレビジョン表示装置内のＶｉｄｅｏ＿Ｃｏｄｅｃ層が、当該画面データのデコードを行う（ステップＳ９０９）。そして、テレビジョン表示装置１５０内の表示部が、デコードされた後の画面データを表示する（ステップＳ９１０）。

上述した処理手順により、遅延時間に応じたカーソルの位置の修正が行われるため、ユーザの目標とした位置にカーソルを停止させることができる。

図１０は、第１の実施形態に係る通信装置１００の構成の一例を示すブロック図である。図１０に示すように、通信装置１００は、ＣＰＵ（Central Processing Unit）１００１と、ＲＯＭ（Read Only Memory）１００２と、ＲＡＭ（Random Access Memory）１００３と、表示部１００４と、ポインティングデバイス１０１と、通信部１００６と、記憶装置１００７とを備えている。

ＣＰＵ１００１は、主記憶装置であるＲＡＭ１００３を作業領域として、ＲＯＭ１００２等に記憶された各種制御プログラムとの協働により各種処理を実行し、通信装置１００を構成する各部の動作を統括的に制御する。また、ＣＰＵ１００１は、処理対象のデータの読み出しを要求するデータ読出要求を発行し、当該要求に応じてＲＡＭ１００３上に展開されたデータに所定の処理を施す。

ＲＯＭ１００２は、通信装置１００の制御にかかるプログラムや各種設定情報等を書き換え不可能に記憶する。ＲＡＭ１００３は、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶媒体であって、ＣＰＵ１００１のワークエリアとして機能する。

表示部１００４は、ＬＣＤ（Liquid Crystal Display）等の表示ユニットを有し、ＣＰＵ１００１の制御に従い、処理経過や結果等を表示する。

ポインティングデバイス１０１は、マウス等の入力デバイスを有し、この入力デバイスを介して入力されたユーザからの命令や情報をＣＰＵ１００１に通知する。

通信部１００６は、有線又は無線の通信インタフェースであって、図示しない外部装置との間で通信を確立し、データの送受信を実行する。

記憶装置１００７は、例えばＮＡＮＤ型フラッシュメモリを記憶媒体とするＳＳＤ（Solid State Drive）等であって、ｃｌｏｏｐやＣｒａｍｆｓ、ＳｑｕａｓｈＦＳ等のリードオンリーな圧縮ファイルシステムを格納している。この圧縮ファイルシステムでは、ファイルやディレクトリ等のデータ単位で、当該データの各々が所定の圧縮方式で圧縮されている。なお、圧縮されたデータ（以下、圧縮データという）は、個別に展開することが可能となっている。

（第１の実施形態の変形例）
第１の実施形態では、カーソルの位置を修正する手順について説明した。ところでカーソルの感度が高い場合、ポインティングデバイスを少し移動させただけで、カーソルが大きく移動することになる。このような場合に、第１の実施形態のような修正のみ行うと、カーソルの位置を修正する際にかなりの距離を戻ることになる。この場合、ユーザに対してカーソルが飛び回っているような印象を与えると共に、操作性が低下する可能性がある。そこで、第１の実施形態の変形例では、カーソルの感度を低減させる場合について説明する。

本変形例にかかるポインティングデバイス制御部２５２は、所定の時間（例えば２００ｍｓ）あたりのカーソルの画面上における移動量（ドット数）が、所定の閾値（ドット数）より大きいか否かを判定する。そして、所定の閾値より大きい場合に、カーソルを移動させるテレビジョン表示装置１５０のポインティングデバイス１５１の感度を低減させる制御を行う。感度を低減させる制御としては、受信する移動情報に対して、１より小さい係数を乗算して移動距離を少なくする等が考えられる。さらには、ポインティングデバイス制御部２５２は、送信制御部２７２を介して、テレビジョン表示装置１５０に対して、ポインティングデバイス１５１の感度を低減させる旨の通知を行っても良い。

本変形例では、上述した制御を行うことで、ユーザに対してマウスの感度が少し低下したような操作感を与えるかもしれないが、ポインティングデバイス１５１とカーソルの同期が容易になり、操作性を向上させることができる。

（第２の実施形態）
第１の実施形態では、通信装置１００側でカーソルの位置を修正する実施形態について説明した。しかしながら、カーソルの位置の修正を通信装置１００側に制限するものではなく、テレビジョン表示装置１５０側で行っても良い。そこで、第２の実施形態では、テレビジョン表示装置１５０で修正する例について説明する。

本実施形態にかかるテレビジョン表示装置１５０は、図２で示した第１の実施形態の通信装置１００とほぼ同様の通信プロトコルスタックを備えている。異なる点としては、テレビジョン表示装置１５０のＶｉｄｅｏ＿Ｃｏｄｅｃ層２０６及びＡｕｄｉｏ＿Ｃｏｄｅｃ層２０７がエンコードではなくデコードを行う点と、テレビジョン表示装置１５０の受信制御部２７１は画面データを受信し、送信制御部２７２は移動情報を送信する点である。

そして、テレビジョン表示装置１５０のポインティングデバイス制御部２５２は、テレビジョン表示装置１５０に接続されたポインティングデバイス１５１の移動軌跡を軌跡記録部２５１に記録する。そして、停止検出部２６１がポインティングデバイス１５１の停止を検出した場合に、遅延時間前の時刻の位置情報を、軌跡記録部２５１から読み出す。

そして、テレビジョン表示装置１５０の送信制御部２７２が、読み出した位置情報に基づく移動情報を通信装置１００に送信する。これにより、修正された位置における移動情報を送信することで、受信制御部２７１が、通信装置１００から、カーソルの位置が修正された画面データを受信する。これにより第１の実施形態と同様の効果を得ることができる。

上述した実施形態及び変形例においては、通信装置１００とテレビジョン表示装置１５０との間で遅延が生じる場合であっても、テレビジョン表示装置１５０に接続されたポインティングデバイス１５１を操作する際に、遅延時間分の位置の修正を行うことで、カーソルを、ユーザが所望する位置まで移動させることができる。これにより、操作性の向上を図ることができる。

上述した実施形態の通信装置１００又はテレビジョン表示装置１５０で実行されるポインティングデバイス制御プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、上述した実施形態の通信装置又はテレビジョン表示装置で実行されるポインティングデバイス制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述した実施形態の通信装置又はテレビジョン表示装置で実行されるポインティングデバイス制御プログラムをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。

また、本実施形態のポインティングデバイス制御プログラムを、ＲＯＭ等に予め組み込んで提供するように構成しても良い。

上述した実施形態の通信装置又はテレビジョン表示装置で実行されるポインティングデバイス制御プログラムは、上述した各部（停止検出部、移動修正部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からポインティングデバイス制御プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、停止検出部、移動修正部が主記憶装置上に生成されるようになっている。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００…通信装置、１０１…ポインティングデバイス、１５０…テレビジョン表示装置、１５１…ポインティングデバイス、２０１…ポインティングデバイスドライバ、２０２…無線ＬＡＮ画面転送アプリケーション、２５１…軌跡記録部、２５２…ポインティングデバイス制御部、２６１…停止検出部、２６２…移動修正部、２７１…受信制御部、２７２…送信制御部。

Claims (6)

1. 表示制御装置に対して、カーソル情報が示された画面情報を送信する第１の送信部と、
   前記表示制御装置から、前記カーソル情報の移動が示された移動情報を受信する受信部と、
   前記移動情報に従って移動させた前記カーソル情報が示された画面情報を送信すると共に、前記移動情報に従った前記カーソル情報の移動が停止した場合、所定の時間前の位置に戻した後のカーソル情報が示された画面情報を、前記表示制御装置に送信する第２の送信部と、
   を備える通信装置。
2. 時刻情報と、当該時刻情報で示される時刻における前記カーソル情報の画面上の位置情報と、を対応付けて記憶する記憶部を、さらに備え、
   前記第２の送信部は、前記移動情報に従った前記カーソル情報の移動が停止した場合、前記所定の時間前を示した前記時刻情報と、前記記憶部で対応付けられた前記位置情報で示される位置に戻した後のカーソル情報が示された画面情報を、前記表示制御装置に送信する、
   請求項１に記載の通信装置。
3. 所定の時間あたりの前記カーソルの前記画面上における移動量が、所定の閾値より大きい場合に、前記カーソル情報を移動させるポインティングデバイスの感度を低減させる制御部を、
   さらに備える請求項１又は２に記載の通信装置。
4. 通信装置から、カーソル情報が示された画面情報を受信する受信部と、
   前記画面情報を表示する表示部と、
   自装置に接続されたポインティングデバイスから、前記表示部で表示された前記画面情報に示された前記カーソル情報に対する移動を示した移動情報を取得する取得部と、
   前記取得部が取得した前記移動情報を前記通信装置に送信すると共に、前記移動情報による前記カーソル情報の移動が停止した場合、所定の時間前までの移動を示した移動情報を、前記通信装置に送信する送信部と、
   を備える表示制御装置。
5. 表示制御装置に対して、カーソル情報が示された画面情報を送信する第１の送信ステップと、
   前記表示制御装置から、前記カーソル情報の移動が示された移動情報を受信する受信ステップと、
   前記移動情報に従って移動させた前記カーソル情報が示された画面情報を送信すると共に、前記移動情報に従った前記カーソル情報の移動が停止した場合、所定の時間前の位置に戻した後のカーソル情報が示された画面情報を、前記表示制御装置に送信する第２の送信ステップと、
   を有する通信方法。
6. 通信装置から、カーソル情報が示された画面情報を受信する受信ステップと、
   前記画面情報を表示部に表示する表示ステップと、
   自装置に接続されたポインティングデバイスから、前記表示部で表示された前記画面情報に示された前記カーソル情報に対する移動を示した移動情報を取得する取得ステップと、
   前記取得ステップが取得した前記移動情報を前記通信装置に送信すると共に、前記移動情報による前記カーソル情報の移動が停止した場合、所定の時間前までの移動を示した移動情報を、前記通信装置に送信する送信ステップと、
   を有する表示制御方法。

Images