JP2012014533A5

JP2012014533A5 -

Info

Publication number: JP2012014533A5
Application number: JP2010151492A
Authority: JP
Filing date: 2010-07-01
Publication date: 2013-02-14
Anticipated expiration: 2030-07-01

Description

図８は、コピー領域の位置を算出する方法を説明するための図である。図８に示す「i=0」の領域は、時刻ｔ０にコピーイベントを実行したコピー領域であり、コピーイベント発生時の高頻度変更領域の属性情報、すなわち左上の頂点の座標（ｘ０，ｙ０）と高頻度変更領域の幅ｗおよび高さｈと同じである。図８に示す「i=1」の領域は、時刻ｔ１にコピーイベントを実行したコピー領域である。図８に示す「i=2」の領域は、時刻ｔ２にコピーイベントを実行したコピー領域である。

例えば、図８に示す「i=1」のコピー領域の位置は、時刻ｔ０のコピー領域の座標（ｘ０，ｙ０）に時刻ｔ１に取得したマウスの移動量を加算することにより、左上の頂点の座標が（ｘ１，ｙ１）と算出される。例えば、図８に示す「i=2」のコピー領域の位置は、時刻ｔ１のコピー領域の座標（ｘ１，ｙ１）に時刻ｔ２に取得したマウスの移動量を加算することにより、左上の頂点の座標が（ｘ２，ｙ２）と算出される。なお、コピー領域の幅および高さは、高頻度変更領域の幅ｗおよび高さｈが各更新カウントのコピー領域で引き継がれる。

図９は、ウィンドウが移動する一態様を示す図である。図９に示す符号２００は、全画面動画化判定用マップを指す。図９に示す符号２００Ａは、ウィンドウが時刻ｔ０に所在した位置を示す。図９に示す符号２００Ｂは、ウィンドウが時刻ｔ１に所在した位置を示す。図９に示す符号２００Ｃは、ウィンドウが時刻ｔ２に所在した位置を示す。図９に示す符号２００Ｄは、ウィンドウが時刻ｔ３に所在した位置を示す。

第１の表示制御部２３ｃは、第１の画像受信部２３ｂにより受信された更新矩形の画像を表示部２２に表示させる処理部である。一例としては、第１の表示制御部２３ｃは、第１の画像受信部２３ｂにより受信された更新矩形の属性情報に含まれる位置および大きさに対応する表示部２２の画面領域に更新矩形のビットマップ画像を表示させる。

その後、高頻度変更領域識別部１４ｄは、画面生成部１４ｂにより生成された更新矩形が作業用の内部メモリに記憶された高頻度変更領域、すなわち第２の画像送信部１４ｇにより動画を送信中の領域に含まれるか否かを判定する（ステップＳ１１６）。

このとき、更新矩形が高頻度変更領域に含まれない場合（ステップＳ１１６否定）には、第１の画像送信部１４ｆは、更新矩形の画像および属性情報をクライアント端末２０へ送信し（ステップＳ１１７）、処理を終了する。

一方、更新矩形が高頻度変更領域に含まれる場合（ステップＳ１１６肯定）には、コピーイベント制御部１４ｋは、高頻度変更領域が所定のサイズ以上であるか否かを判定する（ステップＳ１１８）。なお、高頻度変更領域が所定のサイズ未満である場合（ステップＳ１１８否定）には、コピーイベントを発生させずにステップＳ１２１へ移行する。

このとき、高頻度変更領域が所定のサイズ以上である場合（ステップＳ１１８肯定）には、コピーイベント制御部１４ｋは、特定のマウスイベントが検出されたか否かをさらに判定する（ステップＳ１１９）。なお、特定のマウスイベントが検出されなかった場合（ステップＳ１１９否定）には、コピーイベントを発生させずにステップＳ１２１へ移行する。

そして、特定のマウスイベントが検出された場合（ステップＳ１１９肯定）には、コピーイベントを発生する（ステップＳ１２０）。そして、高頻度変更領域識別部１４ｄは、フレームバッファ１３に描画されたビットマップデータのうち高頻度変更領域に対応する部分のビットマップ画像を切り出した上でエンコーダ１４ｅにエンコードさせる（ステップＳ１２１）。そして、エンコーダ１４ｅによりエンコードされた高頻度変更領域のエンコード画像をクライアント端末２０へ送信し（ステップＳ１２２）、処理を終了する。

先のステップＳ１０４の判定に戻り、コピーイベント中の領域に含まれる更新矩形である場合（ステップＳ１０４肯定）には、コピーイベント制御部１４ｋは、特定のマウスイベントが検出されたか否かを判定する（ステップＳ１２３）。

このとき、特定のマウスイベントが検出されなかった場合（ステップＳ１２３否定）には、コピーイベント制御部１４ｋは、コピーイベントを終了し（ステップＳ１２４）、ステップＳ１０５へ移行する。

一方、特定のマウスイベントが検出された場合（ステップＳ１２３肯定）には、コピーイベント制御部１４ｋは、今回にコピーイベントが実行されるよりも１つ前のコピー領域の位置と、今回に取得したマウスの移動量とから今回にコピーイベントを実行するコピー領域の位置を算出する（ステップＳ１２５）。

続いて、属性情報送信部１４ｈは、コピー領域の属性情報をクライアント端末２０へ送信する（ステップＳ１２６）。そして、第２の画像送信部１４ｇは、エンコーダ１４ｅによりコピー領域がエンコードされたエンコード画像をクライアント端末２０へ送信し（ステップＳ１２７）、処理を終了する。

先のステップＳ１１４の判定に戻り、コピーイベントが発生している場合（ステップＳ１１４肯定）に、全画面動画化判定部１４ｍは、全画面動画化判定用マップを用いて、移動面積Ａｔ及び更新頻度Ｃｔを算出する（ステップＳ１２８）。そして、全画面動画化判定部１４ｍは、更新頻度Ｃｔが閾値Ｃ未満であるか否かを判定する（ステップＳ１２９）。

一方、更新頻度Ｃｔが閾値Ｃ以上である場合（ステップＳ１２９否定）には、全画面動画化判定部１４ｍは、移動面積Ａｔが閾値Ａ１未満である否かをさらに判定する（ステップＳ１３０）。なお、移動面積Ａｔが閾値Ａ１未満である場合（ステップＳ１３０肯定）には、ステップＳ１１６へ移行する。

このとき、更新頻度Ｃｔが閾値Ｃ未満である場合（ステップＳ１２９肯定）には、全画面動画化判定部１４ｍは、移動面積Ａｔが閾値Ａ２未満である否かをさらに判定する（ステップＳ１３２）。なお、移動面積Ａｔが閾値Ａ２未満である場合（ステップＳ１３２肯定）には、ステップＳ１１６へ移行する。

ここで、移動面積Ａｔが閾値Ａ１以上である場合または移動面積Ａｔが閾値Ａ２以上である場合（ステップＳ１３０否定またはステップＳ１３２否定）には、次のような処理を行う。すなわち、全画面動画化判定部１４ｍは、フレームバッファ１３に描画された画面全体をエンコードの対象とするようにエンコーダ１４ｅへ指示する（ステップＳ１３１）。

なお、ステップＳ１３１の全画面の動画化は、特定のマウスイベントが検出されなくなった場合、すなわちウィンドウの移動が終了した場合（ステップＳ１３３肯定）に元の更新矩形を送信する形態に戻すために処理を終了する。

図１３Ａに示すように、マップ８０Ａで変更回数がしきい値を超えるメッシュ連結体が取得されて高頻度変更領域の識別結果８１Ａが得られた場合には、以降に変更回数がしきい値を超えるメッシュ連結体が取得されなくとも識別結果８１Ａを所定の期間引き継ぐ。すなわち、図１３Ｂに示すように、マップ８０Ｂで変更回数がしきい値を超えるメッシュ連結体が取得されずとも、最初に高頻度変更領域の識別結果８１Ａを識別してから所定の期間内であれば高頻度変更領域の識別結果８１Ａを引き継ぐ。なお、上記の「しきい値」は、サーバ側リモート画面制御用アプリの開発者が段階的に設定した値をエンドユーザに選択させたり、また、エンドユーザが値を直接設定することができる。