JP2013126242A - スクリーン映像伝送システム - Google Patents

Abstract

【課題】操作メニューが表示されている領域の映像を受信することなく、モバイル受信端末側でアプリケーションを操作することができるようにする。
【解決手段】アプリケーションの操作を受け付ける操作ボタンをタッチパネル２５に表示するタッチパネル制御部２４と、その操作ボタンに対するユーザ操作を検知し、そのユーザ操作をアプリケーションの操作情報に変換する制御用ＧＵＩ部２３と、制御用ＧＵＩ部２３により変換された操作情報をターゲットＰＣ１に送信する映像伝送要求送信部２１とを備え、ターゲットＰＣ１が、モバイル受信端末５から操作情報を受信すると、その操作情報にしたがってアプリケーションを制御する。
【選択図】図１

Description

この発明は、ターゲットＰＣが表示しているスクリーン映像をネットワーク経由でモバイル受信端末に伝送し、モバイル受信端末が当該スクリーン映像を表示するスクリーン映像伝送システムに関するものである。

一般的なスクリーン映像伝送システムでは、受信端末が定期的に映像伝送要求を送信端末に送信し、送信端末が映像伝送要求の応答として、現在表示中の全画面をスクリーン映像として受信端末に伝送するようにしている。
近年、モバイルネットワークの普及により、高解像度のＰＣ（送信端末）と低解像度のモバイル受信端末（受信端末）の間で、スクリーン映像の伝送が行われるようになっている。
この場合、低解像度のモバイル受信端末では、高解像度のＰＣに表示されているスクリーン映像を受信しても、そのスクリーン映像をそのまま表示することはできないので、そのスクリーン映像から映像の一部を切り出して表示する処理、あるいは、そのスクリーン映像を縮小して表示する処理などが行われる。

以下の特許文献１に開示されているスクリーン映像伝送システムでは、低解像度の受信端末が映像伝送要求を高解像度の送信端末に送信する際、表示を希望する矩形領域を示す情報を送信端末に送信するようにしている。
この場合、送信端末は、現在表示中のスクリーン映像から上記矩形領域の映像を抽出し、その矩形領域の映像を受信端末に送信する。
そして、受信端末は、送信端末から送信された矩形領域の映像を受信して、その映像を表示する。

特開２００４−６４１４０号公報（段落番号［００１６］、図１）

従来のスクリーン映像伝送システムは以上のように構成されているので、例えば、送信端末に表示されているスクリーン映像中に、アプリケーションの操作に関するメニューが表示されているとき、そのメニューが表示されている領域以外の矩形領域を示す情報が映像伝送要求と一緒に送信された場合、そのメニューが表示されている領域の映像は受信端末に送信されない。このため、受信端末では、アプリケーションを操作することができなくなる課題があった。
また、アプリケーションの操作に関するメニューが表示されている領域の映像が受信端末に送信されて、その領域の映像が表示された場合でも、送信端末の入力手段（マウス、キーボード）と、受信端末の入力手段（タッチパネル）が異なる場合、入力方式の違いが原因で、アプリケーションを操作することができない課題があった。

この発明は上記のような課題を解決するためになされたもので、アプリケーションの操作に関するメニューが表示されている領域の映像を受信することなく、ユーザがモバイル受信端末側でアプリケーションを操作することができるスクリーン映像伝送システムを得ることを目的とする。

この発明に係るスクリーン映像伝送システムは、モバイル受信端末が、所望の矩形領域を示す領域情報を含む映像伝送要求をターゲットＰＣに送信する映像伝送要求手段と、ターゲットＰＣから送信された矩形領域の映像を受信する映像受信手段と、映像受信手段により受信された矩形領域の映像をタッチパネルに表示するとともに、アプリケーションの操作を受け付ける操作ボタンをタッチパネルに表示する表示手段と、タッチパネルに表示されている操作ボタンに対するユーザ操作を検知するユーザ操作検知手段と、ユーザ操作検知手段により検知されたユーザ操作をアプリケーションの操作情報に変換して、その操作情報をターゲットＰＣに送信する操作情報送信手段とを備え、ターゲットＰＣが、モバイル受信端末から操作情報を受信すると、その操作情報にしたがってアプリケーションを制御するようにしたものである。

この発明によれば、モバイル受信端末が、所望の矩形領域を示す領域情報を含む映像伝送要求をターゲットＰＣに送信する映像伝送要求手段と、ターゲットＰＣから送信された矩形領域の映像を受信する映像受信手段と、映像受信手段により受信された矩形領域の映像をタッチパネルに表示するとともに、アプリケーションの操作を受け付ける操作ボタンをタッチパネルに表示する表示手段と、タッチパネルに表示されている操作ボタンに対するユーザ操作を検知するユーザ操作検知手段と、ユーザ操作検知手段により検知されたユーザ操作をアプリケーションの操作情報に変換して、その操作情報をターゲットＰＣに送信する操作情報送信手段とを備え、ターゲットＰＣが、モバイル受信端末から操作情報を受信すると、その操作情報にしたがってアプリケーションを制御するように構成したので、モバイル受信端末が、アプリケーションの操作に関するメニューが表示されている領域の映像を受信することなく、ユーザがモバイル受信端末側でアプリケーションを操作することができる効果がある。

この発明の実施の形態１によるスクリーン映像伝送システムを示す構成図である。 この発明の実施の形態１によるスクリーン映像伝送システムにおけるスクリーン映像の伝送処理を示すフローチャートである。 この発明の実施の形態１によるスクリーン映像伝送システムにおけるアプリケーションの制御処理を示すフローチャートである。 矩形領域を示す領域情報の一例を示す説明図である。 表示制御部１４により現在表示されているスクリーン映像から抽出される矩形領域の映像を示す説明図である。 タッチパネル２５に表示されている操作ボタンの一例を示す説明図である。 ユーザ操作とマウス操作の対応関係を示す変換テーブルの一例を示す説明図である。 ターゲットＰＣ１のマウス３によって、アプリケーションの操作が可能な操作ボタン「ｃ１」〜「ｃ５」を示す説明図である。 ユーザ操作とキーボード操作の対応関係を示す変換テーブルの一例を示す説明図である。 この発明の実施の形態２によるスクリーン映像伝送システムを示す構成図である。 この発明の実施の形態２によるスクリーン映像伝送システムにおけるウィンドウの取得処理を示すフローチャートである。 この発明の実施の形態２によるスクリーン映像伝送システムにおけるスクリーン映像の伝送処理を示すフローチャートである。 この発明の実施の形態２によるスクリーン映像伝送システムにおけるアプリケーションの制御処理を示すフローチャートである。 ウィンドウの一覧表を示す説明図である。 操作ボタン「ｃ１」〜「ｃ５」がスクリーン映像の表示領域ｒ１上に透過表示されている例を示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１によるスクリーン映像伝送システムを示す構成図である。
図１において、ターゲットＰＣ１は例えばアプリケーションを実行するＣＰＵ、画像処理を実施するＭＰＵ、ネットワークに対するインタフェース機器及びアプリケーションや演算結果などを格納するメモリなどから構成されている高解像度のコンピュータであり、ターゲットＰＣ１にはキーボード２やマウス３などの入力手段のほか、液晶ディスプレイなどの表示装置４が接続されている。
ターゲットＰＣ１はアプリケーションを実行してスクリーン映像を表示装置４に表示し、そのスクリーン映像内の矩形領域を示す領域情報を含む映像伝送要求を受信すると、現在表示中のスクリーン映像から上記映像伝送要求に含まれている領域情報が示す矩形領域の映像を抽出して、その矩形領域の映像をネットワーク経由でモバイル受信端末５に送信する処理などを実施する。
上述したターゲットＰＣ１のハードウェア構成は一例に過ぎず、他のハードウェア構成でもよい。例えば、ＭＰＵの処理をＣＰＵが兼ねるようにすれば、ＭＰＵは不要である。

モバイル受信端末５は例えば各種の処理を実行するＣＰＵ、画像処理を実施するＭＰＵ、ネットワークに対するインタフェース機器、ＣＰＵが実行するプログラムや処理結果などを格納するメモリ及び入出力インタフェースであるタッチパネルなどから構成されている低解像度のコンピュータであり、モバイル受信端末５は映像伝送要求をネットワーク経由でターゲットＰＣ１送信して、ターゲットＰＣ１から矩形領域の映像を受信し、その矩形領域の映像をタッチパネルに表示する処理などを実施する。
上述したモバイル受信端末５のハードウェア構成は一例に過ぎず、他のハードウェア構成でもよい。例えば、ＭＰＵの処理をＣＰＵが兼ねるようにすれば、ＭＰＵは不要である。

ターゲットＰＣ１の映像伝送要求受信部１１は例えばネットワークに対するインタフェース機器から構成されており、モバイル受信端末５から送信された領域情報を含む映像伝送要求や、アプリケーションの操作情報を含む映像伝送要求を受信する処理を実施する。
入出力制御部１２は例えばＣＰＵなどから構成されており、キーボード２又はマウス３から入力された操作情報及び映像伝送要求受信部１１により受信された映像伝送要求に含まれているアプリケーションの操作情報をアプリケーション実行部１３に出力するとともに、映像伝送要求受信部１１により受信された領域情報を含む映像伝送要求をスクリーン映像送信部１５に出力する処理を実施する。

アプリケーション実行部１３は例えばＣＰＵなどから構成されており、メモリに格納されているアプリケーションを実行し、その実行結果を示すスクリーン映像を表示制御部１４に出力する処理を実施する。
また、アプリケーション実行部１３はキーボード２又はマウス３から入力された操作情報、あるいは、映像伝送要求受信部１１により受信された映像伝送要求に含まれているアプリケーションの操作情報にしたがってアプリケーションを制御する処理を実施する。
表示制御部１４は例えばＭＰＵなどから構成されており、アプリケーション実行部１３から出力されたスクリーン映像を表示装置４に表示する処理を実施する。

スクリーン映像送信部１５は例えばＣＰＵやネットワークに対するインタフェース機器などから構成されており、表示制御部１４により現在表示されているスクリーン映像から、映像伝送要求受信部１１により受信された映像伝送要求に含まれている領域情報が示す矩形領域の映像を抽出し、その矩形領域の映像をネットワーク経由でモバイル受信端末５に送信する処理を実施する。

モバイル受信端末５の映像伝送要求送信部２１は例えばネットワークに対するインタフェース機器から構成されており、所望の矩形領域を示す領域情報を含む映像伝送要求や、アプリケーションの操作情報を含む映像伝送要求をネットワーク経由でターゲットＰＣ１に送信する処理を実施する。なお、映像伝送要求送信部２１は映像伝送要求手段及び操作情報送信手段を構成している。
スクリーン映像受信部２２は例えばネットワークに対するインタフェース機器から構成されており、ターゲットＰＣ１から送信された矩形領域の映像を受信する処理を実施する。なお、スクリーン映像受信部２２は映像受信手段を構成している。

制御用ＧＵＩ部２３は例えばＣＰＵなどから構成されており、スクリーン映像受信部２２により受信された矩形領域の映像をタッチパネル制御部２４に出力するとともに、ターゲットＰＣ１で実行されるアプリケーションの操作を受け付ける操作ボタンの画像データをタッチパネル制御部２４に出力する処理を実施する。
また、制御用ＧＵＩ部２３はタッチパネル制御部２４により入力されたタッチパネル２５の操作情報から、タッチパネル２５に表示されている操作ボタンに対するユーザ操作を検知する処理を実施する。
また、制御用ＧＵＩ部２３は操作ボタンに対するユーザ操作を検知すると、そのユーザ操作をアプリケーションの操作情報（例えば、ターゲットＰＣ１におけるマウス３の操作情報、ターゲットＰＣ１におけるキーボード２の操作情報）に変換して、その操作情報を映像伝送要求送信部２１に出力する処理を実施する。
なお、制御用ＧＵＩ部２３は表示手段、ユーザ操作検知手段及び操作情報送信手段を構成している。

タッチパネル制御部２４は例えばＭＰＵなどから構成されており、制御用ＧＵＩ部２３から出力された矩形領域の映像をタッチパネル２５に表示するとともに、操作ボタンをタッチパネル２５に表示する処理を実施する。
また、タッチパネル制御部２４はタッチパネル２５の操作情報を入力して、その操作情報を制御用ＧＵＩ部２３に出力する処理を実施する。
なお、タッチパネル制御部２４は表示手段及びユーザ操作検知手段を構成している。

図１の例では、ターゲットＰＣ１及びモバイル受信端末５のそれぞれがコンピュータで構成されているものを想定しているが、ターゲットＰＣ１の構成要素である映像伝送要求受信部１１、入出力制御部１２、アプリケーション実行部１３、表示制御部１４及びスクリーン映像送信部１５のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコン）で構成されていてもよい。
また、モバイル受信端末５の構成要素である映像伝送要求送信部２１、スクリーン映像受信部２２、制御用ＧＵＩ部２３及びタッチパネル制御部２４のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコン）で構成されていてもよい。

次に動作について説明する。
図２はこの発明の実施の形態１によるスクリーン映像伝送システムにおけるスクリーン映像の伝送処理を示すフローチャートである。
図３はこの発明の実施の形態１によるスクリーン映像伝送システムにおけるアプリケーションの制御処理を示すフローチャートである。

最初に、スクリーン映像の伝送処理について説明する。
ターゲットＰＣ１の入出力制御部１２は、例えば、キーボード２又はマウス３からアプリケーションの実行を指示する操作情報が入力されると、その操作情報をアプリケーション実行部１３に出力する。
ターゲットＰＣ１のアプリケーション実行部１３は、入出力制御部１２からアプリケーションの実行を指示する操作情報を受けると、メモリに格納されているアプリケーションを実行し、その実行結果を示すスクリーン映像を表示制御部１４に出力する。

ターゲットＰＣ１の表示制御部１４は、アプリケーション実行部１３から出力されたスクリーン映像を表示装置４に表示する。
ターゲットＰＣ１のスクリーン映像送信部１５は、表示制御部１４が表示装置４に表示しているスクリーン映像の縮小映像（低解像度のモバイル受信端末５でも表示が可能なサイズの解像度まで縮小された映像）をネットワーク経由でモバイル受信端末５に送信する。

モバイル受信端末５のスクリーン映像受信部２２は、ターゲットＰＣ１から送信されたスクリーン映像の縮小映像を受信し、その縮小映像を制御用ＧＵＩ部２３に出力する。
ここでは、スクリーン映像送信部１５がスクリーン映像を縮小して縮小映像をスクリーン映像受信部２２に送信する例を示しているが、スクリーン映像送信部１５が現在表示中のスクリーン映像を送信し、スクリーン映像受信部２２が受信したスクリーン映像を縮小するようにしてもよい。

モバイル受信端末５の制御用ＧＵＩ部２３は、スクリーン映像受信部２２からスクリーン映像の縮小映像を受けると、その縮小映像をタッチパネル制御部２４に出力する。
モバイル受信端末５のタッチパネル制御部２４は、制御用ＧＵＩ部２３からスクリーン映像の縮小映像を受けると、その縮小映像をタッチパネル２５に表示する。
これにより、モバイル受信端末５のユーザは、スクリーン映像の縮小映像を見ることができるが、縮小映像であるため鮮明な映像でないことがある。
このとき、ユーザは、スクリーン映像内の一部の矩形領域を拡大して、その矩形領域を鮮明に見ることを希望する場合がある。
この場合、ユーザがモバイル受信端末５のタッチパネル２５に触れることで、表示を希望する矩形領域を指定することができる。

モバイル受信端末５のタッチパネル制御部２４は、タッチパネル２５の操作情報を入力して、その操作情報を制御用ＧＵＩ部２３に出力する。
ここでは、説明の便宜上、タッチパネル２５の操作情報は、表示を希望する矩形領域を示す領域情報であるものとする。
図４は矩形領域を示す領域情報の一例を示す説明図である。
図４の領域情報は、スクリーン映像の左上が原点であるとき、左上の点の座標が（１００，１００）で、幅３２０、高さ２４０の矩形領域を示している。

モバイル受信端末５の制御用ＧＵＩ部２３は、タッチパネル制御部２４からタッチパネル２５の操作情報として、表示を希望する矩形領域を示す領域情報を受けると、その領域情報を含む映像伝送要求を映像伝送要求送信部２１に出力する。
モバイル受信端末５の映像伝送要求送信部２１は、制御用ＧＵＩ部２３から領域情報を含む映像伝送要求を受けると、その映像伝送要求をネットワーク経由でターゲットＰＣ１に送信する（図２のステップＳＴ１）。

ターゲットＰＣ１の映像伝送要求受信部１１は、モバイル受信端末５から送信された領域情報を含む映像伝送要求を受信し、その映像伝送要求をスクリーン映像送信部１５に出力する（ステップＳＴ２）。
ターゲットＰＣ１のスクリーン映像送信部１５は、映像伝送要求受信部１１から領域情報を含む映像伝送要求を受けると、表示制御部１４により現在表示されているスクリーン映像から、その領域情報が示す矩形領域の映像を抽出し、その矩形領域の映像をネットワーク経由でモバイル受信端末５に送信する（ステップＳＴ３）。
図５は表示制御部１４により現在表示されているスクリーン映像から抽出される矩形領域の映像を示す説明図である。
図５の例では、アプリケーション実行部１３によってアプリケーションｗ０が実行されることで、サイズが（１２８０×１０２４）のスクリーン映像ｒ０が表示されているとき、左上の点の座標が（１００，１００）で、幅３２０、高さ２４０の矩形領域の映像ｒ１が抽出されている。

モバイル受信端末５のスクリーン映像受信部２２は、ターゲットＰＣ１から送信された矩形領域の映像を受信し、その矩形領域の映像を制御用ＧＵＩ部２３に出力する。
モバイル受信端末５の制御用ＧＵＩ部２３は、スクリーン映像受信部２２から矩形領域の映像を受けると、その映像をタッチパネル制御部２４に出力する。
モバイル受信端末５のタッチパネル制御部２４は、制御用ＧＵＩ部２３から矩形領域の映像を受けると、その映像をタッチパネル２５に表示する（ステップＳＴ４）。
これにより、モバイル受信端末５のユーザは、図５の矩形領域の映像ｒ１を見ることができる。

次に、アプリケーションの制御処理について説明する。
モバイル受信端末５の制御用ＧＵＩ部２３は、ターゲットＰＣ１で実行されるアプリケーションの操作を受け付ける操作ボタンの画像データを生成し、その操作ボタンの画像データをタッチパネル制御部２４に出力する。
モバイル受信端末５のタッチパネル制御部２４は、制御用ＧＵＩ部２３から操作ボタンの画像データを受けると、その画像データにしたがって操作ボタンをタッチパネル２５に表示する。

ここで、図６はタッチパネル２５に表示されている操作ボタンの一例を示す説明図である。
図６の例では、アプリケーションの操作が５個であり、「ｃ１」〜「ｃ５」が操作ボタンとして表示されている。
ユーザは、タッチパネル２５上の操作ボタン「ｃ１」〜「ｃ５」に触れることで、アプリケーションを操作することができる。

モバイル受信端末５のタッチパネル制御部２４は、ユーザが、タッチパネル２５に表示されている何れかの操作ボタンに触れると、その操作ボタンに対する操作情報を制御用ＧＵＩ部２３に出力する。
ここでは、説明の便宜上、操作ボタン「ｃ３」に対する操作情報を制御用ＧＵＩ部２３に出力するものとして説明する。

モバイル受信端末５の制御用ＧＵＩ部２３は、タッチパネル制御部２４から操作ボタン「ｃ３」に対する操作情報を受けると、操作ボタン「ｃ３」に対するユーザ操作を検知し、操作ボタン「ｃ３」に対するユーザ操作をアプリケーションの操作情報に変換する。
例えば、ターゲットＰＣ１でのアプリケーションの制御がマウス３の操作で行われる場合、操作ボタン「ｃ３」に対するユーザ操作をアプリケーションの操作情報として、ターゲットＰＣ１におけるマウス３の操作情報に変換する。
即ち、制御用ＧＵＩ部２３は、図７に示すような変換テーブルを参照して、操作ボタン「ｃ３」に対するユーザ操作をマウス３の操作情報に変換する。
図７の例では、「ｃ３」に対するユーザ操作は、座標（４２０，９４０）のマウスクリックに変換される。
図８はターゲットＰＣ１のマウス３によって、アプリケーションの操作が可能な操作ボタン「ｃ１」〜「ｃ５」（表示装置４により表示されているスクリーン映像上の操作ボタン）を示す説明図である。
図８の例では、アプリケーションの操作が可能な操作ボタンを５個表示しているが、あくまでも一例であり、６個以上の操作ボタンを表示してもよい。

制御用ＧＵＩ部２３は、操作ボタン「ｃ３」に対するユーザ操作をアプリケーションの操作情報に変換すると、そのアプリケーションの操作情報を映像伝送要求送信部２１に出力する。
モバイル受信端末５の映像伝送要求送信部２１は、制御用ＧＵＩ部２３からアプリケーションの操作情報を受けると、そのアプリケーションの操作情報を含む映像伝送要求をネットワーク経由でターゲットＰＣ１に送信する（図３のステップＳＴ１１）。
ここでは、アプリケーションの操作情報を映像伝送要求に含めて、その映像伝送要求を送信しているが、映像伝送要求に含めずに、アプリケーションの操作情報をターゲットＰＣ１に送信するようにしてもよい。
また、矩形領域を示す領域情報とアプリケーションの操作情報の両方を含む映像伝送要求をターゲットＰＣ１に送信するようにしてもよい。

ターゲットＰＣ１の映像伝送要求受信部１１は、モバイル受信端末５から送信されたアプリケーションの操作情報を含む映像伝送要求を受信すると、その映像伝送要求に含まれているアプリケーションの操作情報を抽出し、その操作情報を入出力制御部１２に出力する（ステップＳＴ１２）。
ターゲットＰＣ１の入出力制御部１２は、映像伝送要求受信部１１からアプリケーションの操作情報を受けると、その操作情報をアプリケーション実行部１３に出力する。

ターゲットＰＣ１のアプリケーション実行部１３は、入出力制御部１２からアプリケーションの操作情報を受けると、その操作情報にしたがってアプリケーションを制御する（ステップＳＴ１３）。
例えば、操作ボタン「ｃ３」に対するユーザ操作がアプリケーションの操作情報として、マウス３の操作情報に変換されている場合、マウス３によって、図８の操作ボタン「ｃ３」がクリックされた場合と同様のアプリケーション制御が行われる。

この実施の形態１では、モバイル受信端末５の制御用ＧＵＩ部２３が、操作ボタンに対するユーザ操作をアプリケーションの操作情報として、ターゲットＰＣ１におけるマウス３の操作情報に変換する例を示したが、ターゲットＰＣ１でのアプリケーションの制御がキーボード２の操作で行われる場合、操作ボタンに対するユーザ操作をアプリケーションの操作情報として、ターゲットＰＣ１におけるキーボード２の操作情報に変換する。
具体的には、以下の通りである。

モバイル受信端末５の制御用ＧＵＩ部２３は、アプリケーションの操作が５個であれば、マウス３の操作情報に変換する場合と同様に、操作ボタン「ｃ１」〜「ｃ５」を生成し、タッチパネル制御部２４を介して、操作ボタン「ｃ１」〜「ｃ５」をタッチパネル２５に表示する（図６を参照する）。
これにより、ユーザは、タッチパネル２５上の操作ボタン「ｃ１」〜「ｃ５」に触れることで、アプリケーションを操作することができる。

モバイル受信端末５のタッチパネル制御部２４は、ユーザが、タッチパネル２５に表示されている何れかの操作ボタンに触れると、その操作ボタンに対する操作情報を制御用ＧＵＩ部２３に出力する。
ここでは、説明の便宜上、操作ボタン「ｃ５」に対する操作情報を制御用ＧＵＩ部２３に出力するものとして説明する。

モバイル受信端末５の制御用ＧＵＩ部２３は、タッチパネル制御部２４から操作ボタン「ｃ５」に対する操作情報を受けると、操作ボタン「ｃ５」に対するユーザ操作を検知し、操作ボタン「ｃ５」に対するユーザ操作をアプリケーションの操作情報に変換する。
ここでは、ターゲットＰＣ１でのアプリケーションの制御がキーボード２の操作で行われるものとしているので、操作ボタン「ｃ５」に対するユーザ操作をアプリケーションの操作情報として、ターゲットＰＣ１におけるキーボード２の操作情報に変換する。
即ち、制御用ＧＵＩ部２３は、図９に示すような変換テーブルを参照して、操作ボタン「ｃ５」に対するユーザ操作をキーボード２の操作情報に変換する。
図９の例では、「ｃ５」に対するユーザ操作は、キーボード「ｆ５」の操作情報に変換される。

制御用ＧＵＩ部２３は、操作ボタン「ｃ５」に対するユーザ操作をアプリケーションの操作情報に変換すると、そのアプリケーションの操作情報（キーボード「ｆ５」の操作情報）を映像伝送要求送信部２１に出力する。
モバイル受信端末５の映像伝送要求送信部２１は、制御用ＧＵＩ部２３からアプリケーションの操作情報を受けると、そのアプリケーションの操作情報を含む映像伝送要求をネットワーク経由でターゲットＰＣ１に送信する。
ここでは、アプリケーションの操作情報を映像伝送要求に含めて、その映像伝送要求を送信しているが、映像伝送要求に含めずに、アプリケーションの操作情報をターゲットＰＣ１に送信するようにしてもよい。
また、矩形領域を示す領域情報とアプリケーションの操作情報の両方を含む映像伝送要求をターゲットＰＣ１に送信するようにしてもよい。

ターゲットＰＣ１の映像伝送要求受信部１１は、モバイル受信端末５から送信されたアプリケーションの操作情報を含む映像伝送要求を受信すると、その映像伝送要求に含まれているアプリケーションの操作情報を抽出し、その操作情報を入出力制御部１２に出力する。
ターゲットＰＣ１の入出力制御部１２は、映像伝送要求受信部１１からアプリケーションの操作情報を受けると、その操作情報をアプリケーション実行部１３に出力する。

ターゲットＰＣ１のアプリケーション実行部１３は、入出力制御部１２からアプリケーションの操作情報を受けると、その操作情報にしたがってアプリケーションを制御する。
ここでは、操作ボタン「ｃ５」に対するユーザ操作がアプリケーションの操作情報として、キーボード２の操作情報（キーボード「ｆ５」の操作情報）に変換されているので、キーボード２によって、キーボード「ｆ５」が押された場合と同様のアプリケーション制御が行われる。

以上で明らかなように、この実施の形態１によれば、モバイル受信端末５が、所望の矩形領域を示す領域情報を含む映像伝送要求をターゲットＰＣ１に送信する映像伝送要求送信部２１と、ターゲットＰＣ１から送信された矩形領域の映像を受信するスクリーン映像受信部２２と、スクリーン映像受信部２２により受信された矩形領域の映像をタッチパネル２５に表示するとともに、アプリケーションの操作を受け付ける操作ボタンをタッチパネル２５に表示するタッチパネル制御部２４と、タッチパネル２５に表示されている操作ボタンに対するユーザ操作を検知し、そのユーザ操作をアプリケーションの操作情報に変換する制御用ＧＵＩ部２３と、制御用ＧＵＩ部２３により変換された操作情報をターゲットＰＣ１に送信する映像伝送要求送信部２１とを備え、ターゲットＰＣ１が、モバイル受信端末５から操作情報を受信すると、その操作情報にしたがってアプリケーションを制御するように構成したので、モバイル受信端末５が、アプリケーションの操作に関するメニューが表示されている領域の映像を受信することなく、ユーザがモバイル受信端末５側でアプリケーションを操作することができる効果がある。
即ち、ターゲットＰＣ１から送信される矩形領域の映像が、アプリケーションの操作に関するメニューが表示されている領域でない場合でも、モバイル受信端末５において、アプリケーションの操作を受け付けることができる効果を奏する。

実施の形態２．
上記実施の形態１では、ターゲットＰＣ１のアプリケーション実行部１３が１個のアプリケーションを実行するものを示したが、複数のアプリケーションを実行するものであってもよい。

図１０はこの発明の実施の形態２によるスクリーン映像伝送システムを示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
ターゲットＰＣ１の映像伝送要求受信部３１は例えばネットワークに対するインタフェース機器から構成されており、図１の映像伝送要求受信部１１と同様に、モバイル受信端末５から送信された領域情報を含む映像伝送要求や、アプリケーションの操作情報含む映像伝送要求を受信する処理を実施する他に、ウィンドウの一覧表取得要求を含む映像伝送要求や、ウィンドウＩＤを含む映像伝送要求を受信する処理を実施する。

入出力制御部３２は例えばＣＰＵなどから構成されており、図１の入出力制御部１２と同様に、キーボード２又はマウス３から入力された操作情報及び映像伝送要求受信部３１により受信されたアプリケーションの操作情報をアプリケーション実行部３３に出力するとともに、映像伝送要求受信部３１により受信された映像伝送要求をスクリーン映像送信部１５に出力する処理を実施する。

アプリケーション実行部３３は例えばＣＰＵなどから構成されており、メモリに格納されている複数のアプリケーションを実行して、複数のウィンドウ（アプリケーションの実行結果を示すスクリーン映像）を表示制御部３４に出力する処理を実施する。
また、アプリケーション実行部３３はキーボード２又はマウス３から入力された操作情報、あるいは、映像伝送要求受信部３１により受信された映像伝送要求に含まれているアプリケーションの操作情報にしたがってアプリケーションを制御する処理を実施する。
表示制御部３４は例えばＭＰＵなどから構成されており、アプリケーション実行部３３から出力された複数のウィンドウを表示装置４に表示する処理を実施する。

スクリーン映像送信部３５は例えばＣＰＵやネットワークに対するインタフェース機器などから構成されており、図１のスクリーン映像送信部１５と同様に、表示制御部３４により現在表示されているスクリーン映像から、映像伝送要求受信部３１により受信された映像伝送要求に含まれている領域情報が示す矩形領域の映像を抽出し、その矩形領域の映像をネットワーク経由でモバイル受信端末５に送信する処理を実施する他に、表示制御部３４により現在表示されている複数のウィンドウを示すウィンドウの一覧表をモバイル受信端末５に送信するとともに、映像伝送要求受信部１１により受信された映像伝送要求に含まれているウィンドウＩＤが示すウィンドウを矩形領域の映像として抽出し、その矩形領域の映像をモバイル受信端末５に送信する処理を実施する。

モバイル受信端末５の映像伝送要求送信部４１は例えばネットワークに対するインタフェース機器から構成されており、図１の映像伝送要求送信部２１と同様に、所望の矩形領域を示す領域情報を含む映像伝送要求や、アプリケーションの操作情報を含む映像伝送要求をネットワーク経由でターゲットＰＣ１に送信する処理を実施する他に、ウィンドウの一覧表取得要求を含む映像伝送要求や、ウィンドウＩＤを含む映像伝送要求をネットワーク経由でターゲットＰＣ１に送信する処理を実施する。なお、映像伝送要求送信部４１は映像伝送要求手段及び操作情報送信手段を構成している。

スクリーン映像受信部４２は例えばネットワークに対するインタフェース機器から構成されており、図１のスクリーン映像受信部２２と同様に、ターゲットＰＣ１から送信された矩形領域の映像を受信する処理を実施する他に、ターゲットＰＣ１から送信されたウィンドウの一覧表を受信する処理を実施する。なお、スクリーン映像受信部４２は映像受信手段を構成している。

制御用ＧＵＩ部４３は例えばＣＰＵなどから構成されており、図１の制御用ＧＵＩ部２３と同様に、スクリーン映像受信部４２により受信された矩形領域の映像をタッチパネル制御部４４に出力するとともに、ターゲットＰＣ１で実行されるアプリケーションの操作を受け付ける操作ボタンの画像データをタッチパネル制御部４４に出力する処理を実施する。
また、制御用ＧＵＩ部４３はタッチパネル制御部４４により入力されたタッチパネル２５の操作情報から、タッチパネル２５に表示されている操作ボタンに対するユーザ操作を検知する処理を実施する。
また、制御用ＧＵＩ部４３は操作ボタンに対するユーザ操作を検知すると、そのユーザ操作をアプリケーションの操作情報（例えば、ターゲットＰＣ１におけるマウス３の操作情報、ターゲットＰＣ１におけるキーボード２の操作情報）に変換して、その操作情報を映像伝送要求送信部４１に出力する処理を実施する。

制御用ＧＵＩ部４３はターゲットＰＣにより複数のアプリケーションが実行される場合、図１の制御用ＧＵＩ部２３と異なり、ウィンドウの一覧表取得要求を含む映像伝送要求の送信指示を映像伝送要求送信部４１に出力するほか、タッチパネル制御部４４を介して、各アプリケーションに対応するウィンドウの中から、所望のウィンドウの指定を受け付け、そのウィンドウを示すウィンドウＩＤを含む映像伝送要求を映像伝送要求送信部４１に出力する処理を実施する。
なお、制御用ＧＵＩ部２３は表示手段、ユーザ操作検知手段及び操作情報送信手段を構成している。

タッチパネル制御部４４は例えばＭＰＵなどから構成されており、制御用ＧＵＩ部４３から出力された矩形領域の映像をタッチパネル２５に表示するとともに、操作ボタンをタッチパネル２５に表示する処理を実施する。
また、タッチパネル制御部４４はタッチパネル２５の操作情報を入力して、その操作情報を制御用ＧＵＩ部４３に出力する処理を実施する。
なお、タッチパネル制御部４４は表示手段及びユーザ操作検知手段を構成している。

図１０の例では、ターゲットＰＣ１及びモバイル受信端末５のそれぞれがコンピュータで構成されているものを想定しているが、ターゲットＰＣ１の構成要素である映像伝送要求受信部３１、入出力制御部３２、アプリケーション実行部３３、表示制御部３４及びスクリーン映像送信部３５のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコン）で構成されていてもよい。
また、モバイル受信端末５の構成要素である映像伝送要求送信部４１、スクリーン映像受信部４２、制御用ＧＵＩ部４３及びタッチパネル制御部４４のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコン）で構成されていてもよい。

次に動作について説明する。
図１１はこの発明の実施の形態２によるスクリーン映像伝送システムにおけるウィンドウの取得処理を示すフローチャートである。
図１２はこの発明の実施の形態２によるスクリーン映像伝送システムにおけるスクリーン映像の伝送処理を示すフローチャートである。
図１３はこの発明の実施の形態２によるスクリーン映像伝送システムにおけるアプリケーションの制御処理を示すフローチャートである。

最初に、ウィンドウの取得処理について説明する。
ターゲットＰＣ１の入出力制御部３２は、例えば、キーボード２又はマウス３からアプリケーションの実行を指示する操作情報が入力されると、その操作情報をアプリケーション実行部３３に出力する。
ターゲットＰＣ１のアプリケーション実行部３３は、例えば、入出力制御部１２から複数のアプリケーションの実行を指示する操作情報を受けると、メモリに格納されている複数のアプリケーションを実行し、複数のウィンドウ（アプリケーションの実行結果を示すスクリーン映像）を表示制御部３４に出力する。
ターゲットＰＣ１の表示制御部３４は、アプリケーション実行部３３から出力された複数のウィンドウを表示装置４に表示する。

モバイル受信端末５の制御用ＧＵＩ部４３は、ターゲットＰＣにより複数のアプリケーションが実行される場合、ウィンドウの一覧表取得要求を含む映像伝送要求の送信指示を映像伝送要求送信部４１に出力する。
モバイル受信端末５の映像伝送要求送信部４１は、制御用ＧＵＩ部４３からウィンドウの一覧表取得要求を含む映像伝送要求の送信指示を受けると、ウィンドウの一覧表取得要求を含む映像伝送要求をネットワーク経由でターゲットＰＣ１に送信する（図１１のステップＳＴ２１）。
ここでは、映像伝送要求送信部４１がウィンドウの一覧表取得要求を含む映像伝送要求を送信しているが、ウィンドウの一覧表取得要求を映像伝送要求に含めずに送信してもよい。

ターゲットＰＣ１の映像伝送要求受信部３１は、モバイル受信端末５から送信されたウィンドウの一覧表取得要求を含む映像伝送要求を受信すると、その映像伝送要求に含まれているウィンドウの一覧表取得要求を抽出し、そのウィンドウの一覧表取得要求をスクリーン映像送信部３５に出力する（ステップＳＴ２２）。
ターゲットＰＣ１のスクリーン映像送信部３５は、映像伝送要求受信部３１からウィンドウの一覧表取得要求を受けると、表示制御部３４による現在のウィンドウの表示状況を確認し、現在表示されている複数のウィンドウを示すウィンドウの一覧表をネットワーク経由でモバイル受信端末５に送信する（ステップＳＴ２３）。
ここで、図１４はウィンドウの一覧表を示す説明図である。
図１４の例では、現在表示されているウィンドウの数が５個であり、各ウィンドウのタイトルとウィンドウＩＤを一覧化している。

モバイル受信端末５のスクリーン映像受信部４２は、ターゲットＰＣ１から送信されたウィンドウの一覧表を受信すると、その一覧表を制御用ＧＵＩ部４３に出力する。
モバイル受信端末５の制御用ＧＵＩ部４３は、スクリーン映像受信部４２からウィンドウの一覧表を受けると、その一覧表を保持する（ステップＳＴ２４）。
また、制御用ＧＵＩ部４３は、ユーザからの要求があれば、タッチパネル制御部１４を介して、図１４に示すようなウィンドウの一覧表をタッチパネル２５に表示する。

次に、スクリーン映像の伝送処理について説明する。
モバイル受信端末５のタッチパネル制御部４４は、図１４に示すようなウィンドウの一覧表をタッチパネル２５に表示しているとき、ユーザが、ウィンドウのタイトルに触れることで、表示を希望するウィンドウを指定すると、その旨を示すタッチパネル２５の操作情報を制御用ＧＵＩ部４３に出力する。

モバイル受信端末５の制御用ＧＵＩ部４３は、タッチパネル制御部４４から指定ウィンドウを示すタッチパネル２５の操作情報を受けると、保持しているウィンドウの一覧表を参照して、その指定ウィンドウのウィンドウＩＤを特定し、そのウィンドウＩＤを含む映像伝送要求を映像伝送要求送信部４１に出力する。
例えば、ユーザにより「アプリ１」のウィンドウが指定された場合、「０ｘ０００１」のウィンドウＩＤを含む映像伝送要求を映像伝送要求送信部４１に出力する。
モバイル受信端末５の映像伝送要求送信部４１は、制御用ＧＵＩ部４３からウィンドウＩＤを含む映像伝送要求を受けると、その映像伝送要求をネットワーク経由でターゲットＰＣ１に送信する（図１２のステップＳＴ３１）。

ターゲットＰＣ１の映像伝送要求受信部３１は、モバイル受信端末５から送信されたウィンドウＩＤを含む映像伝送要求を受信すると、その映像伝送要求に含まれているウィンドウＩＤを抽出し、そのウィンドウＩＤを入出力制御部３２及びスクリーン映像送信部３５に出力する。
ターゲットＰＣ１の入出力制御部３２は、映像伝送要求受信部３１からウィンドウＩＤを受けると、そのウィンドウＩＤをアプリケーション実行部３３に出力する。

ターゲットＰＣ１のアプリケーション実行部３３は、入出力制御部３２からウィンドウＩＤを受けると、表示制御部３４によって、現在表示されている複数のウィンドウの中で、そのウィンドウＩＤに対応するアプリケーションのウィンドウが最上位で表示されるように、ウィンドウ制御を行う。
また、アプリケーション実行部３３は、そのウィンドウＩＤに対応するアプリケーションのウィンドウの中央にマウスポインタが移動するように、マウスポインタ制御を行う（ステップＳＴ３２）。
例えば、ウィンドウＩＤが「０ｘ０００１」であれば、「０ｘ０００１」のウィンドウＩＤを有するウィンドウに対して、上記のウィンドウ制御とマウスポインタ制御が行われる。

ターゲットＰＣ１のスクリーン映像送信部３５は、映像伝送要求受信部３１からウィンドウＩＤを受けると、表示制御部３４によって、現在表示されている複数のウィンドウの中から、そのウィンドウＩＤに対応するアプリケーションのウィンドウを矩形領域の映像として抽出し、その矩形領域の映像をネットワーク経由でモバイル受信端末５に送信する（ステップＳＴ３３）。

モバイル受信端末５のスクリーン映像受信部４２は、ターゲットＰＣ１から送信された矩形領域の映像を受信し、その矩形領域の映像を制御用ＧＵＩ部４３に出力する。
モバイル受信端末５の制御用ＧＵＩ部４３は、スクリーン映像受信部４２から矩形領域の映像を受けると、その映像をタッチパネル制御部４４に出力する。
モバイル受信端末５のタッチパネル制御部４４は、制御用ＧＵＩ部４３から矩形領域の映像を受けると、その映像をタッチパネル２５に表示する（ステップＳＴ３４）。
これにより、モバイル受信端末５のユーザは、指定のウィンドウ（矩形領域の映像）を見ることができる。

次に、アプリケーションの制御処理について説明する。
モバイル受信端末５のタッチパネル制御部４４は、図１４に示すようなウィンドウの一覧表をタッチパネル２５に表示しているとき、ユーザが、ウィンドウのタイトルに触れることで、制御を希望するウィンドウを指定すると、その旨を示すタッチパネル２５の操作情報を制御用ＧＵＩ部４３に出力する。

モバイル受信端末５の制御用ＧＵＩ部４３は、タッチパネル制御部４４から指定ウィンドウを示すタッチパネル２５の操作情報を受けると、保持しているウィンドウの一覧表を参照して、その指定ウィンドウのウィンドウＩＤを特定し、そのウィンドウＩＤに対応するアプリケーションの操作情報を示す変換テーブル（図７及び図９を参照）の送信要求を含む映像伝送要求を映像伝送要求送信部４１に出力する。
例えば、ユーザにより「アプリ１」のウィンドウが指定された場合、「０ｘ０００１」のウィンドウＩＤに対応するアプリケーションの操作情報を示す変換テーブルの送信要求を含む映像伝送要求を映像伝送要求送信部４１に出力する。

モバイル受信端末５の映像伝送要求送信部４１は、制御用ＧＵＩ部４３からウィンドウＩＤに対応するアプリケーションの操作情報を示す変換テーブルの送信要求を含む映像伝送要求を受けると、その映像伝送要求をネットワーク経由でターゲットＰＣ１に送信する（図１３のステップＳＴ４１）。
ここでは、映像伝送要求送信部４１が変換テーブルの送信要求を含む映像伝送要求を送信しているが、変換テーブルの送信要求を映像伝送要求に含めずに送信してもよい。

ターゲットＰＣ１の映像伝送要求受信部３１は、モバイル受信端末５から送信されたウィンドウＩＤに対応するアプリケーションの操作情報を示す変換テーブルの送信要求を含む映像伝送要求を受信すると、その映像伝送要求に含まれている変換テーブルの送信要求を抽出し、その変換テーブルの送信要求をスクリーン映像送信部３５に出力する（ステップＳＴ４２）。
ターゲットＰＣ１のスクリーン映像送信部３５は、映像伝送要求受信部３１からウィンドウＩＤに対応するアプリケーションの操作情報を示す変換テーブルの送信要求を受けると、アプリケーション実行部３３から、そのウィンドウＩＤに対応するアプリケーションの操作情報を示す変換テーブルを取得し、その変換テーブルをネットワーク経由でモバイル受信端末５に送信する（ステップＳＴ４３）。
例えば、ウィンドウＩＤが「０ｘ０００１」であれば、「アプリ１」の操作情報を示す変換テーブルをモバイル受信端末５に送信する。

モバイル受信端末５のスクリーン映像受信部４２は、ターゲットＰＣ１から送信された変換テーブルを受信し、その変換テーブルを制御用ＧＵＩ部４３に出力する（ステップＳＴ４４）。
モバイル受信端末５の制御用ＧＵＩ部４３は、スクリーン映像受信部４２から出力された変換テーブルを保存する。

モバイル受信端末５の制御用ＧＵＩ部４３は、例えば、保存している変換テーブルを参照することで、先に指定された制御を希望するウィンドウに対応するアプリケーションの操作を確認し、そのアプリケーションの操作を受け付ける操作ボタンの画像データを生成して、その操作ボタンの画像データをタッチパネル制御部４４に出力する。
モバイル受信端末５のタッチパネル制御部４４は、制御用ＧＵＩ部４３から操作ボタンの画像データを受けると、上記実施の形態１と同様に、その画像データにしたがって操作ボタンをタッチパネル２５に表示する。

モバイル受信端末５のタッチパネル制御部４４は、ユーザが、タッチパネル２５に表示されている何れかの操作ボタンに触れると、上記実施の形態１と同様に、その操作ボタンに対する操作情報を制御用ＧＵＩ部４３に出力する。
ここでは、説明の便宜上、操作ボタン「ｃ３」に対する操作情報を制御用ＧＵＩ部４３に出力するものとして説明する。

モバイル受信端末５の制御用ＧＵＩ部４３は、タッチパネル制御部４４から操作ボタン「ｃ３」に対する操作情報を受けると、操作ボタン「ｃ３」に対するユーザ操作を検知し、操作ボタン「ｃ３」に対するユーザ操作をアプリケーションの操作情報に変換する。
即ち、制御用ＧＵＩ部２３は、ターゲットＰＣ１でのアプリケーションの制御がマウス３の操作で行われる場合、先に保存している変換テーブルを参照して、操作ボタン「ｃ３」に対するユーザ操作をマウス３の操作情報に変換する。
ターゲットＰＣ１でのアプリケーションの制御がキーボード２の操作で行われる場合、先に保存している変換テーブルを参照して、操作ボタン「ｃ３」に対するユーザ操作をキーボード２の操作情報に変換する。

制御用ＧＵＩ部４３は、操作ボタン「ｃ３」に対するユーザ操作をアプリケーションの操作情報に変換すると、そのアプリケーションの操作情報を映像伝送要求送信部４１に出力する。
モバイル受信端末５の映像伝送要求送信部４１は、制御用ＧＵＩ部４３からアプリケーションの操作情報を受けると、そのアプリケーションの操作情報を含む映像伝送要求をネットワーク経由でターゲットＰＣ１に送信する（ステップＳＴ４５）。
ここでは、アプリケーションの操作情報を映像伝送要求に含めて、その映像伝送要求を送信しているが、映像伝送要求に含めずに、アプリケーションの操作情報をターゲットＰＣ１に送信するようにしてもよい。

ターゲットＰＣ１の映像伝送要求受信部３１は、モバイル受信端末５から送信されたアプリケーションの操作情報を含む映像伝送要求を受信すると、その映像伝送要求に含まれているアプリケーションの操作情報を抽出し、その操作情報を入出力制御部３２に出力する（ステップＳＴ４６）。
ターゲットＰＣ１の入出力制御部３２は、映像伝送要求受信部３１からアプリケーションの操作情報を受けると、その操作情報をアプリケーション実行部３３に出力する。

ターゲットＰＣ１のアプリケーション実行部３３は、入出力制御部３２からアプリケーションの操作情報を受けると、その操作情報にしたがって、アプリケーション（先に送信されたウィンドウＩＤに対応するアプリケーション）を制御する（ステップＳＴ４７）。
例えば、操作ボタン「ｃ３」に対するユーザ操作がアプリケーションの操作情報として、マウス３の操作情報に変換されている場合、マウス３によって、図８の操作ボタン「ｃ３」がクリックされた場合と同様のアプリケーション制御が行われる。
また、操作ボタン「ｃ３」に対するユーザ操作がアプリケーションの操作情報として、キーボード２の操作情報に変換されている場合、キーボード２によって、キーボード「ｆ３」が押された場合と同様のアプリケーション制御が行われる。

以上で明らかなように、この実施の形態２によれば、ターゲットＰＣ１により複数のアプリケーションが実行されている場合、モバイル受信端末５の制御用ＧＵＩ部４３が、各アプリケーションに対応するウィンドウの中から、所望のウィンドウの指定を受け付け、映像伝送要求送信部４１が、そのウィンドウを示すウィンドウＩＤを含む映像伝送要求をターゲットＰＣ１に送信し、ターゲットＰＣ１の映像伝送要求受信部３１が、モバイル受信端末５からウィンドウＩＤを含む映像伝送要求を受信すると、スクリーン映像送信部３５が、現在表示中のスクリーン映像からウィンドウＩＤが示すウィンドウを矩形領域の映像として抽出し、その矩形領域の映像をモバイル受信端末５に送信するように構成したので、ターゲットＰＣ１により複数のアプリケーションが実行されている場合でも、所望のアプリケーションに対応するウィンドウを表示することができる効果を奏する。

また、この実施の形態２によれば、モバイル受信端末５の制御用ＧＵＩ部４３が、制御を希望するウィンドウに対応するアプリケーションの操作を受け付ける操作ボタンの画像データを生成し、タッチパネル制御部４４が、その操作ボタンの画像データにしたがって操作ボタンをタッチパネル２５に表示するように構成したので、ターゲットＰＣ１により複数のアプリケーションが実行されている場合でも、上記実施の形態１と同様に、モバイル受信端末５が、アプリケーションの操作に関するメニューが表示されている領域の映像を受信することなく、ユーザがモバイル受信端末５側でアプリケーションを操作することができる効果を奏する。

実施の形態３．
上記実施の形態１では、ユーザが所望の矩形領域を指定して、その矩形領域の映像を表示するものを示したが、現在表示中の矩形領域（実施の形態２のウィンドウを含む）の表示位置を変更するユーザ操作を受け付けるようにしてもよい。
具体的には、以下の通りである。

モバイル受信端末５の制御用ＧＵＩ部２３（または、４３）は、矩形領域の映像をタッチパネル２５に表示しているとき、ユーザが矩形領域の表示位置を変更する操作（例えば、指を矩形領域の表示領域に接触させた状態で、指を移動させる操作）を行うと、タッチパネル制御部２４（または、４４）を介して、矩形領域の表示位置を変更するユーザ操作を検知する。
制御用ＧＵＩ部２３（または、４３）は、表示位置を変更するユーザ操作を検知すると、変更後の表示位置（例えば、ユーザが指を離したときに矩形領域が表示されている位置）を示す操作情報を含む映像伝送要求を映像伝送要求送信部２１（または、４１）に出力する。
映像伝送要求送信部２１（または、４１）は、制御用ＧＵＩ部２３（または、４３）から変更後の表示位置を示す操作情報を含む映像伝送要求を受けると、その映像伝送要求をネットワーク経由でターゲットＰＣ１に送信する。

ターゲットＰＣ１の映像伝送要求受信部１１（または、３１）は、モバイル受信端末５から送信された変更後の表示位置を示す操作情報を含む映像伝送要求を受信すると、その映像伝送要求に含まれている変更後の表示位置を示す操作情報を抽出し、その操作情報を入出力制御部１２（または、３２）に出力する。
ターゲットＰＣ１の入出力制御部１２（または、３２）は、映像伝送要求受信部１１（または、３１）から変更後の表示位置を示す操作情報を受けると、その操作情報をアプリケーション実行部１３（または、３３）に出力する。

ターゲットＰＣ１のアプリケーション実行部１３（または、３３）は、入出力制御部１２（または、３２）から変更後の表示位置を示す操作情報を受けると、マウスポインタが変更後の表示位置（表示位置変更後の矩形領域の中央）に移動するように、マウスポインタ制御を行う。

この実施の形態３では、モバイル受信端末５において、現在表示中の矩形領域の表示位置を変更するユーザ操作を受け付けるものを示したが、ターゲットＰＣ１において、現在表示中の矩形領域の表示位置を変更するようにしてもよい。
具体的には、以下の通りである。

ターゲットＰＣ１の入出力制御部１２（または、３２）は、矩形領域の映像を表示装置４に表示しているとき、ユーザがキーボード２又はマウス３を用いて、矩形領域の表示位置を変更する操作を行うと、矩形領域の表示位置を変更するユーザ操作を検知する。
ターゲットＰＣ１の表示制御部１４（または、３４）は、入出力制御部１２（または、３２）が矩形領域の表示位置を変更するユーザ操作を検知すると、スクリーン映像送信部１５（または、３５）を介して、変更後の表示位置を示す操作情報をネットワーク経由でモバイル受信端末５に送信する。

モバイル受信端末５のスクリーン映像受信部２２（または、４２）は、ターゲットＰＣ１から送信された変更後の表示位置を示す操作情報を受信すると、その操作情報を制御用ＧＵＩ部２３（または、４３）に出力する。
モバイル受信端末５の制御用ＧＵＩ部２３（または、４３）は、スクリーン映像受信部２２（または、４２）から変更後の表示位置を示す操作情報を受けると、タッチパネル制御部２４（または、４４）を介して、現在表示中の矩形領域の位置を、その操作情報が示す変更後の表示位置まで移動させる。
ここでは、ユーザがキーボード２又はマウス３を用いて、矩形領域の表示位置を変更する操作を行っているものを示したが、例えば、アラームの発生に伴って、アプリケーション実行部１３（または、３３）が、現在表示中の矩形領域の位置を強制的に変更するものであってもよい。

実施の形態４．
上記実施の形態１〜３では、モバイル受信端末５の制御用ＧＵＩ部２３（または、４３）が、アプリケーションの操作を受け付ける操作ボタン「ｃ１」〜「ｃ５」の画像データを生成し、タッチパネル制御部２４（または、４４）が、その画像データにしたがって操作ボタン「ｃ１」〜「ｃ５」をタッチパネル２５に表示するものを示したが、図１５に示すように、スクリーン映像の表示領域ｒ１上に、操作ボタン「ｃ１」〜「ｃ５」を透過表示するようにしてもよい。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ ターゲットＰＣ、２ キーボード（入力手段）、３ マウス（入力手段）、４ 表示装置、５ モバイル受信端末、１１，３１ 映像伝送要求受信部、１２，３２ 入出力制御部、１３，３３ アプリケーション実行部、１４，３４ 表示制御部、１５，３５ スクリーン映像送信部、２１，４１ 映像伝送要求送信部（映像伝送要求手段、操作情報送信手段）、２２，４２ スクリーン映像受信部（映像受信手段）、２３，４３ 制御用ＧＵＩ部（表示手段、ユーザ操作検知手段、操作情報送信手段）、２４，４４ タッチパネル制御部（表示手段、ユーザ操作検知手段）、２５ タッチパネル。

Claims (7)

1. アプリケーションを実行してスクリーン映像を表示し、上記スクリーン映像内の矩形領域を示す領域情報を含む映像伝送要求を受信すると、現在表示中のスクリーン映像から上記映像伝送要求に含まれている領域情報が示す矩形領域の映像を抽出して、上記矩形領域の映像を送信するターゲットＰＣと、上記映像伝送要求を上記ターゲットＰＣに送信して、上記ターゲットＰＣから矩形領域の映像を受信し、上記矩形領域の映像を表示するモバイル受信端末とから構成されており、
   上記モバイル受信端末は、所望の矩形領域を示す領域情報を含む映像伝送要求を上記ターゲットＰＣに送信する映像伝送要求手段と、上記ターゲットＰＣから送信された矩形領域の映像を受信する映像受信手段と、上記映像受信手段により受信された矩形領域の映像をタッチパネルに表示するとともに、上記アプリケーションの操作を受け付ける操作ボタンを上記タッチパネルに表示する表示手段と、上記タッチパネルに表示されている操作ボタンに対するユーザ操作を検知するユーザ操作検知手段と、上記ユーザ操作検知手段により検知されたユーザ操作を上記アプリケーションの操作情報に変換して、その操作情報を上記ターゲットＰＣに送信する操作情報送信手段とを備え、
   上記ターゲットＰＣは、上記モバイル受信端末から操作情報を受信すると、上記操作情報にしたがって上記アプリケーションを制御する
   ことを特徴とするスクリーン映像伝送システム。
2. モバイル受信端末の操作情報送信手段は、ユーザ操作検知手段により検知されたユーザ操作をアプリケーションの操作情報として、ターゲットＰＣの入力手段であるマウスの操作情報に変換することを特徴とする請求項１記載のスクリーン映像伝送システム。
3. モバイル受信端末の操作情報送信手段は、ユーザ操作検知手段により検知されたユーザ操作をアプリケーションの操作情報として、ターゲットＰＣの入力手段であるキーボードの操作情報に変換することを特徴とする請求項１記載のスクリーン映像伝送システム。
4. ターゲットＰＣにより複数のアプリケーションが実行されている場合、
   モバイル受信端末の映像伝送要求手段は、各アプリケーションに対応するウィンドウの中から、所望のウィンドウの指定を受け付け、上記ウィンドウを示すウィンドウＩＤを含む映像伝送要求を上記ターゲットＰＣに送信し、
   上記ターゲットＰＣは、上記モバイル受信端末からウィンドウＩＤを含む映像伝送要求を受信すると、現在表示中のスクリーン映像から上記ウィンドウＩＤが示すウィンドウを矩形領域の映像として抽出し、上記矩形領域の映像を上記モバイル受信端末に送信する
   ことを特徴とする請求項１から請求項３のうちのいずれか１項記載のスクリーン映像伝送システム。
5. モバイル受信端末の表示手段は、映像伝送要求手段により指定が受け付けられたウィンドウに対応する操作ボタンをタッチパネルに表示することを特徴とする請求項４記載のスクリーン映像伝送システム。
6. モバイル受信端末のユーザ操作検知手段は、現在表示中の矩形領域の表示位置を変更するユーザ操作を検知する機能を有し、
   上記モバイル受信端末の操作情報送信手段は、上記ユーザ操作検知手段により表示位置を変更するユーザ操作が検知された場合、変更後の表示位置を示す操作情報を上記ターゲットＰＣに送信し、
   ターゲットＰＣは、上記モバイル受信端末から変更後の表示位置を示す操作情報を受信すると、上記操作情報が示す表示位置に入力手段であるマウスのポインタを移動させる
   ことを特徴とする請求項１から請求項５のうちのいずれか１項記載のスクリーン映像伝送システム。
7. ターゲットＰＣは、現在表示中の矩形領域の表示位置が変更された場合、変更後の表示位置を示す位置変更情報をモバイル受信端末に送信し、
   上記モバイル受信端末の表示手段は、上記ターゲットＰＣから送信された位置変更情報にしたがって現在表示中の矩形領域の表示位置を変更する
   ことを特徴とする請求項１から請求項６のうちのいずれか１項記載のスクリーン映像伝送システム。

Images