JP2017531353A - 端末、サーバ、および端末制御方法 - Google Patents

Abstract

本発明は、モバイル端末の分野に属し、端末、サーバ、および端末制御方法を開示する。端末は、第１のチャネル確立モジュールと、イメージデータ受信モジュールと、ディスプレイモジュールと、動作情報生成モジュールと、動作情報送出モジュールとを含む。本発明では、制御される端末への制御チャネルおよびデータチャネルが、確立され、データチャネルを使用することによって制御される端末によって送られたスクリーンイメージデータが、受信され、制御される端末のスクリーンショットが、スクリーンイメージデータに従って表示され、制御される端末が動作情報に従って対応する動作を実行するようにするために、対応する動作情報が、スクリーンショットに基づく動作に従って生成され、制御チャネルを使用することによって制御される端末に送られる。このようにして、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題が解決され、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

Description

本発明は、モバイル端末の分野に関し、詳細には、端末、サーバ、および端末制御方法に関する

エレクトロニクス技術および通信技術の急速な発展のおかげで、モバイル端末の通信能力および処理能力も、より強力になり、モバイル端末の間のリモートコントロールに基づくアプリケーションも、急速に発展する。

既存のモバイル端末の間のリモートコントロールでは、接続が、制御端末と制御される端末との間でまず確立され、制御される端末は、接続を使用することによって制御端末にスクリーンデータを送り、制御端末は、スクリーンデータに従って制御端末のスクリーン上に制御される端末のスクリーンショットを表示し、ユーザは、制御端末のスクリーン上で、制御される端末のスクリーンショット上のタッチなどの動作を実行し、制御端末は、接続を使用することによって、受け取られた動作情報を制御される端末に送り、制御される端末は、リモートコントロールの目標を達成するために、動作情報に従って対応する動作を実行する。

本発明を実施するプロセスにおいて、本発明者は、従来技術が少なくとも以下の問題を有することを見つけている。

スクリーンデータおよび動作情報は、同一の接続を使用することによって制御端末と制御される端末との間で交換され、衝突が、送信論理および送信時間内でスクリーンデータと動作情報との間に存在する。したがって、制御端末側で表示される、制御される端末のスクリーンショットは、制御端末側で時間内にユーザ動作への応答を行うことができず、制御効果およびユーザ体験に影響する。

送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという従来技術の問題を解決するために、本発明の実施形態は、端末、サーバ、および端末制御方法を提供する。技術的解決策は、以下の通りである。

第１の態様によれば、制御端末が提供され、この制御端末は、
制御される端末への制御チャネルおよびデータチャネルを確立するように構成された第１のチャネル確立モジュールと、
データチャネルを使用することによって制御される端末によって送られたスクリーンイメージデータを受信するように構成されたイメージデータ受信モジュールであって、スクリーンイメージデータは、制御される端末のスクリーンショットを示すのに使用される、イメージデータ受信モジュールと、
スクリーンイメージデータに従って制御される端末のスクリーンショットを表示するように構成されたディスプレイモジュールと、
スクリーンショットに基づく動作に従って対応する動作情報を生成するように構成された動作情報生成モジュールと、
制御される端末が動作情報に従って対応する制御動作を実行するようにするために、制御チャネルを使用することによって制御される端末に動作情報を送るように構成された動作情報送出モジュールとを含む。

第１の態様の第１の可能な実施の方式では、第１のチャネル確立モジュールは、
サーバを使用することによって制御される端末への制御チャネルを確立するように構成された第１のチャネル確立サブモジュールと、
サーバおよび制御チャネルを使用することによって制御される端末へのデータチャネルを確立するように構成された第２のチャネル確立サブモジュールとを含む。

第１の態様の第１の可能な実施の方式に関連して、第１の態様の第２の可能な実施の方式では、第２のチャネル確立サブモジュールは、
サーバから制御端末のアドレス情報を獲得するように構成された第１のアドレス獲得ユニットであって、アドレス情報は、ローカルアドレスと、ネットワークアドレス変換のマッピングアドレスと、ネットワークアドレス変換の周囲のリレーを使用するトラバーサルのリレーアドレスとを含む、第１のアドレス獲得ユニットと、
サーバまたは制御される端末から制御される端末のアドレス情報を獲得するように構成された第２のアドレス獲得ユニットと、
制御端末のアドレス情報と制御される端末のアドレス情報とに従って接続経路を決定するように構成された第１の経路決定ユニットと、
接続経路に従ってデータチャネルを確立するように構成された第１の確立ユニットとを含む。

第１の態様、第１の態様の第１の可能な実施の方式、または第１の態様の第２の可能な実施の方式に関連して、第１の態様の第３の可能な実施の方式では、動作情報は、タッチ情報と、ボタン情報と、音声情報とのうちの少なくとも１つを含み、動作情報生成モジュールは、
動作情報がタッチ情報であるときに、動作に対応するタッチイベントを監視するように構成された監視サブモジュールと、
タッチイベントに従って動作情報を生成するように構成された第１の生成サブモジュールと、
動作情報がボタン情報であるときに、動作に対応するボタンタイプを決定するように構成された第１のボタンタイプ決定サブモジュールと、
ボタンタイプに対応する識別子を含む動作情報を生成するように構成された第２の生成サブモジュールと、
動作情報が音声情報であるときに、動作に対応する音声からテキストを認識するように構成された音声認識サブモジュールと、
テキスト内に含まれる制御命令を取り出し、制御命令に対応する識別子を含む動作情報を生成するように構成された第２の生成サブモジュールとを含む。

第１の態様の第３の可能な実施の方式に関連して、第１の態様の第４の可能な実施の方式では、第１の生成サブモジュールは、第１の生成ユニットまたは第２の生成ユニットを含み、
第１の生成ユニットは、タッチイベントをバイトストリームにシリアライズし、バイトストリームを含む動作情報を生成するように構成され、
第２の生成ユニットは、タッチイベントのキー情報を取り出し、キー情報を指定されたフォーマットのファイルに符号化し、指定されたフォーマットのファイルを含む動作情報を生成するように構成され、キー情報は、イベントタイプ、タッチ座標、および／またはタッチ力を含む。

第１の態様の第３の可能な実施の方式に関連して、第１の態様の第４の可能な実施の方式では、第１の経路決定ユニットは、
制御端末のアドレス情報と制御される端末のアドレス情報とをアドレス対に組み合わせるように構成された組合せサブユニットと、
アドレス対に対して接続性テストを実行するように構成されたテストサブユニットと、
接続性テストの結果に従って接続経路を決定するように構成された確立サブユニットとを含む。

第２の態様によれば、制御端末が提供され、この制御端末は、バスと、バスに接続されたプロセッサ、メモリ、送信器、および受信器とを含み、メモリは、複数の命令を記憶するように構成され、複数の命令は、プロセッサによって実行されるように構成され、
プロセッサは、制御される端末への制御チャネルおよびデータチャネルを確立するように受信器および送信器を制御するように構成され、
受信器は、データチャネルを使用することによって制御される端末によって送られたスクリーンイメージデータを受信するように構成され、スクリーンイメージデータは、制御される端末のスクリーンショットを示すのに使用され、
プロセッサは、スクリーンイメージデータに従って制御される端末のスクリーンショットをディスプレイデバイス上に表示し、スクリーンショットに基づく動作に従って対応する動作情報を生成するように構成され、
プロセッサは、制御される端末が動作情報に従って対応する制御動作を実行するようにするために、制御チャネルを使用することによって制御される端末に動作情報を送るように送信器を制御するように構成される。

第２の態様の第１の可能な実施の方式では、プロセッサは、サーバを使用することによって制御される端末への制御チャネルを確立するように受信器および送信器を制御するように構成され、
プロセッサは、サーバおよび制御チャネルを使用することによって制御される端末へのデータチャネルを確立するように受信器および送信器を制御するように構成される。

第２の態様の第１の可能な実施の方式に関連して、第２の態様の第２の可能な実施の方式では、プロセッサは、サーバから制御端末のアドレス情報を獲得するように受信器および送信器を制御するように構成され、アドレス情報は、ローカルアドレスと、ネットワークアドレス変換のマッピングアドレスと、ネットワークアドレス変換の周囲のリレーを使用するトラバーサルのリレーアドレスとを含み、
プロセッサは、サーバまたは制御される端末から制御される端末のアドレス情報を獲得するように受信器および送信器を制御するように構成され、
プロセッサは、制御端末のアドレス情報と制御される端末のアドレス情報とに従って接続経路を決定するように構成され、
プロセッサは、接続経路に従ってデータチャネルを確立するように受信器および送信器を制御するように構成される。

第２の態様、第２の態様の第１の可能な実施の方式、または第２の態様の第２の可能な実施の方式に関連して、第２の態様の第３の可能な実施の方式では、動作情報は、タッチ情報と、ボタン情報と、音声情報とのうちの少なくとも１つを含み、
プロセッサは、動作情報がタッチ情報であるときに、動作に対応するタッチイベントを監視し、タッチイベントに従って動作情報を生成するように構成され、
プロセッサは、動作情報がボタン情報であるときに、動作に対応するボタンタイプを決定し、ボタンタイプに対応する識別子を含む動作情報を生成するように構成され、
プロセッサは、動作情報が音声情報であるときに、動作に対応する音声からテキストを認識し、テキスト内に含まれる制御命令を取り出し、制御命令に対応する識別子を含む動作情報を生成するように構成される。

第２の態様の第３の可能な実施の方式に関連して、第２の態様の第４の可能な実施の方式では、プロセッサは、タッチイベントをバイトストリームにシリアライズし、バイトストリームを含む動作情報を生成するように構成され、
または、
プロセッサは、タッチイベントのキー情報を取り出し、キー情報を指定されたフォーマットのファイルに符号化し、指定されたフォーマットのファイルを含む動作情報を生成するように構成され、キー情報は、イベントタイプ、タッチ座標、および／またはタッチ力を含む。

第２の態様の第２の可能な実施の方式に関連して、第２の態様の第５の可能な実施の方式では、プロセッサは、制御端末のアドレス情報と制御される端末のアドレス情報とをアドレス対に組み合わせ、アドレス対に対して接続性テストを実行し、接続性テストの結果に従って接続経路を決定するように構成される。

第３の態様によれば、制御される端末が提供され、この制御される端末は、
制御端末への制御チャネルおよびデータチャネルを確立するように構成された第２のチャネル確立モジュールと、
制御される端末のスクリーンショットを示すのに使用されるスクリーンイメージデータを獲得するように構成されたイメージデータ獲得モジュールと、
制御端末がスクリーンデータイメージに従って制御される端末のスクリーンショットを表示するようにするために、データチャネルを使用することによってスクリーンイメージデータを制御端末に送るように構成されたイメージデータ送出モジュールと、
制御チャネルを使用することによって制御端末によって送られた動作情報を受信するように構成された動作情報受信モジュールであって、動作情報は、スクリーンショットに基づく動作に従って制御端末によって生成される情報である、動作情報受信モジュールと、
動作情報に従って対応する制御動作を実行するように構成された実行モジュールとを含む。

第３の態様の第１の可能な実施の方式では、第２のチャネル確立モジュールは、
サーバを使用することによって制御端末への制御チャネルを確立するように構成された第３のチャネル確立サブモジュールと、
サーバおよび制御チャネルを使用することによって制御端末へのデータチャネルを確立するように構成された第４のチャネル確立サブモジュールとを含む。

第３の態様の第１の可能な実施の方式に関連して、第３の態様の第２の可能な実施の方式では、第４のチャネル確立サブモジュールは、
サーバから制御される端末のアドレス情報を獲得するように構成された第３のアドレス獲得ユニットであって、アドレス情報は、ローカルアドレスと、ネットワークアドレス変換のマッピングアドレスと、ネットワークアドレス変換の周囲のリレーを使用するトラバーサルのリレーアドレスとを含む、第３のアドレス獲得ユニットと、
サーバまたは制御端末から制御端末のアドレス情報を獲得するように構成された第４のアドレス獲得ユニットと、
制御端末のアドレス情報と制御される端末のアドレス情報とに従って接続経路を決定するように構成された第２の経路決定ユニットと、
接続経路に従ってデータチャネルを確立するように構成された第２の確立ユニットとを含む。

第３の態様、第３の態様の第１の可能な実施の方式、または第３の態様の第２の可能な実施の方式に関連して、第３の態様の第３の可能な実施の方式では、動作情報は、タッチ情報と、ボタン情報と、音声情報とのうちの少なくとも１つを含み、実行モジュールは、
動作情報がタッチ情報であるときに、制御情報に従って、タッチ動作に対応するタッチイベントを復元するように構成されたイベント復元サブモジュールと、
タッチイベントに従って制御動作を実行するように構成された第１の実行サブモジュールと、
動作情報がボタン情報であるときに、動作情報内に含まれる識別子に従って、ボタン動作に対応するボタンタイプを決定するように構成された第２のボタンタイプ決定サブモジュールと、
ボタンタイプに従って制御動作を実行するように構成された第２の実行サブモジュールと、
動作情報が音声情報であるときに、動作情報内に含まれる識別子に従って、音声動作に対応する制御命令を決定するように構成された命令決定サブモジュールと、
制御命令に従って制御動作を実行するように構成された第３の実行サブモジュールとを含む。

第３の態様の第３の可能な実施の方式に関連して、第３の態様の第４の可能な実施の方式では、イベント復元サブモジュールは、第１の復元ユニットまたは第２の復元ユニットを含み、
第１の復元ユニットは、タッチイベントを復元するために、動作情報内に含まれるバイトストリームをデシリアライズするように構成され、
第１の復元ユニットは、動作情報内に含まれる指定されたフォーマットのファイルからタッチイベントのキー情報を取り出し、キー情報に従ってタッチイベントを復元するように構成され、キー情報は、イベントタイプ、タッチ座標、および／またはタッチ力を含む。

第４の態様によれば、制御される端末が提供され、制御される端末は、バスと、バスに接続されたプロセッサ、メモリ、送信器、および受信器とを含み、メモリは、複数の命令を記憶するように構成され、複数の命令は、プロセッサによって実行されるように構成され、
プロセッサは、制御端末への制御チャネルおよびデータチャネルを確立するように受信器および送信器を制御するように構成され、
プロセッサは、制御される端末のスクリーンショットを示すのに使用されるスクリーンイメージデータを獲得するように構成され、
プロセッサは、制御端末がスクリーンデータイメージに従って制御される端末のスクリーンショットを表示するようにするために、データチャネルを使用することによってスクリーンイメージデータを制御端末に送るように送信器を制御するように構成され、
受信器は、制御チャネルを使用することによって制御端末によって送られた動作情報を受信するように構成され、動作情報は、スクリーンショットに基づく動作に従って制御端末によって生成される情報であり、
プロセッサは、動作情報に従って対応する制御動作を実行するように構成される。

第４の態様の第１の可能な実施の方式では、
プロセッサは、サーバを使用することによって制御端末への制御チャネルを確立するように受信器および送信器を制御するように構成され、
プロセッサは、サーバおよび制御チャネルを使用することによって制御端末へのデータチャネルを確立するように受信器および送信器を制御するように構成される。

第４の態様の第１の可能な実施の方式に関連して、第４の態様の第２の可能な実施の方式では、プロセッサは、サーバから制御される端末のアドレス情報を獲得するように受信器および送信器を制御するように構成され、アドレス情報は、ローカルアドレスと、ネットワークアドレス変換のマッピングアドレスと、ネットワークアドレス変換の周囲のリレーを使用するトラバーサルのリレーアドレスとを含み、
プロセッサは、サーバまたは制御端末から制御端末のアドレス情報を獲得するように受信器および送信器を制御するように構成され、
プロセッサは、制御端末のアドレス情報と制御される端末のアドレス情報とに従って接続経路を決定するように構成され、
プロセッサは、接続経路に従ってデータチャネルを確立するように受信器および送信器を制御するように構成される。

第４の態様、第４の態様の第１の可能な実施の方式、または第４の態様の第２の可能な実施の方式に関連して、第４の態様の第３の可能な実施の方式では、動作情報は、タッチ情報と、ボタン情報と、音声情報とのうちの少なくとも１つを含み、
プロセッサは、動作情報がタッチ情報であるときに、制御情報に従って、タッチ動作に対応するタッチイベントを復元し、タッチイベントに従って制御動作を実行するように構成され、
プロセッサは、動作情報がボタン情報であるときに、動作情報内に含まれる識別子に従って、ボタン動作に対応するボタンタイプを決定し、ボタンタイプに従って制御動作を実行するように構成され、
プロセッサは、動作情報が音声情報であるときに、動作情報内に含まれる識別子に従って、音声動作に対応する制御命令を決定し、制御命令に従って制御動作を実行するように構成される。

第４の態様の第３の可能な実施の方式に関連して、第４の態様の第４の可能な実施の方式では、プロセッサは、タッチイベントを復元するために、動作情報内に含まれるバイトストリームをデシリアライズするように構成され、
または、
プロセッサは、動作情報内に含まれる指定されたフォーマットのファイルからタッチイベントのキー情報を取り出し、キー情報に従ってタッチイベントを復元するように構成され、キー情報は、イベントタイプ、タッチ座標、および／またはタッチ力を含む。

第５の態様によれば、サーバが提供され、このサーバは、
制御端末と制御される端末との間で制御チャネルを確立するように構成された制御チャネル確立モジュールと、
制御端末および制御される端末が制御チャネルを使用することによってアドレス情報を交換した後に、制御端末または制御される端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末に制御端末のアドレス情報を提供し、制御される端末に制御される端末のアドレス情報を提供するように構成された第１のアドレス提供モジュールと
を含み、第２のアドレス提供モジュールは、制御端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末のアドレス情報および制御される端末のアドレス情報を制御端末に提供し、
第３のアドレス提供モジュールは、制御される端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末のアドレス情報および制御される端末のアドレス情報を制御される端末に提供する。

第５の態様の第１の可能な実施の方式では、制御チャネル確立モジュールは、
制御端末がサーバに接続された後に、制御端末によって送られた制御チャネル確立要求を受信するように構成された要求受信サブモジュールと、
制御される端末がサーバに既に接続されているかどうかを決定するように構成された判断サブモジュールと、
判断サブモジュールの決定結果が、制御される端末がサーバに既に接続されていることである場合に、制御端末と制御される端末との間で制御チャネルを確立するように構成されたチャネル確立サブモジュールとを含む。

第５の態様の第１の可能な実施の方式に関連して、第５の態様の第２の可能な実施の方式では、制御チャネル確立モジュールは、
判断サブモジュールの決定結果が、制御される端末がサーバに接続されていないことである場合に、接続通知を制御される端末に送るように構成された通知サブモジュールであって、接続通知は、制御される端末をサーバに接続するように命令するのに使用される、通知サブモジュール
をさらに含む。

第６の態様によれば、サーバが提供され、このサーバは、バスと、バスに接続されたプロセッサ、メモリ、送信器、および受信器とを含み、メモリは、複数の命令を記憶するように構成され、複数の命令は、プロセッサによって実行されるように構成され、
プロセッサは、制御端末と制御される端末との間で制御チャネルを確立するように受信器および送信器を制御するように構成され、
プロセッサは、制御端末および制御される端末が制御チャネルを使用することによって制御端末のアドレス情報および制御される端末のアドレス情報を交換した後に、制御端末または制御される端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末に制御端末のアドレス情報を提供し、制御される端末に制御される端末のアドレス情報を提供するように受信器および送信器を制御するように構成され、または、プロセッサは、制御端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末のアドレス情報および制御される端末のアドレス情報を制御端末に提供するように構成され、または、プロセッサは、制御される端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末のアドレス情報および制御される端末のアドレス情報を制御される端末に提供するように構成される。

第６の態様の第１の可能な実施の方式では、受信器は、制御端末がサーバに接続された後に、制御端末によって送られた制御チャネル確立要求を受信するように構成され、
プロセッサは、制御される端末がサーバに既に接続されているかどうかを決定し、決定結果が、制御される端末がサーバに既に接続されていることである場合に、制御端末と制御される端末との間で制御チャネルを確立するように受信器および送信器を制御するように構成される。

第６の態様の第１の可能な実施の方式に関連して、第６の態様の第２の可能な実施の方式では、プロセッサは、決定結果が、制御される端末がサーバに接続されていないことである場合に、接続通知を制御される端末に送るように送信器を制御するように構成され、接続通知は、制御される端末をサーバに接続するように命令するのに使用される。

第７の態様によれば、端末制御方法が提供され、制御端末で使用され、この方法は、
制御される端末への制御チャネルおよびデータチャネルを確立することと、
データチャネルを使用することによって制御される端末によって送られたスクリーンイメージデータを受信することであって、スクリーンイメージデータは、制御される端末のスクリーンショットを示すのに使用される、受信することと、
スクリーンイメージデータに従って制御される端末のスクリーンショットを表示することと、
スクリーンショットに基づく動作に従って対応する動作情報を生成することと、
制御される端末が動作情報に従って対応する制御動作を実行するようにするために、制御チャネルを使用することによって制御される端末に動作情報を送ることとを含む。

第７の態様の第１の可能な実施の方式では、制御される端末への制御チャネルおよびデータチャネルの確立は、
サーバを使用することによって制御される端末への制御チャネルを確立することと、
サーバおよび制御チャネルを使用することによって制御される端末へのデータチャネルを確立することとを含む。

第７の態様の第１の可能な実施の方式に関連して、第７の態様の第２の可能な実施の方式では、サーバおよび制御チャネルを使用することによる制御される端末へのデータチャネルの確立は、
サーバから制御端末のアドレス情報を獲得することであって、アドレス情報は、ローカルアドレスと、ネットワークアドレス変換のマッピングアドレスと、ネットワークアドレス変換の周囲のリレーを使用するトラバーサルのリレーアドレスとを含む、獲得することと、
サーバまたは制御される端末から制御される端末のアドレス情報を獲得することと、
制御端末のアドレス情報と制御される端末のアドレス情報とに従って接続経路を決定することと、
接続経路に従ってデータチャネルを確立することとを含む。

第７の態様、第７の態様の第１の可能な実施の方式、または第７の態様の第２の可能な実施の方式に関連して、第７の態様の第３の可能な実施の方式では、動作情報は、タッチ情報と、ボタン情報と、音声情報とのうちの少なくとも１つを含み、スクリーンショットに基づく動作に従う動作情報の生成は、
動作情報がタッチ情報であるときに、動作に対応するタッチイベントに対して監視し、タッチイベントに従って動作情報を生成することと、
動作情報がボタン情報であるときに、動作に対応するボタンタイプを決定し、ボタンタイプに対応する識別子を含む動作情報を生成することと、
動作情報が音声情報であるときに、動作に対応する音声からテキストを認識し、テキスト内に含まれる制御命令を取り出し、制御命令に対応する識別子を含む動作情報を生成することとを含む。

第７の態様の第３の可能な実施の方式に関連して、第７の態様の第４の可能な実施の方式では、タッチイベントに従う動作情報の生成は、
タッチイベントをバイトストリームにシリアライズし、バイトストリームを含む動作情報を生成すること
または、タッチイベントのキー情報を取り出し、キー情報を指定されたフォーマットのファイルに符号化し、指定されたフォーマットのファイルを含む動作情報を生成することであって、キー情報は、イベントタイプ、タッチ座標、および／またはタッチ力を含む、取り出し、符号化し、生成することを含む。

第７の態様の第３の可能な実施の方式に関連して、第７の態様の第４の可能な実施の方式では、制御端末のアドレス情報と制御される端末のアドレス情報とに従う接続経路の決定は、
制御端末のアドレス情報と制御される端末のアドレス情報とをアドレス対に組み合わせ、アドレス対に対して接続性テストを実行し、接続性テストの結果に従って接続経路を決定することを含む。

第８の態様によれば、端末制御方法が提供され、制御端末で使用され、この方法は、
制御端末への制御チャネルおよびデータチャネルを確立することと、
制御される端末のスクリーンショットを示すのに使用されるスクリーンイメージデータを獲得することと、
制御端末がスクリーンデータイメージに従って制御される端末のスクリーンショットを表示するようにするために、データチャネルを使用することによってスクリーンイメージデータを制御端末に送ることと、
制御チャネルを使用することによって制御端末によって送られた動作情報を受信することであって、動作情報は、スクリーンショットに基づく動作に従って制御端末によって生成される情報である、受信することと、
動作情報に従って対応する制御動作を実行することとを含む。

第８の態様の第１の可能な実施の方式では、制御端末への制御チャネルおよびデータチャネルの確立は、
サーバを使用することによって制御端末への制御チャネルを確立することと、
サーバおよび制御チャネルを使用することによって制御端末へのデータチャネルを確立することとを含む。

第８の態様の第１の可能な実施の方式に関連して、第８の態様の第２の可能な実施の方式では、サーバおよび制御チャネルに従う制御端末へのデータチャネルの確立は、
サーバから制御される端末のアドレス情報を獲得することであって、アドレス情報は、ローカルアドレスと、ネットワークアドレス変換のマッピングアドレスと、ネットワークアドレス変換の周囲のリレーを使用するトラバーサルのリレーアドレスとを含む、獲得することと、
サーバまたは制御端末から制御端末のアドレス情報を獲得することと、
制御端末のアドレス情報と制御される端末のアドレス情報とに従って接続経路を決定することと、
接続経路に従ってデータチャネルを確立することとを含む。

第８の態様、第８の態様の第１の可能な実施の方式、または第８の態様の第２の可能な実施の方式に関連して、第８の態様の第３の可能な実施の方式では、動作情報は、タッチ情報と、ボタン情報と、音声情報とのうちの少なくとも１つを含み、動作情報に従う対応する制御動作の実行は、
動作情報がタッチ情報であるときに、動作情報に従って、動作に対応するタッチイベントを復元し、タッチイベントに従って制御動作を実行することと、
動作情報がボタン情報であるときに、動作情報内に含まれる識別子に従って、動作に対応するボタンタイプを決定し、ボタンタイプに従って制御動作を実行することと、
動作情報が音声情報であるときに、動作情報内に含まれる識別子に従って、動作に対応する制御命令を決定し、制御命令に従って制御動作を実行することとを含む。

第８の態様の第３の可能な実施の方式に関連して、第８の態様の第４の可能な実施の方式では、制御情報に従う、タッチ動作に対応するタッチイベントの復元は、
タッチイベントを復元するために、動作情報内に含まれるバイトストリームをデシリアライズすること
または、動作情報内に含まれる指定されたフォーマットのファイルからタッチイベントのキー情報を取り出し、キー情報に従ってタッチイベントを復元することであって、キー情報は、イベントタイプ、タッチ座標、および／またはタッチ力を含む、取り出し、復元することを含む。

第９の態様によれば、端末制御方法が提供され、サーバで使用され、この方法は、
制御端末と制御される端末との間で制御チャネルを確立することと、
制御端末および制御される端末が制御チャネルを使用することによってアドレス情報を交換した後に、制御端末または制御される端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末に制御端末のアドレス情報を提供し、制御される端末に制御される端末のアドレス情報を提供すること、または、制御端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末のアドレス情報および制御される端末のアドレス情報を制御端末に提供すること、または、制御される端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末のアドレス情報および制御される端末のアドレス情報を制御される端末に提供することとを含む。

第９の態様の第１の可能な実施の方式では、制御端末と制御される端末との間での制御チャネルの確立は、
制御端末がサーバに接続された後に、制御端末によって送られた制御チャネル確立要求を受信することと、
制御される端末がサーバに既に接続されているかどうかを決定することと、
決定結果が、制御される端末がサーバに既に接続されていることである場合に、制御端末と制御される端末との間で制御チャネルを確立することとを含む。

第９の態様の第１の可能な実施の方式に関連して、第９の態様の第２の可能な実施の方式では、方法は、
決定結果が、制御される端末がサーバに接続されていないことである場合に、接続通知を制御される端末に送ることであって、接続通知は、制御される端末をサーバに接続するように命令するのに使用される、送ること
をさらに含む。

本発明の実施形態で提供される技術的解決策は、有益な効果をもたらす。

制御される端末への制御チャネルおよびデータチャネルが、確立され、データチャネルを使用することによって制御される端末によって送られたスクリーンイメージデータが、受信され、制御される端末のスクリーンショットが、スクリーンイメージデータに従って表示され、対応する動作情報が、スクリーンショットに基づく動作に従って生成され、制御される端末が動作情報に従って対応する制御動作を実行するようにするために、動作情報が、制御チャネルを使用することによって制御される端末に送られる。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

本発明の実施形態での技術的解決策をより明瞭に説明するために、以下では、実施形態を説明するのに必要な添付図面を短く説明する。明らかに、以下の説明の添付図面は、単に本発明のいくつかの実施形態を示すにすぎないが、それでも、当業者は、創作的努力を伴わずにこれらの添付図面から他の図面を導出することがある。

本発明の実施形態による制御端末の概略構造図である。 本発明の別の実施形態による制御端末の概略構造図である。 本発明の別の実施形態によるタッチ座標のマッピングの概略図である。 本発明の別の実施形態によるリモートコントロール動作の概略図である。 本発明の別の実施形態によるリモート走り書き動作の概略図である。 本発明の実施形態による制御端末のブロック図である。 本発明の別の実施形態による制御端末のブロック図である。 本発明の実施形態による制御される端末の概略構造図である。 本発明の別の実施形態による制御される端末の概略構造図である。 本発明の実施形態による制御される端末のブロック図である。 本発明の別の実施形態による制御される端末のブロック図である。 本発明の実施形態によるサーバの概略構造図である。 本発明の別の実施形態によるサーバの概略構造図である。 本発明の実施形態によるサーバのブロック図である。 本発明の別の実施形態によるサーバのブロック図である。 本発明の実施形態による端末制御方法の方法フローチャートである。 本発明の別の実施形態による端末制御方法の方法フローチャートである。 本発明の実施形態による端末制御方法の方法フローチャートである。 本発明の別の実施形態による端末制御方法の方法フローチャートである。 本発明の実施形態による端末制御方法の方法フローチャートである。 本発明の別の実施形態による端末制御方法の方法フローチャートである。 本発明の実施形態による端末制御システムのシステム構成図である。

本発明の目的、技術的解決策、および利点をより明瞭にするために、以下は、添付図面を参照して本発明の実施形態を詳細にさらに説明する。

本発明の実施形態による制御端末の概略構造図である図１を参照されたい。制御端末は、制御される端末に対してリモートコントロールを実行するように構成され、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末であることがある。制御端末は、
制御される端末への制御チャネルおよびデータチャネルを確立するように構成された第１のチャネル確立モジュール１０１と、
データチャネルを使用することによって指定されたフレームレートで制御される端末によって送られたスクリーンイメージデータを受信するように構成されたイメージデータ受信モジュール１０２であって、スクリーンイメージデータは、制御される端末のスクリーンショットを示すのに使用される、イメージデータ受信モジュール１０２と、
スクリーンイメージデータに従って制御される端末のスクリーンショットを表示するように構成されたディスプレイモジュール１０３と、
スクリーンショットに基づく動作に従って対応する動作情報を生成するように構成された動作情報生成モジュール１０４と、
制御される端末が動作情報に従って対応する制御動作を実行するようにするために、制御チャネルを使用することによって制御される端末に動作情報を送るように構成された動作情報送出モジュール１０５とを含むことがある。

結論として、本発明のこの実施形態で提供される制御端末は、制御される端末への制御チャネルおよびデータチャネルを確立し、データチャネルを使用することによって制御される端末によって送られたスクリーンイメージデータを受信し、スクリーンイメージデータに従って制御される端末のスクリーンショットを表示し、スクリーンショットに基づく動作に従って対応する動作情報を生成し、制御される端末が動作情報に従って対応する制御動作を実行するようにするために、制御チャネルを使用することによって制御される端末に動作情報を送る。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

本発明の別の実施形態による制御端末の概略構造図である図２を参照されたい。制御端末は、制御される端末に対してリモートコントロールを実行するように構成され、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末であることがある。制御端末は、以下を含むことがある。

第１のチャネル確立モジュール２０１は、制御される端末への制御チャネルおよびデータチャネルを確立するように構成される。

第１のチャネル確立モジュール２０１は、以下を含む。

第１のチャネル確立サブモジュール２０１１は、サーバを使用することによって制御される端末への制御チャネルを確立するように構成される。

サーバは、機能に従って３つの部分すなわち接続サーバ、制御チャネルサーバ、およびデータチャネルサーバに分割されることがある。制御端末および制御される端末は、初期の瞬間に接続サーバに接続され、ある形のハートビート接続を使用することによってオンラインのままになる。

実際のアプリケーションでは、接続サーバ、制御チャネルサーバ、およびデータチャネルサーバは、同一のサーバエンティティ内に一体化されることがある。

ユーザが、制御端末内で制御される端末に対する制御を実行することを望むときに、ユーザは、制御チャネルサーバを使用することによって制御される端末への制御チャネルを確立することがあり、制御チャネルを確立する特定の手順は、以下のステップを含むことがある。

１）制御端末を制御チャネルサーバに接続する。
制御端末がスマートフォンＡであり、制御される端末がスマートフォンＢである例が、使用される。ユーザが、スマートフォンＡ上でリモートコントロール機能を使用可能にした後に、スマートフォンＡは、制御チャネルサーバへの接続を確立することができる。

２）制御端末が、制御チャネルサーバに制御チャネル確立要求を送る。
制御チャネル確立要求は、制御端末と制御される端末との間に制御チャネルを確立するように制御チャネルサーバに命令するのに使用される。

ユーザが、スマートフォンＡ内で制御対象としてスマートフォンＢを選択した後に、スマートフォンＡは、制御チャネルサーバに制御チャネル確立要求を送り、制御チャネル確立要求は、制御チャネルサーバがスマートフォンＡによって要求された制御対象を決定するようにするために、スマートフォンＢの識別子を含む。

３）制御される端末が、既に制御チャネルサーバに接続されている場合には、制御チャネルサーバは、制御チャネルを確立する。
制御チャネルサーバは、まずスマートフォンＢが制御チャネルサーバに既に接続されているかどうかを決定する。スマートフォンＢが制御チャネルサーバへの接続を既に確立している場合には、スマートフォンＡとスマートフォンＢとの間の制御チャネルは、直接的に確立される。

４）制御される端末が、制御チャネルサーバに接続されていない場合には、制御チャネルサーバは、制御される端末に接続通知を送る。
スマートフォンＢが接続されていないと決定する場合に、制御チャネルサーバは、スマートフォンＢを制御チャネルサーバに接続するように命令するために、スマートフォンＢに接続通知を送る。

５）接続通知に従って制御される端末を制御チャネルサーバに接続する。
接続通知を受信した後に、スマートフォンＢは、スマートフォンＢを制御チャネルサーバに接続するために、接続手順を開始する。

６）制御チャネルサーバが、制御チャネルを確立する。
スマートフォンＢが接続通知に従って成功裡に接続されたことを確認した後に、制御チャネルサーバは、制御チャネルを確立する。

前述のステップに従って確立された制御チャネル内で、制御チャネルサーバが、情報の転送を実行するためのリレーとして使用されることに留意されたい。制御チャネルを使用することによって送られる制御シグナリングが、相対的に少量のデータを有し、データ送信の信頼性および正確さに関する要件が、相対的に高いので、制御チャネルは、信頼できるＴＣＰプロトコルに基づいて確立される。

第２のチャネル確立サブモジュール２０１２は、サーバおよび制御チャネルを使用することによって制御される端末へのデータチャネルを確立するように構成される。

第２のチャネル確立サブモジュール２０１２は、以下を含む。

第１のアドレス獲得ユニット２０１２ａは、サーバから制御端末のアドレス情報を獲得するように構成され、アドレス情報は、ローカルアドレスと、ネットワークアドレス変換のマッピングアドレスと、ネットワークアドレス変換の周囲のリレーを使用するトラバーサルのリレーアドレスとを含む。

第２のアドレス獲得ユニット２０１２ｂは、サーバまたは制御される端末から制御される端末のアドレス情報を獲得するように構成される。

制御端末は、制御される端末のアドレス情報をサーバから獲得することがあり、または制御チャネルを使用することによって制御される端末から制御される端末のアドレス情報を獲得することがある。制御端末は、制御される端末のアドレス情報を収集する要求をサーバに送り、サーバによってフィードバックされた制御される端末のアドレスを受信することがあり、または、制御端末は、既に確立された制御チャネルを使用することによって、制御される端末のアドレス情報を制御される端末に要求することがある。

第１の経路決定ユニット２０１２ｃは、制御端末のアドレス情報と制御される端末のアドレス情報とに従って接続経路を決定するように構成される。

第１の確立ユニット２０１２ｄは、接続経路に従ってデータチャネルを確立するように構成される。

第１の経路決定ユニット２０１２ｃは、
制御端末のアドレス情報と制御される端末のアドレス情報とをアドレス対に組み合わせるように構成された組合せサブユニット２０１２ｃ１と、
アドレス対に対して接続性テストを実行するように構成されたテストサブユニット２０１２ｃ２と、
接続性テストの結果に従って接続経路を決定するように構成された確立サブユニット２０１２ｃ３とを含む。

一例では、制御端末および制御される端末は、サーバおよび制御チャネルを使用することによってアドレス情報を獲得し、交換し、制御端末および制御される端末のアドレス情報に従ってデータチャネルを確立し、データチャネルの確立は、制御端末または制御される端末によって開始されることがあり、制御端末は、データチャネルの確立を先を見越して開始し、確立の特定の手順は、以下の通りとされることがある。

１）制御端末が、制御チャネルを使用することによって制御される端末へのデータチャネル確立命令を開始する。
スマートフォンＡは、制御チャネルサーバがリレーとして使用される制御チャネルを使用することによって、データチャネル確立命令をスマートフォンＢに送る。

２）制御端末が、制御端末のアドレス情報をデータチャネルサーバから獲得する。
スマートフォンＡは、アドレス収集要求をデータチャネルサーバに送り、データチャネルサーバは、アドレス収集要求に従ってスマートフォンＡのアドレス情報をスマートフォンＡに返す。アドレス情報は、３つのタイプすなわち、スマートフォンのローカルアドレス、ＮＡＴ（Ｎｅｔｗｏｒｋ Ａｄｄｒｅｓｓ Ｔｒａｎｓｌａｔｉｏｎ、ネットワークアドレス変換）のパブリックマッピングアドレス、およびＴＵＲＮ（Ｔｒａｖｅｒｓａｌ Ｕｓｉｎｇ Ｒｅｌａｙｓ ａｒｏｕｎｄ ＮＡＴ、ＮＡＴの周囲のリレーを使用するトラバーサル）のリレーアドレスを含むことがある。

３）制御される端末が、制御される端末のアドレス情報をデータチャネルサーバから獲得する。
同様に、データチャネル確立命令を受信した後に、スマートフォンＢも、アドレス収集要求をデータチャネルサーバに送り、データチャネルサーバは、アドレス収集要求に従ってスマートフォンＢのアドレス情報をスマートフォンＢに返す。

４）制御端末が、制御チャネルを使用することによって、制御される端末のアドレス情報を制御される端末から獲得する。
スマートフォンＡは、制御チャネルを使用することによって、スマートフォンＢによって送られたスマートフォンＢのアドレス情報を受信する。

５）制御端末は、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定する。
スマートフォンＡは、スマートフォンＡの３つのタイプのアドレスとスマートフォンＢの３つのタイプのアドレスとをアドレス対に組み合わせ、組合せを使用することによって入手されたアドレス対に対して接続性テストを実行し、接続性テストの結果に従って接続経路として最適経路を決定する。

６）制御端末が、決定された接続経路を使用することによってデータチャネルを確立する。
制御端末は、制御される端末のアドレス情報をサーバから直接的に獲得することがある。たとえば、制御端末は、制御される端末のアドレス情報を収集する要求をサーバに送ることがあり、サーバは、制御される端末のアドレス情報を制御端末に送り、制御端末は、制御端末のアドレス情報と制御される端末のアドレス情報とに従って、接続経路を決定し、データチャネルを確立する。

あるいは、データチャネルを確立する前述のプロセスは、制御される端末によって開始されることがあり、データチャネルを確立する手順は、前述のプロセスと同様である。

データチャネルが、リレーの方式を使用することによって確立されることがあり、または直接接続の方式で確立されることがあることに留意されたい。たとえば、制御端末および制御される端末が、無線ローカルエリアネットワーク、Ｂｌｕｅｔｈｏｏｔｈ、もしくは類似物を使用することによって直接的に接続されることがあるとき、またはデータチャネルが直接接続の方式で確立されることがあるときである。制御端末と制御される端末との間の接続が、インターネットだけを使用することによって確立され得るときに、サーバがその中でリレーとして使用されるデータチャネルが、確立されることがある。

さらに、イメージ情報が、相対的に大量のデータを有し、信頼性および正確さに関する相対的に低い要件を有し、ある度合までパケット消失を許すことがあるので、データチャネルは、ＵＤＰ（Ｕｓｅｒ Ｄａｔａ Ｐｒｏｔｏｃｏｌ、Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）に基づいて確立されることがある。

制御チャネルおよびデータチャネルを確立する前述のプロセスのすべてにおいて、サーバが、中継のために要求される。実際のアプリケーションでは、制御チャネルおよび／またはデータチャネルは、サーバを使用せずに直接的に確立されることがある。

たとえば、制御端末および制御される端末が、同一の無線ローカルエリアネットワーク内にあるか、Ｂｌｕｅｔｈｏｏｔｈ接続の範囲内にあるときに、制御チャネルおよびデータチャネルは、サーバを使用することによって中継および転送を実行する必要なしに、無線ローカルエリアネットワークまたはＢｌｕｅｔｈｏｏｔｈを使用することによって直接的に確立されることがある。

あるいは、制御端末および制御される端末が、同一の無線ローカルエリアネットワーク内またはＢｌｕｅｔｈｏｏｔｈ接続の範囲内にあるときに、制御チャネルは、無線ローカルエリアネットワークまたはＢｌｕｅｔｈｏｏｔｈを使用することによって直接的に確立されることがあり、データチャネルは、サーバを使用することによって確立される。

あるいは、制御端末および制御される端末が、同一の無線ローカルエリアネットワーク内またはＢｌｕｅｔｈｏｏｔｈ接続の範囲内にあるときに、制御チャネルは、サーバを使用することによって確立されることがあり、データチャネルは、無線ローカルエリアネットワークまたはＢｌｕｅｔｈｏｏｔｈを使用することによって直接的に確立されることがある。

イメージデータ受信モジュール２０２は、データチャネルを使用することによって制御される端末によって送られたスクリーンイメージデータを受信するように構成される。

制御される端末のスクリーンの電源が入れられるときに、スクリーンイメージデータが、指定されたフレームレートでキャプチャされることがあり、指定されたフレームレートは、固定されたフレームレートとされることがある。たとえば、制御される端末は、指定されたフレームレートを固定された３０ＦＰＳ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ（フレーム毎秒）、毎秒に送信されるフレームの量）にセットすることがある、すなわち、スクリーンイメージの３０フレームのイメージデータが、毎秒にキャプチャされ、または、制御される端末は、スクリーン内に表示されるコンテンツに従って指定されたフレームレートを動的にセットすることがある。たとえば、スクリーン内に表示されるコンテンツが静的ページであるときに、指定されたフレームレートには、相対的に小さい数値（たとえば、１０）がセットされることがある。スクリーン内に表示されるコンテンツが動的ビデオであるときに、指定されたフレームレートには、相対的に大きい数値（たとえば、６０）がセットされることがある。

データチャネルが確立された後に、制御される端末は、イメージおよび／またはオーディオなどのメディアデータを送信することがある。指定されたフレームレートでキャプチャされたスクリーンイメージデータに対して符号化を実行（たとえば、Ｈ．２６４の方式で符号化を実行）した後に、制御される端末は、データチャネルを使用することによってスクリーンイメージデータを制御端末に送信する。

ディスプレイモジュール２０３は、スクリーンイメージデータに従って制御される端末のスクリーンショットを表示するように構成される。

データチャネルを使用することによってスマートフォンＢによって送られたスクリーンイメージデータを受信した後に、スマートフォンＡは、適切な解像度でスクリーン上にスマートフォンＢのスクリーンショットを表示する。

動作情報生成モジュール２０４は、スクリーンショットに基づく動作に従って対応する動作情報を生成するように構成される。

動作情報は、タッチ情報と、ボタン情報と、音声情報とのうちの少なくとも１つを含み、動作情報生成モジュール２０４は、
動作情報がタッチ情報であるときに、動作に対応するタッチイベントを監視するように構成された監視サブモジュール２０４１と、
タッチイベントに従って動作情報を生成するように構成された第１の生成サブモジュール２０４２と、
動作情報がボタン情報であるときに、動作に対応するボタンタイプを決定するように構成された第１のボタンタイプ決定サブモジュール２０４３と、
ボタンタイプに対応する識別子を含む動作情報を生成するように構成された第２の生成サブモジュール２０４４と、
動作情報が音声情報であるときに、動作に対応する音声からテキストを認識するように構成された音声認識サブモジュール２０４５と、
テキスト内に含まれる制御命令を取り出し、制御命令に対応する識別子を含む動作情報を生成するように構成された第２の生成サブモジュール２０４６と
を含む。

第１の生成サブモジュール２０４２は、第１の生成ユニット２０４２ａまたは第２の生成ユニット２０４２ｂを含み、
第１の生成ユニット２０４２ａは、タッチイベントをバイトストリームにシリアライズし、バイトストリームを含む動作情報を生成するように構成され、
第２の生成ユニット２０４２ｂは、タッチイベントのキー情報を取り出し、キー情報を指定されたフォーマットのファイルに符号化し、指定されたフォーマットのファイルを含む動作情報を生成するように構成され、キー情報は、イベントタイプ、タッチ座標、および／またはタッチ力を含む。

動作情報送出モジュール２０５は、制御される端末が動作情報に従って対応する制御動作を実行するようにするために、制御チャネルを使用することによって制御される端末に動作情報を送るように構成される。

スマートフォンは、例として使用される。スマートフォンＡでのユーザの動作は、タッチ動作、ボタン動作、および音声動作を含むことがあり、対応して生成される動作情報は、それぞれ、タッチ情報、ボタン情報、および音声情報である。動作情報を処理する方法は、それぞれ、以下の通りである。

１）タッチ情報について、ユーザが、スマートフォンＢのスクリーンショットに基づいてスマートフォンＡの側でタッチ動作を実行し、たとえば、スワイプ、タップ、長押し、またはジェスチャなどの動作を実行するときに、スマートフォンＡは、生成されたタッチイベントＭｏｔｉｏｎＥｖｅｎｔをバイトストリームにシリアライズし、そのバイトストリームを送る。スマートフォンＢは、バイトストリームをデシリアライズし、タッチイベントを復元する。あるいは、スマートフォンＡは、タッチイベント内のキー情報（イベントタイプ、タッチ座標、タッチ力、および類似物を含む）を取り出し、キー情報をｘｍｌまたはｊｓｏｎなどのフォーマットのファイル内に符号化する。スマートフォンＢは、ｘｍｌまたはｊｓｏｎなどのフォーマットのファイルに従ってキー情報を取り出し、キー情報に従ってタッチイベントを復元する。スマートフォンＢは、復元されたタッチイベントに従って対応する制御動作を実行する。

ｘｍｌフォーマットが、例として使用され、符号化を介して入手されたファイルは、以下の通りとされることがある。

制御端末が、制御される端末のスクリーンショットを表示するときに、制御端末内で表示されるスクリーンショットの解像度は、通常、制御される端末内で実際に表示されるスクリーンイメージの解像度と一貫しない。対応して、ユーザが、制御される端末のスクリーンショットに基づいて制御端末内でタッチ動作を実行するときに、生成されるタッチイベント内に含まれるタッチ座標も、制御される端末の実際のスクリーンイメージ内でマッピングされるタッチ動作の座標と一貫しない。このために、制御端末は、まず、元のタッチイベント内のタッチ座標を制御される端末のスクリーン内でマッピングされるマッピング座標に変換し、元のタッチイベント内のタッチ座標をマッピング座標に置換し、その後、そのマッピング座標が置換されたタッチイベントに従ってタッチ情報を生成する必要がある。具体的には、制御される端末は、制御チャネルを使用することによって制御される端末の解像度を制御端末に送ることがあり、制御端末は、スクリーンショットのディスプレイエリア座標、元のタッチイベント内のタッチ座標、および制御される端末のスクリーンの解像度に従って、マッピング座標を決定する。

あるいは、座標変換の前述のステップは、制御される端末によって完了されることがある、すなわち、制御端末は、元のタッチイベントを処理せず、タッチ情報を直接的に生成し、制御される端末は、制御チャネルを使用することによって制御端末内のスクリーンショットのディスプレイエリア座標を獲得し、タッチ情報から元のタッチイベントのタッチ座標を取り出し、スクリーンショットのディスプレイエリア座標、取り出されたタッチ座標、および制御される端末のスクリーンの解像度に従ってマッピング座標を決定する。

座標変換の前述のステップが制御端末によって完了される例が、使用される。図３に示されたタッチ座標のマッピングの概略図を参照されたい。制御チャネルおよびデータチャネルが、スマートフォンＡとスマートフォンＢとの間で確立された後に、スマートフォンＡは、スマートフォンＢのスクリーンイメージデータを受信し、スマートフォンＡのスクリーン内のスクリーンキャプチャディスプレイエリア内にスマートフォンＢのスクリーンショットを表示し、スクリーンキャプチャディスプレイエリアは、スマートフォンＡのスクリーンの一部である。ユーザが、スマートフォンＡのスクリーン内のスクリーンキャプチャディスプレイエリア内でタッチ動作を実行するときに、生成される元のタッチイベント内に含まれるタッチ座標（ｘ，ｙ）は、スマートフォンＡのスクリーン内のタッチ点の座標である。監視することによって元のタッチイベントを入手した後に、スマートフォンＡは、元のタッチイベント内のタッチ座標（ｘ，ｙ）を制御される端末のスクリーン内でマッピングされた元のタッチイベントのマッピング座標（ｘ’，ｙ’）に置換し、そのタッチ座標が置換されたタッチイベントに従ってタッチ情報を生成し、たとえば、そのタッチ座標が置換されたタッチイベントをシリアライズし、またはキー情報としてマッピング座標（ｘ’，ｙ’）を使用することによって取出しおよび符号化を実行する。

ユーザは、制御端末内で、タッチ動作を使用することによって制御される端末を制御することができる。たとえば、図４に示されたリモートコントロール動作の概略図を参照されたい。制御チャネルおよびデータチャネルがスマートフォンＡとスマートフォンＢとの間で確立された後に、スマートフォンＡは、スマートフォンＢのスクリーンイメージデータを受信し、スマートフォンＢのスクリーンショットを表示し、このスクリーンショットは、スマートフォンＢのホームスクリーンのスクリーンキャプチャであり、このスクリーンショットは、アプリケーションプログラムのアイコンを含む。スマートフォンＡの側のユーザが、スクリーンショット内のアプリケーションプログラム（このプログラムの名前は「ＸＹＺ」である）のアイコンエリアをタップするときに、スマートフォンＡは、タッチ点の座標に従って、スマートフォンＢ内でマッピングされたタッチ点のマッピング座標を決定し、マッピング座標およびタッチタイプをタッチ情報内に符号化し、タッチ情報をスマートフォンＢに送る。スマートフォンＢは、タッチ情報に従ってタッチイベントを復元し、タッチイベントに従ってアプリケーションプログラムＸＹＺをオープンする。さらに、スマートフォンＢが、アプリケーションプログラムＸＹＺをオープンし、アプリケーションプログラムＸＹＺのアプリケーションプログラムインターフェースを表示した後に、ユーザが、スマートフォンＡ内で、アプリケーションプログラムインターフェースのスクリーンキャプチャ内の機能ボタンに対応する位置をタップする（たとえば、サブページに入るか、アプリケーションプログラムを終了するために）ときに、スマートフォンＢは、機能ボタンに従ってアプリケーションプログラムを制御することがある。

あるいは、ユーザは、タッチ動作を使用することによって、制御される端末内でリモートスクリーン走り書きを実行することがある。たとえば、図５に示されたリモート走り書き動作の概略図を参照されたい。制御チャネルおよびデータチャネルがスマートフォンＡとスマートフォンＢとの間で確立された後に、スマートフォンＢは、走り書きパネルをオープンし、スマートフォンＡは、スマートフォンＢのスクリーンイメージデータを受信し、走り書きパネルのスクリーンキャプチャを表示する。スマートフォンＡの側のユーザは、走り書きパネルのスクリーンキャプチャ内でスライド動作を実行する。スマートフォンＡは、スライド動作の軌道内の座標に従って、スマートフォンＢ内でマッピングされるマッピング座標を決定し、マッピング座標およびタッチタイプをタッチ情報内に符号化し、タッチ情報をスマートフォンＢに送る。スマートフォンＢは、タッチ情報に従ってタッチイベントを復元し、タッチイベントに従って、スマートフォンＢによって表示される走り書きパネル内にスライド動作の軌道パターンを表示する。

２）ボタン情報について、スマートフォンＡは、ボタンイベント（戻るボタン、ホームボタン、メニューボタン、およびボリュームボタンなど、すべての物理ボタンまたは仮想ボタン）を符号化し、ボタンタイプごとに一意識別子を定義することがある。スマートフォンＡは、ボタンイベントに対応するボタンタイプを識別子に符号化し、識別子をスマートフォンＢに送る。スマートフォンＢは、識別子に従って対応するボタンイベントを復元する。スマートフォンＢは、復元されたボタンイベントに従って対応する制御動作を実行する。

３）音声情報について、スマートフォンＡは、まず、音声をテキストに変換し、テキスト内の制御命令を取り出し、制御命令ごとに一意識別子を定義する。スマートフォンＡは、音声を識別に符号化し、識別子をスマートフォンＢに送り、スマートフォンＢは、識別子に従って対応する制御命令を復元する。たとえば、ユーザは、スマートフォンＡに音声「Ｍａｋｅ ａ Ｃａｌｌ（電話をかけよ）」を入力し、スマートフォンＡは、「Ｍａｋｅ ａ Ｃａｌｌ」を一意識別子に符号化し、その識別子をスマートフォンＢに送り、スマートフォンＢは、一意識別子を「Ｍａｋｅ ａ Ｃａｌｌ」の命令として認識する。スマートフォンＢは、認識された命令に従って対応する制御動作を実行する。

結論として、本発明のこの実施形態で提供される制御端末は、制御される端末への制御チャネルおよびデータチャネルを確立し、データチャネルを使用することによって制御される端末によって送られたスクリーンイメージデータを受信し、スクリーンイメージデータに従って制御される端末のスクリーンショットを表示し、スクリーンショットに基づく動作に従って対応する動作情報を生成し、制御される端末が動作情報に従って対応する制御動作を実行するようにするために、制御チャネルを使用することによって制御される端末に動作情報を送る。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

本発明の実施形態による制御端末のブロック図である図６を参照されたい。制御端末３００は、制御される端末に対してリモートコントロールを実行するように構成されることがあり、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末とされることがある。制御端末３００は、バス３０５と、バス３０５に接続されたプロセッサ３０１、メモリ３０２、送信器３０３、および受信器３０４とを含むことがある。メモリ３０２は、複数の命令を記憶するように構成され、複数の命令は、プロセッサ３０１によって実行されるように構成され、
プロセッサ３０１は、制御される端末への制御チャネルおよびデータチャネルを確立するように受信器３０４および送信器３０３を制御するように構成され、
受信器３０４は、データチャネルを使用することによって制御される端末によって送られたスクリーンイメージデータを受信するように構成され、スクリーンイメージデータは、制御される端末のスクリーンショットを示すのに使用され、
プロセッサ３０１は、スクリーンイメージデータに従って制御される端末のスクリーンショットをディスプレイデバイス上に表示し、スクリーンショットに基づく動作に従って対応する動作情報を生成するように構成され、
プロセッサ３０１は、制御される端末が動作情報に従って対応する制御動作を実行するようにするために、制御チャネルを使用することによって制御される端末に動作情報を送るように構成される。

結論として、本発明のこの実施形態で提供される制御端末は、制御される端末への制御チャネルおよびデータチャネルを確立し、データチャネルを使用することによって制御される端末によって送られたスクリーンイメージデータを受信し、スクリーンイメージデータに従って制御される端末のスクリーンショットを表示し、スクリーンショットに基づく動作に従って対応する動作情報を生成し、制御される端末が動作情報に従って対応する制御動作を実行するようにするために、制御チャネルを使用することによって制御される端末に動作情報を送る。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

本発明の別の実施形態による制御端末のブロック図である図７を参照されたい。制御端末４００は、制御される端末に対してリモートコントロールを実行するように構成されることがあり、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末とされることがある。制御端末４００は、バス４０５と、バス４０５に接続されたプロセッサ４０１、メモリ４０２、送信器４０３、および受信器４０４とを含むことがある。メモリ４０２は、複数の命令を記憶するように構成され、複数の命令は、プロセッサ４０１によって実行されるように構成され、
プロセッサ４０１は、制御される端末への制御チャネルおよびデータチャネルを確立するように受信器４０４および送信器４０３を制御するように構成され、
プロセッサ４０１は、サーバを使用することによって制御される端末への制御チャネルを確立するように受信器４０４および送信器４０３を制御するように構成され、
プロセッサ４０１は、サーバおよび制御チャネルを使用することによって制御される端末へのデータチャネルを確立するように受信器４０４および送信器４０３を制御するように構成される。

具体的には、データチャネルを確立するときに、プロセッサ４０１は、サーバから制御端末のアドレス情報を獲得するように受信器４０４および送信器４０３を制御するように構成され、アドレス情報は、ローカルアドレスと、ネットワークアドレス変換のマッピングアドレスと、ネットワークアドレス変換の周囲のリレーを使用するトラバーサルのリレーアドレスとを含み、
プロセッサ４０１は、サーバまたは制御される端末から制御される端末のアドレス情報を獲得するように受信器４０４および送信器４０３を制御するように構成され、
プロセッサ４０１は、制御端末のアドレス情報と制御される端末のアドレス情報とに従って接続経路を決定するように構成され、
プロセッサ４０１は、接続経路に従ってデータチャネルを確立するように受信器４０４および送信器４０３を制御するように構成される。

接続経路を決定するときに、プロセッサ４０１は、制御端末のアドレス情報と制御される端末のアドレス情報とをアドレス対に組み合わせ、アドレス対に対して接続性テストを実行し、接続性テストの結果に従って接続経路を決定するように構成される。

制御チャネルおよびデータチャネルを確立する手順については、図２に対応する実施形態での説明を参照されたく、詳細は、もはやここでは説明されない。

受信器４０４は、データチャネルを使用することによって制御される端末によって送られたスクリーンイメージデータを受信するように構成され、スクリーンイメージデータは、制御される端末のスクリーンショットを示すのに使用され、
プロセッサ４０１は、スクリーンイメージデータに従って制御される端末のスクリーンショットをディスプレイデバイス上に表示し、スクリーンショットに基づく動作に従って対応する動作情報を生成するように構成され、
動作情報は、タッチ情報と、ボタン情報と、音声情報とのうちの少なくとも１つを含み、プロセッサ４０１は、動作情報がタッチ情報であるときに、動作に対応するタッチイベントを監視し、タッチイベントに従って動作情報を生成するように構成され、
プロセッサ４０１は、動作情報がボタン情報であるときに、動作に対応するボタンタイプを決定し、ボタンタイプに対応する識別子を含む動作情報を生成するように構成され、
プロセッサ４０１は、動作情報が音声情報であるときに、動作に対応する音声からテキストを認識し、テキスト内に含まれる制御命令を取り出し、制御命令に対応する識別子を含む動作情報を生成するように構成される。

タッチイベントに従って動作情報を生成するときに、プロセッサ４０１は、タッチイベントをバイトストリームにシリアライズし、バイトストリームを含む動作情報を生成するように構成され、または、プロセッサ４０１は、タッチイベントのキー情報を取り出し、キー情報を指定されたフォーマットのファイルに符号化し、指定されたフォーマットのファイルを含む動作情報を生成するように構成され、キー情報は、イベントタイプ、タッチ座標、および／またはタッチ力を含む。

タッチ情報を生成するステップについては、図２に対応する実施形態での説明を参照されたく、詳細は、もはやここでは説明されない。

プロセッサ４０１は、制御される端末が動作情報に従って対応する制御動作を実行するようにするために、制御チャネルを使用することによって制御される端末に動作情報を送るように送信器４０３を制御するように構成される。

結論として、本発明のこの実施形態で提供される制御端末は、制御される端末への制御チャネルおよびデータチャネルを確立し、データチャネルを使用することによって制御される端末によって送られたスクリーンイメージデータを受信し、スクリーンイメージデータに従って制御される端末のスクリーンショットを表示し、スクリーンショットに基づく動作に従って対応する動作情報を生成し、制御される端末が動作情報に従って対応する制御動作を実行するようにするために、制御チャネルを使用することによって制御される端末に動作情報を送る。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

本発明の実施形態による制御される端末の概略構造図である図８を参照されたい。制御される端末は、図１、図２、図６、および図７のうちのいずれか１つに示された制御端末のリモートコントロールを受信するように構成され、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末とされることがある。制御される端末は、
制御端末への制御チャネルおよびデータチャネルを確立するように構成された第２のチャネル確立モジュール５０１と、
制御される端末のスクリーンショットを示すのに使用されるスクリーンイメージデータを獲得するように構成されたイメージデータ獲得モジュール５０２と、
制御端末がスクリーンデータイメージに従って制御される端末のスクリーンショットを表示するようにするために、データチャネルを使用することによってスクリーンイメージデータを制御端末に送るように構成されたイメージデータ送出モジュール５０３と、
制御チャネルを使用することによって制御端末によって送られた動作情報を受信するように構成され、動作情報は、スクリーンショットに基づく動作に従って制御端末によって生成される情報である、動作情報受信モジュール５０４と、
動作情報に従って対応する制御動作を実行するように構成された実行モジュール５０５とを含むことがある。

結論として、本発明のこの実施形態で提供される制御される端末は、制御端末への制御チャネルおよびデータチャネルを確立し、制御される端末のスクリーンイメージデータを獲得し、データチャネルを使用することによってスクリーンイメージデータを制御端末に送り、制御チャネルを使用することによって制御端末によって送られた動作情報を受信し、動作情報に従って対応する制御動作を実行する。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

本発明の別の実施形態による制御される端末の概略構造図である図９を参照されたい。制御される端末は、図１、図２、図６、および図７のうちのいずれか１つに示された制御端末のリモートコントロールを受信するように構成され、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末とされることがある。制御される端末は、以下を含むことがある。

第２のチャネル確立モジュール６０１は、制御端末への制御チャネルおよびデータチャネルを確立するように構成される。

第２のチャネル確立モジュール６０１は、
サーバを使用することによって制御端末への制御チャネルを確立するように構成された第３のチャネル確立サブモジュール６０１１と、
サーバおよび制御チャネルを使用することによって制御端末へのデータチャネルを確立するように構成された第４のチャネル確立サブモジュール６０１２とを含む。

第４のチャネル確立サブモジュール６０１２は、
サーバから制御される端末のアドレス情報を獲得するように構成され、アドレス情報は、ローカルアドレスと、ネットワークアドレス変換のマッピングアドレスと、ネットワークアドレス変換の周囲のリレーを使用するトラバーサルのリレーアドレスとを含む、第３のアドレス獲得ユニット６０１２ａと、
サーバまたは制御端末から制御端末のアドレス情報を獲得するように構成された第４のアドレス獲得ユニット６０１２ｂと、
制御端末のアドレス情報と制御される端末のアドレス情報とに従って接続経路を決定するように構成された第２の経路決定ユニット６０１２ｃと、
接続経路に従ってデータチャネルを確立するように構成された第２の確立ユニット６０１２ｄとを含む。

制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定するときに、制御される端末は、制御端末のアドレス情報と制御される端末のアドレス情報とをアドレス対に組み合わせ、アドレス対に対して接続性テストを実行し、接続性テストの結果に従って接続経路を決定する。

制御端末および制御される端末が、サーバおよび制御チャネルを使用することによってアドレス情報を獲得し、交換し、制御端末および制御される端末のアドレス情報に従ってデータチャネルを確立し、データチャネルの確立が、制御端末または制御される端末によって開始されることがあり、制御端末が、データチャネルの確立を先を見越して開始する例が、使用される。確立の特定の手順は、以下の通りとされることがある。

１）制御端末が、制御チャネルを使用することによって、制御される端末へのデータチャネル確立命令を開始する。
スマートフォンＡは、制御チャネルサーバがその中でリレーとして使用される制御チャネルを使用することによって、データチャネル確立命令をスマートフォンＢに送る。

２）制御端末が、制御端末のアドレス情報をデータチャネルサーバから獲得する。
スマートフォンＡは、アドレス収集要求をデータチャネルサーバに送り、データチャネルサーバは、アドレス収集要求に従って、スマートフォンＡのアドレス情報をスマートフォンＡに返す。アドレス情報は、３つのタイプすなわち、スマートフォンのローカルアドレス、ＮＡＴ（Ｎｅｔｗｏｒｋ Ａｄｄｒｅｓｓ Ｔｒａｎｓｌａｔｉｏｎ、ネットワークアドレス変換）のパブリックマッピングアドレス、およびＴＵＲＮ（Ｔｒａｖｅｒｓａｌ Ｕｓｉｎｇ Ｒｅｌａｙｓ ａｒｏｕｎｄ ＮＡＴ、ＮＡＴの周囲のリレーを使用するトラバーサル）のリレーアドレスを含むことがある。

３）制御される端末が、制御される端末のアドレス情報をデータチャネルサーバから獲得する。
同様に、データチャネル確立命令を受信した後に、スマートフォンＢも、アドレス収集要求をデータチャネルサーバに送り、データチャネルサーバは、アドレス収集要求に従ってスマートフォンＢのアドレス情報をスマートフォンＢに返す。

４）制御される端末が、制御チャネルを使用することによって、制御端末のアドレス情報を制御端末から獲得する。
スマートフォンＡは、制御チャネルを使用することによって、スマートフォンＡのアドレス情報をスマートフォンＢに送る。

５）制御される端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定する。
同様に、スマートフォンＢは、スマートフォンＢの３つのタイプのアドレスとスマートフォンＡの３つのタイプのアドレスとをアドレス対に組み合わせ、組合せを使用することによって入手されたアドレス対に対して接続性テストを実行し、接続性テストの結果に従って接続経路として最適経路を決定する。

６）制御される端末が、決定された接続経路を使用することによってデータチャネルを確立する。
制御端末は、制御される端末のアドレス情報をサーバから直接的に獲得することがある。たとえば、制御端末は、制御される端末のアドレス情報を収集する要求をサーバに送ることがあり、サーバは、制御される端末のアドレス情報を制御端末に送り、制御端末は、制御端末のアドレス情報と制御される端末のアドレス情報とに従って、接続経路を決定し、データチャネルを確立する。

イメージデータ獲得モジュール６０２は、制御される端末のスクリーンショットを示すのに使用されるスクリーンイメージデータを獲得するように構成される。

イメージデータ送出モジュール６０３は、制御端末がスクリーンデータイメージに従って制御される端末のスクリーンショットを表示するようにするために、データチャネルを使用することによってスクリーンイメージデータを制御端末に送るように構成される。

動作情報受信モジュール６０４は、制御チャネルを使用することによって制御端末によって送られた動作情報を受信するように構成され、動作情報は、スクリーンショットに基づく動作に従って制御端末によって生成される情報である。

実行モジュール６０５は、動作情報に従って対応する制御動作を実行するように構成される。

動作情報は、タッチ情報と、ボタン情報と、音声情報とのうちの少なくとも１つを含み、実行モジュール６０５は、
動作情報がタッチ情報であるときに、制御情報に従って、タッチ動作に対応するタッチイベントを復元するように構成されたイベント復元サブモジュール６０５１と、
タッチイベントに従って制御動作を実行するように構成された第１の実行サブモジュール６０５２と、
動作情報がボタン情報であるときに、動作情報内に含まれる識別子に従って、ボタン動作に対応するボタンタイプを決定するように構成された第２のボタンタイプ決定サブモジュール６０５３と、
ボタンタイプに従って制御動作を実行するように構成された第２の実行サブモジュール６０５４と、
動作情報が音声情報であるときに、動作情報内に含まれる識別子に従って、音声動作に対応する制御命令を決定するように構成された命令決定サブモジュール６０５５と、
制御命令に従って制御動作を実行するように構成された第３の実行サブモジュール６０５６とを含む。

イベント復元サブモジュールは、第１の復元ユニット６０５１ａまたは第２の復元ユニット６０５１ｂを含む。

第１の復元ユニット６０５１ａは、タッチイベントを復元するために、動作情報内に含まれるバイトストリームをデシリアライズするように構成される。

第２の復元ユニット６０５１ｂは、動作情報内に含まれる指定されたフォーマットのファイルからタッチイベントのキー情報を取り出し、キー情報に従ってタッチイベントを復元するように構成され、キー情報は、イベントタイプ、タッチ座標、および／またはタッチ力を含む。

制御される端末によって制御端末のリモートコントロールを受信する特定のプロセスについては、図２に対応する実施形態での説明を参照されたく、詳細は、もはやここでは説明されない。

結論として、本発明のこの実施形態で提供される制御される端末は、制御端末への制御チャネルおよびデータチャネルを確立し、制御される端末のスクリーンイメージデータを獲得し、データチャネルを使用することによってスクリーンイメージデータを制御端末に送り、制御チャネルを使用することによって制御端末によって送られた動作情報を受信し、動作情報に従って対応する制御動作を実行する。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

本発明の実施形態による制御される端末のブロック図である図１０を参照されたい。制御される端末７００は、図１、図２、図６、および図７のうちのいずれか１つに示された制御端末のリモートコントロールを受信するように構成され、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末とされることがある。制御される端末７００は、バス７０５と、バス７０５に接続されたプロセッサ７０１、メモリ７０２、送信器７０３、および受信器７０４とを含むことがある。メモリ７０２は、複数の命令を記憶するように構成され、複数の命令は、プロセッサ７０１によって実行されるように構成され、
プロセッサ７０１は、制御端末への制御チャネルおよびデータチャネルを確立するように受信器７０４および送信器７０３を制御するように構成され、
プロセッサ７０１は、制御される端末のスクリーンショットを示すのに使用されるスクリーンイメージデータを獲得するように構成され、
プロセッサ７０１は、制御端末がスクリーンデータイメージに従って制御される端末のスクリーンショットを表示するようにするために、データチャネルを使用することによってスクリーンイメージデータを制御端末に送るように送信器７０３を制御するように構成され、
受信器７０４は、制御チャネルを使用することによって制御端末によって送られた動作情報を受信するように構成され、動作情報は、スクリーンショットに基づく動作に従って制御端末によって生成される情報であり、
プロセッサ７０１は、動作情報に従って対応する制御動作を実行するように構成される。

結論として、本発明のこの実施形態で提供される制御される端末は、制御端末への制御チャネルおよびデータチャネルを確立し、制御される端末のスクリーンイメージデータを獲得し、データチャネルを使用することによってスクリーンイメージデータを制御端末に送り、制御チャネルを使用することによって制御端末によって送られた動作情報を受信しは受信され、動作情報に従って対応する制御動作を実行する。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

本発明の別の実施形態による制御される端末のブロック図である図１１を参照されたい。制御される端末８００は、図１、図２、図６、および図７のうちのいずれか１つに示された制御端末のリモートコントロールを受信するように構成され、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末とされることがある。制御される端末８００は、バス８０５と、バス８０５に接続されたプロセッサ８０１、メモリ８０２、送信器８０３、および受信器８０４とを含むことがある。メモリ８０２は、複数の命令を記憶するように構成され、複数の命令は、プロセッサ８０１によって実行されるように構成され、
プロセッサ８０１は、制御端末への制御チャネルおよびデータチャネルを確立するように受信器８０４および送信器８０３を制御するように構成され、
プロセッサ８０１は、サーバを使用することによって制御端末への制御チャネルを確立するように受信器８０４および送信器８０３を制御するように構成され、
プロセッサ８０１は、サーバおよび制御チャネルを使用することによって制御端末へのデータチャネルを確立するように受信器８０４および送信器８０３を制御するように構成される。

データチャネルを確立するときに、プロセッサ８０１は、サーバから制御される端末のアドレス情報を獲得するように受信器８０４および送信器８０３を制御するように構成され、アドレス情報は、ローカルアドレスと、ネットワークアドレス変換のマッピングアドレスと、ネットワークアドレス変換の周囲のリレーを使用するトラバーサルのリレーアドレスとを含み、
プロセッサ８０１は、サーバまたは制御端末から制御端末のアドレス情報を獲得するように受信器８０４および送信器８０３を制御するように構成され、
プロセッサ８０１は、制御端末のアドレス情報と制御される端末のアドレス情報とに従って接続経路を決定するように構成され、
プロセッサ８０１は、接続経路に従ってデータチャネルを確立するように受信器８０４および送信器８０３を制御するように構成される。
プロセッサ８０１は、制御される端末のスクリーンショットを示すのに使用されるスクリーンイメージデータを獲得するように構成され、
プロセッサ８０１は、制御端末がスクリーンデータイメージに従って制御される端末のスクリーンショットを表示するようにするために、データチャネルを使用することによってスクリーンイメージデータを制御端末に送るように送信器８０３を制御するように構成され、
受信器８０４は、制御チャネルを使用することによって制御端末によって送られた動作情報を受信するように構成され、動作情報は、スクリーンショットに基づく動作に従って制御端末によって生成される情報であり、
プロセッサ８０１は、動作情報に従って対応する制御動作を実行するように構成される。

動作情報は、タッチ情報と、ボタン情報と、音声情報とのうちの少なくとも１つを含み、制御動作を実行するときに、プロセッサ８０１は、動作情報がタッチ情報であるときに、制御情報に従って、タッチ動作に対応するタッチイベントを復元し、タッチイベントに従って制御動作を実行するように構成され、
制御情報に従ってタッチ動作に対応するタッチイベントを復元するときに、プロセッサ８０１は、タッチイベントを復元するために、動作情報内に含まれるバイトストリームをデシリアライズするように構成され、または、プロセッサ８０１は、動作情報内に含まれる指定されたフォーマットのファイルからタッチイベントのキー情報を取り出し、キー情報に従ってタッチイベントを復元するように構成され、キー情報は、イベントタイプ、タッチ座標、および／またはタッチ力を含む。

プロセッサ８０１は、動作情報がボタン情報であるときに、動作情報内に含まれる識別子に従って、ボタン動作に対応するボタンタイプを決定し、ボタンタイプに従って制御動作を実行するように構成される。

プロセッサ８０１は、動作情報が音声情報であるときに、動作情報内に含まれる識別子に従って、音声動作に対応する制御命令を決定し、制御命令に従って制御動作を実行するように構成される。

結論として、本発明のこの実施形態で提供される制御される端末は、制御端末への制御チャネルおよびデータチャネルを確立し、制御される端末のスクリーンイメージデータを獲得し、データチャネルを使用することによってスクリーンイメージデータを制御端末に送り、制御チャネルを使用することによって制御端末によって送られた動作情報を受信し、動作情報に従って対応する制御動作を実行する。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

本発明の実施形態によるサーバの概略構造図である図１２を参照されたい。このサーバは、図１、図２、図６、および図７のいずれか１つに示された制御端末が、図８から図１１のいずれか１つに示された制御される端末に対してリモートコントロールを実行するようにするために、制御端末と制御される端末との間で接続を確立するように構成され、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末とされることがある。サーバは、
制御端末と制御される端末との間で制御チャネルを確立するように構成された制御チャネル確立モジュール９０１と、
制御端末および制御される端末が制御チャネルを使用することによってアドレス情報を交換した後に、制御端末または制御される端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末に制御端末のアドレス情報を提供し、制御される端末に制御される端末のアドレス情報を提供するように構成された第１のアドレス提供モジュール９０２と、
制御端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末のアドレス情報および制御される端末のアドレス情報を制御端末に提供するように構成された第２のアドレス提供モジュール９０３と、
制御される端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末のアドレス情報および制御される端末のアドレス情報を制御される端末に提供するように構成された第３のアドレス提供モジュール９０４とを含むことがある。

結論として、本発明のこの実施形態で提供されるサーバは、制御端末と制御される端末との間で制御チャネルおよびデータチャネルを確立し、制御端末は、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行する。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

本発明の別の実施形態によるサーバの概略構造図である図１３を参照されたい。このサーバは、図１、図２、図６、および図７のいずれか１つに示された制御端末が、図８から図１１のいずれか１つに示された制御される端末に対してリモートコントロールを実行するようにするために、制御端末と制御される端末との間で接続を確立するように構成され、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末とされることがある。このサーバは、以下を含むことがある。

制御チャネル確立モジュール１００１は、制御端末と制御される端末との間で制御チャネルを確立するように構成される。

制御チャネル確立モジュール１００１は、
制御端末がサーバに接続された後に、制御端末によって送られた制御チャネル確立要求を受信するように構成された要求受信サブモジュール１００１１と、
制御される端末がサーバに既に接続されているかどうかを決定するように構成された判断サブモジュール１００１２と、
判断サブモジュール１００１２の決定結果が、制御される端末がサーバに既に接続されていることである場合に、制御端末と制御される端末との間で制御チャネルを確立するように構成されたチャネル確立サブモジュール１００１３と
を含む。

制御チャネル確立モジュール１００１は、
判断サブモジュール１００１２の決定結果が、制御される端末がサーバに接続されていないことである場合に、接続通知を制御される端末に送るように構成され、接続通知は、制御される端末をサーバに接続するように命令するのに使用される、通知サブモジュール１００１４
をさらに含む。

第１のアドレス提供モジュール１００２は、制御端末および制御される端末が制御チャネルを使用することによってアドレス情報を交換した後に、制御端末または制御される端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末に制御端末のアドレス情報を提供し、制御される端末に制御される端末のアドレス情報を提供するように構成され、
第２のアドレス提供モジュール１００３は、制御端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末のアドレス情報および制御される端末のアドレス情報を制御端末に提供するように構成され、
第３のアドレス提供モジュール１００４は、制御される端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末のアドレス情報および制御される端末のアドレス情報を制御される端末に提供するように構成される。

制御チャネルおよびデータチャネルを確立するプロセスならびに制御チャネルおよびデータチャネルを使用することによって制御端末によって制御される端末に対して制御を実行するプロセスについては、図２に示された実施形態での説明を参照されたく、詳細は、もはやここでは説明されない。

結論として、本発明のこの実施形態で提供されるサーバは、制御端末と制御される端末との間で制御チャネルおよびデータチャネルを確立し、制御端末は、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行する。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

本発明の実施形態によるサーバのブロック図である図１４を参照されたい。サーバ１１００は、図１、図２、図６、および図７のいずれか１つに示された制御端末が、図８から図１１のいずれか１つに示された制御される端末に対してリモートコントロールを実行するようにするために、制御端末と制御される端末との間で接続を確立するように構成され、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末とされることがある。サーバ１１００は、バス１１０５と、バス１１０５に接続されたプロセッサ１１０１、メモリ１１０２、送信器１１０３、および受信器１１０４とを含む。メモリ１１０２は、複数の命令を記憶するように構成され、複数の命令は、プロセッサ１１０１によって実行されるように構成され、
プロセッサ１１０１は、制御端末と制御される端末との間で制御チャネルを確立するように受信器１１０４および送信器１１０３を制御するように構成され、
プロセッサ１１０１は、制御端末および制御される端末が制御チャネルを使用することによってアドレス情報を交換した後に、制御端末または制御される端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末に制御端末のアドレス情報を提供し、制御される端末に制御される端末のアドレス情報を提供するように受信器１１０４および送信器１１０３を制御するように構成され、または、プロセッサは、制御端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末のアドレス情報および制御される端末のアドレス情報を制御端末に提供するように構成され、または、プロセッサは、制御される端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末のアドレス情報および制御される端末のアドレス情報を制御される端末に提供するように構成される。

結論として、本発明のこの実施形態で提供されるサーバは、制御端末と制御される端末との間で制御チャネルおよびデータチャネルを確立し、制御端末は、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行する。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

本発明の別の実施形態によるサーバのブロック図である図１５を参照されたい。サーバ１２００は、図１、図２、図６、および図７のいずれか１つに示された制御端末が、図８から図１１のいずれか１つに示された制御される端末に対してリモートコントロールを実行するようにするために、制御端末と制御される端末との間で接続を確立するように構成され、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末とされることがある。サーバ１２００は、バス１２０５と、バスに接続されたプロセッサ１２０１、メモリ１２０２、送信器１２０３、および受信器１２０４とを含む。メモリ１２０２は、複数の命令を記憶するように構成され、複数の命令は、プロセッサ１２０１によって実行されるように構成され、
プロセッサ１２０１は、制御端末と制御される端末との間で制御チャネルを確立するように受信器１２０４および送信器１２０３を制御するように構成され、
制御端末と制御される端末との間で制御チャネルが確立されるときに、受信器１２０４は、制御端末がサーバに接続された後に、制御端末によって送られた制御チャネル確立要求を受信するように構成され、
プロセッサ１２０１は、制御される端末がサーバに既に接続されているかどうかを決定し、決定結果が、制御される端末がサーバに既に接続されていることである場合に、制御端末と制御される端末との間で制御チャネルを確立するように受信器１２０４および送信器１２０３を制御するように構成される。

プロセッサ１２０１は、決定結果が、制御される端末がサーバに接続されていないことである場合に、接続通知を制御される端末に送るように送信器１２０３を制御するように構成され、接続通知は、制御される端末をサーバに接続するように命令するのに使用される。

プロセッサ１２０１は、制御端末および制御される端末が制御チャネルを使用することによってアドレス情報を交換した後に、制御端末または制御される端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末に制御端末のアドレス情報を提供し、制御される端末に制御される端末のアドレス情報を提供するように受信器１２０４および送信器１２０３を制御するように構成され、または、プロセッサは、制御端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末のアドレス情報および制御される端末のアドレス情報を制御端末に提供するように構成され、または、プロセッサは、制御される端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末のアドレス情報および制御される端末のアドレス情報を制御される端末に提供するように構成される。

制御チャネルおよびデータチャネルを確立するプロセスならびに制御チャネルおよびデータチャネルを使用することによって制御端末によって制御される端末に対して制御を実行するプロセスについては、図２に示された実施形態での説明を参照されたく、詳細は、もはやここでは説明されない。

結論として、本発明のこの実施形態で提供されるサーバは、制御端末と制御される端末との間で制御チャネルおよびデータチャネルを確立し、制御端末は、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行する。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

本発明の実施形態による端末制御方法の方法フローチャートである図１６を参照されたい。この方法は、制御される端末に対してリモートコントロールを実行するために図１、図２、図６、および図７のいずれか１つに示された制御端末内で使用されることがあり、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末とされることがある。この方法は、以下を含むことがある。

ステップ１３０２ 制御される端末への制御チャネルおよびデータチャネルを確立する。

ステップ１３０４ データチャネルを使用することによって制御される端末によって送られたスクリーンイメージデータを受信し、スクリーンイメージデータは、制御される端末のスクリーンショットを示すのに使用される。

ステップ１３０６ スクリーンイメージデータに従って制御される端末のスクリーンショットを表示する。

ステップ１３０８ スクリーンショットに基づく動作に従って対応する動作情報を生成する。

ステップ１３１０ 制御される端末が動作情報に従って対応する制御動作を実行するようにするために、制御チャネルを使用することによって制御される端末に動作情報を送る。

結論として、本発明のこの実施形態で提供される端末制御方法によれば、制御される端末への制御チャネルおよびデータチャネルが、確立され、データチャネルを使用することによって制御される端末によって送られたスクリーンイメージデータが、受信され、制御される端末のスクリーンショットが、スクリーンイメージデータに従って表示され、対応する動作情報が、スクリーンショットに基づく動作に従って生成され、制御される端末が動作情報に従って対応する制御動作を実行するようにするために、動作情報が、制御チャネルを使用することによって制御される端末に送られる。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

本発明の別の実施形態による端末制御方法の方法フローチャートである図１７を参照されたい。この方法は、制御される端末に対してリモートコントロールを実行するために図１、図２、図６、および図７のいずれか１つに示された制御端末内で使用されることがあり、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末とされることがある。この方法は、以下を含むことがある。

ステップ１４０２ 制御される端末への制御チャネルを確立する。

ユーザが、制御端末内で制御される端末を制御することを望むときに、ユーザは、制御チャネルサーバを使用することによって、制御される端末への制御チャネルを確立することがある。

あるいは、制御チャネルは、サーバを使用することなく、制御端末と制御される端末との間で直接的に確立されることがある。

ステップ１４０４ 制御される端末へのデータチャネルを確立する。

制御端末は、サーバおよび制御チャネルを使用することによって制御される端末へのデータチャネルを確立することがある。

制御端末は、サーバから制御端末のアドレス情報を獲得することがあり、アドレス情報は、ローカルアドレスと、ネットワークアドレス変換のマッピングアドレスと、ネットワークアドレス変換の周囲のリレーを使用するトラバーサルのリレーアドレスとを含み、制御端末は、サーバまたは制御される端末から制御される端末のアドレス情報を獲得し、制御端末は、制御端末のアドレス情報と制御される端末のアドレス情報とに従って接続経路を決定し、制御端末は、接続経路に従ってデータチャネルを確立する。

制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定するときに、制御端末は、制御端末のアドレス情報と制御される端末のアドレス情報とをアドレス対に組み合わせ、アドレス対に対して接続性テストを実行し、接続性テストの結果に従って接続経路を決定する。

あるいは、データチャネルは、サーバを使用することなく、制御端末と制御される端末との間で直接的に確立されることがある。

制御チャネルおよびデータチャネルを確立する手順については、図２に対応する実施形態での説明を参照されたく、詳細は、もはやここでは説明されない。

ステップ１４０６ データチャネルを使用することによって制御される端末によって送られたスクリーンイメージデータを受信し、スクリーンイメージデータは、制御される端末のスクリーンショットを示すのに使用される。

ステップ１４０８ スクリーンイメージデータに従って制御される端末のスクリーンショットを表示する。

ステップ１４１０ スクリーンショットに基づく動作に従って対応する動作情報を生成する。

動作情報を生成する手順については、図２に対応する実施形態での説明を参照されたく、詳細は、もはやここでは説明されない。

ステップ１４１２ 制御される端末が動作情報に従って対応する制御動作を実行するようにするために、制御チャネルを使用することによって制御される端末に動作情報を送る。

結論として、本発明のこの実施形態で提供される端末制御方法によれば、制御される端末への制御チャネルおよびデータチャネルが確立され、データチャネルを使用することによって制御される端末によって送られたスクリーンイメージデータが受信され、制御される端末のスクリーンショットが、スクリーンイメージデータに従って表示され、対応する動作情報が、スクリーンショットに基づく動作に従って生成され、制御される端末が動作情報に従って対応する制御動作を実行するようにするために、動作情報が、制御チャネルを使用することによって制御される端末に送られる。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

本発明の実施形態による端末制御方法の方法フローチャートである図１８を参照されたい。この方法は、制御される端末が制御端末のリモートコントロールを受信するようにするために、図８から図１１に示された制御される端末内で使用され、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末とされることがある。この方法は、以下を含むことがある。

ステップ１５０２ 制御端末への制御チャネルおよびデータチャネルを確立する。

ステップ１５０４ 制御される端末を示すのに使用されるスクリーンショットのスクリーンイメージデータを獲得する。

ステップ１５０６ 制御端末がスクリーンデータイメージに従って制御される端末のスクリーンショットを表示するようにするために、データチャネルを使用することによってスクリーンイメージデータを制御端末に送る。

ステップ１５０８ 制御チャネルを使用することによって制御端末によって送られた動作情報を受信し、動作情報は、スクリーンショットに基づく動作に従って制御端末によって生成される情報である。

ステップ１５１０ 動作情報に従って対応する制御動作を実行する。

結論として、本発明のこの実施形態で提供される方法によれば、制御端末への制御チャネルおよびデータチャネルが、確立され、制御される端末のスクリーンイメージデータが、獲得され、スクリーンイメージデータが、データチャネルを使用することによって制御端末に送られ、制御チャネルを使用することによって制御端末によって送られた動作情報が、受信され、対応する制御動作が、動作情報に従って実行される。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

本発明の別の実施形態による端末制御方法の方法フローチャートである図１９を参照されたい。この方法は、制御される端末が制御端末のリモートコントロールを受信するようにするために、図８から図１１に示された制御される端末内で使用され、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末とされることがある。この方法は、以下を含むことがある。

ステップ１６０２ 制御端末への制御チャネルを確立する。

ステップ１６０４ 制御端末へのデータチャネルを確立する。

制御チャネルおよびデータチャネルを確立するプロセスについては、図２に対応する実施形態での説明を参照されたく、詳細は、もはやここでは説明されない。

ステップ１６０６ 指定されたフレームレートで制御される端末のスクリーンイメージデータを獲得する。

スクリーンイメージデータは、制御される端末のスクリーンショットを示すのに使用される。

ステップ１６０８ 制御端末がスクリーンデータイメージに従って制御される端末のスクリーンショットを表示するようにするために、データチャネルを使用することによってスクリーンイメージデータを制御端末に送る。

ステップ１６１０ 制御チャネルを使用することによって制御端末によって送られた動作情報を受信し、動作情報は、スクリーンショットに基づく動作に従って制御端末によって生成される情報である。

ステップ１６１２ 動作情報に従って対応する制御動作を実行する。

制御端末が動作情報を生成し、送る手順および制御される端末が動作情報に従って対応する制御動作を実行する手順については、図２に対応する実施形態での説明を参照されたく、詳細は、もはやここでは説明されない。

結論として、本発明のこの実施形態で提供される方法によれば、制御端末への制御チャネルおよびデータチャネルが確立され、制御される端末のスクリーンイメージデータが獲得され、スクリーンイメージデータが、データチャネルを使用することによって制御端末に送られ、制御チャネルを使用することによって制御端末によって送られた動作情報が、受信され、対応する制御動作が、動作情報に従って実行される。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

本発明の実施形態による端末制御方法の方法フローチャートである図２０を参照されたい。この方法は、図１、図２、図６、または図７に示された制御端末が図８から図１１のいずれか１つに示された制御される端末に対するリモートコントロールを実行するようにするために、図１２から図１５のいずれか１つに示されたサーバ内で、制御端末と制御される端末との間の接続を確立するのに使用され、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末とされることがある。この方法は、以下を含むことがある。

ステップ１７０２ 制御端末と制御される端末との間で制御チャネルを確立する。

ステップ１７０４ 制御端末および制御される端末が制御チャネルを使用することによってアドレス情報を交換した後に、制御端末または制御される端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末に制御端末のアドレス情報を提供し、制御される端末に制御される端末のアドレス情報を提供する。

ステップ１７０６ 制御端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末のアドレス情報および制御される端末のアドレス情報を制御端末に提供する。

ステップ１７０８ 制御される端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末のアドレス情報および制御される端末のアドレス情報を制御される端末に提供する。

結論として、本発明のこの実施形態で提供される方法によれば、制御端末と制御される端末との間の制御チャネルおよびデータチャネルが確立され、制御端末は、制御チャネルおよびデータチャネルを使用することによって制御される端末に対する制御を実行する。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

本発明の別の実施形態による端末制御方法の方法フローチャートである図２１を参照されたい。この方法は、図１、図２、図６、または図７に示された制御端末が図８から図１１のいずれか１つに示された制御される端末に対するリモートコントロールを実行するようにするために、図１２から図１５のいずれか１つに示されたサーバ内で、制御端末と制御される端末との間の接続を確立するのに使用され、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末とされることがある。この方法は、以下を含むことがある。

ステップ１８０２ 制御端末がサーバに接続された後に、制御端末によって送られた制御チャネル確立要求を受信する。

ステップ１８０４ 制御される端末がサーバに既に接続されているかどうかを決定し、制御される端末がサーバに既に接続されている場合には、ステップ１８０６に進み、そうではない場合には、ステップ１８０８に進む。

ステップ１８０６ 接続通知を制御される端末に送り、ステップ１８０４に戻る。

ステップ１８０８ 制御端末と制御される端末との間で制御チャネルを確立する。

サーバによって制御端末と制御される端末との間で制御チャネルを確立する特定の手順については、図２に示された実施形態での説明を参照されたく、詳細は、もはやここでは説明されない。

ステップ１８１０ 制御端末に制御端末のアドレス情報を提供し、制御される端末に制御される端末のアドレス情報を提供する。

ステップ１８１２ 制御端末のアドレス情報および制御される端末のアドレス情報を制御端末に提供する。

ステップ１８１４ 制御端末のアドレス情報および制御される端末のアドレス情報を制御される端末に提供する。

制御端末および／または制御される端末が、データチャネルを確立するようにするために、サーバが、制御端末および／または制御される端末にアドレス情報を提供する手順と、制御端末が制御チャネルおよびデータチャネルを使用することによって制御される端末に対してリモートコントロールを実行する手順とについては、図２に示された実施形態での説明を参照されたく、詳細は、もはやここでは説明されない。

結論として、本発明のこの実施形態で提供される方法によれば、制御チャネルおよびデータチャネルが、制御端末と制御される端末との間で確立され、制御端末は、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行する。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

本発明の一実施形態は、端末制御システムのシステム構成図を提供する。図２２を参照すると、端末制御システムは、制御端末と制御される端末とサーバとの間でリモートコントロールを実行するのに使用され、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、または電子ブックリーダーなどのモバイル端末とされることがある。端末制御システムは、
図１、図２、図６、または図７に示された制御端末００１と、図８から図１１のいずれか１つに示された制御される端末００２と、図１２から図１５のいずれか１つに示されたサーバ００３とを含むことがある。

結論として、本発明のこの実施形態で提供される端末制御システムに関して、制御端末は、制御される端末への制御チャネルおよびデータチャネルを確立し、データチャネルを使用することによって制御される端末によって送られたスクリーンイメージデータを受信し、スクリーンイメージデータに従って制御される端末のスクリーンショットを表示し、スクリーンショットに基づく動作に従って対応する動作情報を生成し、制御される端末が動作情報に従って対応する制御動作を実行するようにするために、制御チャネルを使用することによって制御される端末に動作情報を送る。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

前述の実施形態で提供される制御端末が、制御される端末に対してリモートコントロールを実行するときに、前述の機能モジュールの分割が、単に説明のための例として使用されることに留意されたい。実際のアプリケーションでは、前述の機能は、要件に従って異なる機能モジュールに割り振られ、実施されることがある。すなわち、端末の内部構造は、上で説明された機能のすべてまたは一部を実施するために異なる機能モジュールに分割される。さらに、前述の実施形態で提供される制御端末、制御される端末、およびサーバは、端末制御方法の実施形態と同一の概念を共有し、その特定の実施プロセスに関して、もはや本明細書では説明されない詳細に関して方法実施形態を参照する。

本発明の前述の実施形態のシーケンス番号は、単に例示のためのものであり、実施形態の優先順位を示すことは意図されていない。

当業者は、実施形態のステップのすべてまたは一部が、ハードウェアまたは関連ハードウェアに命令するプログラムによって実施されることがあることを理解することがある。プログラムは、コンピュータ可読記憶媒体内に記憶されることがある。記憶媒体は、読取専用メモリ、磁気ディスク、または光ディスクを含むことがある。

前述の説明は、単に本発明の例示的な実施形態であって、本発明を限定することは意図されていない。本発明の趣旨および原理から逸脱せずに行われるすべての変更、同等の置換、および改善は、本発明の保護範囲に含まれなければならない。

第１の態様の第２の可能な実施の方式に関連して、第１の態様の第５の可能な実施の方式では、第１の経路決定ユニットは、
制御端末のアドレス情報と制御される端末のアドレス情報とをアドレス対に組み合わせるように構成された組合せサブユニットと、
アドレス対に対して接続性テストを実行するように構成されたテストサブユニットと、
接続性テストの結果に従って接続経路を決定するように構成された確立サブユニットとを含む。

第３の態様によれば、制御される端末が提供され、この制御される端末は、
制御端末への制御チャネルおよびデータチャネルを確立するように構成された第２のチャネル確立モジュールと、
制御される端末のスクリーンショットを示すのに使用されるスクリーンイメージデータを獲得するように構成されたイメージデータ獲得モジュールと、
制御端末がスクリーンイメージデータに従って制御される端末のスクリーンショットを表示するようにするために、データチャネルを使用することによってスクリーンイメージデータを制御端末に送るように構成されたイメージデータ送出モジュールと、
制御チャネルを使用することによって制御端末によって送られた動作情報を受信するように構成された動作情報受信モジュールであって、動作情報は、スクリーンショットに基づく動作に従って制御端末によって生成される情報である、動作情報受信モジュールと、
動作情報に従って対応する制御動作を実行するように構成された実行モジュールとを含む。

第３の態様の第３の可能な実施の方式に関連して、第３の態様の第４の可能な実施の方式では、イベント復元サブモジュールは、第１の復元ユニットまたは第２の復元ユニットを含み、
第１の復元ユニットは、タッチイベントを復元するために、動作情報内に含まれるバイトストリームをデシリアライズするように構成され、
第２の復元ユニットは、動作情報内に含まれる指定されたフォーマットのファイルからタッチイベントのキー情報を取り出し、キー情報に従ってタッチイベントを復元するように構成され、キー情報は、イベントタイプ、タッチ座標、および／またはタッチ力を含む。

第４の態様によれば、制御される端末が提供され、制御される端末は、バスと、バスに接続されたプロセッサ、メモリ、送信器、および受信器とを含み、メモリは、複数の命令を記憶するように構成され、複数の命令は、プロセッサによって実行されるように構成され、
プロセッサは、制御端末への制御チャネルおよびデータチャネルを確立するように受信器および送信器を制御するように構成され、
プロセッサは、制御される端末のスクリーンショットを示すのに使用されるスクリーンイメージデータを獲得するように構成され、
プロセッサは、制御端末がスクリーンイメージデータに従って制御される端末のスクリーンショットを表示するようにするために、データチャネルを使用することによってスクリーンイメージデータを制御端末に送るように送信器を制御するように構成され、
受信器は、制御チャネルを使用することによって制御端末によって送られた動作情報を受信するように構成され、動作情報は、スクリーンショットに基づく動作に従って制御端末によって生成される情報であり、
プロセッサは、動作情報に従って対応する制御動作を実行するように構成される。

第５の態様によれば、サーバが提供され、このサーバは、
制御端末と制御される端末との間で制御チャネルを確立するように構成された制御チャネル確立モジュールと、
制御端末および制御される端末が制御チャネルを使用することによってアドレス情報を交換した後に、制御端末または制御される端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末に制御端末のアドレス情報を提供し、制御される端末に制御される端末のアドレス情報を提供するように構成された第１のアドレス提供モジュールと、
制御端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末のアドレス情報および制御される端末のアドレス情報を制御端末に提供するように構成された第２のアドレス提供モジュールと、
制御される端末が、制御端末のアドレス情報および制御される端末のアドレス情報に従って接続経路を決定し、接続経路に従ってデータチャネルを確立し、制御端末が、制御チャネルおよびデータチャネルを使用することによって制御される端末に対して制御を実行するようにするために、制御端末のアドレス情報および制御される端末のアドレス情報を制御される端末に提供するように構成された第３のアドレス提供モジュールとを含む。

第７の態様、第７の態様の第１の可能な実施の方式、または第７の態様の第２の可能な実施の方式に関連して、第７の態様の第３の可能な実施の方式では、動作情報は、タッチ情報と、ボタン情報と、音声情報とのうちの少なくとも１つを含み、スクリーンショットに基づく動作に従う動作情報の生成は、
動作情報がタッチ情報であるときに、動作に対応するタッチイベントを監視し、タッチイベントに従って動作情報を生成することと、
動作情報がボタン情報であるときに、動作に対応するボタンタイプを決定し、ボタンタイプに対応する識別子を含む動作情報を生成することと、
動作情報が音声情報であるときに、動作に対応する音声からテキストを認識し、テキスト内に含まれる制御命令を取り出し、制御命令に対応する識別子を含む動作情報を生成することとを含む。

第７の態様の第３の可能な実施の方式に関連して、第７の態様の第５の可能な実施の方式では、制御端末のアドレス情報と制御される端末のアドレス情報とに従う接続経路の決定は、
制御端末のアドレス情報と制御される端末のアドレス情報とをアドレス対に組み合わせ、アドレス対に対して接続性テストを実行し、接続性テストの結果に従って接続経路を決定することを含む。

第８の態様によれば、端末制御方法が提供され、制御端末で使用され、この方法は、
制御端末への制御チャネルおよびデータチャネルを確立することと、
制御される端末のスクリーンショットを示すのに使用されるスクリーンイメージデータを獲得することと、
制御端末がスクリーンイメージデータに従って制御される端末のスクリーンショットを表示するようにするために、データチャネルを使用することによってスクリーンイメージデータを制御端末に送ることと、
制御チャネルを使用することによって制御端末によって送られた動作情報を受信することであって、動作情報は、スクリーンショットに基づく動作に従って制御端末によって生成される情報である、受信することと、
動作情報に従って対応する制御動作を実行することとを含む。

本発明の別の実施形態による制御端末の概略構造図である図２を参照されたい。制御端末は、制御される端末に対してリモートコントロールを実行するように構成され、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末であることがある。制御端末は、第１のチャネル確立モジュール２０１と、イメージデータ受信モジュール２０２と、ディスプレイモジュール２０３と、動作情報生成モジュール２０４と、及び動作情報送出モジュール２０５とを含むことがある。

第１のチャネル確立モジュール２０１は、第１のチャネル確立サブモジュール２０１１と、及び第２のチャネル確立サブモジュール２０１２とを含む。

第２のチャネル確立サブモジュール２０１２は、第１のアドレス獲得ユニット２０１２ａと、第２のアドレス獲得ユニット２０１２ｂと、第１の経路決定ユニット２０１２ｃと、及び第１の確立ユニット２０１２ｄとを含む。

本発明の実施形態による制御される端末の概略構造図である図８を参照されたい。制御される端末は、図１、図２、図６、および図７のうちのいずれか１つに示された制御端末のリモートコントロールを受信するように構成され、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末とされることがある。制御される端末は、
制御端末への制御チャネルおよびデータチャネルを確立するように構成された第２のチャネル確立モジュール５０１と、
制御される端末のスクリーンショットを示すのに使用されるスクリーンイメージデータを獲得するように構成されたイメージデータ獲得モジュール５０２と、
制御端末がスクリーンイメージデータに従って制御される端末のスクリーンショットを表示するようにするために、データチャネルを使用することによってスクリーンイメージデータを制御端末に送るように構成されたイメージデータ送出モジュール５０３と、
制御チャネルを使用することによって制御端末によって送られた動作情報を受信するように構成され、動作情報は、スクリーンショットに基づく動作に従って制御端末によって生成される情報である、動作情報受信モジュール５０４と、
動作情報に従って対応する制御動作を実行するように構成された実行モジュール５０５とを含むことがある。

イメージデータ送出モジュール６０３は、制御端末がスクリーンイメージデータに従って制御される端末のスクリーンショットを表示するようにするために、データチャネルを使用することによってスクリーンイメージデータを制御端末に送るように構成される。

本発明の実施形態による制御される端末のブロック図である図１０を参照されたい。制御される端末７００は、図１、図２、図６、および図７のうちのいずれか１つに示された制御端末のリモートコントロールを受信するように構成され、制御端末および制御される端末は、スマートフォン、タブレットコンピュータ、および電子ブックリーダーなど、それぞれがディスプレイユニットを有し、同一の動作モードを有するモバイル端末とされることがある。制御される端末７００は、バス７０５と、バス７０５に接続されたプロセッサ７０１、メモリ７０２、送信器７０３、および受信器７０４とを含むことがある。メモリ７０２は、複数の命令を記憶するように構成され、複数の命令は、プロセッサ７０１によって実行されるように構成され、
プロセッサ７０１は、制御端末への制御チャネルおよびデータチャネルを確立するように受信器７０４および送信器７０３を制御するように構成され、
プロセッサ７０１は、制御される端末のスクリーンショットを示すのに使用されるスクリーンイメージデータを獲得するように構成され、
プロセッサ７０１は、制御端末がスクリーンイメージデータに従って制御される端末のスクリーンショットを表示するようにするために、データチャネルを使用することによってスクリーンイメージデータを制御端末に送るように送信器７０３を制御するように構成され、
受信器７０４は、制御チャネルを使用することによって制御端末によって送られた動作情報を受信するように構成され、動作情報は、スクリーンショットに基づく動作に従って制御端末によって生成される情報であり、
プロセッサ７０１は、動作情報に従って対応する制御動作を実行するように構成される。

結論として、本発明のこの実施形態で提供される制御される端末は、制御端末への制御チャネルおよびデータチャネルを確立し、制御される端末のスクリーンイメージデータを獲得し、データチャネルを使用することによってスクリーンイメージデータを制御端末に送り、制御チャネルを使用することによって制御端末によって送られた動作情報を受信し、動作情報に従って対応する制御動作を実行する。このようにして、２つの独立のチャネルが、２つの端末の間で制御情報およびスクリーンイメージデータを送信するのに使用され、これが、送信論理および送信時間内でスクリーンデータと動作情報との間に衝突が存在するので、制御端末側で表示される、制御される端末のスクリーンショットが、制御端末側で時間内にユーザ動作への応答を行うことができないという問題を回避し、これによって、制御効果およびユーザ体験を改善するという目標を達成する。

データチャネルを確立するときに、プロセッサ８０１は、サーバから制御される端末のアドレス情報を獲得するように受信器８０４および送信器８０３を制御するように構成され、アドレス情報は、ローカルアドレスと、ネットワークアドレス変換のマッピングアドレスと、ネットワークアドレス変換の周囲のリレーを使用するトラバーサルのリレーアドレスとを含み、
プロセッサ８０１は、サーバまたは制御端末から制御端末のアドレス情報を獲得するように受信器８０４および送信器８０３を制御するように構成され、
プロセッサ８０１は、制御端末のアドレス情報と制御される端末のアドレス情報とに従って接続経路を決定するように構成され、
プロセッサ８０１は、接続経路に従ってデータチャネルを確立するように受信器８０４および送信器８０３を制御するように構成され、
プロセッサ８０１は、制御される端末のスクリーンショットを示すのに使用されるスクリーンイメージデータを獲得するように構成され、
プロセッサ８０１は、制御端末がスクリーンイメージデータに従って制御される端末のスクリーンショットを表示するようにするために、データチャネルを使用することによってスクリーンイメージデータを制御端末に送るように送信器８０３を制御するように構成され、
受信器８０４は、制御チャネルを使用することによって制御端末によって送られた動作情報を受信するように構成され、動作情報は、スクリーンショットに基づく動作に従って制御端末によって生成される情報であり、
プロセッサ８０１は、動作情報に従って対応する制御動作を実行するように構成される。

ステップ１５０６ 制御端末がスクリーンイメージデータに従って制御される端末のスクリーンショットを表示するようにするために、データチャネルを使用することによってスクリーンイメージデータを制御端末に送る。

ステップ１６０８ 制御端末がスクリーンイメージデータに従って制御される端末のスクリーンショットを表示するようにするために、データチャネルを使用することによってスクリーンイメージデータを制御端末に送る。

Claims (42)

1. 制御端末であって、前記制御端末は、
   制御される端末への制御チャネルおよびデータチャネルを確立するように構成された第１のチャネル確立モジュールと、
   前記データチャネルを使用することによって前記制御される端末によって送られたスクリーンイメージデータを受信するように構成されたイメージデータ受信モジュールであって、前記スクリーンイメージデータは、前記制御される端末のスクリーンショットを示すのに使用される、イメージデータ受信モジュールと、
   前記スクリーンイメージデータに従って前記制御される端末の前記スクリーンショットを表示するように構成されたディスプレイモジュールと、
   前記スクリーンショットに基づく動作に従って対応する動作情報を生成するように構成された動作情報生成モジュールと、
   前記制御される端末が前記動作情報に従って対応する制御動作を実行するようにするために、前記制御チャネルを使用することによって前記制御される端末に前記動作情報を送るように構成された動作情報送出モジュールと
   を含むことを特徴とする制御端末。
2. 前記第１のチャネル確立モジュールは、
   前記サーバを使用することによって前記制御される端末への前記制御チャネルを確立するように構成された第１のチャネル確立サブモジュールと、
   前記サーバおよび前記制御チャネルを使用することによって前記制御される端末への前記データチャネルを確立するように構成された第２のチャネル確立サブモジュールとを含むことを特徴とする請求項１に記載の制御端末。
3. 前記第２のチャネル確立サブモジュールは、
   前記サーバから前記制御端末のアドレス情報を獲得するように構成された第１のアドレス獲得ユニットであって、前記アドレス情報は、ローカルアドレスと、ネットワークアドレス変換のマッピングアドレスと、ネットワークアドレス変換の周囲のリレーを使用するトラバーサルのリレーアドレスとを含む、第１のアドレス獲得ユニットと、
   前記サーバまたは前記制御される端末から前記制御される端末のアドレス情報を獲得するように構成された第２のアドレス獲得ユニットと、
   前記制御端末の前記アドレス情報と前記制御される端末の前記アドレス情報とに従って接続経路を決定するように構成された第１の経路決定ユニットと、
   前記接続経路に従って前記データチャネルを確立するように構成された第１の確立ユニットとを含むことを特徴とする請求項２に記載の制御端末。
4. 前記動作情報は、タッチ情報と、ボタン情報と、音声情報とのうちの少なくとも１つを含み、前記動作情報生成モジュールは、
   前記動作情報がタッチ情報であるときに、前記動作に対応するタッチイベントを監視するように構成された監視サブモジュールと、
   前記タッチイベントに従って前記動作情報を生成するように構成された第１の生成サブモジュールと、
   前記動作情報がボタン情報であるときに、前記動作に対応するボタンタイプを決定するように構成された第１のボタンタイプ決定サブモジュールと、
   前記ボタンタイプに対応する識別子を含む前記動作情報を生成するように構成された第２の生成サブモジュールと、
   前記動作情報が音声情報であるときに、前記動作に対応する音声からテキストを認識するように構成された音声認識サブモジュールと、
   前記テキスト内に含まれる制御命令を取り出し、前記制御命令に対応する識別子を含む前記動作情報を生成するように構成された第２の生成サブモジュールとを含むことを特徴とする請求項１乃至３のいずれか一項に記載の制御端末。
5. 前記第１の生成サブモジュールは、第１の生成ユニットまたは第２の生成ユニットを含み、
   前記第１の生成ユニットは、前記タッチイベントをバイトストリームにシリアライズし、前記バイトストリームを含む前記動作情報を生成するように構成され、
   前記第２の生成ユニットは、前記タッチイベントのキー情報を取り出し、前記キー情報を指定されたフォーマットのファイルに符号化し、前記指定されたフォーマットのファイルを含む前記動作情報を生成するように構成され、前記キー情報は、イベントタイプ、タッチ座標、および／またはタッチ力を含むことを特徴とする請求項４に記載の制御端末。
6. 前記第１の経路決定ユニットは、
   前記制御端末の前記アドレス情報と前記制御される端末の前記アドレス情報とをアドレス対に組み合わせるように構成された組合せサブユニットと、
   前記アドレス対に対して接続性テストを実行するように構成されたテストサブユニットと、
   前記接続性テストの結果に従って前記接続経路を決定するように構成された確立サブユニットとを含むことを特徴とする請求項３に記載の制御端末。
7. 制御端末であって、前記制御端末は、バスと、前記バスに接続されたプロセッサ、メモリ、送信器、および受信器とを含み、前記メモリは、複数の命令を記憶するように構成され、前記複数の命令は、前記プロセッサによって実行されるように構成され、
   前記プロセッサは、制御される端末への制御チャネルおよびデータチャネルを確立するように前記受信器および前記送信器を制御するように構成され、
   前記受信器は、前記データチャネルを使用することによって前記制御される端末によって送られたスクリーンイメージデータを受信するように構成され、前記スクリーンイメージデータは、前記制御される端末のスクリーンショットを示すのに使用され、
   前記プロセッサは、前記スクリーンイメージデータに従って前記制御される端末の前記スクリーンショットをディスプレイデバイス上に表示し、前記スクリーンショットに基づく動作に従って対応する動作情報を生成するように構成され、
   前記プロセッサは、前記制御される端末が前記動作情報に従って対応する制御動作を実行するようにするために、前記制御チャネルを使用することによって前記制御される端末に前記動作情報を送るように前記送信器を制御するように構成される
   ことを特徴とする制御端末。
8. 前記プロセッサは、前記サーバを使用することによって前記制御される端末への前記制御チャネルを確立するように前記受信器および前記送信器を制御するように構成され、
   前記プロセッサは、前記サーバおよび前記制御チャネルを使用することによって前記制御される端末への前記データチャネルを確立するように前記受信器および前記送信器を制御するように構成されることを特徴とする請求項７に記載の制御端末。
9. 前記プロセッサは、前記サーバから前記制御端末のアドレス情報を獲得するように前記受信器および前記送信器を制御するように構成され、前記アドレス情報は、ローカルアドレスと、ネットワークアドレス変換のマッピングアドレスと、ネットワークアドレス変換の周囲のリレーを使用するトラバーサルのリレーアドレスとを含み、
   前記プロセッサは、前記サーバまたは前記制御される端末から前記制御される端末のアドレス情報を獲得するように前記受信器および前記送信器を制御するように構成され、
   前記プロセッサは、前記制御端末の前記アドレス情報と前記制御される端末の前記アドレス情報とに従って接続経路を決定するように構成され、
   前記プロセッサは、前記接続経路に従って前記データチャネルを確立するように前記受信器および前記送信器を制御するように構成されることを特徴とする請求項８に記載の制御端末。
10. 前記動作情報は、タッチ情報と、ボタン情報と、音声情報とのうちの少なくとも１つを含み、
    前記プロセッサは、前記動作情報がタッチ情報であるときに、前記動作に対応するタッチイベントを監視し、前記タッチイベントに従って前記動作情報を生成するように構成され、
    前記プロセッサは、前記動作情報がボタン情報であるときに、前記動作に対応するボタンタイプを決定し、前記ボタンタイプに対応する識別子を含む前記動作情報を生成するように構成され、
    前記プロセッサは、前記動作情報が音声情報であるときに、前記動作に対応する音声からテキストを認識し、前記テキスト内に含まれる制御命令を取り出し、前記制御命令に対応する識別子を含む前記動作情報を生成するように構成されることを特徴とする請求項７乃至９のいずれか一項に記載の制御端末。
11. 前記プロセッサは、前記タッチイベントをバイトストリームにシリアライズし、前記バイトストリームを含む前記動作情報を生成するように構成され、
    または、
    前記プロセッサは、前記タッチイベントのキー情報を取り出し、前記キー情報を指定されたフォーマットのファイルに符号化し、前記指定されたフォーマットのファイルを含む前記動作情報を生成するように構成され、前記キー情報は、イベントタイプ、タッチ座標、および／またはタッチ力を含むことを特徴とする請求項１０に記載の制御端末。
12. 前記プロセッサは、前記制御端末の前記アドレス情報と前記制御される端末の前記アドレス情報とをアドレス対に組み合わせ、前記アドレス対に対して接続性テストを実行し、前記接続性テストの結果に従って前記接続経路を決定するように構成されることを特徴とする請求項９に記載の制御端末。
13. 制御される端末であって、前記制御される端末は、
    制御端末への制御チャネルおよびデータチャネルを確立するように構成された第２のチャネル確立モジュールと、
    前記制御される端末のスクリーンショットを示すのに使用されるスクリーンイメージデータを獲得するように構成されたイメージデータ獲得モジュールと、
    前記制御端末が前記スクリーンデータイメージに従って前記制御される端末の前記スクリーンショットを表示するようにするために、前記データチャネルを使用することによって前記スクリーンイメージデータを前記制御端末に送るように構成されたイメージデータ送出モジュールと、
    前記制御チャネルを使用することによって前記制御端末によって送られた動作情報を受信するように構成された動作情報受信モジュールであって、前記動作情報は、前記スクリーンショットに基づく動作に従って前記制御端末によって生成される情報である、動作情報受信モジュールと、
    前記動作情報に従って対応する制御動作を実行するように構成された実行モジュールとを含むことを特徴とする制御される端末。
14. 前記第２のチャネル確立モジュールは、
    前記サーバを使用することによって前記制御端末への前記制御チャネルを確立するように構成された第３のチャネル確立サブモジュールと、
    前記サーバおよび前記制御チャネルを使用することによって前記制御端末への前記データチャネルを確立するように構成された第４のチャネル確立サブモジュールとを含むことを特徴とする請求項１３に記載の制御される端末。
15. 前記第４のチャネル確立サブモジュールは、
    前記サーバから前記制御される端末のアドレス情報を獲得するように構成された第３のアドレス獲得ユニットであって、前記アドレス情報は、ローカルアドレスと、ネットワークアドレス変換のマッピングアドレスと、ネットワークアドレス変換の周囲のリレーを使用するトラバーサルのリレーアドレスとを含む、第３のアドレス獲得ユニットと、
    前記サーバまたは前記制御端末から前記制御端末のアドレス情報を獲得するように構成された第４のアドレス獲得ユニットと、
    前記制御端末の前記アドレス情報と前記制御される端末の前記アドレス情報とに従って接続経路を決定するように構成された第２の経路決定ユニットと、
    前記接続経路に従って前記データチャネルを確立するように構成された第２の確立ユニットとを含むことを特徴とする請求項１４に記載の制御される端末。
16. 前記動作情報は、タッチ情報と、ボタン情報と、音声情報とのうちの少なくとも１つを含み、前記実行モジュールは、
    前記動作情報がタッチ情報であるときに、前記制御情報に従って、タッチ動作に対応するタッチイベントを復元するように構成されたイベント復元サブモジュールと、
    前記タッチイベントに従って前記制御動作を実行するように構成された第１の実行サブモジュールと、
    前記動作情報がボタン情報であるときに、前記動作情報内に含まれる識別子に従って、ボタン動作に対応するボタンタイプを決定するように構成された第２のボタンタイプ決定サブモジュールと、
    前記ボタンタイプに従って前記制御動作を実行するように構成された第２の実行サブモジュールと、
    前記動作情報が音声情報であるときに、前記動作情報内に含まれる識別子に従って、音声動作に対応する制御命令を決定するように構成された命令決定サブモジュールと、
    前記制御命令に従って前記制御動作を実行するように構成された第３の実行サブモジュールとを含むことを特徴とする請求項１３乃至１５のいずれか一項に記載の制御される端末。
17. 前記イベント復元サブモジュールは、第１の復元ユニットまたは第２の復元ユニットを含み、
    前記第１の復元ユニットは、前記タッチイベントを復元するために、前記動作情報内に含まれるバイトストリームをデシリアライズするように構成され、
    前記第１の復元ユニットは、前記動作情報内に含まれる指定されたフォーマットのファイルから前記タッチイベントのキー情報を取り出し、前記キー情報に従って前記タッチイベントを復元するように構成され、前記キー情報は、イベントタイプ、タッチ座標、および／またはタッチ力を含むことを特徴とする請求項１６に記載の制御される端末。
18. 制御される端末であって、前記制御される端末は、バスと、前記バスに接続されたプロセッサ、メモリ、送信器、および受信器とを含み、前記メモリは、複数の命令を記憶するように構成され、前記複数の命令は、前記プロセッサによって実行されるように構成され、
    前記プロセッサは、制御端末への制御チャネルおよびデータチャネルを確立するように前記受信器および前記送信器を制御するように構成され、
    前記プロセッサは、前記制御される端末のスクリーンショットを示すのに使用されるスクリーンイメージデータを獲得するように構成され、
    前記プロセッサは、前記制御端末が前記スクリーンデータイメージに従って前記制御される端末の前記スクリーンショットを表示するようにするために、前記データチャネルを使用することによって前記スクリーンイメージデータを前記制御端末に送るように前記送信器を制御するように構成され、
    前記受信器は、前記制御チャネルを使用することによって前記制御端末によって送られた動作情報を受信するように構成され、前記動作情報は、前記スクリーンショットに基づく動作に従って前記制御端末によって生成される情報であり、
    前記プロセッサは、前記動作情報に従って対応する制御動作を実行するように構成される
    ことを特徴とする制御される端末。
19. 前記プロセッサは、前記サーバを使用することによって前記制御端末への前記制御チャネルを確立するように前記受信器および前記送信器を制御するように構成され、
    前記プロセッサは、前記サーバおよび前記制御チャネルを使用することによって前記制御端末への前記データチャネルを確立するように前記受信器および前記送信器を制御するように構成されることを特徴とする請求項１８に記載の制御される端末。
20. 前記プロセッサは、前記サーバから前記制御される端末のアドレス情報を獲得するように前記受信器および前記送信器を制御するように構成され、前記アドレス情報は、ローカルアドレスと、ネットワークアドレス変換のマッピングアドレスと、ネットワークアドレス変換の周囲のリレーを使用するトラバーサルのリレーアドレスとを含み、
    前記プロセッサは、前記サーバまたは前記制御端末から前記制御端末のアドレス情報を獲得するように前記受信器および前記送信器を制御するように構成され、
    前記プロセッサは、前記制御端末の前記アドレス情報と前記制御される端末の前記アドレス情報とに従って接続経路を決定するように構成され、
    前記プロセッサは、前記接続経路に従って前記データチャネルを確立するように前記受信器および前記送信器を制御するように構成されることを特徴とする請求項１９に記載の制御される端末。
21. 前記動作情報は、タッチ情報と、ボタン情報と、音声情報とのうちの少なくとも１つを含み、
    前記プロセッサは、前記動作情報がタッチ情報であるときに、前記制御情報に従って、タッチ動作に対応するタッチイベントを復元し、前記タッチイベントに従って前記制御動作を実行するように構成され、
    前記プロセッサは、前記動作情報がボタン情報であるときに、前記動作情報内に含まれる識別子に従って、ボタン動作に対応するボタンタイプを決定し、前記ボタンタイプに従って前記制御動作を実行するように構成され、
    前記プロセッサは、前記動作情報が音声情報であるときに、前記動作情報内に含まれる識別子に従って、音声動作に対応する制御命令を決定し、前記制御命令に従って前記制御動作を実行するように構成されることを特徴とする請求項１８乃至２０のいずれか一項に記載の制御される端末。
22. 前記プロセッサは、前記タッチイベントを復元するために、前記動作情報内に含まれるバイトストリームをデシリアライズするように構成され、
    または、
    前記プロセッサは、前記動作情報内に含まれる指定されたフォーマットのファイルから前記タッチイベントのキー情報を取り出し、前記キー情報に従って前記タッチイベントを復元するように構成され、前記キー情報は、イベントタイプ、タッチ座標、および／またはタッチ力を含むことを特徴とする請求項２１に記載の制御される端末。
23. サーバであって、前記サーバは、
    制御端末と制御される端末との間で制御チャネルを確立するように構成された制御チャネル確立モジュールと、
    前記制御端末および前記制御される端末が前記制御チャネルを使用することによって前記アドレス情報を交換した後に、前記制御端末または前記制御される端末が、前記制御端末の前記アドレス情報および前記制御される端末の前記アドレス情報に従って接続経路を決定し、前記接続経路に従って前記データチャネルを確立し、前記制御端末が前記制御チャネルおよび前記データチャネルを使用することによって前記制御される端末に対して制御を実行するようにするために、前記制御端末に前記制御端末のアドレス情報を提供し、前記制御される端末に前記制御される端末のアドレス情報を提供するように構成された第１のアドレス提供モジュールと
    を含み、第２のアドレス提供モジュールは、前記制御端末が、前記制御端末の前記アドレス情報および前記制御される端末の前記アドレス情報に従って接続経路を決定し、前記接続経路に従って前記データチャネルを確立し、前記制御端末が、前記制御チャネルおよび前記データチャネルを使用することによって前記制御される端末に対して制御を実行するようにするために、前記制御端末のアドレス情報および前記制御される端末のアドレス情報を前記制御端末に提供し、
    第３のアドレス提供モジュールは、前記制御される端末が、前記制御端末の前記アドレス情報および前記制御される端末の前記アドレス情報に従って接続経路を決定し、前記接続経路に従って前記データチャネルを確立し、前記制御端末が、前記制御チャネルおよび前記データチャネルを使用することによって前記制御される端末に対して制御を実行するようにするために、前記制御端末のアドレス情報および前記制御される端末のアドレス情報を前記制御される端末に提供する
    ことを特徴とするサーバ。
24. 前記制御チャネル確立モジュールは、
    前記制御端末が前記サーバに接続された後に、前記制御端末によって送られた制御チャネル確立要求を受信するように構成された要求受信サブモジュールと、
    前記制御される端末が前記サーバに既に接続されているかどうかを決定するように構成された判断サブモジュールと、
    前記判断サブモジュールの決定結果が、前記制御される端末が前記サーバに既に接続されていることである場合に、前記制御端末と前記制御される端末との間で前記制御チャネルを確立するように構成されたチャネル確立サブモジュールとを含むことを特徴とする請求項２３に記載のサーバ。
25. 前記制御チャネル確立モジュールは、
    前記判断サブモジュールの前記決定結果が、前記制御される端末が前記サーバに接続されていないことである場合に、接続通知を前記制御される端末に送るように構成された通知サブモジュールであって、前記接続通知は、前記制御される端末を前記サーバに接続するように命令するのに使用される、通知サブモジュール
    をさらに含むことを特徴とする請求項２４に記載のサーバ。
26. サーバであって、前記サーバは、バスと、前記バスに接続されたプロセッサ、メモリ、送信器、および受信器とを含み、前記メモリは、複数の命令を記憶するように構成され、前記複数の命令は、前記プロセッサによって実行されるように構成され、
    前記プロセッサは、制御端末と制御される端末との間で制御チャネルを確立するように前記受信器および前記送信器を制御するように構成され、
    前記プロセッサは、前記制御端末および前記制御される端末が前記制御チャネルを使用することによってアドレス情報を交換した後に、前記制御端末または前記制御される端末が、前記制御端末の前記アドレス情報および前記制御される端末の前記アドレス情報に従って接続経路を決定し、前記接続経路に従って前記データチャネルを確立し、前記制御端末が前記制御チャネルおよび前記データチャネルを使用することによって前記制御される端末に対して制御を実行するようにするために、前記制御端末に前記制御端末の前記アドレス情報を提供し、前記制御される端末に前記制御される端末の前記アドレス情報を提供するように前記受信器および前記送信器を制御するように構成され、または、前記プロセッサは、前記制御端末が、前記制御端末のアドレス情報および前記制御される端末のアドレス情報に従って接続経路を決定し、前記接続経路に従って前記データチャネルを確立し、前記制御端末が、前記制御チャネルおよび前記データチャネルを使用することによって前記制御される端末に対して制御を実行するようにするために、前記制御端末の前記アドレス情報および前記制御される端末の前記アドレス情報を前記制御端末に提供するように構成され、または、前記プロセッサは、前記制御される端末が、前記制御端末のアドレス情報および前記制御される端末のアドレス情報に従って接続経路を決定し、前記接続経路に従って前記データチャネルを確立し、前記制御端末が、前記制御チャネルおよび前記データチャネルを使用することによって前記制御される端末に対して制御を実行するようにするために、前記制御端末の前記アドレス情報および前記制御される端末の前記アドレス情報を前記制御される端末に提供するように構成される
    ことを特徴とするサーバ。
27. 前記受信器は、前記制御端末が前記サーバに接続された後に、前記制御端末によって送られた制御チャネル確立要求を受信するように構成され、
    前記プロセッサは、前記制御される端末が前記サーバに既に接続されているかどうかを決定し、決定結果が、前記制御される端末が前記サーバに既に接続されていることである場合に、前記制御端末と前記制御される端末との間で前記制御チャネルを確立するように前記受信器および前記送信器を制御するように構成されることを特徴とする請求項２６に記載のサーバ。
28. 前記プロセッサは、前記決定結果が、前記制御される端末が前記サーバに接続されていないことである場合に、接続通知を前記制御される端末に送るように前記送信器を制御するように構成され、前記接続通知は、前記制御される端末を前記サーバに接続するように命令するのに使用されることを特徴とする請求項２７に記載のサーバ。
29. 制御端末内で使用される端末制御方法であって、前記方法は、
    制御される端末への制御チャネルおよびデータチャネルを確立することと、
    前記データチャネルを使用することによって前記制御される端末によって送られたスクリーンイメージデータを受信することであって、前記スクリーンイメージデータは、前記制御される端末のスクリーンショットを示すのに使用される、受信することと、
    前記スクリーンイメージデータに従って前記制御される端末の前記スクリーンショットを表示することと、
    前記スクリーンショットに基づく動作に従って対応する動作情報を生成することと、
    前記制御される端末が前記動作情報に従って対応する制御動作を実行するようにするために、前記制御チャネルを使用することによって前記制御される端末に前記動作情報を送ることと
    を含むことを特徴とする方法。
30. 制御される端末への制御チャネルおよびデータチャネルを前記確立することは、
    前記サーバを使用することによって前記制御される端末への前記制御チャネルを確立することと、
    前記サーバおよび前記制御チャネルを使用することによって前記制御される端末への前記データチャネルを確立することとを含むことを特徴とする請求項２９に記載の方法。
31. 前記サーバおよび前記制御チャネルを使用することによって前記制御される端末への前記データチャネルを前記確立することは、
    前記サーバから前記制御端末のアドレス情報を獲得することであって、前記アドレス情報は、ローカルアドレスと、ネットワークアドレス変換のマッピングアドレスと、ネットワークアドレス変換の周囲のリレーを使用するトラバーサルのリレーアドレスとを含む、獲得することと、
    前記サーバまたは前記制御される端末から前記制御される端末のアドレス情報を獲得することと、
    前記制御端末の前記アドレス情報と前記制御される端末の前記アドレス情報とに従って接続経路を決定することと、
    前記接続経路に従って前記データチャネルを確立することとを含むことを特徴とする請求項３０に記載の方法。
32. 前記動作情報は、タッチ情報と、ボタン情報と、音声情報とのうちの少なくとも１つを含み、前記スクリーンショットに基づく動作に従って動作情報を前記生成することは、
    前記動作情報がタッチ情報であるときに、前記動作に対応するタッチイベントに対して監視し、前記タッチイベントに従って前記動作情報を生成することと、
    前記動作情報がボタン情報であるときに、前記動作に対応するボタンタイプを決定し、前記ボタンタイプに対応する識別子を含む前記動作情報を生成することと、
    前記動作情報が音声情報であるときに、前記動作に対応する音声からテキストを認識し、前記テキスト内に含まれる制御命令を取り出し、前記制御命令に対応する識別子を含む前記動作情報を生成することとを含むことを特徴とする請求項２９乃至３１のいずれか一項に記載の方法。
33. 前記タッチイベントに従って前記動作情報を前記生成することは、
    前記タッチイベントをバイトストリームにシリアライズし、前記バイトストリームを含む前記動作情報を生成すること
    または、前記タッチイベントのキー情報を取り出し、前記キー情報を指定されたフォーマットのファイルに符号化し、前記指定されたフォーマットのファイルを含む前記動作情報を生成することであって、前記キー情報は、イベントタイプ、タッチ座標、および／またはタッチ力を含む、取り出し、符号化し、生成することを含むことを特徴とする請求項３２に記載の方法。
34. 前記制御端末の前記アドレス情報と前記制御される端末の前記アドレス情報とに従って接続経路を前記決定することは、
    前記制御端末の前記アドレス情報と前記制御される端末の前記アドレス情報とをアドレス対に組み合わせ、前記アドレス対に対して接続性テストを実行し、前記接続性テストの結果に従って前記接続経路を決定することを含むことを特徴とする請求項３１に記載の方法。
35. 制御される端末内で使用される端末制御方法であって、前記方法は、
    制御端末への制御チャネルおよびデータチャネルを確立することと、
    前記制御される端末のスクリーンショットを示すのに使用されるスクリーンイメージデータを獲得することと、
    前記制御端末が前記スクリーンデータイメージに従って前記制御される端末の前記スクリーンショットを表示するようにするために、前記データチャネルを使用することによって前記スクリーンイメージデータを前記制御端末に送ることと、
    前記制御チャネルを使用することによって前記制御端末によって送られた動作情報を受信することであって、前記動作情報は、前記スクリーンショットに基づく動作に従って前記制御端末によって生成される情報である、受信することと、
    前記動作情報に従って対応する制御動作を実行することと
    を含むことを特徴とする方法。
36. 制御端末への制御チャネルおよびデータチャネルを前記確立することは、
    前記サーバを使用することによって前記制御端末への前記制御チャネルを確立することと、
    前記サーバおよび前記制御チャネルを使用することによって前記制御端末への前記データチャネルを確立することとを含むことを特徴とする請求項３５に記載の方法。
37. 前記サーバおよび前記制御チャネルに従って前記制御端末への前記データチャネルを前記確立することは、
    前記サーバから前記制御される端末のアドレス情報を獲得することであって、前記アドレス情報は、ローカルアドレスと、ネットワークアドレス変換のマッピングアドレスと、ネットワークアドレス変換の周囲のリレーを使用するトラバーサルのリレーアドレスとを含む、獲得することと、
    前記サーバまたは前記制御端末から前記制御端末のアドレス情報を獲得することと、
    前記制御端末の前記アドレス情報と前記制御される端末の前記アドレス情報とに従って接続経路を決定することと、
    前記接続経路に従って前記データチャネルを確立することとを含むことを特徴とする請求項３６に記載の方法。
38. 前記動作情報は、タッチ情報と、ボタン情報と、音声情報とのうちの少なくとも１つを含み、前記動作情報に従って対応する制御動作を前記実行することは、
    前記動作情報がタッチ情報であるときに、前記動作情報に従って、前記動作に対応するタッチイベントを復元し、前記タッチイベントに従って前記制御動作を実行することと、
    前記動作情報がボタン情報であるときに、前記動作情報内に含まれる識別子に従って、前記動作に対応するボタンタイプを決定し、前記ボタンタイプに従って前記制御動作を実行することと、
    前記動作情報が音声情報であるときに、前記動作情報内に含まれる識別子に従って、前記動作に対応する制御命令を決定し、前記制御命令に従って前記制御動作を実行することとを含むことを特徴とする請求項３５乃至３７のいずれか一項に記載の方法。
39. 前記制御情報に従って、タッチ動作に対応するタッチイベントを前記復元することは、
    前記タッチイベントを復元するために、前記動作情報内に含まれるバイトストリームをデシリアライズすること
    または、前記動作情報内に含まれる指定されたフォーマットのファイルから前記タッチイベントのキー情報を取り出し、前記キー情報に従って前記タッチイベントを復元することであって、前記キー情報は、イベントタイプ、タッチ座標、および／またはタッチ力を含む、取り出し、復元することを含むことを特徴とする請求項３８に記載の方法。
40. サーバ内で使用される端末制御方法であって、前記方法は、
    制御端末と制御される端末との間で制御チャネルを確立することと、
    前記制御端末および前記制御される端末が前記制御チャネルを使用することによって前記アドレス情報を交換した後に、前記制御端末または前記制御される端末が、前記制御端末の前記アドレス情報および前記制御される端末の前記アドレス情報に従って接続経路を決定し、前記接続経路に従って前記データチャネルを確立し、前記制御端末が前記制御チャネルおよび前記データチャネルを使用することによって前記制御される端末に対して制御を実行するようにするために、前記制御端末に前記制御端末のアドレス情報を提供し、前記制御される端末に前記制御される端末のアドレス情報を提供すること、または、前記制御端末が、前記制御端末の前記アドレス情報および前記制御される端末の前記アドレス情報に従って接続経路を決定し、前記接続経路に従って前記データチャネルを確立し、前記制御端末が、前記制御チャネルおよび前記データチャネルを使用することによって前記制御される端末に対して制御を実行するようにするために、前記制御端末のアドレス情報および前記制御される端末のアドレス情報を前記制御端末に提供すること、または、前記制御される端末が、前記制御端末の前記アドレス情報および前記制御される端末のアドレス情報に従って接続経路を決定し、前記接続経路に従って前記データチャネルを確立し、前記制御端末が、前記制御チャネルおよび前記データチャネルを使用することによって前記制御される端末に対して制御を実行するようにするために、前記制御端末のアドレス情報および前記制御される端末のアドレス情報を前記制御される端末に提供することとを含むことを特徴とする方法。
41. 制御端末と制御される端末との間での制御チャネルを前記確立することは、
    前記制御端末が前記サーバに接続された後に、前記制御端末によって送られた制御チャネル確立要求を受信することと、
    前記制御される端末が前記サーバに既に接続されているかどうかを決定することと、
    決定結果が、前記制御される端末が前記サーバに既に接続されていることである場合に、前記制御端末と前記制御される端末との間で前記制御チャネルを確立することとを含むことを特徴とする請求項４０に記載の方法。
42. 前記方法は、
    前記決定結果が、前記制御される端末が前記サーバに接続されていないことである場合に、接続通知を前記制御される端末に送ることであって、前記接続通知は、前記制御される端末を前記サーバに接続するように命令するのに使用される、送ること
    をさらに含むことを特徴とする請求項４１に記載の方法。

Images