JP2004056777A - 無線遠隔操作システム - Google Patents
無線遠隔操作システム Download PDFInfo
- Publication number
- JP2004056777A JP2004056777A JP2003152525A JP2003152525A JP2004056777A JP 2004056777 A JP2004056777 A JP 2004056777A JP 2003152525 A JP2003152525 A JP 2003152525A JP 2003152525 A JP2003152525 A JP 2003152525A JP 2004056777 A JP2004056777 A JP 2004056777A
- Authority
- JP
- Japan
- Prior art keywords
- data
- sound
- video
- moving image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】サーバーからの音付き動画をクライアントでスムーズにかつ映像と音とが同期して再生できる無線遠隔操作システムを提供することを目的とする。
【解決手段】サーバー１において、共通形式映像・音データ変換ブロック３４は、アプリケーションソフトウェア３１独自の形式のデータ３３を、共通形式データ３７に変換する。映像・音分配ブロック５１は、音付き映像データ５３と、動画領域データ５４を出力する。音付き動画データ送出処理ブロック５２は、映像と音声のデータに同期データを加え、ストリームデータ５５を得る。映像・音データ変換ブロック４１は、操作関連表示・音データ５６を出力する。遠隔制御ブロック４３は、このデータ５６とストリームデータ５５とを出力する。クライアント２１は、これらのデータから得た映像と音声に関連する操作に応じて、サーバー１のアプリケーションソフトウェア３１を制御する。
【選択図】 図１
【解決手段】サーバー１において、共通形式映像・音データ変換ブロック３４は、アプリケーションソフトウェア３１独自の形式のデータ３３を、共通形式データ３７に変換する。映像・音分配ブロック５１は、音付き映像データ５３と、動画領域データ５４を出力する。音付き動画データ送出処理ブロック５２は、映像と音声のデータに同期データを加え、ストリームデータ５５を得る。映像・音データ変換ブロック４１は、操作関連表示・音データ５６を出力する。遠隔制御ブロック４３は、このデータ５６とストリームデータ５５とを出力する。クライアント２１は、これらのデータから得た映像と音声に関連する操作に応じて、サーバー１のアプリケーションソフトウェア３１を制御する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、サーバーとクライアントとを含み、クライアントが、サーバーを無線で遠隔操作できる無線遠隔操作システムに関する。とくに、サーバーからの音付動画データのクライアントでのスムーズな再生が可能な無線遠隔操作システムに関する。
【０００２】
【従来の技術】
サーバーとクライアントから成る無線遠隔操作システムとしては、マイクロソフト社が提唱するリモートデスクトップ等があり、企業等において広く普及している。
【０００３】
以下、図１２、図１３〜図１６を用いてリモートデスクトップに代表される従来の無線遠隔操作システムについて説明する。
【０００４】
図１２は、従来の無線遠隔操作システムのハードウエア構成図であり、図１２（ａ）はサーバー１０１、図１２（ｂ）はクライアント１２１のハードウエア構成を示している。
【０００５】
まず、サーバーのハードウエア構成について説明する。
【０００６】
サーバー１０１において、中央演算処理部１０２はサーバー全体の制御を行う。
【０００７】
第１次記憶部１０３は、通常、ＤＲＡＭなどを用いたデータの主記録領域である。第２次記憶部１０４は、通常は、ハードディスクなどを用いＯＳやアプリケーションなどを記憶する外部記録領域である。第３次記憶部１０５は、画像データや音楽データなどを記憶したＣｏｍｐａｃｔ Ｄｉｓｃ（ＣＤ）、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）などの交換可能な記録媒体を用いた補助記録領域である。
【０００８】
表示部１０６は、Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ（ＣＲＴ）や液晶ディスプレイ（ＬＣＤ）などを用いて操作画面や処理データを表示する。通信部１０７は、モデムやＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）ボードなどによって外部との通信を行う。無線部１０８は、クライアント１２１と無線通信する。
【０００９】
入力制御部１０９は、それに接続されたキーボードやマウスなどの入力デバイスを制御する。動画データ生成部１１０は動画データを生成する。音出力部１１１は、スピーカによって音データを再生する。電源供給部１１２はサーバー１０１の各部に電力を供給する。電源スイッチ１１３は電源供給部１１２のＯＮ／ＯＦＦ制御を行う。バス１１４は、前述の各部を接続する信号線群と電源線群を含む。
【００１０】
次に、クライアント１２１のハードウエア構成について説明する。
【００１１】
中央演算処理部１２２はクライアント１２１全体の制御を行う。
【００１２】
表示部１２３はＣＲＴや液晶ディスプレイなどにより画像を表示する。
【００１３】
無線部１２４は、サーバー１０１の無線部１０８と、無線通信路を介して無線通信をする。
【００１４】
ここで、サーバー１０１の無線部１０８とクライアント１２１の無線部１２４は、例えば、プロトコルとして５ＧＨｚ帯で最大５４ＭＢ／秒の転送速度を有するＩＥＥＥ８０２．１１ａや２．５ＧＨｚ帯で最大１１ＭＢ／秒の転送速度を有するＩＥＥＥ８０２．１１ｂなどに従う通信方式を使用して通信する。
【００１５】
入力制御部１２５は、それに接続されたキーボードやマウスなどの入力デバイスを制御する。音出力部１２６は、スピーカによってサーバー１０１からの音データを再生する。電源供給部１２７はクライアント１２１の各部に動作に必要な電力を供給する。電源スイッチ１２８は電源供給部１２７のＯＮ／ＯＦＦ制御を行う。バス１２９は、前述の各部を接続する信号線群と電源線群を含む。
【００１６】
次に、従来の無線遠隔操作システムの動作について図１３〜図１６を用いて説明する。
【００１７】
図１３は、従来の無線遠隔システムにおけるサーバー単独での表示動作を説明する機能ブロック図である。
【００１８】
以下では、アプリケーションソフトウエアそれぞれに独自なデータ形式を有する音付き映像データと、システムにおい共通な共通データ形式を有する操作関連音・表示データの双方を扱うアプリケーションソフトウエア１３１のデータ表示について説明する。
【００１９】
ここで、操作関連音・表示データ１３２は、ハードウエア操作が容易なようにハードウエアに極めて強く依存した共通データ形式を有する。ここで、音データ形式としてはパルス符号変調（ＰＣＭ）形式が、一般的に使用される。また、表示データ形式としては、画面の各画素を赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の強度で表わすＲＧＢ形式が一般的に使用される。
【００２０】
アプリケーションソフトウエア１３１は、操作関連音・表示データ１３２を、直接、映像・音再生ブロック１３８に出力する。さらに、アプリケーションソフトウエア１３１から出力された独自形式の音付き動画データ１３３は、共通形式映像・音データ変換ブロック１３４で、共通形式映像・音データ１３７に変換され、映像・音再生ブロック１３８に入力される。
【００２１】
ここで、共通形式映像・音データ変換ブロック１３４は、独自形式の音付き動画データを受信し、独自形式のそれぞれに応じた映像・音データを、システム内で共通の共通形式映像・音データに変換するために、それぞれの独自形式ごとにそれぞれ個別の解読モジュールを有している。
【００２２】
映像・音再生ブロック１３８は、入力された共通形式映像・音データを再生して、映像データ１３９は表示部１０６に、音データ１４０は音出力部１１１に出力する。
【００２３】
表示部１０６の表示画面１０６ａにおいて、映像データが動画の場合、動画の再生／停止ボタンなどが表示された操作関連バックグラウンド画面１０６ｂと動画画面１０６ｃが表示される。
【００２４】
出力音１１１ａとしては、使用者の操作ミスに対する警告音などの操作関連音１１１ｂと動画に付随したバックグラウンドミュージックや音声などの動画関連音１１１ｃが音出力部１１１に出力される。
【００２５】
図１４は、従来の無線遠隔システムにおけるリモート表示動作を説明する機能ブロック図である。
【００２６】
サーバー１０１のアプリケーションソフトウエア１３１は、操作関連音・表示データ１３２を、直接、遠隔操作用の映像・音データ変換ブロック１４１に出力する。アプリケーションソフトウエア１３１から出力された独自形式の音付き動画データ１３３は、共通形式映像・音データ変換ブロック１３４で、共通形式映像・音データ１３７に変換されて、遠隔操作用の映像・音データ変換ブロック１４１に出力される。
【００２７】
映像・音データ変換ブロック１４１は、共通形式映像・音データ１３７および操作関連音・表示データ１３２を、サーバー１０１とクライアント１２１間で送受信される遠隔操作用の映像・音データ１４２に変換して遠隔制御ブロック１４３に出力する。
【００２８】
サーバー１０１の遠隔制御ブロック１４３は、図示されてない接続状態監視部、無線通信部とコマンド解析部を含む。
【００２９】
ここで、接続状態監視部は、クライアント１２１の接続状態を監視する。無線通信部は、クライアント１２１との間でコマンドや表示データを無線で送受信する。コマンド解析部は、クライアント１２１からのコマンドを解析してサーバー１０１のアプリケーションの起動などを行う。サーバー１０１の遠隔制御ブロック１４３は、遠隔操作用の映像・音データ１４２を、無線部１０８を介してクライアント１２１に送信する。
【００３０】
クライアント１２１の遠隔制御ブロック１４５は、サーバー１０１から無線部１２４によって受信した遠隔操作用の映像・音データ１４６を遠隔操作用の映像・音データ再生ブロック１４７に出力する。
【００３１】
映像・音データ再生ブロック１４７は、入力された映像・音データ１４６を再生する。
【００３２】
出力１４８中の遠隔操作用の映像データは、表示部１２３に出力され、表示画面１２３ａとして表示される。表示画面１２３ａには、操作関連バックグラウンド画面１２３ｂ、音付き動画画面１２３ｃが、表示画面１２３ａに重畳して表示される。
【００３３】
出力１４８中の遠隔操作用の音データは、音出力部１２６に出力され、出力音１２６ａとして再生される。出力音１２６ａにおいては、操作関連音１２６ｂ、動画関連音１２６ｃが重畳して再生される。
【００３４】
以上に述べるような映像と音声のデータが出力１４８中に含まれるので、そのデータ量は非常に大きい。
【００３５】
図１５は、従来の無線遠隔システムにおけるサーバーのさらに詳しい動作を説明する機能ブロック図である。
【００３６】
アプリケーションソフトウエア１３１は、アプリケーションそれぞれに独自の形式の音付き動画データ１３３を、共通形式映像・音データ変換ブロック１３４の音付き映像データ分離ブロック１３４ａに出力する。
【００３７】
音付き映像データ分離ブロック１３４ａは、入力された独自形式の音付き動画データ１３３を元形式の音データ１３５と元形式の映像データ１３６とに分離して、音データ１３５を共通形式音データ変換ブロック１３４ｂに、映像データ１３６を共通形式映像データ変換ブロック１３４ｃに出力する。
【００３８】
変換ブロック１３４ｂは、音データ１３５を、共通形式音データとしてのＰＣＭ音データ１３７ａに変換して映像・音データ変換ブロック１４１の音データ変換ブロック１４１ａに出力する。
【００３９】
また、共通形式映像データ変換ブロック１３４ｃは、元形式の映像データ１３６を、共通形式映像データとしてのＲＧＢ形式映像データまたはＹＵＶ形式映像データ１３７ｂに変換して、映像データ変換ブロック１４１ｂに出力する。
【００４０】
なお、映像データ変換ブロック１４１ｂからの形式制御信号１４４によって共通形式映像データとしてＲＧＢ形式映像データまたはＹＵＶ形式映像データのいずれを使うかを選択されてもよい。
【００４１】
音データ変換ブロック１４１ａは、操作関連ＰＣＭ形式音データ１３２ａと、ＰＣＭ形式音データ１３７ａとを合成して、遠隔操作用のＰＣＭ形式音データ１４２ａに変換し、遠隔制御ブロック１４３に出力する。音データ１４２ａは、クライアント１２１に無線送信される。
【００４２】
映像データ変換ブロック１４１ｂは、操作関連ＲＧＢ形式表示データ１３２ｂとＲＧＢ形式映像データ１３７ｂとを合成して、遠隔操作用のＲＧＢ形式映像データ１４２ｂに変換し、サーバー側遠隔制御ブロック１４３に出力する。映像データ１４２ｂは、クライアント１２１に無線送信される。
【００４３】
サーバー１０１の遠隔制御ブロック１４３は、入力されるＰＣＭ形式音データ１４２ａとＲＧＢ形式映像データ１４２ｂとを合成して遠隔操作用の映像・音データとしてクライアント１２１に無線送信する。
【００４４】
図１６は、従来の無線遠隔システムにおけるクライアント１２１の動作を、さらに詳しく説明する機能ブロック図である。
【００４５】
遠隔制御ブロック１４５は、サーバー１０１から受信した遠隔操作用映像・音データを遠隔操作用のＰＣＭ形式音データ１４６ａと遠隔操作用のＲＧＢ形式映像データ１４６ｂとに分離する。さらに、遠隔制御ブロック１４５は、音データ１４６ａを遠隔操作用の映像・音データ再生ブロック１４７の音再生ブロック１４７ａに、映像データ１４６ｂを、映像再生ブロック１４７ｂに出力する。
【００４６】
音再生ブロック１４７ａは、音データ１４６ａを再生して、ＰＣＭ形式音データ１４８ａを音出力部１２６に出力する。
【００４７】
また、映像再生ブロック１４７ｂは、映像データ１４６ｂを再生して、ＲＧＢ形式映像データ１４８ｂを、表示部１２３に出力する。
【００４８】
なお、動画データを遠隔制御によってサーバーから受信するシステムに関する先行特許文献としては下記のものがある。
【００４９】
【特許文献１】
特開２００２−３６９１３０号公報
【００５０】
【発明が解決しようとする課題】
従来の無線遠隔操作システムにおいては、サーバーからクライアントに動画を伝送する場合、伝送データ量が膨大なサイズとなって現在の無線の伝送帯域幅では能力が不足することがあり得る。
【００５１】
また、クライアント側において、受信するデータ量が大きいため、スムーズな動画再生ができないことがあり得る。
【００５２】
さらに、データ量が膨大な画像データと画像データに比べてデータ量がかなり少ない音データが、別々に伝送されるために、処理時間のかかる画像と対応する音との間にズレが生じ得る。
【００５３】
また、従来の無線遠隔操作システムは、動画のデータ形式や圧縮方法の公開か非公開かがシステム構築に大きく影響し、非公開の形式の存在のために、統一的なシステム構築ができないこともあり得る。
【００５４】
本発明は、サーバーからの音付き動画をクライアントでスムーズにかつ映像と音とが同期して再生できる無線遠隔操作システムを提供することを目的とする。
【００５５】
【課題を解決するための手段】
本発明の遠隔操作システムは、サーバーとクライアントを含む。
【００５６】
サーバーは、アプリケーションソフトウエアを取り扱い、以下を含む。
【００５７】
共通形式映像・音データ変換部は、アプリケーションソフトウエアから供給されるアプリケーションソフトウエアの独自の形式を有する音付き動画データが入力されて、その独自形式に応じた映像・音データを、システム内で共通の共通形式映像・音データに変換して、出力する。
【００５８】
映像・音分配部は、共通形式映像・音データを受信して、音付き映像データと、音付き映像データの動画に相当する部分を所定のデータとした動画領域データとを出力する。
【００５９】
音付き動画データ送出処理部は、音付き映像データを受信して、音と映像を同期させるための同期データを加え、圧縮して、音と映像に関するデータを含むデータストリームにして出力する。
【００６０】
映像・音データ変換部は、アプリケーションソフトウエアから得られる操作関連音・表示データに動画領域データを加えて、遠隔操作用操作関連表示・音データを得る。
【００６１】
第１の遠隔制御部は、この遠隔操作用操作関連表示・音データとデータストリームとを受信して、出力する。
【００６２】
クライアントは、サーバーから、遠隔操作用操作関連表示・音データとデータストリームとを受信して、遠隔操作用の映像と音声を再生する。クライアントは、この遠隔操作用の映像と音声に関連したユーザーの操作に応じて、サーバーにおけるアプリケーションソフトウエアを制御する。
【００６３】
さらに、クライアントにおいて、第２の遠隔制御部は、第１の遠隔制御部からのデータを受け取って、遠隔操作用操作関連表示・音データとデータストリームとを出力する。また、音付き動画データ再生処理部は、データストリームを受け取って、復号して、映像と音声の同期をとって出力する。
【００６４】
このような構成によって、サーバーはアプリケーションソフトウエアの音付き動画データをクライアントに個別に分配する。また、クライアントから遠隔操作で、サーバーのアプリケーションソフトウエアを個別に制御できる。
【００６５】
ここで音付き動画データは、ＭＰＥＧ２形式等を使用して圧縮されて、伝送データ量が抑えられる。したがって、伝送帯域幅への負担が軽減されて、クライアント側でのスムーズな描画がなされる。また、再生時の映像と音の同期のために動画データと動画に関連した音データが、同期データ付きデータとして、クライアントへ伝送される。したがって、クライアントでの再生時における、同期ズレが防止される。
【００６６】
さらに、本発明は、圧縮方式、データ形式などの公開、未公開にかかわらず対応できるシステムも提供する。
【００６７】
【発明の実施の形態】
以下、本発明の実施の形態について図１から図１１を用いて説明する。
【００６８】
（実施の形態１）
図１は本発明の無線遠隔操作システムのサーバーとクライアントのハードウエア構成を説明するハードウエア構成図であり、図１（ａ）はサーバー１、図１（ｂ）はクライアント２１のハードウエア構成を示している。
【００６９】
図２は、実施の形態１の無線遠隔操作システムにおけるサーバーの遠隔表示機能と遠隔操作機能を説明する機能ブロック図である。
【００７０】
図３は、クライアントの遠隔表示機能と遠隔操作機能を説明する機能ブロック図である。
【００７１】
サーバー１において、中央演算処理部２はサーバー全体の制御を行う。
【００７２】
第１次記憶部３は、Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＤＲＡＭ）などを用いたデータの主記録領域である。第２次記憶部４は、ハードディスクなどを用いＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）やアプリケーションなどを記憶する外部記録領域である。第３次記憶部５は、画像データや音楽データなどを記憶したＣＤ、ＤＶＤなどの交換可能な記録媒体を用いた補助記録領域である。
【００７３】
表示部６は、ＣＲＴや液晶ディスプレイなどを用いて操作画面や処理データを表示する。
【００７４】
通信部７は、モデムやＬＡＮボードなどによって外部との通信を行う。
【００７５】
無線部８は、クライアント２１と無線通信する。
【００７６】
入力制御部９は、それに接続されたキーボードやマウスなどの入力デバイスを制御する。動画データ生成部１０は動画データを生成する。音出力部１１はスピーカによって音データを再生する。電源供給部１２はサーバー１の各部に電力を供給する。電源スイッチ１３は電源供給部１２のＯＮ／ＯＦＦ制御を行う。バス１４は、これら各部を接続する信号線群と電源線群を含む。
【００７７】
次に、クライアント２１のハードウエア構成について説明する。
【００７８】
中央演算処理部２２はクライアント２１全体の制御を行う。
【００７９】
表示部２３はＣＲＴや液晶ディスプレイなどにより画像を表示する。
【００８０】
無線部２４は、サーバー１の無線部８と、無線通信路を介して無線通信をする。
【００８１】
ここで、サーバー１の無線部８とクライアント２１の無線部２４は、例えば、プロトコルとして５ＧＨｚ帯で最大５４ＭＢ／秒の転送速度を有するＩＥＥＥ８０２．１１ａや２．５ＧＨｚ帯で最大１１ＭＢ／秒の転送速度を有するＩＥＥＥ８０２．１１ｂなどに従う通信方式を使用して通信をする。
【００８２】
入力制御部２５は、それに接続されたキーボードやマウスなどの入力デバイスを制御する。音出力部２６はスピーカによってサーバー１からの音データを再生する。電源供給部２７はクライアント２１の各部に動作に必要な電力を供給する。電源スイッチ２８は電源供給部２７のＯＮ／ＯＦＦ制御を行う。バス２９はこれら各部を接続する信号線群と電源線群を含む。
【００８３】
ここで、本発明の説明に直接関係しない構成要素については図示を省略している。
【００８４】
本実施の形態は、図１（ａ）の通信部７を介して、サーバー１に配信される様々な動画データに対応して、この動画データをクライアント２１で、スムーズに音と映像とが同期した形で動画を得る方法に関する。
【００８５】
ここでは、広域通信網から配信される動画で、その圧縮方法やデータ形式が未公開の場合についての、データ処理について述べる。
【００８６】
図２において、サーバー１のアプリケーションソフトウエア３１は、操作関連音・表示データ３２を、直接、遠隔操作用の映像・音データ変換ブロック４１に出力する。アプリケーションソフトウエア３１から出力された独自形式の音付き動画データ３３は、共通形式映像・音データ変換ブロック３４で、共通形式映像・音データ３７に変換されて、映像・音分配ブロック５１に出力される。
【００８７】
ここで、それぞれのアプリケーションソフトウエアにおいて、音、表示、映像などのデータは、それぞれのアプリケーションソフトウエアでそれぞれ独自のデータ形式を有している。これを、独自形式と呼ぶ。
【００８８】
共通形式とは、サーバーとクライアントを含んだシステムにおいて、共通して用いられる映像、音、表示データなどのデータと信号の形式を指す。
【００８９】
サーバーの一つまたは複数のアプリケーションソフトウエア３１は、少なくともそのアプリケーションソフトウエアに独自の独自形式の音付き動画データと操作関連音データ、操作表示データを有する。このうち操作関連音・表示データ３２については、直接、遠隔操作用の映像・音データ変換ブロック４１に出力される。
【００９０】
映像・音データ変換ブロック４１は、操作関連音・表示データ３２を、サーバーとクライアント間で送受信される遠隔操作用の操作関連表示・音データ５６に変換して、遠隔制御ブロック４３に出力する。
【００９１】
独自形式の音付き動画データ３３は、共通形式映像・音データ変換ブロック３４に出力され、ここで、共通形式映像・音データ３７に変換される。
【００９２】
映像・音分配ブロック５１は、映像・音データ３７を受けて、音付き映像データ５３と動画領域データ５４を出力する。
【００９３】
分配ブロック５１において、音付き映像データ５３は、圧縮等の処理を施しやすい形式とされる。動画領域データ５４は、音付き映像データ５３の動画の表示部分に相当する部分を示すために、データ列に埋めこまれる所定のデータとして、生成される。この所定のデータとして、たとえば、次のようなデータがデータ列に埋めこまれる。
【００９４】
動画の表示部分の位置とサイズを指定する座標のデータと、動画の表示部分を示す指定された色（Ｃｏｌｏｒ Ｋｅｙ）のデータが、データ列に埋めこまれる。すなわち、指定された色がつけられた部分にのみ、動画が表示される。
【００９５】
音付き映像データ５３は、音付き動画データ送出処理ブロック５２に入力されて、ここで、処理される。
【００９６】
データ５３は、映像・音同期ブロック５２ａで動画と、動画に関係した音が、クライアント２１で再生された時に同期して出力されるための処理をされて、データ５７として出力される。
【００９７】
圧縮ブロック５２ｂは、データ５７を圧縮処理して、圧縮されたデータ５８を多重化ブロック５２ｃへ出力する。
【００９８】
多重化ブロック５２ｃは、遠隔操作用の音付き動画圧縮ストリームデータ５５を、遠隔制御ブロック４３に出力する。
【００９９】
映像・音データ変換ブロック４１は、操作に関連したデータのみからなる遠隔操作用の操作関連表示・音データ５６を出力する。変換ブロック４１の出力は、動画そのもののデータは含んでいない。
【０１００】
送出処理ブロック５２は、映像・音同期ブロック５２ａ、圧縮ブロック５２ｂ、多重化ブロック５２ｃを含む。
【０１０１】
映像・音同期ブロック５２ａは、動画ならびに動画に関連した音がクライアント２１で再生された時に同期して出力されるように、同期データ付き音・映像データ５７を出力する。
【０１０２】
同期データ付き音・映像データ５７は、以下のような処理で生成される。
【０１０３】
映像・音同期ブロック５２ａは、データ５３の音データと映像データとを、一定の時間間隔ごとにそれぞれ分離する。すなわち、映像・音同期ブロック５２ａは、データ５３を、所定のデータ単位ごとに分割して、それぞれのデータ単位ごとに、同期データとして働く数値データを音付き映像データ５３の映像データと音データに、それぞれ挿入する。言いかえれば、映像データと音声データのそれぞれに、時間軸またはフレーム単位に、映像と音声の同期を取るためのフラグが設けられる。
【０１０４】
これにより、再生時に、所定のデータ単位ごとに映像データと音声データの同期を取りつつ、再生できるようにする。すなわち、この数値データは、音と映像の同期を取るマークとして、同期のためのスタンプのような性質を有する。
【０１０５】
圧縮ブロック５２ｂは、同期データ付き音・映像データ５７の音データと映像データをそれぞれ圧縮する。ここで、よく知られているＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ（ＭＰＥＧ）技術等が、圧縮技術として使用される。
圧縮ブロック５２ｂは、圧縮音・映像データ５８を出力する。
【０１０６】
多重化ブロック５２ｃは、映像・音データ変換ブロック４１と同様の機能を持ち、入力されるデータを、時間軸をベースとして、音データと映像データが一つのストリームに含まれるストリーミングデータに変換する。多重化ブロック５２ｃは、遠隔操作用の音付き動画圧縮ストリームデータ５５を出力する。
【０１０７】
遠隔制御ブロック４３は、遠隔操作用の操作関連表示・音データ５６と遠隔操作用の音付き動画圧縮ストリームデータ５５とを、それぞれ独立したデータと解釈して、無線部８を介して、クライアント２１に送出する。
【０１０８】
なお、遠隔制御ブロック４３は、図示されてない接続状態監視部、無線通信部とコマンド解析部を含む。
【０１０９】
ここで、接続状態監視部は、クライアント２１の接続状態を監視する。無線通信部は、クライアント２１との間でコマンドや表示データを、無線部８を介して送受信する。コマンド解析部は、クライアント２１からのコマンドを解析してサーバー１のアプリケーションの起動などを行う。
【０１１０】
また、遠隔制御ブロック４３は、遠隔操作用の操作関連表示・音データ５６を、無線部８を介してクライアント２１に送信する。
【０１１１】
図３に示される、クライアント２１において、無線部２４は、サーバー１から送信される信号を受信する。
【０１１２】
クライアント２１において、無線部２４を経て、遠隔制御ブロック４５は、サーバー１からの遠隔操作用の操作関連表示・音データ５６と遠隔操作用の音付き動画圧縮ストリームデータ５５を得る。
【０１１３】
表示・音データ５６のうち、映像データ５６ｂは、表示部２３に出力され、表示画面２３ａとして表示される。表示画面２３ａには、操作関連バックグラウンド画面２３ｂ、動画画面２３ｃが、重畳して表示される。
【０１１４】
音データ５６ａは、音出力部２６に出力され、出力音２６ａとして再生される。出力音２６ａとして、操作関連音２６ｂ、動画関連音２６ｃが重畳して再生される。
【０１１５】
こうして、操作関連バックグラウンド画面２３ｂと操作関連音２６ｂとが得られる。この詳しい動作は後述する。
【０１１６】
操作関連バックグラウンド画面２３ｂにおいて動画に相当する部分、すなわち、動画画面２３ｃに相当する部分を示すデータは、サーバー１において、動画領域データ５４として加えられている。
【０１１７】
したがって、表示部２３において、動画領域データ５４が参照されることにより、動画に相当する部分は、画面２３ｂとともに一画面として表示される。
【０１１８】
音付き動画圧縮ストリームデータ５５は、音付き動画データ再生処理ブロック５９に出力される。
【０１１９】
処理ブロック５９は、ストリームデータ５５の圧縮を解除し、映像データと音声データの同期をとって、動画関連ＰＣＭ形式音データ４９と動画関連映像データ５０とを出力する。
【０１２０】
ここで、映像データ５０は、動画画面２３ｃを表示するためのデータである。音データ４９は、動画関連音２６ｃを発生するためのデータである。
【０１２１】
遠隔制御ブロック４５は、直接、表示部２３と音出力部２６に、遠隔操作用の操作関連表示・音データ５６を出力する。データ５６は、表示部２３において、操作関連バックグラウンド画面２３ｂを表示するためのデータと、音出力部２６において、操作関連音２６ｂを発生するためのデータを含む。
【０１２２】
動画画面２３ｃは、操作関連バックグラウンド画面２３ｂの上に重ね合わされる。動画関連音２６ｃは、操作関連音２６ｂに、重ねられる。
【０１２３】
動画の部分を重ねることは、次のような方法で実行される。
【０１２４】
１）動画の部分は、あらかじめ決められた所定データになっているため、この部分が音付き動画データ再生処理ブロック５９内の映像再生ブロック５９ｃで検出されて、動画を表示する部分に、データ５０の動画の表示位置が合わせられる。映像再生ブロック５９ｃについては後述する。
【０１２５】
又は、２）動画の表示位置データが、遠隔操作用音付き動画圧縮ストリームデータ５５に追加される。
【０１２６】
３）図１のクライアント２１の表示部２３は、表示される一画面分の表示用記憶部を有する。したがって、この記憶部から所定データである動画領域埋め込みデータ５４部分を検出することができる。この検出機能を後述する映像再生ブロック５９ｃに持たせておくことで動画の重ね合わせが実現される。
【０１２７】
４）また、サーバー１の遠隔制御ブロック４３は、データを独立して、クライアント２１へ伝達できる。したがって、動画の表示位置情報が、単独のデータとして送られて、動画が画面２３ｂに重ね合わせられるために用いられてもよい。
【０１２８】
音付き動画データ再生処理ブロック５９は、多重分離ブロック５９ａと、復号ブロック５９ｂと映像再生ブロック５９ｃとを含む。
【０１２９】
多重分離ブロック５９ａは、伝送のために施されていた処理を解除する。すなわち、多重分離ブロック５９ａは、伝送のために一つのストリームとなっていたデータを、圧縮音データと、圧縮映像データとに分離する。
【０１３０】
こうして、図２の圧縮ブロック５２ｂからの出力である圧縮音・映像データ５８と同等の圧縮音・映像データ６０を得る。
【０１３１】
復号ブロック５９ｂは、データ６０を、図２の同期データ付き音・映像データ５７と同じデータである同期データ付き音・映像データ６１に変換する。
【０１３２】
映像再生ブロック５９ｃは、この同期データに基づいて、動画関連ＹＵＶ形式映像データ５０と、それに関連した動画関連ＰＣＭ形式音データ４９との同期を取りながら、それぞれを、表示部２３と音出力部２６に出力する。
【０１３３】
このような構成により、音付き動画データと操作関連データとをそれぞれ独立したデータとしてサーバー１からクライアント２１に送ることができる。
【０１３４】
クライアント２１は、音付き動画データとその操作関連データとをそれぞれ独立したデータとして処理する。これらのデータを重ね合わせることにより、操作画面が表示され、操作しやすい環境が使用者に提供される。
【０１３５】
ここで、音付き動画データのみを圧縮することが可能である。したがって、クライアントとサーバー間の伝送帯域に負荷をかけることなくスムーズな動画再生がなされる。また、同期データによって、動画とその動画に関係する音とが同期して動画が再生される。
【０１３６】
クライアント２１において、ユーザーは、表示部２３の表示に応じて、コマンドを入力して、サーバー１を遠隔操作する。たとえば、ユーザーは、サーバー１のアプリケーションソフトウエアを、適切なコマンドにより、制御することができる。
【０１３７】
次に、図４、図５、図６を用いて本発明の実施の形態１について、さらに詳しく説明する。
【０１３８】
図４は、図２に示した無線遠隔操作システムにおけるサーバー１の遠隔表示機能と遠隔操作機能を、さらに詳しく説明する機能ブロック図である。
【０１３９】
図５は、図２の音付き動画データ専用送出処理ブロック５２を、さらに詳細に説明する機能ブロック図である。
【０１４０】
図６は、図３のクライアントの遠隔表示動作と遠隔操作機能を、さらに詳しく説明する機能ブロック図である。
【０１４１】
以下、すでに説明した要素と同じ機能の部分には同じ符号を付けて説明を省略する。
【０１４２】
図４において、アプリケーションソフトウエア３１は、それぞれのアプリケーション独自の形式の音付き動画データ３３を、共通形式映像・音データ変換ブロック３４の音付き映像データ分離ブロック３４ａに出力する。
【０１４３】
分離ブロック３４ａは、入力された独自形式の音付き動画データ３３を元の形式音データ３５と元の形式映像データ３６とに分離し、音データ３５を、共通形式音データ変換ブロック３４ｂに、映像データ３６を共通形式映像データ変換ブロック３４ｃに出力する。
【０１４４】
共通形式音データ変換ブロック３４ｂは、音データ３５を、共通形式音データとしてのＰＣＭ形式音データ３７ａに変換して、映像・音分配ブロックの音データを処理する音分配ブロック５１ａに出力する。
【０１４５】
また、共通形式映像データ変換ブロック３４ｃは、元の形式映像データ３６を、共通形式映像データとしてのＹＵＶ形式映像データ３７ｂに変換して、映像分配ブロック５１ｂに出力する。
【０１４６】
図４において、共通形式映像データ変換ブロック３４ｃは、形式制御信号４４で映像データをＲＧＢ形式又はＹＵＶ形式に選択できる。本実施の形態では、この機能を使用して、共通形式映像データ変換ブロック３４ｃからの出力である映像データ３７ｂをＹＵＶ形式とする。
【０１４７】
動画の圧縮をする場合、ＲＧＢ形式であると、圧縮する際のデータ処理量が多く、その処理時間が長くかかる。
【０１４８】
一方、ＹＵＶ形式は動画の場合には人間の視的感覚を考慮して余分なデータを省いている。したがって、動画に関しての見かけの映像品質は、ＲＧＢ形式のそれと同等で、かつ圧縮された場合のデータ量もＲＧＢ形式に比べて少ない。
【０１４９】
よって、共通形式映像データ変換ブロック３４ｃの出力である映像データ３７ｂは、ＹＵＶ形式とされている。
【０１５０】
映像・音分配ブロック５１は、音分配ブロック５１ａと映像分配ブロック５１ｂとを含む。
【０１５１】
音データは、すでに変換ブロック３４ｂでＰＣＭ形式になっているので、そのデータ３７ａそのものが使用できる。映像・音分配ブロック５１は、データ３７ａを、動画関連ＰＣＭ形式音データ５３ａとして出力する。
【０１５２】
映像分配ブロック５１ｂは、ＹＵＶ形式映像データ３７ｂを受取り、ＲＧＢ形式動画領域データ５４と動画関連ＹＵＶ形式映像データ５３ｂとを出力する。
【０１５３】
映像分配ブロック５１ｂは、ＹＵＶ形式映像データ３７ｂの動画の領域を示すデータを、すべて同一のデータで、かつＲＧＢ形式にしたＲＧＢ形式動画領域データ５４を生成する。
【０１５４】
このように、データをＲＧＢ形式にすることで、データ５４は、アプリケーションソフトウエア３１から得られた操作関連ＲＧＢ形式映像データ３２ｂと形式が同じとなる。こうして、データ５４とデータ３２ｂは、一画面分の表示データとして、図４の映像・音データ変換ブロック４１に送出される。
【０１５５】
動画関連ＹＵＶ形式映像データ５３ｂは、ＹＵＶ形式映像データ３７ｂと同じデータである。
【０１５６】
音付き動画データ送出処理ブロック５２は、動画関連ＰＣＭ形式音データ５３ａと動画関連ＹＵＶ形式映像データ５３ｂとを受けて、遠隔操作用音付き動画圧縮ストリームデータ５５を生成する。
【０１５７】
映像・音データ変換ブロック４１は、音データ変換ブロック４１ａと映像データ変換ブロック４１ｂとを含む。
【０１５８】
変換ブロック４１ａは、操作に関連した音データのみが処理された操作関連ＰＣＭ形式音データ５６ａを出力する。
【０１５９】
映像データ変換ブロック４１ｂは、操作に関連した表示データ３２ｂとＲＧＢ形式動画領域データ５４を受けて、ひとつの操作のみに関連した映像データである操作関連ＲＧＢ形式映像データ５６ｂを出力する。前述のように、ＲＧＢ形式動画領域データ５４は、動画に相当する部分を示す所定のデータである。
【０１６０】
遠隔制御ブロック４３は、遠隔操作用の操作関連ＰＣＭ形式音データ５６ａと操作関連ＲＧＢ形式映像データ５６ｂ、動画の部分のみを扱うデータである音付き動画圧縮ストリームデータ５５を受けて、それぞれ、独立したデータとして、無線部８を介して、クライアント２１に送出する。
【０１６１】
図５は、音付き動画データ送出処理ブロック５２の動作について、詳しく説明する。
【０１６２】
ここで、映像・音同期ブロック５２ａ、圧縮ブロック５２ｂ、多重化ブロック５２ｃは、図２を用いて説明した処理と同じ処理を行う。
【０１６３】
図５は、動画に関連した音データと動画データが、それぞれのブロックで、別々に処理されることを示している。
【０１６４】
動画関連ＹＵＶ形式映像データ５３ｂと、これに対応した動画関連ＰＣＭ形式音データ５３ａとを受けて、それぞれを同期させるために、数値データが、それぞれのデータに挿入される。すなわち、同期のための数値データが、データ５３ｂとデータ５３ａに、同期データとして挿入される。こうして、映像・音同期ブロック５２ａは、同期データ付き動画関連ＰＣＭ形式音データ５７ａと、同期データ付き動画関連ＹＵＶ形式映像データ５７ｂとを出力する。
【０１６５】
以上のような、同期データは、同期スタンプと呼ばれることもある。
【０１６６】
圧縮ブロック５２ｂは、これらのデータを受けてそれぞれを圧縮し、圧縮音データ５８ａと圧縮映像データ５８ｂとを出力する。
【０１６７】
多重化ブロック５２ｃは、これらデータを受けて、音付き動画圧縮ストリームデータ５５を出力する。データ５５は、時間軸に沿ったデータであるストリーミングデータである。
【０１６８】
図６は、クライアント２１をさらに詳細に説明している。
【０１６９】
遠隔表示・操作機能ブロック４５ｘは、図３における遠隔制御ブロック４５に含まれている。また、ブロック４５ｘは、制御ブロック４５に接続される別のブロックであってもよい。
【０１７０】
多重分離ブロック５９ａは、ストリームデータ５５から、データ６０ａとデータ６０ｂを得る。データ６０ａとデータ６０ｂは、それぞれ、図５のサーバーの圧縮ブロック５２ｂからの出力である圧縮音データ５８ａと圧縮映像データ５８ｂと同じデータである。
【０１７１】
復号ブロック５９ｂは、動画関連ＰＣＭ形式音データ６１ａと、同期データ付き動画関連ＹＵＶ形式映像データ６１ｂを得る。音データ６１ａと映像データ６１ｂとは、それぞれ、図５のサーバー１の音データ５７ａと映像データ５７ｂと同じデータである。
【０１７２】
映像再生ブロック５９ｃは、同期データに基づいて、映像データ６１ｂと音データ６１ａとの同期をとりながら、それぞれを表示部２３に出力する。
【０１７３】
遠隔表示・操作機能ブロック４５ｘは、さらに、入力される操作関連表示・音データ５６から音データ５６ａと映像データ５６ｂを再生する。
【０１７４】
音データ５６ａは、音出力部２６に出力され、出力音２６ａとして再生される。出力音２６ａとしては、操作関連音２６ｂ、動画関連音２６ｃが重畳して再生される。
【０１７５】
映像データは、表示部２３に出力され、表示画面２３ａとして表示される。表示画面２３ａにおいて、操作関連バックグラウンド画面２３ｂ、動画画面２３ｃが重畳して表示される。
【０１７６】
以上、動画に関する音データと映像データの流れをそれぞれ個別に説明し、さらに音付き動画データ送出処理ブロック５２と音付き動画データ再生処理ブロック５９の具体的実現内容を明らかにした。映像データをＲＧＢ形式でなくＹＵＶ形式で扱うことによりサーバーでの圧縮とクライアントでの復元が容易になり、かつその映像品質も確保できる。
【０１７７】
この実施の形態において説明した各ブロックの動作は、ソフトウエアで実現されてもよいし、ハードウエアのユニットで実現されてもよい。また、それぞれのブロックは、あるブロックの動作がソフトウエア、あるブロックがハードウエアのユニットで実現されてもよい。また、それぞれのブロックの動作が、ハードウエアのユニットとソフトウエアの組み合わせで実現されてもよい。
【０１７８】
（実施の形態２）
以下、図面に基づいて本発明の実施の形態２について説明する。
【０１７９】
図７は、本実施の形態のサーバー１の遠隔表示機能と遠隔操作機能を説明する機能ブロック図である。
【０１８０】
図８は、本実施の形態のクライアント２１の遠隔表示機能と遠隔操作機能を説明する機能ブロック図である。
【０１８１】
図９は、サーバー１の遠隔表示動作をさらに詳細に説明する機能ブロック図である。
【０１８２】
図１０は、音付き動画データ送出処理ブロックを詳細に説明する機能ブロック図である。
【０１８３】
図１１は、クライアント２１の遠隔表示動作を説明する機能ブロック図である。
【０１８４】
すでに説明した要素と同一機能の要素には同じ符号を付けて説明を省略する。
【０１８５】
この実施の形態は、図１の動画データ生成部１０または図１の第３次記憶部５から得られる各種の動画データの処理に関する。
【０１８６】
具体的には、動画の圧縮方法やそのデータ形式が既知の場合についての、動画データの処理に関する。
【０１８７】
図７において、共通形式映像・音データ変換ブロック３４ｘは、複数の解読モジュールを含む。変換ブロック３４ｘは、アプリケーションソフトウエア３１から出力されるそれぞれのアプリケーションソフトウエア独自の独自形式音付き動画データ３３に適した解読モジュールを選択する。この選択されたモジュールは、動画データ３３を解読して、それぞれのアプリケーションソフト毎に定められた元の形式の音と動画データを得る。
【０１８８】
この詳細を以下に説明する。
【０１８９】
図７では、この変換ブロック３４ｘは、さらに、分岐モジュール３４ｘｄを含んでいる。
【０１９０】
先に、図２、図４を用いて、動画の圧縮方法およびその形式などがアプリケーション毎に異なり、かつその内容が開示されてない場合が説明されている。
【０１９１】
この場合は、そのアプリケーション毎に対応した、開示されない解読と変換モジュールが、そのアプリケーションソフト開発機関又は販売機関より提供を受けて変換ブロック３４に含められる。
【０１９２】
一方、あらかじめその圧縮方法、音と映像が同期する方法等その内容が開示されたアプリケーションソフトが存在する。また、図１の動画データ生成部１０のような、専用の動画データ生成部を有して、その圧縮方法と同期方法が明白な動画データも存在する。この場合も、上述のような解読モジュールが、変換ブロック３４ｘに含まれてもよい。
【０１９３】
この実施の形態では、図２、図４において説明した構成より、より簡易な構成を提供する。
【０１９４】
つまり、図２、図４の場合においては、共通形式映像・音データ変換ブロック３４ｘ内の各解読・変換モジュールが、圧縮されたデータを復号し、再度、音付き動画データ送出処理ブロック５２で圧縮し直す。しかし、圧縮方法とそのデータ構造が明白であるならば、復号して、再度、圧縮する必要は無く、復号処理を省略することで、より高速で、より簡易な処理がなされる。
【０１９５】
このように、あらかじめ復号方法がわかっている場合は、図２、図４のように共通形式の音・映像データに一旦変換し、その後圧縮してクライアントへ送り、クライアントで復号する必要はない。
【０１９６】
図７の構成においては、そのままのデータがクライアントに送られ、クライアントで復号される。
【０１９７】
分岐モジュール３４ｘｄは、独自形式音付き動画データ３３の中から音付き動画データを抽出し、さらに、図２の映像・音分配ブロック５１と同等の機能を持ち、動画領域データ６２を生成させる。
【０１９８】
この動作を以下に説明する。
【０１９９】
アプリケーションソフトウエア３１は、それぞれのアプリケーション独自の形式の音付き動画データ３３を、共通形式映像・音データ変換ブロック３４ｘに出力する。
【０２００】
変換ブロック３４ｘは、分岐モジュール３４ｘｄを含む。分岐モジュール３４ｘｄは、動画領域データ６２と音付き動画圧縮データ６３とを出力する。
【０２０１】
分岐モジュール３４ｘｄにおいて、動画領域データ６２を生成する方法は、図２の映像・音分配ブロック５１で説明した方法と同様の方法で生成できる。
【０２０２】
動画領域データ６２は、映像・音データ変換ブロック４１に出力される。
【０２０３】
音付き動画データは、音付き動画圧縮データ６３として映像・音分配ブロック５１に送られる。今、このデータ６３の復元方法が予めわかっている。そのとき、音付き動画圧縮データ６３は、映像・音分配ブロック５１、映像・音同期ブロック５２ａ、圧縮ブロック５２ｂで処理されず、多重化ブロック５２ｃにそのまま入力される。多重化ブロック５２ｃは、データ６３より、音付き動画圧縮ストリームデータ５５を得る。
【０２０４】
その他の動作は図２と同様で、これで、遠隔制御ブロック４３を介して、操作関連表示・音データ５６と音付き動画圧縮ストリームデータ５５が、サーバー１からクライアント２１に、それぞれ送出される。
【０２０５】
図８で、クライアント２１の動作の説明をする。
【０２０６】
ここで、音付き動画データ再生処理ブロック５９ｘは、多重分離ブロック５９ｘａ、専用復号ブロック５９ｘｂと映像再生ブロック５９ｘｃを含む。
【０２０７】
前述のように、今、データの復号方法があらかじめ分かっている。したがって、図３の復号ブロック５９ｂが、専用復号ブロック５９ｘｂに置き変えられる。
【０２０８】
専用復号ブロック５９ｘｂは、同期データ付き音・映像データ６１を出力する。
【０２０９】
映像再生ブロック５９ｘｃは、この同期データに基づいて、動画関連ＹＵＶ形式映像データ５０と、それに関連した動画関連ＰＣＭ形式音データ４９との同期を取りながら、それぞれを、表示部２３と音出力部２６に出力する。
【０２１０】
こうして、音付き動画がクライアント２１で再生される。
【０２１１】
なお、上述の方法では、サーバー１において、データ６３は、図７における映像・音分配ブロック５１、映像・音同期ブロック５２ａ、圧縮ブロック５２ｂを素通りさせられる。その代わりに、ブロック５２ａ、ブロック５２ｂが除かれて、専用の多重化ブロック５２ｃが設けられ、その出力が遠隔制御ブロック４３に入力されてもよい。
【０２１２】
または、次のような方法が用いられてもよい。
１）音付き動画圧縮データ６３の先頭にあらかじめ定めたフラグがつけられる。
２）映像・音分配ブロック５１、映像・音同期ブロック５２ａ、圧縮ブロック５２ｂでの処理の最初にこのフラグが検出される。
３）このフラグが検出されると、その後の処理は飛ばされ、そのフラグを含むデータがそのブロックの出力データとされる。
【０２１３】
また、次のようにして、音付き動画データ再生処理ブロック５９ｘが、図２のサーバーの音付き動画データ送出処理ブロック５２と共用されてもよい。
１）復号ブロック５９ｂと専用復号ブロック５９ｘｂとが並列に配置される。
２）上記のフラグを検出する処理が、多重分離ブロック５９ｘａに追加される。
３）このフラグが検出されると、データは、専用復号ブロック５９ｘｂに出力される。このフラグが検出されないと、データが、復号ブロック５９ｂに出力される。
【０２１４】
さらに、あらかじめ解っている復号方法が複数存在する場合、たとえば図１の第３次記憶部５に記憶される各種メディアごと、またはメディアは同じでも複数の形式が存在する場合、およびこれらの形式を、動画データ生成部１０が扱える場合は、下記のような方法が用いられてもよい。
１）上述のようなフラグが複数用意される。
２）映像・音同期ブロック５２ａ、圧縮ブロック５２ｂにおいて、データにこの複数のフラグが検出されれば、そのデータは、そのブロックをスキップして処理される。
３）さらに、処理ブロック５９ｘは、複数の復号ブロックを有する。
４）複数のフラグから、どの復号ブロックを選択するかを決める処理をするブロックが、多重分離ブロック５９ｘａの後に追加される。
【０２１５】
図９から図１１は図７、図８をさらに具体的に説明する。
【０２１６】
図９は、共通形式映像・音データ変換ブロック３４ｘを中心にサーバー１を、さらに詳細に説明する。
【０２１７】
図１０は、音付き動画データ専用再生処理ブロックを詳細に説明する。
【０２１８】
図１１はクライアント２１を詳細に説明する。
【０２１９】
図９を用いて、テレビチューナーが受信したアナログ動画デーダを下記の場合について説明する。
【０２２０】
図１の動画データ生成部１０が、アナログ動画デーダをデジタル動画データに変換する。このデジタル動画データが、あらかじめ所定の圧縮方法で圧縮されて、テレビ受像機（ＴＶ）で受信された映像の動画圧縮データ（以下、ＴＶ形式圧縮データと呼ぶ）とされている。
【０２２１】
このデータは、アプリケーションソフトに制御されて、分岐モジュール３４ｘｄに渡される。
【０２２２】
分岐モジュール３４ｘｄは、ＴＶ形式圧縮音データ６３ａとＴＶ形式圧縮映像データ６３ｂとを得る。これらのデータは、再生時には映像と音とが同期して再生できるように同期用のデータ処理などをすでに施されているとする。このデータは、図７を用いて説明したように、映像・音分配ブロック５１を素通りし、音付き動画データ送出処理ブロック５２に入力される。分岐モジュール３４ｘｄは、図２と図７を用いて説明したようなＲＧＢ形式動画領域データ６２も出力する。
【０２２３】
図９に示される、各ブロック４１ｙ、４１ｙａ、４１ｙｂと４３ｙは、図４における各ブロック４１、４１ａ、４１ｂと４３と、それぞれ、同じ処理をする。
【０２２４】
図１０は、音付き動画データ専用送出処理ブロック５２を説明する。
【０２２５】
図１０において、図７を用いて説明したように、ＴＶ形式圧縮音データ６３ａとＴＶ形式圧縮映像データ６３ｂは、映像・音同期ブロック５２ａと圧縮ブロック５２ｂとを素通りして多重化ブロック５２ｃに入力される。
【０２２６】
図１１のクライアント２１において、多重分離ブロック５９ｘａは、ＴＶ形式圧縮音データ６０ａとＴＶ形式圧縮映像データ６０ｂとを得る。音データ６０ａと映像データ６０ｂは、それぞれ図９のデータ６３ａ、６３ｂと同じデータである。
【０２２７】
ＴＶ専用復号ブロック５９ｘｂは、あらかじめ決められた復号方法で同期データ付き動画関連ＰＣＭ形式音データ６１ａと、同期データ付き動画関連ＹＵＶ形式映像データ６１ｂとを得る。これにより、サーバー側で、テレビ・チューナーが受信した音付き動画データが、クライアント側で再生される。
【０２２８】
以上のように、あらかじめその圧縮方法と、音と映像が同期する方法等、とそのデータ構造が開示された音付き動画データの場合には、以上に図７〜図１１を用いて説明されるような、より簡単な方法が適用され得る。
【０２２９】
すなわち、上述の方法は、実施の形態１で説明される方法より、より簡単である。
【０２３０】
また、前述のように、図２と図４の共通形式映像・音データ変換ブロック３４に、分岐モジュール３４ｘｄが新たに追加されると、次のような処理が可能になる。
【０２３１】
各種広域通信網、あるいは第３次記憶部で使用される各種メディア、システム専用の動画生成部によりテレビ受信などの放送媒体から、得られる各種動画データが高速に、かつ簡単に扱うことが可能になる。この方法は、処理能力が低いサーバーで、これらのデータを処理できるようにする。
【０２３２】
また、本発明は、動画データの形式が公開・非公開にかかわらず適用できる。そのため、その仕組の統一性が保たれ動画データを扱うソウトウエアの開発がし易くなる。あるいはシステムのトラブル時のメンテナンスがし易い。
【０２３３】
また、圧縮又は加工されない元のデータ（たとえば音楽データ）などの取り扱いについても、以下のようにして、本発明の仕組みが利用できる。
【０２３４】
すなわち、圧縮又は加工されない元のデータが、そのままサーバーからクライアントに送出される。さらにクライアントは、その圧縮データを解凍しない。
【０２３５】
なお、上述した各実施の形態では、サーバーに対しクライアントは１台の場合を例示したが、１台のサーバーに対してクライアントは複数とされてもよい。また、サーバーはアプリケーションソフトウエアを複数有することができる。したがって、複数のクライアントが、サーバーの複数のアプリケーションソフトウエアを、個別に制御することができる。
【０２３６】
さらに、ここでは無線遠隔操作システムについて説明したが、無線で実現できれば、無線に比べて伝送帯域幅が広い有線において、この技術を適用できることは明らかである。
【０２３７】
以上の実施の形態１と２で説明したそれぞれのブロックの動作は、ソフトウエアで実現されてもよいし、ハードウエアのユニットで実現されてもよい。また、実施の形態１と２で説明したそれぞれのブロックの動作は、あるブロックがソフトウエア、あるブロックがハードウエアのユニットで実現されてもよい。また、それぞれのブロックの動作が、ハードウエアのユニットとソフトウエアの組み合わせで実現されてもよい。
【０２３８】
【発明の効果】
本発明によれば、本発明の無線遠隔操作システムによれば、音付き動画データについては、背景データ・操作関連音データとの分離および伝送形式の特定化がなされる。こうして、伝送データ量が抑えられ、伝送帯域幅への負担を軽減される。したがって、クライアント側は、スムーズな描画が実行される。
【０２３９】
さらに、音付き動画データにおいて、クライアントへの伝送前に音データと画像データの同期を取るための、同期スタンプがデータに挿入される。このことで、クライアント側で動画再生を行う際、同期スタンプを参照して、同期をとって、データが再生される。このことで、音と画像の同期ズレが防止される。
【０２４０】
以上のように、本発明は、サーバーからの音付き動画をクライアントでスムーズにかつ映像と音とが同期して再生できる無線遠隔操作システムを得ることができる。
【図面の簡単な説明】
【図１】本発明の無線遠隔操作システムにおけるサーバーおよびクライアントのハードウエア構成図
【図２】本発明の実施の形態１の無線遠隔操作システムにおけるサーバーの遠隔表示機能と遠隔操作機能を説明する機能ブロック図
【図３】本発明の実施の形態１のクライアントの遠隔表示機能と遠隔操作機能を説明する機能ブロック図
【図４】本発明の実施の形態１における無線遠隔操作システムにおけるサーバーの遠隔表示動作を説明する機能ブロック図
【図５】本発明の実施の形態１における音付き動画データ送出ブロックをさらに詳細に説明する機能ブロック図
【図６】本発明の実施の形態１におけるクライアントの遠隔表示機能と遠隔操作機能をさらに詳細に説明する機能ブロック図
【図７】本発明の実施の形態２における無線遠隔操作システムにおけるサーバーの遠隔表示機能と遠隔操作機能を説明する機能ブロック図
【図８】本発明の実施の形態２におけるクライアントの遠隔表示機能と遠隔操作機能を説明する機能ブロック図
【図９】本発明の実施の形態２におけるサーバーの遠隔表示動作をさらに詳細に説明する機能ブロック図
【図１０】本発明の実施の形態２における音付き動画データ送出処理ブロックを詳細に説明する機能ブロック図
【図１１】本発明の実施の形態２におけるクライアント遠隔表示動作を説明する機能ブロック図
【図１２】従来の無線遠隔操作システムのサーバーおよびクライアントのハードウエア構成を説明する機能ブロック図
【図１３】従来の無線遠隔システムにおけるサーバー単独での表示動作を説明する機能ブロック図
【図１４】従来の無線遠隔システムにおけるリモート表示動作を説明する機能ブロック図
【図１５】従来の無線遠隔システムにおけるサーバーのさらに詳しい動作を説明する機能ブロック図
【図１６】従来の無線遠隔システムにおけるクライアントのさらに詳しい動作を説明する機能ブロック図
【符号の説明】
１ サーバー
２ 中央演算処理部
３ 第１次記憶部
４ 第２次記憶部
５ 第３次記憶部
６ 表示部
７ 通信部
８ 無線部
９ 入力制御部
１０ 動画データ生成部
１１ 音出力部
１２ 電源供給部
１３ 電源スイッチ
１４ バス
２１ クライアント
２２ 中央演算処理部
２３ 表示部
２３ａ 表示画面
２３ｂ 操作関連バックグラウンド画面
２３ｃ 動画画面
２４ 無線部
２５ 入力制御部
２６ 音出力部
２６ａ 出力音
２６ｂ 操作関連音
２６ｃ 動画関連音
２７ 電源供給部
２８ 電源スイッチ
２９ バス
３１ アプリケーションソフトウエア
３２ 操作関連音・表示データ
３３ 独自形式音付き動画データ
３４ 共通形式映像・音データ変換ブロック
３４ａ 音付き映像データ分離ブロック
３４ｂ 共通形式音データ変換ブロック
３４ｃ 共通形式映像データ変換ブロック
３４ｘ 共通形式映像・音データ変換ブロック
３４ｘｄ 分岐モジュール
３５ 形式音データ
３６ 形式映像データ
３７ 共通形式映像・音データ
３７ａ ＰＣＭ形式音データ
３７ｂ ＹＵＶ形式映像データ
４１ 映像・音データ変換ブロック
４１ａ 音データ変換ブロック
４１ｂ 映像データ変換ブロック
４１ｙ 映像・音データ変換ブロック
４１ｙａ 音データ変換ブロック
４１ｙｂ 映像データ変換ブロック
４３ 遠隔制御ブロック
４３ｙ 遠隔制御ブロック
４４ 形式制御信号
４５ 遠隔制御ブロック
４５ｘ 遠隔表示・操作機能ブロック
４９ 動画関連ＰＣＭ形式音データ
５０ 動画関連映像データ
５１ 映像・音分配ブロック
５１ａ 音分配ブロック
５１ｂ 映像分配ブロック
５２ 音付き動画データ送出処理ブロック
５２ａ 映像・音同期ブロック
５２ｂ 圧縮ブロック
５２ｃ 多重化ブロック
５３ 音付き映像データ
５３ａ 動画関連ＰＣＭ形式音データ
５３ｂ 動画関連ＹＵＶ形式映像データ
５４ ＲＧＢ形式動画領域データ
５５ 音付き動画圧縮ストリームデータ
５６ 操作関連表示・音データ
５６ａ 操作関連ＰＣＭ形式音データ
５６ｂ 操作関連ＲＧＢ形式映像データ
５７ 同期データ付き音・映像データ
５７ａ 同期データ付き動画関連ＰＣＭ形式音データ
５７ｂ 同期データ付き動画関連ＹＵＶ形式映像データ
５８ 圧縮音・映像データ
５８ａ 圧縮音データ
５８ｂ 圧縮映像データ
５９ 音付き動画データ再生処理ブロック
５９ａ 多重分離ブロック
５９ｂ 復号ブロック
５９ｃ 映像再生ブロック
５９ｘ 音付き動画データ再生処理ブロック
５９ｘａ 多重分離ブロック
５９ｘｂ 専用復号ブロック
５９ｘｃ 映像再生ブロック
６０ 圧縮音・映像データ
６０ａ データ
６０ｂ データ
６１ 同期データ付き音・映像データ
６１ａ 動画関連ＰＣＭ形式音データ
６１ｂ 同期データ付き動画関連ＹＵＶ形式映像データ
６２ 動画領域データ
６３ 音付き動画圧縮データ
６３ａ ＴＶ形式圧縮音データ
６３ｂ ＴＶ形式圧縮映像データ
【発明の属する技術分野】
本発明は、サーバーとクライアントとを含み、クライアントが、サーバーを無線で遠隔操作できる無線遠隔操作システムに関する。とくに、サーバーからの音付動画データのクライアントでのスムーズな再生が可能な無線遠隔操作システムに関する。
【０００２】
【従来の技術】
サーバーとクライアントから成る無線遠隔操作システムとしては、マイクロソフト社が提唱するリモートデスクトップ等があり、企業等において広く普及している。
【０００３】
以下、図１２、図１３〜図１６を用いてリモートデスクトップに代表される従来の無線遠隔操作システムについて説明する。
【０００４】
図１２は、従来の無線遠隔操作システムのハードウエア構成図であり、図１２（ａ）はサーバー１０１、図１２（ｂ）はクライアント１２１のハードウエア構成を示している。
【０００５】
まず、サーバーのハードウエア構成について説明する。
【０００６】
サーバー１０１において、中央演算処理部１０２はサーバー全体の制御を行う。
【０００７】
第１次記憶部１０３は、通常、ＤＲＡＭなどを用いたデータの主記録領域である。第２次記憶部１０４は、通常は、ハードディスクなどを用いＯＳやアプリケーションなどを記憶する外部記録領域である。第３次記憶部１０５は、画像データや音楽データなどを記憶したＣｏｍｐａｃｔ Ｄｉｓｃ（ＣＤ）、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）などの交換可能な記録媒体を用いた補助記録領域である。
【０００８】
表示部１０６は、Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ（ＣＲＴ）や液晶ディスプレイ（ＬＣＤ）などを用いて操作画面や処理データを表示する。通信部１０７は、モデムやＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）ボードなどによって外部との通信を行う。無線部１０８は、クライアント１２１と無線通信する。
【０００９】
入力制御部１０９は、それに接続されたキーボードやマウスなどの入力デバイスを制御する。動画データ生成部１１０は動画データを生成する。音出力部１１１は、スピーカによって音データを再生する。電源供給部１１２はサーバー１０１の各部に電力を供給する。電源スイッチ１１３は電源供給部１１２のＯＮ／ＯＦＦ制御を行う。バス１１４は、前述の各部を接続する信号線群と電源線群を含む。
【００１０】
次に、クライアント１２１のハードウエア構成について説明する。
【００１１】
中央演算処理部１２２はクライアント１２１全体の制御を行う。
【００１２】
表示部１２３はＣＲＴや液晶ディスプレイなどにより画像を表示する。
【００１３】
無線部１２４は、サーバー１０１の無線部１０８と、無線通信路を介して無線通信をする。
【００１４】
ここで、サーバー１０１の無線部１０８とクライアント１２１の無線部１２４は、例えば、プロトコルとして５ＧＨｚ帯で最大５４ＭＢ／秒の転送速度を有するＩＥＥＥ８０２．１１ａや２．５ＧＨｚ帯で最大１１ＭＢ／秒の転送速度を有するＩＥＥＥ８０２．１１ｂなどに従う通信方式を使用して通信する。
【００１５】
入力制御部１２５は、それに接続されたキーボードやマウスなどの入力デバイスを制御する。音出力部１２６は、スピーカによってサーバー１０１からの音データを再生する。電源供給部１２７はクライアント１２１の各部に動作に必要な電力を供給する。電源スイッチ１２８は電源供給部１２７のＯＮ／ＯＦＦ制御を行う。バス１２９は、前述の各部を接続する信号線群と電源線群を含む。
【００１６】
次に、従来の無線遠隔操作システムの動作について図１３〜図１６を用いて説明する。
【００１７】
図１３は、従来の無線遠隔システムにおけるサーバー単独での表示動作を説明する機能ブロック図である。
【００１８】
以下では、アプリケーションソフトウエアそれぞれに独自なデータ形式を有する音付き映像データと、システムにおい共通な共通データ形式を有する操作関連音・表示データの双方を扱うアプリケーションソフトウエア１３１のデータ表示について説明する。
【００１９】
ここで、操作関連音・表示データ１３２は、ハードウエア操作が容易なようにハードウエアに極めて強く依存した共通データ形式を有する。ここで、音データ形式としてはパルス符号変調（ＰＣＭ）形式が、一般的に使用される。また、表示データ形式としては、画面の各画素を赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の強度で表わすＲＧＢ形式が一般的に使用される。
【００２０】
アプリケーションソフトウエア１３１は、操作関連音・表示データ１３２を、直接、映像・音再生ブロック１３８に出力する。さらに、アプリケーションソフトウエア１３１から出力された独自形式の音付き動画データ１３３は、共通形式映像・音データ変換ブロック１３４で、共通形式映像・音データ１３７に変換され、映像・音再生ブロック１３８に入力される。
【００２１】
ここで、共通形式映像・音データ変換ブロック１３４は、独自形式の音付き動画データを受信し、独自形式のそれぞれに応じた映像・音データを、システム内で共通の共通形式映像・音データに変換するために、それぞれの独自形式ごとにそれぞれ個別の解読モジュールを有している。
【００２２】
映像・音再生ブロック１３８は、入力された共通形式映像・音データを再生して、映像データ１３９は表示部１０６に、音データ１４０は音出力部１１１に出力する。
【００２３】
表示部１０６の表示画面１０６ａにおいて、映像データが動画の場合、動画の再生／停止ボタンなどが表示された操作関連バックグラウンド画面１０６ｂと動画画面１０６ｃが表示される。
【００２４】
出力音１１１ａとしては、使用者の操作ミスに対する警告音などの操作関連音１１１ｂと動画に付随したバックグラウンドミュージックや音声などの動画関連音１１１ｃが音出力部１１１に出力される。
【００２５】
図１４は、従来の無線遠隔システムにおけるリモート表示動作を説明する機能ブロック図である。
【００２６】
サーバー１０１のアプリケーションソフトウエア１３１は、操作関連音・表示データ１３２を、直接、遠隔操作用の映像・音データ変換ブロック１４１に出力する。アプリケーションソフトウエア１３１から出力された独自形式の音付き動画データ１３３は、共通形式映像・音データ変換ブロック１３４で、共通形式映像・音データ１３７に変換されて、遠隔操作用の映像・音データ変換ブロック１４１に出力される。
【００２７】
映像・音データ変換ブロック１４１は、共通形式映像・音データ１３７および操作関連音・表示データ１３２を、サーバー１０１とクライアント１２１間で送受信される遠隔操作用の映像・音データ１４２に変換して遠隔制御ブロック１４３に出力する。
【００２８】
サーバー１０１の遠隔制御ブロック１４３は、図示されてない接続状態監視部、無線通信部とコマンド解析部を含む。
【００２９】
ここで、接続状態監視部は、クライアント１２１の接続状態を監視する。無線通信部は、クライアント１２１との間でコマンドや表示データを無線で送受信する。コマンド解析部は、クライアント１２１からのコマンドを解析してサーバー１０１のアプリケーションの起動などを行う。サーバー１０１の遠隔制御ブロック１４３は、遠隔操作用の映像・音データ１４２を、無線部１０８を介してクライアント１２１に送信する。
【００３０】
クライアント１２１の遠隔制御ブロック１４５は、サーバー１０１から無線部１２４によって受信した遠隔操作用の映像・音データ１４６を遠隔操作用の映像・音データ再生ブロック１４７に出力する。
【００３１】
映像・音データ再生ブロック１４７は、入力された映像・音データ１４６を再生する。
【００３２】
出力１４８中の遠隔操作用の映像データは、表示部１２３に出力され、表示画面１２３ａとして表示される。表示画面１２３ａには、操作関連バックグラウンド画面１２３ｂ、音付き動画画面１２３ｃが、表示画面１２３ａに重畳して表示される。
【００３３】
出力１４８中の遠隔操作用の音データは、音出力部１２６に出力され、出力音１２６ａとして再生される。出力音１２６ａにおいては、操作関連音１２６ｂ、動画関連音１２６ｃが重畳して再生される。
【００３４】
以上に述べるような映像と音声のデータが出力１４８中に含まれるので、そのデータ量は非常に大きい。
【００３５】
図１５は、従来の無線遠隔システムにおけるサーバーのさらに詳しい動作を説明する機能ブロック図である。
【００３６】
アプリケーションソフトウエア１３１は、アプリケーションそれぞれに独自の形式の音付き動画データ１３３を、共通形式映像・音データ変換ブロック１３４の音付き映像データ分離ブロック１３４ａに出力する。
【００３７】
音付き映像データ分離ブロック１３４ａは、入力された独自形式の音付き動画データ１３３を元形式の音データ１３５と元形式の映像データ１３６とに分離して、音データ１３５を共通形式音データ変換ブロック１３４ｂに、映像データ１３６を共通形式映像データ変換ブロック１３４ｃに出力する。
【００３８】
変換ブロック１３４ｂは、音データ１３５を、共通形式音データとしてのＰＣＭ音データ１３７ａに変換して映像・音データ変換ブロック１４１の音データ変換ブロック１４１ａに出力する。
【００３９】
また、共通形式映像データ変換ブロック１３４ｃは、元形式の映像データ１３６を、共通形式映像データとしてのＲＧＢ形式映像データまたはＹＵＶ形式映像データ１３７ｂに変換して、映像データ変換ブロック１４１ｂに出力する。
【００４０】
なお、映像データ変換ブロック１４１ｂからの形式制御信号１４４によって共通形式映像データとしてＲＧＢ形式映像データまたはＹＵＶ形式映像データのいずれを使うかを選択されてもよい。
【００４１】
音データ変換ブロック１４１ａは、操作関連ＰＣＭ形式音データ１３２ａと、ＰＣＭ形式音データ１３７ａとを合成して、遠隔操作用のＰＣＭ形式音データ１４２ａに変換し、遠隔制御ブロック１４３に出力する。音データ１４２ａは、クライアント１２１に無線送信される。
【００４２】
映像データ変換ブロック１４１ｂは、操作関連ＲＧＢ形式表示データ１３２ｂとＲＧＢ形式映像データ１３７ｂとを合成して、遠隔操作用のＲＧＢ形式映像データ１４２ｂに変換し、サーバー側遠隔制御ブロック１４３に出力する。映像データ１４２ｂは、クライアント１２１に無線送信される。
【００４３】
サーバー１０１の遠隔制御ブロック１４３は、入力されるＰＣＭ形式音データ１４２ａとＲＧＢ形式映像データ１４２ｂとを合成して遠隔操作用の映像・音データとしてクライアント１２１に無線送信する。
【００４４】
図１６は、従来の無線遠隔システムにおけるクライアント１２１の動作を、さらに詳しく説明する機能ブロック図である。
【００４５】
遠隔制御ブロック１４５は、サーバー１０１から受信した遠隔操作用映像・音データを遠隔操作用のＰＣＭ形式音データ１４６ａと遠隔操作用のＲＧＢ形式映像データ１４６ｂとに分離する。さらに、遠隔制御ブロック１４５は、音データ１４６ａを遠隔操作用の映像・音データ再生ブロック１４７の音再生ブロック１４７ａに、映像データ１４６ｂを、映像再生ブロック１４７ｂに出力する。
【００４６】
音再生ブロック１４７ａは、音データ１４６ａを再生して、ＰＣＭ形式音データ１４８ａを音出力部１２６に出力する。
【００４７】
また、映像再生ブロック１４７ｂは、映像データ１４６ｂを再生して、ＲＧＢ形式映像データ１４８ｂを、表示部１２３に出力する。
【００４８】
なお、動画データを遠隔制御によってサーバーから受信するシステムに関する先行特許文献としては下記のものがある。
【００４９】
【特許文献１】
特開２００２−３６９１３０号公報
【００５０】
【発明が解決しようとする課題】
従来の無線遠隔操作システムにおいては、サーバーからクライアントに動画を伝送する場合、伝送データ量が膨大なサイズとなって現在の無線の伝送帯域幅では能力が不足することがあり得る。
【００５１】
また、クライアント側において、受信するデータ量が大きいため、スムーズな動画再生ができないことがあり得る。
【００５２】
さらに、データ量が膨大な画像データと画像データに比べてデータ量がかなり少ない音データが、別々に伝送されるために、処理時間のかかる画像と対応する音との間にズレが生じ得る。
【００５３】
また、従来の無線遠隔操作システムは、動画のデータ形式や圧縮方法の公開か非公開かがシステム構築に大きく影響し、非公開の形式の存在のために、統一的なシステム構築ができないこともあり得る。
【００５４】
本発明は、サーバーからの音付き動画をクライアントでスムーズにかつ映像と音とが同期して再生できる無線遠隔操作システムを提供することを目的とする。
【００５５】
【課題を解決するための手段】
本発明の遠隔操作システムは、サーバーとクライアントを含む。
【００５６】
サーバーは、アプリケーションソフトウエアを取り扱い、以下を含む。
【００５７】
共通形式映像・音データ変換部は、アプリケーションソフトウエアから供給されるアプリケーションソフトウエアの独自の形式を有する音付き動画データが入力されて、その独自形式に応じた映像・音データを、システム内で共通の共通形式映像・音データに変換して、出力する。
【００５８】
映像・音分配部は、共通形式映像・音データを受信して、音付き映像データと、音付き映像データの動画に相当する部分を所定のデータとした動画領域データとを出力する。
【００５９】
音付き動画データ送出処理部は、音付き映像データを受信して、音と映像を同期させるための同期データを加え、圧縮して、音と映像に関するデータを含むデータストリームにして出力する。
【００６０】
映像・音データ変換部は、アプリケーションソフトウエアから得られる操作関連音・表示データに動画領域データを加えて、遠隔操作用操作関連表示・音データを得る。
【００６１】
第１の遠隔制御部は、この遠隔操作用操作関連表示・音データとデータストリームとを受信して、出力する。
【００６２】
クライアントは、サーバーから、遠隔操作用操作関連表示・音データとデータストリームとを受信して、遠隔操作用の映像と音声を再生する。クライアントは、この遠隔操作用の映像と音声に関連したユーザーの操作に応じて、サーバーにおけるアプリケーションソフトウエアを制御する。
【００６３】
さらに、クライアントにおいて、第２の遠隔制御部は、第１の遠隔制御部からのデータを受け取って、遠隔操作用操作関連表示・音データとデータストリームとを出力する。また、音付き動画データ再生処理部は、データストリームを受け取って、復号して、映像と音声の同期をとって出力する。
【００６４】
このような構成によって、サーバーはアプリケーションソフトウエアの音付き動画データをクライアントに個別に分配する。また、クライアントから遠隔操作で、サーバーのアプリケーションソフトウエアを個別に制御できる。
【００６５】
ここで音付き動画データは、ＭＰＥＧ２形式等を使用して圧縮されて、伝送データ量が抑えられる。したがって、伝送帯域幅への負担が軽減されて、クライアント側でのスムーズな描画がなされる。また、再生時の映像と音の同期のために動画データと動画に関連した音データが、同期データ付きデータとして、クライアントへ伝送される。したがって、クライアントでの再生時における、同期ズレが防止される。
【００６６】
さらに、本発明は、圧縮方式、データ形式などの公開、未公開にかかわらず対応できるシステムも提供する。
【００６７】
【発明の実施の形態】
以下、本発明の実施の形態について図１から図１１を用いて説明する。
【００６８】
（実施の形態１）
図１は本発明の無線遠隔操作システムのサーバーとクライアントのハードウエア構成を説明するハードウエア構成図であり、図１（ａ）はサーバー１、図１（ｂ）はクライアント２１のハードウエア構成を示している。
【００６９】
図２は、実施の形態１の無線遠隔操作システムにおけるサーバーの遠隔表示機能と遠隔操作機能を説明する機能ブロック図である。
【００７０】
図３は、クライアントの遠隔表示機能と遠隔操作機能を説明する機能ブロック図である。
【００７１】
サーバー１において、中央演算処理部２はサーバー全体の制御を行う。
【００７２】
第１次記憶部３は、Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＤＲＡＭ）などを用いたデータの主記録領域である。第２次記憶部４は、ハードディスクなどを用いＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）やアプリケーションなどを記憶する外部記録領域である。第３次記憶部５は、画像データや音楽データなどを記憶したＣＤ、ＤＶＤなどの交換可能な記録媒体を用いた補助記録領域である。
【００７３】
表示部６は、ＣＲＴや液晶ディスプレイなどを用いて操作画面や処理データを表示する。
【００７４】
通信部７は、モデムやＬＡＮボードなどによって外部との通信を行う。
【００７５】
無線部８は、クライアント２１と無線通信する。
【００７６】
入力制御部９は、それに接続されたキーボードやマウスなどの入力デバイスを制御する。動画データ生成部１０は動画データを生成する。音出力部１１はスピーカによって音データを再生する。電源供給部１２はサーバー１の各部に電力を供給する。電源スイッチ１３は電源供給部１２のＯＮ／ＯＦＦ制御を行う。バス１４は、これら各部を接続する信号線群と電源線群を含む。
【００７７】
次に、クライアント２１のハードウエア構成について説明する。
【００７８】
中央演算処理部２２はクライアント２１全体の制御を行う。
【００７９】
表示部２３はＣＲＴや液晶ディスプレイなどにより画像を表示する。
【００８０】
無線部２４は、サーバー１の無線部８と、無線通信路を介して無線通信をする。
【００８１】
ここで、サーバー１の無線部８とクライアント２１の無線部２４は、例えば、プロトコルとして５ＧＨｚ帯で最大５４ＭＢ／秒の転送速度を有するＩＥＥＥ８０２．１１ａや２．５ＧＨｚ帯で最大１１ＭＢ／秒の転送速度を有するＩＥＥＥ８０２．１１ｂなどに従う通信方式を使用して通信をする。
【００８２】
入力制御部２５は、それに接続されたキーボードやマウスなどの入力デバイスを制御する。音出力部２６はスピーカによってサーバー１からの音データを再生する。電源供給部２７はクライアント２１の各部に動作に必要な電力を供給する。電源スイッチ２８は電源供給部２７のＯＮ／ＯＦＦ制御を行う。バス２９はこれら各部を接続する信号線群と電源線群を含む。
【００８３】
ここで、本発明の説明に直接関係しない構成要素については図示を省略している。
【００８４】
本実施の形態は、図１（ａ）の通信部７を介して、サーバー１に配信される様々な動画データに対応して、この動画データをクライアント２１で、スムーズに音と映像とが同期した形で動画を得る方法に関する。
【００８５】
ここでは、広域通信網から配信される動画で、その圧縮方法やデータ形式が未公開の場合についての、データ処理について述べる。
【００８６】
図２において、サーバー１のアプリケーションソフトウエア３１は、操作関連音・表示データ３２を、直接、遠隔操作用の映像・音データ変換ブロック４１に出力する。アプリケーションソフトウエア３１から出力された独自形式の音付き動画データ３３は、共通形式映像・音データ変換ブロック３４で、共通形式映像・音データ３７に変換されて、映像・音分配ブロック５１に出力される。
【００８７】
ここで、それぞれのアプリケーションソフトウエアにおいて、音、表示、映像などのデータは、それぞれのアプリケーションソフトウエアでそれぞれ独自のデータ形式を有している。これを、独自形式と呼ぶ。
【００８８】
共通形式とは、サーバーとクライアントを含んだシステムにおいて、共通して用いられる映像、音、表示データなどのデータと信号の形式を指す。
【００８９】
サーバーの一つまたは複数のアプリケーションソフトウエア３１は、少なくともそのアプリケーションソフトウエアに独自の独自形式の音付き動画データと操作関連音データ、操作表示データを有する。このうち操作関連音・表示データ３２については、直接、遠隔操作用の映像・音データ変換ブロック４１に出力される。
【００９０】
映像・音データ変換ブロック４１は、操作関連音・表示データ３２を、サーバーとクライアント間で送受信される遠隔操作用の操作関連表示・音データ５６に変換して、遠隔制御ブロック４３に出力する。
【００９１】
独自形式の音付き動画データ３３は、共通形式映像・音データ変換ブロック３４に出力され、ここで、共通形式映像・音データ３７に変換される。
【００９２】
映像・音分配ブロック５１は、映像・音データ３７を受けて、音付き映像データ５３と動画領域データ５４を出力する。
【００９３】
分配ブロック５１において、音付き映像データ５３は、圧縮等の処理を施しやすい形式とされる。動画領域データ５４は、音付き映像データ５３の動画の表示部分に相当する部分を示すために、データ列に埋めこまれる所定のデータとして、生成される。この所定のデータとして、たとえば、次のようなデータがデータ列に埋めこまれる。
【００９４】
動画の表示部分の位置とサイズを指定する座標のデータと、動画の表示部分を示す指定された色（Ｃｏｌｏｒ Ｋｅｙ）のデータが、データ列に埋めこまれる。すなわち、指定された色がつけられた部分にのみ、動画が表示される。
【００９５】
音付き映像データ５３は、音付き動画データ送出処理ブロック５２に入力されて、ここで、処理される。
【００９６】
データ５３は、映像・音同期ブロック５２ａで動画と、動画に関係した音が、クライアント２１で再生された時に同期して出力されるための処理をされて、データ５７として出力される。
【００９７】
圧縮ブロック５２ｂは、データ５７を圧縮処理して、圧縮されたデータ５８を多重化ブロック５２ｃへ出力する。
【００９８】
多重化ブロック５２ｃは、遠隔操作用の音付き動画圧縮ストリームデータ５５を、遠隔制御ブロック４３に出力する。
【００９９】
映像・音データ変換ブロック４１は、操作に関連したデータのみからなる遠隔操作用の操作関連表示・音データ５６を出力する。変換ブロック４１の出力は、動画そのもののデータは含んでいない。
【０１００】
送出処理ブロック５２は、映像・音同期ブロック５２ａ、圧縮ブロック５２ｂ、多重化ブロック５２ｃを含む。
【０１０１】
映像・音同期ブロック５２ａは、動画ならびに動画に関連した音がクライアント２１で再生された時に同期して出力されるように、同期データ付き音・映像データ５７を出力する。
【０１０２】
同期データ付き音・映像データ５７は、以下のような処理で生成される。
【０１０３】
映像・音同期ブロック５２ａは、データ５３の音データと映像データとを、一定の時間間隔ごとにそれぞれ分離する。すなわち、映像・音同期ブロック５２ａは、データ５３を、所定のデータ単位ごとに分割して、それぞれのデータ単位ごとに、同期データとして働く数値データを音付き映像データ５３の映像データと音データに、それぞれ挿入する。言いかえれば、映像データと音声データのそれぞれに、時間軸またはフレーム単位に、映像と音声の同期を取るためのフラグが設けられる。
【０１０４】
これにより、再生時に、所定のデータ単位ごとに映像データと音声データの同期を取りつつ、再生できるようにする。すなわち、この数値データは、音と映像の同期を取るマークとして、同期のためのスタンプのような性質を有する。
【０１０５】
圧縮ブロック５２ｂは、同期データ付き音・映像データ５７の音データと映像データをそれぞれ圧縮する。ここで、よく知られているＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ（ＭＰＥＧ）技術等が、圧縮技術として使用される。
圧縮ブロック５２ｂは、圧縮音・映像データ５８を出力する。
【０１０６】
多重化ブロック５２ｃは、映像・音データ変換ブロック４１と同様の機能を持ち、入力されるデータを、時間軸をベースとして、音データと映像データが一つのストリームに含まれるストリーミングデータに変換する。多重化ブロック５２ｃは、遠隔操作用の音付き動画圧縮ストリームデータ５５を出力する。
【０１０７】
遠隔制御ブロック４３は、遠隔操作用の操作関連表示・音データ５６と遠隔操作用の音付き動画圧縮ストリームデータ５５とを、それぞれ独立したデータと解釈して、無線部８を介して、クライアント２１に送出する。
【０１０８】
なお、遠隔制御ブロック４３は、図示されてない接続状態監視部、無線通信部とコマンド解析部を含む。
【０１０９】
ここで、接続状態監視部は、クライアント２１の接続状態を監視する。無線通信部は、クライアント２１との間でコマンドや表示データを、無線部８を介して送受信する。コマンド解析部は、クライアント２１からのコマンドを解析してサーバー１のアプリケーションの起動などを行う。
【０１１０】
また、遠隔制御ブロック４３は、遠隔操作用の操作関連表示・音データ５６を、無線部８を介してクライアント２１に送信する。
【０１１１】
図３に示される、クライアント２１において、無線部２４は、サーバー１から送信される信号を受信する。
【０１１２】
クライアント２１において、無線部２４を経て、遠隔制御ブロック４５は、サーバー１からの遠隔操作用の操作関連表示・音データ５６と遠隔操作用の音付き動画圧縮ストリームデータ５５を得る。
【０１１３】
表示・音データ５６のうち、映像データ５６ｂは、表示部２３に出力され、表示画面２３ａとして表示される。表示画面２３ａには、操作関連バックグラウンド画面２３ｂ、動画画面２３ｃが、重畳して表示される。
【０１１４】
音データ５６ａは、音出力部２６に出力され、出力音２６ａとして再生される。出力音２６ａとして、操作関連音２６ｂ、動画関連音２６ｃが重畳して再生される。
【０１１５】
こうして、操作関連バックグラウンド画面２３ｂと操作関連音２６ｂとが得られる。この詳しい動作は後述する。
【０１１６】
操作関連バックグラウンド画面２３ｂにおいて動画に相当する部分、すなわち、動画画面２３ｃに相当する部分を示すデータは、サーバー１において、動画領域データ５４として加えられている。
【０１１７】
したがって、表示部２３において、動画領域データ５４が参照されることにより、動画に相当する部分は、画面２３ｂとともに一画面として表示される。
【０１１８】
音付き動画圧縮ストリームデータ５５は、音付き動画データ再生処理ブロック５９に出力される。
【０１１９】
処理ブロック５９は、ストリームデータ５５の圧縮を解除し、映像データと音声データの同期をとって、動画関連ＰＣＭ形式音データ４９と動画関連映像データ５０とを出力する。
【０１２０】
ここで、映像データ５０は、動画画面２３ｃを表示するためのデータである。音データ４９は、動画関連音２６ｃを発生するためのデータである。
【０１２１】
遠隔制御ブロック４５は、直接、表示部２３と音出力部２６に、遠隔操作用の操作関連表示・音データ５６を出力する。データ５６は、表示部２３において、操作関連バックグラウンド画面２３ｂを表示するためのデータと、音出力部２６において、操作関連音２６ｂを発生するためのデータを含む。
【０１２２】
動画画面２３ｃは、操作関連バックグラウンド画面２３ｂの上に重ね合わされる。動画関連音２６ｃは、操作関連音２６ｂに、重ねられる。
【０１２３】
動画の部分を重ねることは、次のような方法で実行される。
【０１２４】
１）動画の部分は、あらかじめ決められた所定データになっているため、この部分が音付き動画データ再生処理ブロック５９内の映像再生ブロック５９ｃで検出されて、動画を表示する部分に、データ５０の動画の表示位置が合わせられる。映像再生ブロック５９ｃについては後述する。
【０１２５】
又は、２）動画の表示位置データが、遠隔操作用音付き動画圧縮ストリームデータ５５に追加される。
【０１２６】
３）図１のクライアント２１の表示部２３は、表示される一画面分の表示用記憶部を有する。したがって、この記憶部から所定データである動画領域埋め込みデータ５４部分を検出することができる。この検出機能を後述する映像再生ブロック５９ｃに持たせておくことで動画の重ね合わせが実現される。
【０１２７】
４）また、サーバー１の遠隔制御ブロック４３は、データを独立して、クライアント２１へ伝達できる。したがって、動画の表示位置情報が、単独のデータとして送られて、動画が画面２３ｂに重ね合わせられるために用いられてもよい。
【０１２８】
音付き動画データ再生処理ブロック５９は、多重分離ブロック５９ａと、復号ブロック５９ｂと映像再生ブロック５９ｃとを含む。
【０１２９】
多重分離ブロック５９ａは、伝送のために施されていた処理を解除する。すなわち、多重分離ブロック５９ａは、伝送のために一つのストリームとなっていたデータを、圧縮音データと、圧縮映像データとに分離する。
【０１３０】
こうして、図２の圧縮ブロック５２ｂからの出力である圧縮音・映像データ５８と同等の圧縮音・映像データ６０を得る。
【０１３１】
復号ブロック５９ｂは、データ６０を、図２の同期データ付き音・映像データ５７と同じデータである同期データ付き音・映像データ６１に変換する。
【０１３２】
映像再生ブロック５９ｃは、この同期データに基づいて、動画関連ＹＵＶ形式映像データ５０と、それに関連した動画関連ＰＣＭ形式音データ４９との同期を取りながら、それぞれを、表示部２３と音出力部２６に出力する。
【０１３３】
このような構成により、音付き動画データと操作関連データとをそれぞれ独立したデータとしてサーバー１からクライアント２１に送ることができる。
【０１３４】
クライアント２１は、音付き動画データとその操作関連データとをそれぞれ独立したデータとして処理する。これらのデータを重ね合わせることにより、操作画面が表示され、操作しやすい環境が使用者に提供される。
【０１３５】
ここで、音付き動画データのみを圧縮することが可能である。したがって、クライアントとサーバー間の伝送帯域に負荷をかけることなくスムーズな動画再生がなされる。また、同期データによって、動画とその動画に関係する音とが同期して動画が再生される。
【０１３６】
クライアント２１において、ユーザーは、表示部２３の表示に応じて、コマンドを入力して、サーバー１を遠隔操作する。たとえば、ユーザーは、サーバー１のアプリケーションソフトウエアを、適切なコマンドにより、制御することができる。
【０１３７】
次に、図４、図５、図６を用いて本発明の実施の形態１について、さらに詳しく説明する。
【０１３８】
図４は、図２に示した無線遠隔操作システムにおけるサーバー１の遠隔表示機能と遠隔操作機能を、さらに詳しく説明する機能ブロック図である。
【０１３９】
図５は、図２の音付き動画データ専用送出処理ブロック５２を、さらに詳細に説明する機能ブロック図である。
【０１４０】
図６は、図３のクライアントの遠隔表示動作と遠隔操作機能を、さらに詳しく説明する機能ブロック図である。
【０１４１】
以下、すでに説明した要素と同じ機能の部分には同じ符号を付けて説明を省略する。
【０１４２】
図４において、アプリケーションソフトウエア３１は、それぞれのアプリケーション独自の形式の音付き動画データ３３を、共通形式映像・音データ変換ブロック３４の音付き映像データ分離ブロック３４ａに出力する。
【０１４３】
分離ブロック３４ａは、入力された独自形式の音付き動画データ３３を元の形式音データ３５と元の形式映像データ３６とに分離し、音データ３５を、共通形式音データ変換ブロック３４ｂに、映像データ３６を共通形式映像データ変換ブロック３４ｃに出力する。
【０１４４】
共通形式音データ変換ブロック３４ｂは、音データ３５を、共通形式音データとしてのＰＣＭ形式音データ３７ａに変換して、映像・音分配ブロックの音データを処理する音分配ブロック５１ａに出力する。
【０１４５】
また、共通形式映像データ変換ブロック３４ｃは、元の形式映像データ３６を、共通形式映像データとしてのＹＵＶ形式映像データ３７ｂに変換して、映像分配ブロック５１ｂに出力する。
【０１４６】
図４において、共通形式映像データ変換ブロック３４ｃは、形式制御信号４４で映像データをＲＧＢ形式又はＹＵＶ形式に選択できる。本実施の形態では、この機能を使用して、共通形式映像データ変換ブロック３４ｃからの出力である映像データ３７ｂをＹＵＶ形式とする。
【０１４７】
動画の圧縮をする場合、ＲＧＢ形式であると、圧縮する際のデータ処理量が多く、その処理時間が長くかかる。
【０１４８】
一方、ＹＵＶ形式は動画の場合には人間の視的感覚を考慮して余分なデータを省いている。したがって、動画に関しての見かけの映像品質は、ＲＧＢ形式のそれと同等で、かつ圧縮された場合のデータ量もＲＧＢ形式に比べて少ない。
【０１４９】
よって、共通形式映像データ変換ブロック３４ｃの出力である映像データ３７ｂは、ＹＵＶ形式とされている。
【０１５０】
映像・音分配ブロック５１は、音分配ブロック５１ａと映像分配ブロック５１ｂとを含む。
【０１５１】
音データは、すでに変換ブロック３４ｂでＰＣＭ形式になっているので、そのデータ３７ａそのものが使用できる。映像・音分配ブロック５１は、データ３７ａを、動画関連ＰＣＭ形式音データ５３ａとして出力する。
【０１５２】
映像分配ブロック５１ｂは、ＹＵＶ形式映像データ３７ｂを受取り、ＲＧＢ形式動画領域データ５４と動画関連ＹＵＶ形式映像データ５３ｂとを出力する。
【０１５３】
映像分配ブロック５１ｂは、ＹＵＶ形式映像データ３７ｂの動画の領域を示すデータを、すべて同一のデータで、かつＲＧＢ形式にしたＲＧＢ形式動画領域データ５４を生成する。
【０１５４】
このように、データをＲＧＢ形式にすることで、データ５４は、アプリケーションソフトウエア３１から得られた操作関連ＲＧＢ形式映像データ３２ｂと形式が同じとなる。こうして、データ５４とデータ３２ｂは、一画面分の表示データとして、図４の映像・音データ変換ブロック４１に送出される。
【０１５５】
動画関連ＹＵＶ形式映像データ５３ｂは、ＹＵＶ形式映像データ３７ｂと同じデータである。
【０１５６】
音付き動画データ送出処理ブロック５２は、動画関連ＰＣＭ形式音データ５３ａと動画関連ＹＵＶ形式映像データ５３ｂとを受けて、遠隔操作用音付き動画圧縮ストリームデータ５５を生成する。
【０１５７】
映像・音データ変換ブロック４１は、音データ変換ブロック４１ａと映像データ変換ブロック４１ｂとを含む。
【０１５８】
変換ブロック４１ａは、操作に関連した音データのみが処理された操作関連ＰＣＭ形式音データ５６ａを出力する。
【０１５９】
映像データ変換ブロック４１ｂは、操作に関連した表示データ３２ｂとＲＧＢ形式動画領域データ５４を受けて、ひとつの操作のみに関連した映像データである操作関連ＲＧＢ形式映像データ５６ｂを出力する。前述のように、ＲＧＢ形式動画領域データ５４は、動画に相当する部分を示す所定のデータである。
【０１６０】
遠隔制御ブロック４３は、遠隔操作用の操作関連ＰＣＭ形式音データ５６ａと操作関連ＲＧＢ形式映像データ５６ｂ、動画の部分のみを扱うデータである音付き動画圧縮ストリームデータ５５を受けて、それぞれ、独立したデータとして、無線部８を介して、クライアント２１に送出する。
【０１６１】
図５は、音付き動画データ送出処理ブロック５２の動作について、詳しく説明する。
【０１６２】
ここで、映像・音同期ブロック５２ａ、圧縮ブロック５２ｂ、多重化ブロック５２ｃは、図２を用いて説明した処理と同じ処理を行う。
【０１６３】
図５は、動画に関連した音データと動画データが、それぞれのブロックで、別々に処理されることを示している。
【０１６４】
動画関連ＹＵＶ形式映像データ５３ｂと、これに対応した動画関連ＰＣＭ形式音データ５３ａとを受けて、それぞれを同期させるために、数値データが、それぞれのデータに挿入される。すなわち、同期のための数値データが、データ５３ｂとデータ５３ａに、同期データとして挿入される。こうして、映像・音同期ブロック５２ａは、同期データ付き動画関連ＰＣＭ形式音データ５７ａと、同期データ付き動画関連ＹＵＶ形式映像データ５７ｂとを出力する。
【０１６５】
以上のような、同期データは、同期スタンプと呼ばれることもある。
【０１６６】
圧縮ブロック５２ｂは、これらのデータを受けてそれぞれを圧縮し、圧縮音データ５８ａと圧縮映像データ５８ｂとを出力する。
【０１６７】
多重化ブロック５２ｃは、これらデータを受けて、音付き動画圧縮ストリームデータ５５を出力する。データ５５は、時間軸に沿ったデータであるストリーミングデータである。
【０１６８】
図６は、クライアント２１をさらに詳細に説明している。
【０１６９】
遠隔表示・操作機能ブロック４５ｘは、図３における遠隔制御ブロック４５に含まれている。また、ブロック４５ｘは、制御ブロック４５に接続される別のブロックであってもよい。
【０１７０】
多重分離ブロック５９ａは、ストリームデータ５５から、データ６０ａとデータ６０ｂを得る。データ６０ａとデータ６０ｂは、それぞれ、図５のサーバーの圧縮ブロック５２ｂからの出力である圧縮音データ５８ａと圧縮映像データ５８ｂと同じデータである。
【０１７１】
復号ブロック５９ｂは、動画関連ＰＣＭ形式音データ６１ａと、同期データ付き動画関連ＹＵＶ形式映像データ６１ｂを得る。音データ６１ａと映像データ６１ｂとは、それぞれ、図５のサーバー１の音データ５７ａと映像データ５７ｂと同じデータである。
【０１７２】
映像再生ブロック５９ｃは、同期データに基づいて、映像データ６１ｂと音データ６１ａとの同期をとりながら、それぞれを表示部２３に出力する。
【０１７３】
遠隔表示・操作機能ブロック４５ｘは、さらに、入力される操作関連表示・音データ５６から音データ５６ａと映像データ５６ｂを再生する。
【０１７４】
音データ５６ａは、音出力部２６に出力され、出力音２６ａとして再生される。出力音２６ａとしては、操作関連音２６ｂ、動画関連音２６ｃが重畳して再生される。
【０１７５】
映像データは、表示部２３に出力され、表示画面２３ａとして表示される。表示画面２３ａにおいて、操作関連バックグラウンド画面２３ｂ、動画画面２３ｃが重畳して表示される。
【０１７６】
以上、動画に関する音データと映像データの流れをそれぞれ個別に説明し、さらに音付き動画データ送出処理ブロック５２と音付き動画データ再生処理ブロック５９の具体的実現内容を明らかにした。映像データをＲＧＢ形式でなくＹＵＶ形式で扱うことによりサーバーでの圧縮とクライアントでの復元が容易になり、かつその映像品質も確保できる。
【０１７７】
この実施の形態において説明した各ブロックの動作は、ソフトウエアで実現されてもよいし、ハードウエアのユニットで実現されてもよい。また、それぞれのブロックは、あるブロックの動作がソフトウエア、あるブロックがハードウエアのユニットで実現されてもよい。また、それぞれのブロックの動作が、ハードウエアのユニットとソフトウエアの組み合わせで実現されてもよい。
【０１７８】
（実施の形態２）
以下、図面に基づいて本発明の実施の形態２について説明する。
【０１７９】
図７は、本実施の形態のサーバー１の遠隔表示機能と遠隔操作機能を説明する機能ブロック図である。
【０１８０】
図８は、本実施の形態のクライアント２１の遠隔表示機能と遠隔操作機能を説明する機能ブロック図である。
【０１８１】
図９は、サーバー１の遠隔表示動作をさらに詳細に説明する機能ブロック図である。
【０１８２】
図１０は、音付き動画データ送出処理ブロックを詳細に説明する機能ブロック図である。
【０１８３】
図１１は、クライアント２１の遠隔表示動作を説明する機能ブロック図である。
【０１８４】
すでに説明した要素と同一機能の要素には同じ符号を付けて説明を省略する。
【０１８５】
この実施の形態は、図１の動画データ生成部１０または図１の第３次記憶部５から得られる各種の動画データの処理に関する。
【０１８６】
具体的には、動画の圧縮方法やそのデータ形式が既知の場合についての、動画データの処理に関する。
【０１８７】
図７において、共通形式映像・音データ変換ブロック３４ｘは、複数の解読モジュールを含む。変換ブロック３４ｘは、アプリケーションソフトウエア３１から出力されるそれぞれのアプリケーションソフトウエア独自の独自形式音付き動画データ３３に適した解読モジュールを選択する。この選択されたモジュールは、動画データ３３を解読して、それぞれのアプリケーションソフト毎に定められた元の形式の音と動画データを得る。
【０１８８】
この詳細を以下に説明する。
【０１８９】
図７では、この変換ブロック３４ｘは、さらに、分岐モジュール３４ｘｄを含んでいる。
【０１９０】
先に、図２、図４を用いて、動画の圧縮方法およびその形式などがアプリケーション毎に異なり、かつその内容が開示されてない場合が説明されている。
【０１９１】
この場合は、そのアプリケーション毎に対応した、開示されない解読と変換モジュールが、そのアプリケーションソフト開発機関又は販売機関より提供を受けて変換ブロック３４に含められる。
【０１９２】
一方、あらかじめその圧縮方法、音と映像が同期する方法等その内容が開示されたアプリケーションソフトが存在する。また、図１の動画データ生成部１０のような、専用の動画データ生成部を有して、その圧縮方法と同期方法が明白な動画データも存在する。この場合も、上述のような解読モジュールが、変換ブロック３４ｘに含まれてもよい。
【０１９３】
この実施の形態では、図２、図４において説明した構成より、より簡易な構成を提供する。
【０１９４】
つまり、図２、図４の場合においては、共通形式映像・音データ変換ブロック３４ｘ内の各解読・変換モジュールが、圧縮されたデータを復号し、再度、音付き動画データ送出処理ブロック５２で圧縮し直す。しかし、圧縮方法とそのデータ構造が明白であるならば、復号して、再度、圧縮する必要は無く、復号処理を省略することで、より高速で、より簡易な処理がなされる。
【０１９５】
このように、あらかじめ復号方法がわかっている場合は、図２、図４のように共通形式の音・映像データに一旦変換し、その後圧縮してクライアントへ送り、クライアントで復号する必要はない。
【０１９６】
図７の構成においては、そのままのデータがクライアントに送られ、クライアントで復号される。
【０１９７】
分岐モジュール３４ｘｄは、独自形式音付き動画データ３３の中から音付き動画データを抽出し、さらに、図２の映像・音分配ブロック５１と同等の機能を持ち、動画領域データ６２を生成させる。
【０１９８】
この動作を以下に説明する。
【０１９９】
アプリケーションソフトウエア３１は、それぞれのアプリケーション独自の形式の音付き動画データ３３を、共通形式映像・音データ変換ブロック３４ｘに出力する。
【０２００】
変換ブロック３４ｘは、分岐モジュール３４ｘｄを含む。分岐モジュール３４ｘｄは、動画領域データ６２と音付き動画圧縮データ６３とを出力する。
【０２０１】
分岐モジュール３４ｘｄにおいて、動画領域データ６２を生成する方法は、図２の映像・音分配ブロック５１で説明した方法と同様の方法で生成できる。
【０２０２】
動画領域データ６２は、映像・音データ変換ブロック４１に出力される。
【０２０３】
音付き動画データは、音付き動画圧縮データ６３として映像・音分配ブロック５１に送られる。今、このデータ６３の復元方法が予めわかっている。そのとき、音付き動画圧縮データ６３は、映像・音分配ブロック５１、映像・音同期ブロック５２ａ、圧縮ブロック５２ｂで処理されず、多重化ブロック５２ｃにそのまま入力される。多重化ブロック５２ｃは、データ６３より、音付き動画圧縮ストリームデータ５５を得る。
【０２０４】
その他の動作は図２と同様で、これで、遠隔制御ブロック４３を介して、操作関連表示・音データ５６と音付き動画圧縮ストリームデータ５５が、サーバー１からクライアント２１に、それぞれ送出される。
【０２０５】
図８で、クライアント２１の動作の説明をする。
【０２０６】
ここで、音付き動画データ再生処理ブロック５９ｘは、多重分離ブロック５９ｘａ、専用復号ブロック５９ｘｂと映像再生ブロック５９ｘｃを含む。
【０２０７】
前述のように、今、データの復号方法があらかじめ分かっている。したがって、図３の復号ブロック５９ｂが、専用復号ブロック５９ｘｂに置き変えられる。
【０２０８】
専用復号ブロック５９ｘｂは、同期データ付き音・映像データ６１を出力する。
【０２０９】
映像再生ブロック５９ｘｃは、この同期データに基づいて、動画関連ＹＵＶ形式映像データ５０と、それに関連した動画関連ＰＣＭ形式音データ４９との同期を取りながら、それぞれを、表示部２３と音出力部２６に出力する。
【０２１０】
こうして、音付き動画がクライアント２１で再生される。
【０２１１】
なお、上述の方法では、サーバー１において、データ６３は、図７における映像・音分配ブロック５１、映像・音同期ブロック５２ａ、圧縮ブロック５２ｂを素通りさせられる。その代わりに、ブロック５２ａ、ブロック５２ｂが除かれて、専用の多重化ブロック５２ｃが設けられ、その出力が遠隔制御ブロック４３に入力されてもよい。
【０２１２】
または、次のような方法が用いられてもよい。
１）音付き動画圧縮データ６３の先頭にあらかじめ定めたフラグがつけられる。
２）映像・音分配ブロック５１、映像・音同期ブロック５２ａ、圧縮ブロック５２ｂでの処理の最初にこのフラグが検出される。
３）このフラグが検出されると、その後の処理は飛ばされ、そのフラグを含むデータがそのブロックの出力データとされる。
【０２１３】
また、次のようにして、音付き動画データ再生処理ブロック５９ｘが、図２のサーバーの音付き動画データ送出処理ブロック５２と共用されてもよい。
１）復号ブロック５９ｂと専用復号ブロック５９ｘｂとが並列に配置される。
２）上記のフラグを検出する処理が、多重分離ブロック５９ｘａに追加される。
３）このフラグが検出されると、データは、専用復号ブロック５９ｘｂに出力される。このフラグが検出されないと、データが、復号ブロック５９ｂに出力される。
【０２１４】
さらに、あらかじめ解っている復号方法が複数存在する場合、たとえば図１の第３次記憶部５に記憶される各種メディアごと、またはメディアは同じでも複数の形式が存在する場合、およびこれらの形式を、動画データ生成部１０が扱える場合は、下記のような方法が用いられてもよい。
１）上述のようなフラグが複数用意される。
２）映像・音同期ブロック５２ａ、圧縮ブロック５２ｂにおいて、データにこの複数のフラグが検出されれば、そのデータは、そのブロックをスキップして処理される。
３）さらに、処理ブロック５９ｘは、複数の復号ブロックを有する。
４）複数のフラグから、どの復号ブロックを選択するかを決める処理をするブロックが、多重分離ブロック５９ｘａの後に追加される。
【０２１５】
図９から図１１は図７、図８をさらに具体的に説明する。
【０２１６】
図９は、共通形式映像・音データ変換ブロック３４ｘを中心にサーバー１を、さらに詳細に説明する。
【０２１７】
図１０は、音付き動画データ専用再生処理ブロックを詳細に説明する。
【０２１８】
図１１はクライアント２１を詳細に説明する。
【０２１９】
図９を用いて、テレビチューナーが受信したアナログ動画デーダを下記の場合について説明する。
【０２２０】
図１の動画データ生成部１０が、アナログ動画デーダをデジタル動画データに変換する。このデジタル動画データが、あらかじめ所定の圧縮方法で圧縮されて、テレビ受像機（ＴＶ）で受信された映像の動画圧縮データ（以下、ＴＶ形式圧縮データと呼ぶ）とされている。
【０２２１】
このデータは、アプリケーションソフトに制御されて、分岐モジュール３４ｘｄに渡される。
【０２２２】
分岐モジュール３４ｘｄは、ＴＶ形式圧縮音データ６３ａとＴＶ形式圧縮映像データ６３ｂとを得る。これらのデータは、再生時には映像と音とが同期して再生できるように同期用のデータ処理などをすでに施されているとする。このデータは、図７を用いて説明したように、映像・音分配ブロック５１を素通りし、音付き動画データ送出処理ブロック５２に入力される。分岐モジュール３４ｘｄは、図２と図７を用いて説明したようなＲＧＢ形式動画領域データ６２も出力する。
【０２２３】
図９に示される、各ブロック４１ｙ、４１ｙａ、４１ｙｂと４３ｙは、図４における各ブロック４１、４１ａ、４１ｂと４３と、それぞれ、同じ処理をする。
【０２２４】
図１０は、音付き動画データ専用送出処理ブロック５２を説明する。
【０２２５】
図１０において、図７を用いて説明したように、ＴＶ形式圧縮音データ６３ａとＴＶ形式圧縮映像データ６３ｂは、映像・音同期ブロック５２ａと圧縮ブロック５２ｂとを素通りして多重化ブロック５２ｃに入力される。
【０２２６】
図１１のクライアント２１において、多重分離ブロック５９ｘａは、ＴＶ形式圧縮音データ６０ａとＴＶ形式圧縮映像データ６０ｂとを得る。音データ６０ａと映像データ６０ｂは、それぞれ図９のデータ６３ａ、６３ｂと同じデータである。
【０２２７】
ＴＶ専用復号ブロック５９ｘｂは、あらかじめ決められた復号方法で同期データ付き動画関連ＰＣＭ形式音データ６１ａと、同期データ付き動画関連ＹＵＶ形式映像データ６１ｂとを得る。これにより、サーバー側で、テレビ・チューナーが受信した音付き動画データが、クライアント側で再生される。
【０２２８】
以上のように、あらかじめその圧縮方法と、音と映像が同期する方法等、とそのデータ構造が開示された音付き動画データの場合には、以上に図７〜図１１を用いて説明されるような、より簡単な方法が適用され得る。
【０２２９】
すなわち、上述の方法は、実施の形態１で説明される方法より、より簡単である。
【０２３０】
また、前述のように、図２と図４の共通形式映像・音データ変換ブロック３４に、分岐モジュール３４ｘｄが新たに追加されると、次のような処理が可能になる。
【０２３１】
各種広域通信網、あるいは第３次記憶部で使用される各種メディア、システム専用の動画生成部によりテレビ受信などの放送媒体から、得られる各種動画データが高速に、かつ簡単に扱うことが可能になる。この方法は、処理能力が低いサーバーで、これらのデータを処理できるようにする。
【０２３２】
また、本発明は、動画データの形式が公開・非公開にかかわらず適用できる。そのため、その仕組の統一性が保たれ動画データを扱うソウトウエアの開発がし易くなる。あるいはシステムのトラブル時のメンテナンスがし易い。
【０２３３】
また、圧縮又は加工されない元のデータ（たとえば音楽データ）などの取り扱いについても、以下のようにして、本発明の仕組みが利用できる。
【０２３４】
すなわち、圧縮又は加工されない元のデータが、そのままサーバーからクライアントに送出される。さらにクライアントは、その圧縮データを解凍しない。
【０２３５】
なお、上述した各実施の形態では、サーバーに対しクライアントは１台の場合を例示したが、１台のサーバーに対してクライアントは複数とされてもよい。また、サーバーはアプリケーションソフトウエアを複数有することができる。したがって、複数のクライアントが、サーバーの複数のアプリケーションソフトウエアを、個別に制御することができる。
【０２３６】
さらに、ここでは無線遠隔操作システムについて説明したが、無線で実現できれば、無線に比べて伝送帯域幅が広い有線において、この技術を適用できることは明らかである。
【０２３７】
以上の実施の形態１と２で説明したそれぞれのブロックの動作は、ソフトウエアで実現されてもよいし、ハードウエアのユニットで実現されてもよい。また、実施の形態１と２で説明したそれぞれのブロックの動作は、あるブロックがソフトウエア、あるブロックがハードウエアのユニットで実現されてもよい。また、それぞれのブロックの動作が、ハードウエアのユニットとソフトウエアの組み合わせで実現されてもよい。
【０２３８】
【発明の効果】
本発明によれば、本発明の無線遠隔操作システムによれば、音付き動画データについては、背景データ・操作関連音データとの分離および伝送形式の特定化がなされる。こうして、伝送データ量が抑えられ、伝送帯域幅への負担を軽減される。したがって、クライアント側は、スムーズな描画が実行される。
【０２３９】
さらに、音付き動画データにおいて、クライアントへの伝送前に音データと画像データの同期を取るための、同期スタンプがデータに挿入される。このことで、クライアント側で動画再生を行う際、同期スタンプを参照して、同期をとって、データが再生される。このことで、音と画像の同期ズレが防止される。
【０２４０】
以上のように、本発明は、サーバーからの音付き動画をクライアントでスムーズにかつ映像と音とが同期して再生できる無線遠隔操作システムを得ることができる。
【図面の簡単な説明】
【図１】本発明の無線遠隔操作システムにおけるサーバーおよびクライアントのハードウエア構成図
【図２】本発明の実施の形態１の無線遠隔操作システムにおけるサーバーの遠隔表示機能と遠隔操作機能を説明する機能ブロック図
【図３】本発明の実施の形態１のクライアントの遠隔表示機能と遠隔操作機能を説明する機能ブロック図
【図４】本発明の実施の形態１における無線遠隔操作システムにおけるサーバーの遠隔表示動作を説明する機能ブロック図
【図５】本発明の実施の形態１における音付き動画データ送出ブロックをさらに詳細に説明する機能ブロック図
【図６】本発明の実施の形態１におけるクライアントの遠隔表示機能と遠隔操作機能をさらに詳細に説明する機能ブロック図
【図７】本発明の実施の形態２における無線遠隔操作システムにおけるサーバーの遠隔表示機能と遠隔操作機能を説明する機能ブロック図
【図８】本発明の実施の形態２におけるクライアントの遠隔表示機能と遠隔操作機能を説明する機能ブロック図
【図９】本発明の実施の形態２におけるサーバーの遠隔表示動作をさらに詳細に説明する機能ブロック図
【図１０】本発明の実施の形態２における音付き動画データ送出処理ブロックを詳細に説明する機能ブロック図
【図１１】本発明の実施の形態２におけるクライアント遠隔表示動作を説明する機能ブロック図
【図１２】従来の無線遠隔操作システムのサーバーおよびクライアントのハードウエア構成を説明する機能ブロック図
【図１３】従来の無線遠隔システムにおけるサーバー単独での表示動作を説明する機能ブロック図
【図１４】従来の無線遠隔システムにおけるリモート表示動作を説明する機能ブロック図
【図１５】従来の無線遠隔システムにおけるサーバーのさらに詳しい動作を説明する機能ブロック図
【図１６】従来の無線遠隔システムにおけるクライアントのさらに詳しい動作を説明する機能ブロック図
【符号の説明】
１ サーバー
２ 中央演算処理部
３ 第１次記憶部
４ 第２次記憶部
５ 第３次記憶部
６ 表示部
７ 通信部
８ 無線部
９ 入力制御部
１０ 動画データ生成部
１１ 音出力部
１２ 電源供給部
１３ 電源スイッチ
１４ バス
２１ クライアント
２２ 中央演算処理部
２３ 表示部
２３ａ 表示画面
２３ｂ 操作関連バックグラウンド画面
２３ｃ 動画画面
２４ 無線部
２５ 入力制御部
２６ 音出力部
２６ａ 出力音
２６ｂ 操作関連音
２６ｃ 動画関連音
２７ 電源供給部
２８ 電源スイッチ
２９ バス
３１ アプリケーションソフトウエア
３２ 操作関連音・表示データ
３３ 独自形式音付き動画データ
３４ 共通形式映像・音データ変換ブロック
３４ａ 音付き映像データ分離ブロック
３４ｂ 共通形式音データ変換ブロック
３４ｃ 共通形式映像データ変換ブロック
３４ｘ 共通形式映像・音データ変換ブロック
３４ｘｄ 分岐モジュール
３５ 形式音データ
３６ 形式映像データ
３７ 共通形式映像・音データ
３７ａ ＰＣＭ形式音データ
３７ｂ ＹＵＶ形式映像データ
４１ 映像・音データ変換ブロック
４１ａ 音データ変換ブロック
４１ｂ 映像データ変換ブロック
４１ｙ 映像・音データ変換ブロック
４１ｙａ 音データ変換ブロック
４１ｙｂ 映像データ変換ブロック
４３ 遠隔制御ブロック
４３ｙ 遠隔制御ブロック
４４ 形式制御信号
４５ 遠隔制御ブロック
４５ｘ 遠隔表示・操作機能ブロック
４９ 動画関連ＰＣＭ形式音データ
５０ 動画関連映像データ
５１ 映像・音分配ブロック
５１ａ 音分配ブロック
５１ｂ 映像分配ブロック
５２ 音付き動画データ送出処理ブロック
５２ａ 映像・音同期ブロック
５２ｂ 圧縮ブロック
５２ｃ 多重化ブロック
５３ 音付き映像データ
５３ａ 動画関連ＰＣＭ形式音データ
５３ｂ 動画関連ＹＵＶ形式映像データ
５４ ＲＧＢ形式動画領域データ
５５ 音付き動画圧縮ストリームデータ
５６ 操作関連表示・音データ
５６ａ 操作関連ＰＣＭ形式音データ
５６ｂ 操作関連ＲＧＢ形式映像データ
５７ 同期データ付き音・映像データ
５７ａ 同期データ付き動画関連ＰＣＭ形式音データ
５７ｂ 同期データ付き動画関連ＹＵＶ形式映像データ
５８ 圧縮音・映像データ
５８ａ 圧縮音データ
５８ｂ 圧縮映像データ
５９ 音付き動画データ再生処理ブロック
５９ａ 多重分離ブロック
５９ｂ 復号ブロック
５９ｃ 映像再生ブロック
５９ｘ 音付き動画データ再生処理ブロック
５９ｘａ 多重分離ブロック
５９ｘｂ 専用復号ブロック
５９ｘｃ 映像再生ブロック
６０ 圧縮音・映像データ
６０ａ データ
６０ｂ データ
６１ 同期データ付き音・映像データ
６１ａ 動画関連ＰＣＭ形式音データ
６１ｂ 同期データ付き動画関連ＹＵＶ形式映像データ
６２ 動画領域データ
６３ 音付き動画圧縮データ
６３ａ ＴＶ形式圧縮音データ
６３ｂ ＴＶ形式圧縮映像データ
Claims (10)
- 遠隔操作システムであって、
アプリケーションソフトウエアを取り扱うサーバーであって、
前記アプリケーションソフトウエアから供給される前記アプリケーションソフトウエアの独自形式を有する音付き動画データを、前記システム内で共通の共通形式映像・音データに変換する共通形式映像・音データ変換部と、
前記共通形式映像・音データを受信して、前記音付き映像データの動画に相当する部分を所定のデータとした動画領域データと、音付き映像データとを出力する映像・音分配部と、
前記音付き映像データを受信して、音と映像を同期させるための同期データを加え、圧縮して、データストリームにして出力する音付き動画データ送出処理部と、
前記アプリケーションソフトウエアから供給される操作関連音・表示データに前記動画領域データを加えて、遠隔操作用操作関連表示・音データを得る映像・音データ変換部と、
前記遠隔操作用操作関連表示・音データと前記データストリームとを受信して、出力する第１の遠隔制御部と
を含むサーバーと、
前記サーバーから、前記遠隔操作用操作関連表示・音データと前記データストリームとを受信して、遠隔操作用の映像と音声を再生し、前記遠隔操作用の映像と音声に関連した操作に応じて、前記アプリケーションソフトウエアを制御するクライアントと
を含む
遠隔操作システム。 - 請求項１記載の遠隔操作システムであって、
前記クライアントは、前記第１の遠隔制御部からのデータを受け取って、前記遠隔操作用操作関連表示・音データと前記データストリームとを出力する第２の遠隔制御部と、
前記データストリームを受け取って、復号して、映像と音声の同期をとって出力する音付き動画データ再生処理部と
を含む
遠隔操作システム。 - 請求項１記載の遠隔操作システムであって、
前記音付き動画データ送出処理部は、
前記映像のデータと前記音のデータを、それぞれ所定の単位毎に分割されたデータにして、前記それぞれ所定単位毎のデータの間に、前記映像と前記音を同期させるための数値データが挿入された、同期データ付き音データと同期データ付き映像データとを得る映像・音同期部と、
前記同期データ付き音データと前記同期データ付き映像データとを、それぞれ圧縮して、圧縮音データと圧縮映像データとを出力する圧縮部と、
前記圧縮音データと前記圧縮映像データとを、所定の単位ごとに、前記データストリームに含めて出力する多重化部と
を含む
遠隔操作システム。 - 請求項２記載の遠隔操作システムであって、
前記音付き動画データ送出処理部は、
前記映像のデータと前記音のデータを、それぞれ所定の単位毎に分割されたデータにして、前記それぞれ所定単位毎のデータの間に、前記映像と前記音を同期させるための数値データが挿入された、同期データ付き音データと同期データ付き映像データとを得る映像・音同期部と、
前記同期データ付き音データと前記同期データ付き映像データとを、それぞれ圧縮して、圧縮音データと圧縮映像データとを出力する圧縮部と、
前記圧縮音データと前記圧縮映像データとを、所定の単位ごとに、前記データストリームに含めて出力する多重化部と
を含む
遠隔操作システム。 - 請求項３記載の遠隔操作システムであって、
前記音付き動画データ再生処理部は、
前記第２の遠隔制御部から前記データストリームを受けとって、前記圧縮音データと前記圧縮映像データとに分離する多重分離部と、
前記圧縮音データと前記圧縮映像データを受けとって、それぞれを、前記同期データ付き音データと前記同期データ付き映像データに復号する復号部と、
前記同期データ付き音データと前記同期データ付き映像データに含まれる音データと動画データとを同期させて再生する映像・音再生部と
を含む
遠隔操作システム。 - 請求項５に記載の遠隔操作システムであって、
前記共通形式映像・音データ変換部は、分岐モジュールを含み、
前記独自形式音付き動画データが予め定められた圧縮方法にしたがう場合に、
前記分岐モジュールは、前記独自形式音付き動画データを音付き動画圧縮データとして、前記多重化部へ出力し、前記動画領域データを前記映像・音データ変換部に出力し、
前記多重化部は、前記データストリームを出力し、
前記復号部は、前記予め定められた圧縮方法に応じた復号方法により、前記音付き動画圧縮データを復号する
遠隔操作システム。 - 請求項１記載の遠隔操作システムであって、
前記音付き動画データ送出処理部における前記映像データの圧縮形式は
ＭＰＥＧである
遠隔操作システム。 - 請求項２記載の遠隔操作システムであって、
前記音付き動画データ送出処理部における前記映像データの圧縮形式は
ＭＰＥＧである
遠隔操作システム。 - 請求項３記載の遠隔操作システムであって、
前記圧縮部における前記映像データの圧縮形式はＭＰＥＧである
遠隔操作システム。 - 請求項４記載の遠隔操作システムであって、
前記圧縮部における前記映像データの圧縮形式はＭＰＥＧである
遠隔操作システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003152525A JP2004056777A (ja) | 2002-05-30 | 2003-05-29 | 無線遠隔操作システム |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002156886 | 2002-05-30 | ||
| JP2003152525A JP2004056777A (ja) | 2002-05-30 | 2003-05-29 | 無線遠隔操作システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004056777A true JP2004056777A (ja) | 2004-02-19 |
Family
ID=31949063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003152525A Pending JP2004056777A (ja) | 2002-05-30 | 2003-05-29 | 無線遠隔操作システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004056777A (ja) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006108750A1 (de) | 2005-04-12 | 2006-10-19 | Siemens Aktiengesellschaft | Verfahren zum synchronisieren von inhaltsbezogenen datensegmenten von dateien |
| JP2007311957A (ja) * | 2006-05-17 | 2007-11-29 | Hitachi Ltd | シンクライアントシステム |
| JP2008153886A (ja) * | 2006-12-15 | 2008-07-03 | Fujitsu Ltd | 複合コンテンツファイルの編集方法および装置並びに再生装置 |
| JP2009504002A (ja) * | 2005-07-26 | 2009-01-29 | アイシーティーブイ， インコーポレイテッド | ソース画像と関連付けられた映像コンテンツを通信ネットワーク内のテレビに提供するためのシステムおよび方法 |
| JP2011507401A (ja) * | 2007-12-14 | 2011-03-03 | マイクロソフト コーポレーション | 変化するビジュアルコンテンツの通信 |
| WO2011152389A1 (ja) * | 2010-06-04 | 2011-12-08 | 日本電気株式会社 | 通信システムと方法と装置 |
| US9021541B2 (en) | 2010-10-14 | 2015-04-28 | Activevideo Networks, Inc. | Streaming digital video between video devices using a cable television system |
| US9042454B2 (en) | 2007-01-12 | 2015-05-26 | Activevideo Networks, Inc. | Interactive encoded content system including object models for viewing on a remote device |
| US9123084B2 (en) | 2012-04-12 | 2015-09-01 | Activevideo Networks, Inc. | Graphical application integration with MPEG objects |
| US9204203B2 (en) | 2011-04-07 | 2015-12-01 | Activevideo Networks, Inc. | Reduction of latency in video distribution networks using adaptive bit rates |
| US9219922B2 (en) | 2013-06-06 | 2015-12-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
| US9294785B2 (en) | 2013-06-06 | 2016-03-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
| US9326047B2 (en) | 2013-06-06 | 2016-04-26 | Activevideo Networks, Inc. | Overlay rendering of user interface onto source video |
| US9788029B2 (en) | 2014-04-25 | 2017-10-10 | Activevideo Networks, Inc. | Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks |
| US9800945B2 (en) | 2012-04-03 | 2017-10-24 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
| US9826197B2 (en) | 2007-01-12 | 2017-11-21 | Activevideo Networks, Inc. | Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device |
| US10275128B2 (en) | 2013-03-15 | 2019-04-30 | Activevideo Networks, Inc. | Multiple-mode system and method for providing user selectable video content |
| US10409445B2 (en) | 2012-01-09 | 2019-09-10 | Activevideo Networks, Inc. | Rendering of an interactive lean-backward user interface on a television |
| JP2021053181A (ja) * | 2019-09-30 | 2021-04-08 | 株式会社コロプラ | プログラム、方法、および視聴端末 |
-
2003
- 2003-05-29 JP JP2003152525A patent/JP2004056777A/ja active Pending
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8605794B2 (en) | 2005-04-12 | 2013-12-10 | Siemens Aktiengesellschaft | Method for synchronizing content-dependent data segments of files |
| WO2006108750A1 (de) | 2005-04-12 | 2006-10-19 | Siemens Aktiengesellschaft | Verfahren zum synchronisieren von inhaltsbezogenen datensegmenten von dateien |
| JP2009504002A (ja) * | 2005-07-26 | 2009-01-29 | アイシーティーブイ， インコーポレイテッド | ソース画像と関連付けられた映像コンテンツを通信ネットワーク内のテレビに提供するためのシステムおよび方法 |
| US9077860B2 (en) | 2005-07-26 | 2015-07-07 | Activevideo Networks, Inc. | System and method for providing video content associated with a source image to a television in a communication network |
| JP2012080593A (ja) * | 2005-07-26 | 2012-04-19 | Activevideo Networks Inc | ソース画像と関連付けられた映像コンテンツを通信ネットワーク内のテレビに提供するためのシステムおよび方法 |
| JP2007311957A (ja) * | 2006-05-17 | 2007-11-29 | Hitachi Ltd | シンクライアントシステム |
| JP4577267B2 (ja) * | 2006-05-17 | 2010-11-10 | 株式会社日立製作所 | シンクライアントシステム |
| US7882172B2 (en) | 2006-05-17 | 2011-02-01 | Hitachi, Ltd. | Thin client system |
| JP2008153886A (ja) * | 2006-12-15 | 2008-07-03 | Fujitsu Ltd | 複合コンテンツファイルの編集方法および装置並びに再生装置 |
| US9355681B2 (en) | 2007-01-12 | 2016-05-31 | Activevideo Networks, Inc. | MPEG objects and systems and methods for using MPEG objects |
| US9826197B2 (en) | 2007-01-12 | 2017-11-21 | Activevideo Networks, Inc. | Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device |
| US9042454B2 (en) | 2007-01-12 | 2015-05-26 | Activevideo Networks, Inc. | Interactive encoded content system including object models for viewing on a remote device |
| KR101560850B1 (ko) * | 2007-12-14 | 2015-10-15 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 변화하는 비주얼 컨텐트 통신 |
| US8890874B2 (en) | 2007-12-14 | 2014-11-18 | Microsoft Corporation | Changing visual content communication |
| JP2011507401A (ja) * | 2007-12-14 | 2011-03-03 | マイクロソフト コーポレーション | 変化するビジュアルコンテンツの通信 |
| US9082337B2 (en) | 2007-12-14 | 2015-07-14 | Microsoft Technology Licensing, Llc | Changing visual content communication |
| US9330634B2 (en) | 2007-12-14 | 2016-05-03 | Microsoft Technology Licensing, Llc | Changing visual content communication |
| JP5617920B2 (ja) * | 2010-06-04 | 2014-11-05 | 日本電気株式会社 | 通信システムと方法と装置 |
| US9245528B2 (en) | 2010-06-04 | 2016-01-26 | Nec Corporation | Communication system, method, and apparatus |
| WO2011152389A1 (ja) * | 2010-06-04 | 2011-12-08 | 日本電気株式会社 | 通信システムと方法と装置 |
| US9021541B2 (en) | 2010-10-14 | 2015-04-28 | Activevideo Networks, Inc. | Streaming digital video between video devices using a cable television system |
| US9204203B2 (en) | 2011-04-07 | 2015-12-01 | Activevideo Networks, Inc. | Reduction of latency in video distribution networks using adaptive bit rates |
| US10409445B2 (en) | 2012-01-09 | 2019-09-10 | Activevideo Networks, Inc. | Rendering of an interactive lean-backward user interface on a television |
| US10757481B2 (en) | 2012-04-03 | 2020-08-25 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
| US10506298B2 (en) | 2012-04-03 | 2019-12-10 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
| US9800945B2 (en) | 2012-04-03 | 2017-10-24 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
| US9123084B2 (en) | 2012-04-12 | 2015-09-01 | Activevideo Networks, Inc. | Graphical application integration with MPEG objects |
| US11073969B2 (en) | 2013-03-15 | 2021-07-27 | Activevideo Networks, Inc. | Multiple-mode system and method for providing user selectable video content |
| US10275128B2 (en) | 2013-03-15 | 2019-04-30 | Activevideo Networks, Inc. | Multiple-mode system and method for providing user selectable video content |
| US9326047B2 (en) | 2013-06-06 | 2016-04-26 | Activevideo Networks, Inc. | Overlay rendering of user interface onto source video |
| US10200744B2 (en) | 2013-06-06 | 2019-02-05 | Activevideo Networks, Inc. | Overlay rendering of user interface onto source video |
| US9294785B2 (en) | 2013-06-06 | 2016-03-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
| US9219922B2 (en) | 2013-06-06 | 2015-12-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
| US9788029B2 (en) | 2014-04-25 | 2017-10-10 | Activevideo Networks, Inc. | Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks |
| JP2021053181A (ja) * | 2019-09-30 | 2021-04-08 | 株式会社コロプラ | プログラム、方法、および視聴端末 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004056777A (ja) | 無線遠隔操作システム | |
| JP3357011B2 (ja) | ネットワークを通した情報伝送装置及び方法 | |
| EP1956848A2 (en) | Image information transmission system, image information transmitting apparatus, image information receiving apparatus, image information transmission method, image information transmitting method, and image information receiving method | |
| JP5162845B2 (ja) | 伝送方法、伝送システム、送信方法、送信装置、受信方法及び受信装置 | |
| EP2088775A1 (en) | Video output apparatus, display system, and video output method for outputting video signal to display apparatus | |
| JPH09162821A (ja) | 多重放送システムとこのシステムで使用される放送送信装置および放送受信装置 | |
| JP2000308015A (ja) | 複数のオーディオ・ストリームをマージするためのシステムおよび方法 | |
| JP3544152B2 (ja) | 画像表示装置および制御装置 | |
| JP4362734B2 (ja) | 同期再生システム | |
| US7256837B2 (en) | Baseband video transmission system | |
| JP2000138877A (ja) | デジタル放送送信装置および受信装置 | |
| US7558462B2 (en) | Reproduction device and content information reproduction method | |
| JP2003169227A (ja) | デジタル放送システム、デジタル放送編成装置及びその編成方法 | |
| US7245665B2 (en) | Wireless remote operation system | |
| JP2006217662A (ja) | ディジタル放送受信装置 | |
| JP3882208B2 (ja) | 送信装置および受信装置 | |
| JP2007311929A (ja) | 映像送出装置、映像送出方法、映像受信装置及び映像受信方法 | |
| JP2021108441A (ja) | 放送サービス通信ネットワーク配信装置および方法 | |
| JP2006019997A (ja) | 動画データ転送システム | |
| JP2001148816A (ja) | 合成画面放送装置および受信装置 | |
| JPH0946305A (ja) | Ｉｓｄｂ用送信装置およびその受信装置 | |
| JP4210997B2 (ja) | デジタル放送受信装置 | |
| WO1997016020A1 (en) | System for dynamic real-time television channel expansion | |
| JP4374957B2 (ja) | オーディオ／ビデオデジタルデコーダの制御方法 | |
| JP5361526B2 (ja) | 映像表示装置およびその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051222 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060112 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081209 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090407 |