JP4560897B2 - 通信装置、通信方法及び媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、
送受信されたデータに応じた例えば課金を行う送受信システムを構成する送信装置及びその方法、並びに媒体に関する。
【０００２】
【従来の技術】
例えば、データ提供者と、そのデータ提供者より提供されるデータを利用する利用者とからなるようなデータ提供サービスなどにおいて、その提供したデータの利用料を利用者から徴収する場合の課金形態には、例えば、提供されたデータ量に応じた従量制の課金や、データ量によらない定額制の課金などがある。
【０００３】
【発明が解決しようとする課題】
ところで、上述のようなデータ提供サービスを利用する利用者の要求には種々あり、その一例として、利用料が高価であってたとしても高品質なデータを要求するような場合や、ある程度品質を犠牲にしても安価なデータを要求するような場合など、様々な態様がある。
【０００４】
一方、データ提供者側における要望にも種々あり、その一例として、あるデータを生成或いは提供する際に、データ処理のために高度なアルゴリズム（処理手法）を用いた場合と、比較的簡単なアルゴリズムを用いた場合とで、その利用したアルゴリズムに応じた課金を行いたいような場合がある。
【０００５】
しかしながら、従来のデータ提供サービスの課金形態は、データの品質やデータ生成或いは提供時のアルゴリズム等にかかわらず、従量制或いは定額制の課金形態となされているため、利用者の要求に十分答えられていない（すなわち、利用者側からみて、自己が受けるメリットに応じた課金がなされているとは言い難い）ばかりか、データ提供者にとっても満足できる課金を行えていないのが実情である。
【０００６】
なお、特開平１０−１６４５５２号公報には、例えば視聴者の希望する画質に対応した映像番組を供給可能にすると共に、その希望した画質に応じた課金を行うビデオオンデマンド送信装置及び端末装置が開示されている。また、この公報記載の技術では、供給された映像番組の画質を決定する処理手法として、ＭＰＥＧ１、ＭＰＥＧ２のような同種のアルゴリズムを用いており、それらＭＰＥＧ１、ＭＰＥＧ２の何れかを用いて圧縮された映像番組を供給したかによって、課金額が変えられている。
【０００７】
そこで、本発明はこのような状況に鑑みてなされたものであり、利用者の様々な要求に応じたデータ提供及び課金（すなわち利用者が受けるメリットに応じた課金）を可能にすると共に、データ提供者にとってもより実情に即した満足できる課金を実現可能とする送信装置及び方法、媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る通信装置は、少なくともアプリケーション層とハードウェア制御層に対して所望のメソッドを指示可能な指示手段と、上記指示手段により指示されたメソッドを要求する要求信号を送信する要求信号送信手段と、上記要求信号送信手段に応じたメソッドにより処理されたコンテンツデータを受信する受信手段と、上記ハードウェア制御層に関わるメソッドを選択的に実行可能なハードウェア制御手段と、上記指示手段の指示に応じて、上記ハードウェア制御手段が上記指示されたメソッドを実行するように制御する制御手段とを備え、上記ハードウェア制御手段は、実行するプロセスを監視して該プロセスに必要な電力量を計算し、上記受信手段は、上記ハードウェア制御手段が記憶する上記プロセスを監視する時間間隔に応じた利用料金情報に基づいて、利用料金請求のための請求信号を受信する。
【００１０】
さらに、本発明に係る通信方法は、少なくともアプリケーション層とハードウェア制御層に対して所望のメソッドを指示し、上記指示されたメソッドを要求する要求信号を送信し、上記要求信号に応じたメソッドにより処理されたコンテンツデータを受信し、ハードウェア制御手段が上記指示されたメソッドを実行し、実行するプロセスを監視して該プロセスに必要な電力量を計算し、本装置の内部回路への電力供給を制御し、上記ハードウェア制御手段が記憶する上記プロセスを監視する時間間隔に応じた利用料金情報に基づいて、利用料金請求のための請求信号を受信する。
【００１２】
また、本発明は、少なくともアプリケーション層とハードウェア制御層に対して所望のメソッドを指示するステップと、上記指示されたメソッドを要求する要求信号を送信するステップと、上記要求信号に応じたメソッドにより処理されたコンテンツデータを受信するステップと、ハードウェア制御手段が上記指示されたメソッドを実行し、実行するプロセスを監視して該プロセスに必要な電力量を計算し、本装置の内部回路への電力供給を制御するステップと、上記ハードウェア制御手段が記憶する上記プロセスを監視する時間間隔に応じた利用料金情報に基づいて、利用料金請求のための請求信号を受信するステップとを含むプログラムを情報処理装置に実行させる媒体である。
【００４４】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００４５】
図１には、本発明を適用した一実施の形態のデータ送受信システム（なお、システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の概略構成を示す。なお、本発明はこの図１のシステムに限定されないことは言うまでもない。
【００４６】
この図１に一実施の形態として示したデータ送受信システムは、例えば携帯電話やＰＨＳ（Personal Handy-phone System：登録商標）やその他の携帯型端末等からなる少なくとも２台の端末１及び２と、それら端末１又は２との間で電波による信号の送受信を行う無線基地局３又は５と、これら基地局３，５間を結ぶ電話局等の交換局４と、端末１や２へのデータ提供を行ったり端末１と２の間で行われるデータの送受信の橋渡しやその送受信の状況を監視し、それらデータ提供やデータ受信に応じた課金管理等を行う管理センタ１０３とからなるものである。なお、無線基地局３、５は同一又は異なる無線基地局である。この構成により、端末１と２との間では、上記基地局３，５及び交換局４等から構成される伝送路を介して、双方がそれぞれ相手方に信号を送信し、相手方から送信されてきた信号を受信可能となっている。また、本発明において、データの提供やデータ受信に応じて行われる課金（例えば図１の管理センタ１０３を通じて行われる端末１や２へのデータ提供や端末１と２の間でのデータ送受信に応じた課金など）の流れ及びそのためのシステム構成の詳細については後述する。
【００４７】
本実施の形態において、携帯電話やＰＨＳ等からなる端末１及び２は、電話番号や文字、記号等を入力するためのキー部８と、音声を入力するためのマイクロホン１０と、音声を出力するためのスピーカ９と、それぞれ静止画や動画像を撮影可能な撮像素子及び光学系を有するビデオカメラ部６と、文字や記号だけでなく画像をも表示可能な表示部７とを少なくとも備えている。
【００４８】
これら端末１と２との間では、音声信号の送受信だけでなく、ビデオカメラ部６にて撮影した画像データを送受信することも可能となされており、したがって、端末１と２はそれぞれ相手方が撮影した画像を表示部７に表示可能となる。
【００４９】
ここで、本実施の形態では、例えば、端末１が画像データを送信する送信装置となり、当該送信装置（端末１）から送信された画像データの受信装置が端末２となっている場合を一例として説明を行う。また、以下、適宜、端末１または２を、それぞれ送信装置１または受信装置２と記述する。
【００５０】
この場合、送信装置１から送信された画像データは、フレームレートの情報と共に、上記基地局３，５及び交換局４等から構成される伝送路を介して受信装置２に送られる。受信装置２では、送信装置１から送信されてきた画像データを受信し、例えば液晶ディスプレイ等で構成される表示部７に、その受信した画像データに基づく画像を表示する。一方、受信装置２からは、当該表示部７に表示される画像の画質を制御するための制御信号、例えば後述する空間解像度及び時間解像度を制御したり、後述するように異なる種類のアルゴリズムから何れかのアルゴリズムを選択することによる画像の圧縮率を制御するために用いられる制御情報が、伝送路を介して送信装置１に送信される。すなわち、受信装置２からは、この受信装置２のユーザの興味対象領域を送信装置１側において特定する際に用いられる制御情報として、後述するクリックデータや、アルゴリズム選択等に用いられる指示データが、送信装置１に送信される。
【００５１】
送信装置１は、受信装置２からのクリックデータを受信すると、そのクリックデータに基づいて、受信装置２において表示されることになる画像（送信装置１のビデオカメラ６で撮影した画像）の中から当該受信装置２のユーザが注目する画像領域（興味対象領域）を特定し、その特定した画像領域の空間解像度および時間解像度が所定の条件を満たしながら変更されるように、或いは、後述するアルゴリズムの選択に応じて画像を圧縮することにより、上記受信装置２に送信する画像データの情報量を制御する。なお、送信装置１から送信される画像データは、上述のように空間解像度および時間解像度が制御されたり、異なる種類のアルゴリズムから選択されたアルゴリズムによる画像の圧縮率の制御がなされて得られるものであるが、ここでは説明の都合上、上記空間解像度および時間解像度を制御する場合を例に挙げることにする。また、送信装置１及び受信装置２として、例えばＰＨＳ用の端末を用いた場合、上記伝送路は１８９５．１５００〜１９０５．９５００ＭＨｚ帯域の伝送路となり、その伝送レートは１２８ｋｂｐｓ(Bit Per Second)となる。
【００５２】
次に、図２には、図１の送信装置１の構成例を示す。
【００５３】
画像入力部１１は、例えば前記撮像素子及び光学系からなるビデオカメラ部６と当該ビデオカメラ部６により得られた撮像信号から画像データを生成する画像信号処理回路等で構成される。すなわち、この画像入力部１１からは、当該送信装置１のユーザが所望の被写体をビデオカメラ部６で撮影し、さらに画像信号処理回路にて生成された画像データが出力され、その画像データが前処理部１２に送られる。
【００５４】
詳細な構成については後述するが、この前処理部１２は、大別して背景抽出部１３と、オブジェクト抽出部１４と、付加情報算出部１５とで構成される。
【００５５】
この前処理部１２のオブジェクト抽出部１４は、受信装置２から送信されてきたクリックデータに基づいて、画像入力部１１のビデオカメラ部６が撮影した画像の中で、受信装置２のユーザが注目している画像領域（すなわち興味対象領域）を抽出（特定）し、その抽出（特定）した興味対象領域に対応する画像データを送信処理部１６に供給する。なお、画像入力部１１のビデオカメラ部６が撮影した画像の中に、受信装置２のユーザが注目する興味対象領域が複数存在する場合、当該オブジェクト抽出部１４は、それら複数の興味対象領域の画像データを送信処理部１６に供給する。また、オブジェクト抽出部１４で抽出された興味対象領域の画像データは、付加情報算出部１５にも供給される。
【００５６】
ここで本実施の形態では、上記ユーザが注目する興味対象領域として、画像内の物体等のオブジェクトを例に挙げている。なお、本実施の形態で言うオブジェクトとは、画像をある単位毎に分割し、その単位毎に処理することができる領域のことであり、特に、画像内に存在する物体に着目し、その物体毎に処理を行う場合には、この物体をオブジェクトと定義している。本実施の形態では、画像から上記クリックデータに基づいてオブジェクトデータを抽出し、当該オブジェクト単位で処理を行うような例を挙げている。
【００５７】
以下、オブジェクト抽出部１４において、興味対象領域の一例としてオブジェクト（以下、適宜オブジェクト画像と呼ぶ）を抽出する場合を例に挙げて説明することにする。なお、上記興味対象領域は、必ずしもオブジェクトである必要はなく、オブジェクト以外の画像領域やオブジェクト内の画像領域、後述する背景画像部分等であっても良いが、本実施の形態では、興味対象領域としてオブジェクトを例に挙げて説明する。当該オブジェクト抽出部１４において行われるオブジェクト抽出（興味対象領域の特定）処理の詳細についての説明は後述する。
【００５８】
次に、この前処理部１２の背景抽出部１３は、オブジェクト抽出部１４によるオブジェクト抽出結果に基づいて、画像入力部１１により供給された画像データから画像の背景部分（興味対象領域以外の画像領域、以下、背景画像と呼ぶ）に相当する信号（以下、背景画像データと呼ぶ）を抽出し、その抽出した背景画像データを送信処理部１６と付加情報算出部１５に供給する。ここで、本実施の形態では、アクティビティが小さく、画像として特別意味を持たないような平坦な画像領域を背景画像としている。もちろん、背景画像は特別な意味を持たない画像だけでなく、ユーザの興味対象となっていないオブジェクト等も含まれるが、本実施の形態では、説明を簡単にするため、上述のように平坦な画像領域を背景画像として説明している。
【００５９】
付加情報算出部１５は、背景抽出部１３から供給された背景画像データに基づいて、背景の動き（画像の撮影時に、画像入力部１１の撮影方向が動くことによる背景の動き）を表す背景動きベクトルを検出し、また、オブジェクト抽出部１４から供給されたオブジェクトの画像データ（以下、オブジェクト画像データと呼ぶ）に基づいて、オブジェクトの動きを表すオブジェクト動きベクトルを検出し、それら動きベクトルを付加情報の一つとして、送信処理部１６に供給する。また、付加情報算出部１５は、オブジェクト抽出部１４から供給されたオブジェクト画像データに基づいて、画像入力部１１のビデオカメラ部６により撮影された画像（フレーム画像）内におけるオブジェクトの位置や輪郭等のようなオブジェクトに関連する情報も、付加情報として送信処理部１６に供給する。すなわち、オブジェクト抽出部１４は、オブジェクト画像を抽出する際に、そのオブジェクトの位置や輪郭等のオブジェクトに関連する情報も抽出し、付加情報算出部１５に供給するようになっており、付加情報算出部１５は、そのオブジェクトに関連する情報も付加情報として出力するようになっている。
【００６０】
送信処理部１６は、受信装置２から供給されたクリックデータに基づいて、受信装置２において表示されることになる画像の内の前記オブジェクト画像についての空間解像度及び時間解像度を高めつつ、伝送路で伝送可能なデータレートの条件を満たすように、上記オブジェクト抽出部１４からのオブジェクト画像データと、背景抽出部１３からの背景画像データと、付加情報算出部１５からの付加情報を符号化すると共に、それら符号化後のオブジェクト画像データ（以下、オブジェクト符号化データと呼ぶ）、背景画像データ（以下、背景符号化データと呼ぶ）、付加情報（以下、付加情報符号化データと呼ぶ）を多重化し、その多重化データを、フレームレート情報と共に伝送路を介して受信装置２へ送信する。
【００６１】
次に、図３のフローチャートを参照して、図２の送信装置１の処理の概要について説明する。
【００６２】
この図３において、先ずステップＳ１として、送信装置１の画像入力部１１では、前記ビデオカメラ部６により画像の撮影がなされ、その画像データが前処理部１２に送られる。
【００６３】
次に、ステップＳ２として、送信装置１では、受信装置２から送信されてきたクリックデータを受信し、そのクリックデータが前処理部１２に入力する。
【００６４】
上記画像データとクリックデータを受け取った前処理部１２は、ステップＳ３として、前記背景抽出、オブジェクト抽出（興味対象の変化検出も含む）、付加情報算出の前処理を行い、当該前処理にて得られた背景画像データ、オブジェクト画像データ、付加情報を送信部１６に送る。
【００６５】
送信部１６では、ステップＳ４の処理として、伝送路で伝送可能なデータレートの条件を満たすように、オブジェクト画像データと背景画像データ及び付加情報のデータ量を計算し、そのデータ量に応じてそれらオブジェクト画像データと背景画像データ、付加情報を、後述するように符号化して多重化する。その後、当該多重化データをフレームレート情報と共に伝送路を介して受信装置２へ送信する。
【００６６】
これ以後、ステップＳ１に戻り、以下、同様の処理が繰り返される。
【００６７】
次に、図４には、図１の受信装置２の構成例を示す。
【００６８】
前記伝送路を介して、送信装置１から送信されてくる多重化データは、この図４に示す受信装置２の受信処理部２１で受信される。受信処理部２１は、受信した多重化データから、それぞれ背景符号化データ、オブジェクト符号化データ、および付加情報符号化データを分離して復号化し、その復号化により復元された背景画像データ、オブジェクト画像データ、及び付加情報を合成処理部２２に送る。
【００６９】
合成処理部２２は、受信処理部２１から供給された上記復号化後の背景画像データ、オブジェクト画像データ、および付加情報を用いて画像を合成し、その合成された画像の信号を画像出力部２３に供給する。また、合成処理部２２は、クリックデータ入力部２４から供給されるクリックデータに基づき、合成する画像の空間解像度および時間解像度を制御するようになされている。
【００７０】
画像出力部２３は、供給された画像データに基づいて、前記表示部７の例えば液晶ディスプレイ等を駆動するための駆動信号を生成して当該液晶ディスプレイ等に送ることにより、上記合成処理部２２にて合成された画像を表示部７に表示させる。
【００７１】
クリックデータ入力部２４は、上記表示部７上の画像の座標位置を指定するためのポインティングデバイスとしての機能を有する前記キー部８をユーザが操作した時に、そのユーザによるキー部８の操作に応じたクリック位置（座標位置）及びクリック時刻を表すクリックデータを発生する。すなわち、表示部７に表示されている画像のうちの所望の画像部分（興味対象領域）を、ユーザがキー部８をクリック操作することにより指定すると、クリックデータ入力部２４は、そのクリック位置の座標情報及びそのクリック時刻を表すクリックデータを発生する。当該クリックデータ入力部２４により発生されたクリックデータは、合成処理部２２とクリックデータ送信部２５に送られる。
【００７２】
クリックデータ送信部２５は、クリックデータ入力部２４からクリックデータを受け取ると、そのクリックデータを、前記伝送路を介して、送信装置１に送信する。
【００７３】
次に、図５のフローチャートを参照して、図４の受信装置２の処理の概要について説明する。
【００７４】
この図５において、受信装置２の受信処理部２１では、先ず、ステップＳ１１として、送信装置１から伝送路を介して送信されてくる多重化データを受信する。
【００７５】
次に、受信処理部２１では、ステップＳ１２として、その多重化データから、前記背景符号化データとオブジェクト符号化データ及び付加情報符号化データを分離し、さらにそれら分離した符号化データを復号化する。これらの復号化により復元された背景画像データとオブジェクト画像データ及び付加情報は、合成処理部２２に送られる。
【００７６】
また、受信装置２のクリックデータ入力部２４では、ステップＳ１３として、ユーザによるキー部８のクリック操作に基づく前記クリックデータを取得して合成処理部２２に送ると共に、そのクリックデータをクリックデータ送信部２５に送り、当該クリックデータ送信部２５から送信装置１に送信する。
【００７７】
次に、合成処理部２２では、ステップＳ１４として、上記受信処理部２１から供給された背景画像データとオブジェクト画像データ及び付加情報と、クリックデータ入力部２４から供給されたクリックデータとに基づいて、画像を合成すると共に、その合成される画像の空間解像度及び時間解像度を制御する。
【００７８】
その後、画像出力部２３は、ステップＳ１５として、上記合成処理部２２にて合成された画像を表示部７の液晶ディスプレイ等に表示させる。
【００７９】
これ以後、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００８０】
次に、図６には、図２の送信装置１の送信処理部１６の具体的な構成例を示す。
【００８１】
図６において、送信処理部１６には、前記図２に示した前処理部１２からの背景画像データ、オブジェクト画像データ、および付加情報が供給される。これら背景画像データ、オブジェクト画像データ、および付加情報は、符号化部３１及び制御部３５に入力する。
【００８２】
符号化部３１は、供給された背景画像データ、オブジェクト画像データ、および付加情報を例えば後述するように階層符号化し、その結果得られる各符号化データを、ＭＵＸ（マルチプレクサ）３２に供給する。なお、本実施の形態の場合、符号化部３１での符号化は、階層符号化の他に、後述するようにサブサンプル、オブジェクト符号、クラス分類適応予測符号、ＭＰＥＧなどのそれぞれ異なる種類のアルゴリズムのうちから選択された何れかのアルゴリズムを用いるようになされているが、ここでは説明の都合上、階層符号化を用いた場合を例に挙げている。
【００８３】
ＭＵＸ３２は、制御部３５による制御の元で、符号化部３１から供給された背景符号化データ、オブジェクト符号化データ、付加情報符号化データを選択し、多重化データとして送信部３３に供給する。
【００８４】
送信部３３は、ＭＵＸ３２からの多重化データを後段の伝送路の伝送規格に応じて変調等し、その伝送路を介して、受信装置２に送信する。
【００８５】
また、データ量計算部３４は、ＭＵＸ３２が送信部３３に出力する多重化データを監視しており、そのデータレートを算出し、制御部３５に供給する。
【００８６】
制御部３５は、データ量計算部３４にて算出されたデータレートが、伝送路の伝送レートを越えないように、ＭＵＸ３２による多重化データの出力を制御すると共に、伝送路を介して受信装置２から送信されて受信されたクリックデータを受け取り、そのクリックデータに基づいて、ＭＵＸ３２における符号化データの多重化を制御する。
【００８７】
次に、図７には、図６の符号化部３１において例えば階層符号化を行う場合の具体的構成例を示している。
【００８８】
図７に示す符号化部２１において、背景画像データは、差分計算部４１Ｂに入力される。差分計算部４１Ｂは、ローカルデコーダ４４Ｂから供給される、現時点で処理しようとしている画像フレーム（以下、適宜、現フレームと呼ぶ）に含まれる背景画像データから、既に処理した１フレーム前の背景画像データを減算し、その減算結果としての背景画像の差分データ（以下、背景画像差分データと呼ぶ）を、階層符号化部４２Ｂに供給する。
【００８９】
階層符号化部４２Ｂは、差分計算部４１Ｂからの背景画像差分データを後述するように階層符号化し、その符号化により得られたデータ（背景符号化データ）を、記憶部４３Ｂに供給する。
【００９０】
記憶部４３Ｂは、階層符号化部４２からの背景符号化データを一時記憶する。
記憶部４３Ｂに記憶された背景符号化データは、前記背景符号化データとして図６に示したＭＵＸ３２に送られる。
【００９１】
さらに、記憶部４３Ｂに記憶された背景符号化データは、ローカルデコーダ４４Ｂに供給される。当該ローカルデコーダ４４Ｂでは、その背景符号化データを局所復号化して、元の背景画像データを復元し、その復元後の背景画像データを差分計算部４１Ｂに供給する。このように、ローカルデコーダ４４Ｂによって復号された背景画像データは、差分計算部４１Ｂにおいて次のフレームの背景画像データとの差分データを求めるのに用いられる。
【００９２】
また、図７に示す符号化部３１において、オブジェクト画像データは、差分計算部４１Ｆに供給される。差分計算部４１Ｆは、ローカルデコーダ４４Ｆから供給される、現時点で処理しようとしている画像フレーム（現フレーム）に含まれるオブジェクト画像データから、既に処理した１フレーム前のオブジェクト画像データを減算し、その減算結果としてのオブジェクトの差分データ（以下、オブジェクト画像差分データと呼ぶ）を、階層符号化部４２Ｆに供給する。
【００９３】
階層符号化部４２Ｆは、差分計算部４１Ｆからのオブジェクト画像差分データを後述するように階層符号化し、その符号化により得られたデータ（オブジェクト符号化データ）を、記憶部４３Ｆに供給する。
【００９４】
記憶部４３Ｆは、階層符号化部４２からのオブジェクト符号化データを一時記憶する。記憶部４３Ｆに記憶されたオブジェクト符号化データは、図６に示したＭＵＸ３２に送られる。
【００９５】
さらに、記憶部４３Ｆに記憶されたオブジェクト符号化データは、ローカルデコーダ４４Ｆに供給される。当該ローカルデコーダ４４Ｆでは、そのオブジェクト符号化データを局所復号化して、元のオブジェクト画像データを復元し、その復元後のオブジェクト画像データを差分計算部４１Ｆに供給する。このように、ローカルデコーダ４４Ｆによって復号されたオブジェクト画像データは、差分計算部４１Ｆにおいて、次のフレームのオブジェクト画像データとの差分データを求めるのに用いられる。
【００９６】
なお、オブジェクトが複数（オブジェクト＃１，＃２，＃３，…）存在する場合は、それら複数のオブジェクトの画像データそれぞれに対して、前記差分計算部４１Ｆ、階層符号化部４２Ｆ、記憶部４３Ｆ、およびローカルデコーダ４４Ｆにおいて上述したような差分計算、階層符号化、記憶、ローカルデコードの処理を行う。
【００９７】
また、図７に示す符号化部３１において、付加情報は、ＶＬＣ（可変長符号化）部４５に供給される。当該ＶＬＣ部４５では、付加情報を可変長符号化する。この可変長符号化された付加情報は、前記付加情報符号化データとして図６に示したＭＵＸ３２に送られる。
【００９８】
次に、図８を参照して、図７の符号化部３１において行われる符号化手法の一つである階層符号化と、受信側において当該階層符号化に対応して行われる復号化について説明する。
【００９９】
ここで、図７の符号化部３１は、上記階層符号化として、例えば下位側の階層における水平方向２画素及び垂直方向２画素からなる４つの画素の平均値（画素値の平均）を、当該下位階層よりも一つ上の上位階層における１画素の画素値とするような処理が、例えば３階層分にわたって行われる。なお、ここで説明する画素値とは、階層符号化の前段の処理として行われる前記差分計算により得られた差分値（画素毎の差分値）である。もちろん、階層符号化の前段で差分計算を行わない場合は、通常の画素値となる。
【０１００】
この場合、最下位階層（第１階層）の画像として、例えば図８の（Ａ）に示すように水平方向４画素及び垂直方向４画素からなる画像（以下、４×４画素と呼ぶ）を考えると、上記階層符号化では、当該４×４画素のうち左上側の水平方向２画素及び垂直方向２画素（以下、２×２画素と呼ぶ）を構成する４つの画素ｈ００，ｈ０１，ｈ０２，ｈ０３の平均値が演算され、この平均値が第２階層の左上の１画素ｍ０の画素値とされる。同様に、第１階層の４×４画素のうち右上側の２×２画素ｈ１０，ｈ１１，ｈ１２，ｈ１３の平均値は第２階層の右上の１画素ｍ１の画素値となされ、第１階層の４×４画素のうち左下側の２×２画素ｈ２０，ｈ２１，ｈ２２，ｈ２３の平均値は第２階層の左下の１画素ｍ２の画素値となされ、第１階層の４×４画素のうち右下側の２×２画素ｈ３０，ｈ３１，ｈ３２，ｈ３３の平均値は第２階層の右下の１画素ｍ３の画素値となされる。上記階層符号化では、さらに、当該第２階層の２×２画素を構成する４つの画素ｍ０，ｍ１，ｍ２，ｍ３の平均値を求め、この平均値が第３階層（最上位階層）の１つの画素ｑの画素値となされる。
【０１０１】
図７の符号化部３１で階層符号化を行う場合には、以上のような処理が行われる。なお、このような階層符号化によれば、最上位階層（第３階層）の画像の空間解像度は最も低くなり、階層が低くなるにつれて画像の空間解像度が向上し、最下位階層（第１階層）の画像の空間解像度は最も高くなる。
【０１０２】
ところで、以上の画素ｈ００乃至ｈ０３、ｈ１０乃至ｈ１３、ｈ２０乃至ｈ２３、ｈ３０乃至ｈ３３、ｍ０乃至ｍ３、ｑを全部送信することとした場合は、最下位階層の画像だけを送信する場合に比較して、より上位側の階層である第２階層の画素ｍ０乃至ｍ３と第３階層の画素ｑの分だけ、データ量が増加することとなる。
【０１０３】
そこで、本実施の形態において、送信するデータ量を減らしたい場合には、例えば図８の（Ｂ）に示すように、第２階層の画素ｍ０乃至ｍ３のうちの例えば右下の画素ｍ３に替えて第３階層の画素ｑを填め込み、それら画素ｍ０，ｍ１，ｍ２とｑからなる第２階層のデータと、第１階層のデータとを送信することにする。これによれば、第３階層分のデータ量を減らすことができる。
【０１０４】
また、図８の（Ｂ）の場合よりも更にデータ量を減らしたいときには、図８の（Ｃ）に示すように、第２の階層の画素ｍ０を、それを求めるのに用いた第１階層の２×２画素ｈ００乃至ｈ０３のうちの例えば右下の画素ｈ０３に替え、同様に、第２の階層の画素ｍ１を、それを求めるのに用いた第１階層の２×２画素ｈ１０乃至ｈ１３のうちの例えば右下の画素ｈ１３に替え、また、第２の階層の画素ｍ２を、それを求めるのに用いた第１階層の２×２画素ｈ２０乃至ｈ２３のうちの例えば右下の画素ｈ２３に替え、さらに、図８の（Ｂ）のようにして第２階層の画素ｍ０乃至ｍ３の右下の画素に埋め込まれた第３階層の画素ｑを、第１階層の２×２画素ｈ３０乃至ｈ３３のうちの例えば右下の画素ｈ３３に替えて送信することとする。これによれば、第３階層と第２階層分のデータ量を減らすことができる。すなわち、図８の（Ｃ）の例では、送信する全画素数は４×４画素の１６画素分となり、図８の（Ａ）に示した最下位階層（第１階層）の画素数と変わらない。したがって、この場合、第１階層から第３階層までの各階層に相当する画素データを送信可能となるだけでなく、送信するデータ量の増加を最も抑えることが可能となる。
【０１０５】
なお、図８の（Ｂ）において画素ｑと替えられた第２階層の画素ｍ３と、図８の（Ｃ）において画素ｍ０，ｍ１，ｍ２及びｑとそれぞれ替えられた第１階層の画素ｈ０３，ｈ１３，ｈ２３，ｈ３３は、以下のようにして復号することができる。
【０１０６】
すなわち、画素ｑの値は、画素ｍ０乃至ｍ３の各画素値の平均値であるから、ｑ＝（ｍ０＋ｍ１＋ｍ２＋ｍ３）／４の式が成り立つ。したがって、ｍ３＝４×ｑ−（ｍ０＋ｍ１＋ｍ２）の式により、第３層の画素ｑおよび第２階層の画素ｍ０乃至ｍ２を用いて、第２層の画素ｍ３を求める（復号する）ことができる。
【０１０７】
また、画素ｍ０の値は、画素ｈ００乃至ｈ０３の平均値であるから、ｍ０＝（ｈ００＋ｈ０１＋ｈ０２＋ｈ０３）／４の式が成り立つ。したがって、ｈ０３＝４×ｍ０−（ｈ００＋ｈ０１＋ｈ０２）の式により、第２階層の画素ｍ０および第１階層の画素ｈ００乃至ｈ０２を用いて、第１階層の画素ｈ０３を求めることができる。同様にして、各画素ｈ１３，ｈ２３，ｈ３３も求めることができる。
【０１０８】
以上のように、ある階層において送信されない画素は、その階層において送信される画素と、その１つ上位の階層において送信される画素とから復号することができる。
【０１０９】
次に、図９のフローチャートを参照して、図６の送信処理部１６において行われる送信処理について説明する。
【０１１０】
先ず最初に、ステップＳ２１として、送信処理部１６の制御部３５は、受信装置２からクリックデータが送信されてきたか否かを判定する。ステップＳ２１において、受信装置２からクリックデータが送信されてきていないと判定された場合、すなわち制御部３５がクリックデータを受け取っていない場合、制御部３５は、ステップＳ２２として、ＭＵＸ３２を制御し、受信装置２において通常の時間解像度（例えばデフォルト設定されている時間解像度）で画像の表示が可能なように、背景、オブジェクト、および付加情報の各符号化データを選択させて多重化させる。
【０１１１】
すなわち、通常の時間解像度として例えば３０フレーム／秒が設定されている場合、受信装置２では３０フレーム／秒で画像を表示することになり、このときのＭＵＸ３２は、当該３０フレーム／秒の時間解像度を維持しつつ、多重化データを伝送路の伝送レートで送信したときに、受信装置２側において表示される画像の空間解像度が最も高くなるように、背景、オブジェクト、および付加情報の各符号化データを選択して多重化する。
【０１１２】
より具体的に説明すると、例えば上述のように３階層の階層符号化が行われている場合において、上記３０フレーム／秒で画像を表示するのに、伝送路の伝送レートでは第３階層のデータしか送信することができないとき、当該ＭＰＸ３２は、この第３階層の画像を表示するための背景、オブジェクト、および付加情報の各符号化データを選択する。したがって、この場合の受信装置２では、３０フレーム／秒の時間解像度で且つ、水平方向及び垂直方向の空間解像度が何れも元の画像（第１階層の画像）の１／４となった画像が表示されることになる。
【０１１３】
次に、当該送信処理部１６では、ステップＳ２３として、ＭＵＸ３２からの多重化データを、送信部３３から伝送路を介して送信し、その後、ステップＳ２１に戻る。
【０１１４】
また、ステップＳ２１において、制御部３５が受信装置２からクリックデータが送信されてきたと判定した場合、すなわち制御部３５がクリックデータを受け取った場合、制御部３５は、ステップＳ２４として、そのクリックデータに基づいて、ユーザが受信装置２のクリックデータ入力部２４を操作することにより指定した注目点の座標（クリック位置）及びクリック時刻を認識する。
【０１１５】
次に、詳細については後述するが、制御部３５は、ステップＳ２５の処理として、上記注目点の座標（クリック位置）及びクリック時刻に基づいて、受信装置２側のユーザが注目している興味対象領域を特定し、その特定した興味対象領域を、受信装置２側で表示される画像のうちで空間解像度を優先的に向上させる優先範囲として設定し、その優先範囲内の画像とそれに対応する付加情報を検出する。なお、本実施の形態の場合、優先範囲内の画像は前記オブジェクト画像に対応し、優先範囲外の画像は例えば前記背景画像のような興味対象領域以外の画像に対応する。
【０１１６】
そして、制御部３５は、ステップＳ２６として、ＭＵＸ３２を制御し、受信装置２において、上記優先範囲内の画像が、より高い空間解像度で表示されるように、その優先範囲内領域の画像（オブジェクト画像）と当該優先範囲外の画像（背景画像）及び付加情報の符号化データを選択させ、多重化させる。すなわち、制御部３５は、受信装置２からのクリックデータを受信した場合、時間解像度を犠牲にして、優先範囲内の画像の空間解像度を向上させるように、ＭＵＸ３２を制御する。
【０１１７】
これにより、ＭＵＸ３２は、例えば、優先範囲内の画像については、第３階層の他、第２階層の画像を表示するための符号化データを優先的に選択して多重化し、その多重化データを出力する。
【０１１８】
さらに、制御部３５は、ステップＳ２６として、上記多重化データとして選択する付加情報に、優先範囲の位置と大きさ等の情報（以下、適宜、高解像度情報という）を挿入するように、ＭＵＸ３２を制御し、ステップＳ２３に進む。
【０１１９】
ステップＳ２３に進むと、送信部３３では、ＭＵＸ３２が出力する多重化データを伝送路を介して送信した後、ステップＳ２１に戻る。
【０１２０】
ここで、説明を簡単にするために、ステップＳ２６において、優先範囲外の画像（例えば背景画像）については、第３階層の画像を表示するための符号化データを、ステップＳ２２における場合と同様に選択し続けるとすると、制御部３５では、ステップＳ２６の場合の多重化データのデータ量は、ステップＳ２２の場合に比較して、空間解像度を高めた優先範囲内の画像（オブジェクト画像）についての第２階層のデータの分だけデータ量が増加することになる。
【０１２１】
このとき、例えば３０フレーム／秒で画像を表示することを考えた場合、前述したように、伝送路の伝送レートでは、第３階層のデータしか送信することができないから、ステップＳ２６で得られた第２階層のデータを含む多重化データは、画像を３０フレーム／秒で表示可能なデータにはならない。
【０１２２】
そこで、このような場合、本実施の形態では、送信部３３から例えば３０フレーム／秒より低いレート（最も極端な例では０フレーム／秒）となる多重化データを送信する。これにより、受信装置２では、上記優先範囲内の画像について、水平方向及び垂直方向の空間解像度がいずれも、元の画像（第１階層の画像）の１／２となった画像、すなわち、水平方向及び垂直方向の空間解像度がいずれも、いままで表示されていた第３階層の画像の２倍になった画像（第２階層の画像）が表示されることになる。但し、このとき受信装置２に表示される画像の時間解像度は３０フレーム／秒未満となる。
【０１２３】
以上のようにして、優先範囲内の画像について第２階層のデータが送信された後、ステップＳ２１において、前回に続いて受信装置２からクリックデータが送信されてきたと判定された場合、すなわち、ユーザがクリックデータ入力部２４を操作し続け、以前と同一の或いはその近傍の注目点を指定し続けている場合は、ステップＳ２４において前回と同一或いはその近傍の注目点が認識され、ステップＳ２５において前回と同一の優先範囲が設定され、ステップＳ２６に進む。これにより、制御部３５は、ステップＳ２６においてＭＵＸ３２を制御し、受信装置２にて優先範囲内の画像がより高い空間解像度で表示されるように、符号化データを選択させ、多重化させる。
【０１２４】
すなわち、この場合の優先範囲内の画像については、既に、第３階層の他、第２階層の画像及びそれらの付加情報の符号化データが優先的に選択されるようになっているので、ここでは更に第１階層の画像および付加情報の符号化データも優先的に選択され、多重化データとして出力される。また、ステップＳ２６において上述したように高解像度情報が付加情報に挿入され、ステップＳ２３においてＭＵＸ３２からの多重化データが送信部３３から伝送路を介して送信された後、ステップＳ２１に戻る。
【０１２５】
従って、この場合、受信装置２では、優先範囲内の画像が元の画像（第１階層の画像）と同一の空間解像度の画像、すなわち水平方向及び垂直方向の空間解像度が、何れも最初に表示されていた第３階層の画像の４倍になった画像（第１階層の画像）が表示されることになる。但し、その時間解像度は上記３０フレーム／秒よりも低い画像（０フレーム／秒となった場合は静止画）となされる。
【０１２６】
以上から、受信装置２のユーザがクリックデータ入力部２４を操作し続けて、例えば同一の注目点（興味対象領域）を指定し続けると、注目点を含む優先範囲内の画像（興味対象領域、例えばオブジェクト画像）について、空間解像度をより向上させるためのデータが優先的に送信されるので、当該注目点を含む優先範囲内の画像の空間解像度は徐々に向上し、その結果、優先範囲内の画像は、より鮮明に表示されるようになる。すなわち、受信装置２側においてユーザが注目している部分の画像（興味対象領域、例えばオブジェクト画像）は、より鮮明に表示される。
【０１２７】
以上のように、本実施の形態の構成では、クリックデータに基づく注目点によって特定された優先範囲内の画像（興味対象領域、例えばオブジェクト画像）の空間解像度および時間解像度が、伝送路の伝送レートに応じた解像度の範囲内で変更されるように、画像データの送信が制御されるので、限られた伝送レート内において、受信装置２に表示される注目点に対応する画像の空間解像度を、より向上させることができる。すなわち、本実施の形態の構成では、画像の時間解像度を犠牲にして、優先範囲内のオブジェクト画像の空間解像度を向上させることで、限られた伝送レート内で受信装置２に表示される当該オブジェクト画像をより鮮明に表示させる（空間解像度をより向上させる）ことが可能となる。
【０１２８】
次に、図１０には、図４の受信処理部２１の構成例を示す。
【０１２９】
この図１０において、伝送路を介して供給された多重化データは、受信部５１にて受信され、復調等された後、ＤＭＵＸ（デマルチプレクサ）５２に供給される。
【０１３０】
ＤＭＵＸ５２は、受信部５１から供給された多重化データを、背景符号化データ、オブジェクト符号化データ、および付加情報符号化データに分離し、復号部５３に供給する。
【０１３１】
復号部５３は、背景、オブジェクト、または付加情報の各符号化データ（前記送信装置１で階層符号化が行われた場合には前記差分値を階層符号化したデータ）を、前記符号化時とは逆の処理によりそれぞれ元のデータに復号し、図４に示した合成処理部２２に出力する。
【０１３２】
ここで、図１１には、送信装置１での符号化時に階層符号化が行われているとした場合の、図１０の復号部５３の構成例を示す。
【０１３３】
図１１において、前記背景符号化データである、前記階層符号化されている背景画像差分データは、加算器６１Ｂに供給される。加算器６１Ｂには、さらに記憶部６２Ｂに記憶された、既に復号されている１フレーム前の背景画像データも供給されるようになっている。したがって、加算器６１Ｂは、上記入力された背景画像差分データに、記憶部６２Ｂからの１フレーム前の背景画像データを加算することで、現フレームで必要な階層の背景画像データを復号する。この復号された背景画像データは、記憶部６２Ｂに供給されて記憶された後に読み出され、加算器６１Ｂに供給されるとともに、図４の合成処理部２２に送られる。
【０１３４】
オブジェクト符号化データである、前記階層符号化されたオブジェクト画像差分データは、加算器６１Ｆに供給される。当該加算器６１Ｆには、さらに記憶部６２Ｆに記憶された、既に復号されている１フレーム前のオブジェクト画像データも供給されるようになっている。したがって、加算器６１Ｆは、上記入力されたオブジェクト画像差分データに、記憶部６２Ｆからの１フレーム前のオブジェクト画像データを加算することで、現フレームで必要な階層のオブジェクト画像データを復号する。この復号されたオブジェクト画像データは、記憶部６２Ｆに供給されて記憶された後に読み出され、加算器６１Ｆに供給されるとともに、図４の合成処理部２２に送られる。なお、オブジェクトが複数存在する場合は、加算器６１Ｆおよび記憶部６２Ｆでは、複数のオブジェクトの差分データそれぞれに対して上述したように復号（階層復号）がなされる。
【０１３５】
付加情報符号化データである、前記可変長符号化された付加情報は、逆ＶＬＣ部６３に入力し、ここで可変長復号される。これにより、元の付加情報に復号され、合成処理部２２に供給される。
【０１３６】
なお、前述した図７のローカルデコーダ４４Ｂは、加算器６１Ｂおよび記憶部６２Ｂと同様に構成され、また、図７のローカルデコーダ４４Ｆは、加算器６１Ｆおよび記憶部６２Ｆと同様に構成されている。
【０１３７】
次に、図１２には、図４の合成処理部２２の構成例を示す。
【０１３８】
この図１２において、前記図１０に示した復号部５３から出力された背景画像データは背景書き込み部７１に入力し、オブジェクト画像データはオブジェクト書き込み部７２に入力し、付加情報は背景書き込み部７１とオブジェクト書き込み部７２および合成部７７に入力する。
【０１３９】
背景書き込み部７１は、供給された背景画像データを、背景メモリ７３に順次書き込む。ここで例えば、前記送信装置１のビデオカメラ部６での撮影時に、パンニングやチルティングされて撮影が行われることによって背景に動きがあるような場合、背景書き込み部７１は、付加情報に含まれる背景動きベクトルに基づいて背景の位置合わせを行った状態で、背景メモリ７３への背景画像データの書き込みを行うようになされている。したがって、背景メモリ７３は、１フレーム分の画像よりも空間的に広い画像のデータを記憶することができるようになされている。
【０１４０】
オブジェクト書き込み部７２は、供給されたオブジェクト画像データを、オブジェクトメモリ７５に、順次書き込む。なお、例えばオブジェクトが複数存在する場合、オブジェクト書き込み部７２は、複数のオブジェクトの画像データそれぞれを、各オブジェクト毎にオブジェクトメモリ７５に書き込む。また、オブジェクト書き込み部７２は、同一のオブジェクト（後述する同一のオブジェクト番号が付されているオブジェクト）の画像データの書き込みを行う場合、既にオブジェクトメモリ７５に書き込まれているオブジェクト画像データに代えて、新しいオブジェクト画像データ（新たに、オブジェクト書き込み部７２に供給されるオブジェクト画像データ）を書き込むようになっている。
【０１４１】
さらに、オブジェクト書き込み部７２は、空間解像度の高いオブジェクトを、オブジェクトメモリ７５に書き込んだ場合、そのオブジェクトを構成する各画素に対応してオブジェクトフラグメモリ７６のアドレスに記憶されるオブジェクトフラグを”０”から”１”にするようになっている。すなわち、オブジェクト書き込み部７２は、オブジェクトメモリ７５にオブジェクト画像データを書き込む際に、オブジェクトフラグメモリ７６を参照するようになっており、オブジェクトフラグが”１”になっているオブジェクト、つまり既に空間解像度の高いオブジェクトの画像データが記憶されているオブジェクトメモリ７５には、空間解像度の低いオブジェクト画像データの書き込みは行わないようになっている。したがって、オブジェクトメモリ７５は、基本的に、オブジェクト書き込み部７２にオブジェクト画像データが供給されるたびに、そのオブジェクト画像データが書き込まれるが、既に空間解像度の高いオブジェクト画像データが記憶されているオブジェクトメモリ７５には、空間解像度の低いオブジェクト画像データの書き込みを行わない。その結果、オブジェクトメモリ７５においては、オブジェクト書き込み部７２に空間解像度の高いオブジェクト画像データが供給される毎に、空間解像度の高いオブジェクト画像の数が増加していくことになる。
【０１４２】
合成部７７は、背景メモリ７３に記憶された背景画像データから、現時点で表示を行うべきフレーム（現フレーム）の背景画像を、付加情報に含まれる背景動きベクトルに基づいて読み出すとともに、その背景画像上に、オブジェクトメモリ７５に記憶されたオブジェクト画像を、付加情報に含まれるオブジェクト動きベクトルに基づいて合成し、これにより、現フレームの画像を構成して、表示メモリ７８に供給するようになっている。
【０１４３】
さらに、合成部７７は、図４のクリックデータ入力部２４から、クリックデータを受信した場合、そのクリックデータに含まれる注目点の座標位置を含むオブジェクト画像データを、オブジェクトメモリ７５から読み出し、サブウインドウメモリ７９に供給するようになっている。
【０１４４】
表示メモリ７８は、いわゆるＶＲＡＭ(Video Read Only Memory)として機能するメモリであり、合成部７７からの現フレームの画像を一時記憶した後に読み出して図４の画像出力部２３に供給する。また、サブウインドウメモリ７９は、合成部７７からのオブジェクト画像データを一時記憶した後読み出し、図４の画像出力部２３に供給する。このとき、当該画像出力部２３により駆動される表示部７上には、現フレームの画像と共に後述するサブウィンドウが表示され、オブジェクト画像は当該サブウインドウ上に表示される。
【０１４５】
次に、図１３のフローチャートを参照して、図１２の合成処理部２２で行われる処理（合成処理）について説明する。
【０１４６】
先ず最初に、ステップＳ３１において、オブジェクト書き込み部７２は、図１０の復号部５３から供給されたオブジェクト画像データを、オブジェクトフラグメモリ７５に記憶されたオブジェクトフラグに基づいて、上述したようにして書き込む。
【０１４７】
すなわち、オブジェクト書き込み部７２は、オブジェクトフラグメモリ７６に記憶されているオブジェクトフラグを参照し、当該オブジェクトフラグが”０”になっている画素に対応するオブジェクトメモリ７５のアドレスには、そこに供給されるオブジェクト画像データを書き込み、オブジェクトフラグが”１”になっている画素に対応するオブジェクトメモリ７５のアドレスには、そこに供給されるオブジェクト画像データが、空間解像度の高いものである場合にのみ、その空間解像度の高いオブジェクト画像データを書き込む。
【０１４８】
なお、オブジェクトメモリ７５の既にオブジェクト画像データが記憶されているアドレスに、オブジェクト画像データを書き込む場合には、その書き込みは、上書きする形で行われる。
【０１４９】
その後、ステップＳ３２に進み、オブジェクト書き込み部７２では、付加情報に、高解像度情報が含まれているかどうかが判定される。ステップＳ３２において、付加情報に、高解像度情報が含まれていると判定された場合、すなわち受信装置２のユーザが図４のクリックデータ入力部２４を操作することにより、送信装置１にクリックデータが送信され、これにより、前述したようにして送信装置１から、優先範囲内の画像について空間解像度の高いオブジェクト画像のデータが送信されてきた場合、ステップ３３に進み、オブジェクト書き込み部７２において、オブジェクトフラグメモリ７６の所定のオブジェクトフラグが”１”にされる。
【０１５０】
すなわち、送信装置１から、優先範囲内の画像について空間解像度の高いオブジェクト画像のデータが送信されてきた場合には、ステップＳ３１において、オブジェクトメモリ７５に、その空間解像度の高いオブジェクト画像データが書き込まれる。このため、ステップＳ３３では、その空間解像度の高いオブジェクト画像を構成する画素についてのオブジェクトフラグが”１”とされる。
【０１５１】
その後、ステップＳ３４に進み、合成部７７は、優先範囲内にあるオブジェクト画像データを、オブジェクトメモリ７５から読み出し、サブウインドウメモリ７９に書き込む。
【０１５２】
すなわち、ステップＳ３２において、付加情報に高解像度情報が含まれていると判定される場合というのは、上述したようにユーザがクリックデータ入力部２４を操作することにより、送信装置１にクリックデータが送信され、これにより、上述したようにして送信装置１から優先範囲内の画像について空間解像度の高いオブジェクト画像のデータが送信されてきた場合であるが、送信装置１に送信されるクリックデータは、合成部７７にも供給される。そこで、合成部７７は、クリックデータを受信すると、ステップＳ３４において、そのクリックデータに含まれる注目点の座標及びクリック時刻から、優先範囲を認識し、送信装置１から送信されてくる優先範囲内にある空間解像度の高いオブジェクトを、オブジェクトメモリ７５から読み出し、サブウインドウメモリ７９に書き込む。
【０１５３】
そして、ステップＳ３５に進み、合成部７７は、背景メモリ７３に記憶された背景画像データの中から、現フレームの背景画像データを、付加情報に含まれる背景動きベクトルに基づいて読み出すとともに、現フレームに表示すべきオブジェクト画像データをオブジェクトメモリ７５から読み出し、さらに、現フレームの背景画像データと、オブジェクトメモリ７５から読み出したオブジェクト画像データとを、付加情報に含まれるオブジェクト動きベクトルに基づいて合成する。これにより、現フレームの画像を構成して、表示メモリ７８に書き込む。すなわち、合成部７７は、例えば表示メモリ７８に対して、背景画像データを書き込み、その後、オブジェクト画像データを上書きすることで、背景画像とオブジェクト画像を合成した現フレームの画像データを、表示メモリ７８に書き込む。
【０１５４】
以上のようにして、表示メモリ７８に書き込まれた現フレームの画像データ、およびサブウインドウメモリ７９に書き込まれたオブジェクト画像データは、図４の画像出力部２３に供給され、表示部７に表示されることになる。
【０１５５】
一方、ステップＳ３２において、付加情報に高解像度情報が含まれていないと判定された場合、すなわち受信装置２のユーザがクリックデータ入力部２４を操作していない場合は、ステップＳ３３およびＳ３４の処理がスキップされ、ステップＳ３５に進み、上述したように合成部７７において背景メモリ７３から現フレームの背景画像データが読み出されるともに、オブジェクトメモリ７５から必要なオブジェクト画像データが読み出され、現フレームの背景画像とオブジェクトメモリ７５から読み出したオブジェクト画像とが、付加情報にしたがって合成される。これにより、現フレームの画像データが構成され、表示メモリ７８に書き込まれる。そして、ステップＳ３１に戻り、以下、同様の処理が繰り返される。
【０１５６】
以上のような合成処理によれば、受信装置２のユーザがクリックデータ入力部２４を操作していない場合、すなわちクリックデータ入力部２４にてクリックが行われていない場合には、図１４の（Ａ）に示すように、表示部７の表示画面上には空間解像度の低い画像がデフォルトの時間解像度で表示される。なお、図１４の（Ａ）においては、空間解像度の低い背景画像の上を、空間解像度の低いオブジェクト画像が、右方向に移動しているときの画像例を示している。
【０１５７】
そして、受信装置２のユーザが、クリックデータ入力部２４を操作して、カーソルをオブジェクト画像上に移動させ、その位置でクリックを行うと、上述したように、送信装置１にクリックデータが送信され、送信装置１では、そのクリックデータに基づいて特定した優先範囲の画像を、空間解像度の高い画像として表示するためのデータが、時間解像度を犠牲にして送信されてくる。その結果、図１４の（Ｂ）に示すように、表示部７の表示画面上には、時間解像度は低いが、クリックが行われている位置を中心とする優先範囲内にあるオブジェクト画像の空間解像度が徐々に向上していく画像が表示される（クリックが行われている時間に応じて、優先範囲内の画像の空間解像度が徐々に向上していく）。
【０１５８】
さらに、この場合、表示部７上には、図１４の（Ｂ）に示すように、サブウインドウがオープンされ、そのサブウインドウに、上記クリックが行われている位置を含んで抽出された優先範囲内にあるオブジェクトの空間解像度が徐々に向上するような表示がなされる。
【０１５９】
その後、受信装置２のユーザが、クリックデータ入力部２４によるクリックを停止すると、合成部７７は、上述したようにステップＳ３５において背景メモリ７３から現フレームの背景画像データを読み出すともに、オブジェクトメモリ７５からオブジェクト画像データを読み出し、現フレームの背景画像データとオブジェクト画像データとを、付加情報にしたがって合成し、表示メモリ７８に書き込む。上述したように、クリックされることにより空間解像度が高くなったオブジェクト画像データは、そのままオブジェクトメモリ７５に記憶され続けるので、表示部７においては、図１４の（Ｃ）に示すように、クリックされることにより空間解像度が高くなったオブジェクト画像が、付加情報の動きベクトルに基づいて移動し、現フレーム上で表示されるべき位置に表示される。
【０１６０】
したがって、受信装置２のユーザは、詳細を見たいオブジェクト画像が表示されている位置でクリックを行うことにより、空間解像度が高くなったオブジェクト画像を見ることが可能となる。すなわち、オブジェクトの詳細な画像を見ることが可能となる。
【０１６１】
なお、本実施の形態では、背景画像データは、上述したように背景メモリ７３に記憶されるので、送信装置１においては一度送信した空間解像度の低い背景を送信する必要はなく、従って、その分の伝送帯域（伝送レート）を、より空間解像度の高いオブジェクト画像データの送信に優先的に割り当てることが可能である。
【０１６２】
また、上述の場合においては、クリックされることにより空間解像度が高くなったオブジェクト画像データを、オブジェクトメモリ７５に記憶しておき、クリックが停止された後は、その空間解像度の高いオブジェクト画像を背景画像に貼り付けるようにしたため、受信装置２において表示されるオブジェクト画像は、空間解像度の高いものとなるが、このときのオブジェクト画像には、送信装置１で撮影されたオブジェクト画像の状態の変化は反映されないことになる。
【０１６３】
そこで、クリックが停止された後は、オブジェクトフラグを無視し、図１１に示した復号部５３の記憶部６２Ｆに記憶されたオブジェクト画像データを、オブジェクトメモリ７５に記憶された高い空間解像度のオブジェクト画像データに替えて書き込むようにすることが可能である。すなわち、復号部５３の記憶部６２Ｆには、送信装置１から送信されてくるオブジェクト画像データが順次記憶されるから、そのオブジェクト画像データを、オブジェクトメモリ７５に書き込むことで、上述したようにして表示部７に表示される画像のうちのオブジェクト画像は、送信装置１で撮影されたオブジェクトの状態の変化が反映されたものとなる（但し、表示されるオブジェクト画像は、空間解像度の低いものとなる）。
【０１６４】
次に、図１５を参照して、送信装置１から、伝送路を介して、受信装置２に送信される画像の空間解像度と時間解像度との関係について説明する。
【０１６５】
なお、伝送路の伝送レートはＲ[bps]とし、さらに、ここでは、背景画像と３つのオブジェクト画像＃１乃至＃３からなるデータを送信するとする。また、ここでは、説明を簡単にするために、付加情報は考えないこととし、さらに、背景画像、オブジェクト画像＃１乃至＃３それぞれを、ある空間解像度で表示するためには、同一のデータ量のデータが必要であるとする。
【０１６６】
この場合、送信装置１では、受信装置２でクリックが行われていない場合、図１５の（Ａ）に示すように、背景画像、オブジェクト画像＃１乃至＃３それぞれが、伝送レートＲを４等分したレートＲ／４[bps]で送信される。なお、通常の時間解像度が１／Ｔフレーム／秒であるとすると、送信装置１は、背景画像、オブジェクト画像＃１乃至＃３それぞれの１フレーム分のデータの送信を、長くてもＴ秒で完了することができるように行う。したがって、この場合、受信装置２では、１フレーム当たりＴ×Ｒ／４ビットのデータで得られる空間解像度の背景画像、オブジェクト画像＃１乃至＃３がそれぞれ表示される。
【０１６７】
そして、ある時刻ｔ₁において、例えばオブジェクト画像＃１の位置で、ユーザがクリックを行うと、送信装置１は、例えば図１５の（Ａ）に示すように、背景画像並びにオブジェクト画像＃２および＃３のデータ送信を例えば停止し、オブジェクト画像＃１のみを、伝送路の伝送レートＲすべてを用いて送信する。その後、時刻ｔ₁から時間４Ｔだけ経過した時刻ｔ₂において、ユーザがクリックを停止したとすると、送信装置１は、再び、背景画像、オブジェクト画像＃１乃至＃３それぞれを、伝送レートＲ／４で送信する。
【０１６８】
したがって、クリックが行われている間においては、オブジェクト画像＃１については、４Ｔ×Ｒビットのデータが送信されるので、クリックが行われている間の時間解像度を０フレーム／秒とするものとすると、受信装置２では、１フレーム当たり４Ｔ×Ｒビットのデータで得られる空間解像度のオブジェクト画像＃１が表示されることになる。すなわち、水平方向及び垂直方向の空間解像度を同じだけ向上させるものとした場合、受信装置２では、時間解像度は０フレーム／秒になるが、ユーザがクリックしたオブジェクト画像＃１については、水平方向及び垂直方向の両方の空間解像度が、クリックが行われる前の４倍（＝√（４Ｔ×Ｒ／（Ｔ×Ｒ／４ビット）））となったものが表示されることになる。
【０１６９】
このように、時間解像度を犠牲にすることにより、空間解像度をより向上させることができ、さらに時間解像度を犠牲にしない場合に比較して、ユーザが注目しているオブジェクト画像の空間解像度を、より迅速に向上させることができる。
【０１７０】
なお、図１５の（Ａ）に例では、オブジェクト画像＃１のクリックが行われている間、背景画像並びに他のオブジェクト画像＃２および＃３のデータの伝送レートを０フレーム／秒としてそれらを完全に送信しないようにしたが、例えば図１５の（Ｂ）に示すように、オブジェクト＃１のデータの送信には高い伝送レートを割り当て、背景画像並びに他のオブジェクト画像＃２および＃３のデータの送信には、低い伝送レートを割り当てるようにすることも可能である。
【０１７１】
また、クリックが行われても、背景画像、オブジェクト画像＃１乃至＃３それぞれの送信に割り当てる伝送レートは、Ｒ／４のまま変えないことも可能である。すなわち、この場合は、時間解像度を犠牲にして、空間解像度を向上させるため、伝送レートの割り当てを変えなくても、時間は要するようになるが、空間解像度を向上させることができる。
【０１７２】
本実施の形態においては、上述したように、クリックされることにより空間解像度が高くなったオブジェクト画像を、オブジェクトメモリ７５に記憶しておき、クリックが停止された後に、その空間解像度の高いオブジェクト画像を背景画像に貼り付けるようにしたが、この空間解像度の高いオブジェクト画像を、背景画像のどの位置に貼り付けるかは、その後に送信装置１から送信されてくる、そのオブジェクトについての付加情報に含まれるオブジェクト動きベクトルに基づいて決定される。
【０１７３】
したがって、受信装置２は、あるフレームのオブジェクト画像が、そのフレームに隣接するフレームのどのオブジェクト画像に対応するのかということを認識する必要があり、送信装置１のオブジェクト抽出部１４は、オブジェクトの抽出にあたり、受信装置２が、そのような認識を行うための情報を付加するようにもなっている。
【０１７４】
上述の説明では、受信装置２のユーザがクリックデータ入力部２４を操作することにより注目点を指定したときには、送信装置１において、画像の時間解像度を犠牲にして、注目点を含む有線範囲の画像の空間解像度を向上させるように、データの送信制御を行う例を述べたが、送信装置１では、例えば受信装置２のユーザの嗜好を学習し、その学習結果に基づいて、受信装置２のユーザが高い空間解像度での表示を希望していると考えられるオブジェクト等を予測検出して、そのオブジェクトが高い空間解像度で表示されるように、データの送信制御を行うことも可能である。
【０１７５】
図１６には、そのような送信制御を行う場合の、図６の制御部３５の構成例を示している。
【０１７６】
この図１６において、優先範囲設定部９１は、受信装置２から送信されてくるクリックデータを受信し、前述同様に優先範囲を設定するようになされており、その設定された優先範囲は、選択制御部９２及び特徴量抽出部９３に供給される。
【０１７７】
選択制御部９２は、上記優先範囲設定部９１から供給される優先範囲を示す信号と図６のデータ量計算部３４から供給されるデータレートの情報と後述するオブジェクト検出部９５からの情報に基づいて、ＭＵＸ３２による背景画像、オブジェクト画像、付加情報の各データの選択を制御する。すなわち、選択制御部９２は、優先範囲設定部９１から優先範囲を表す信号を受け取った場合、その優先範囲内の画像の空間解像度を、画像の時間解像度を犠牲にして向上させるように、ＭＵＸ３２での多重化を制御する。また、選択制御部９２は、オブジェクト検出部９５が検出したオブジェクトを表すラベルの情報を受け取ると、そのラベルが付されたオブジェクトの空間解像度を、画像の時間解像度を犠牲にして向上させるように、ＭＵＸ３２を制御する。また、選択制御部９２には、データ量計算部３４から、ＭＵＸ３２が出力する多重化データのデータレートが供給され、選択制御部９２は、そのデータレートが伝送路の伝送レートを超えないように、ＭＵＸ３２によるデータの選択を制御する。
【０１７８】
特徴量抽出剖９３には、前処理部１２が出力する背景画像データ、オブジェクト画像データ、及び付加情報と、優先範囲設定部９１が出力する優先範囲を示す信号とが供給されるようになっており、特徴量抽出部９３は、優先範囲設定部９１により設定された優先範囲内にある画像の特微量を抽出するようになっている。すなわち、特徴量抽出部９３は、例えば、優先範囲内に存在するオブジェクトについて、受信装置２のユーザが注目する傾向を反映するような特徴量を抽出する。
【０１７９】
具体的には、図１７に示すように、例えば、ある特定の「人」を表すオブジェクトについては、そのオブジェクトが「人」であること、動きが例えば等速であること、オブジェクトの奥行き方向の位置（深度）が手前であること、オブジェクトの画面上の位置が真ん中であること、オブジェクトが速度を持っていること（オブジェクトが動いている部分のものであること）、オブジェクトを構成する領域に、例えば目、鼻、口が含まれること（オブジェクトの領域が、目、鼻、口を含んで構成されること）、オブジェクトの模様が例えばしま模様であること（オブジェクトがしま模様の部分のものであること）、オブジェクトの色が例えば赤いこと（オブジェクトが赤い部分のものであること）等を表す特徴量が抽出される。
【０１８０】
特徴量抽出部９３は、さらに、上記抽出したオブジェクトの各特徴量を要素として構成されるベクトル（特徴量ベクトル）を求めると共に、ヒストグラム記憶部９４に記憶されているヒストグラムの、上記求めた特徴量ベクトルの度数を１だけインクリメントする。
【０１８１】
ヒストグラム記憶部９４は、特徴量抽出部９３で求められる特徴量ベクトルのヒストグラムを、受信装置２のユーザの嗜好の学習結果として記憶する。
【０１８２】
次に、オブジェクト検出部９５は、前処理部１２から供給されるオブジェクト画像の中から、ヒストグラム記憶部９４に記憶されたヒストグラムの最高頻度の特徴量ベクトルと同様の特徴量ベクトルが求められるオブジェクトを検出する。すなわち、オブジェクト検出部９５は、前処理部１２から供給されるオブジェクトについて、特徴量抽出部９３における場合と同様にして、特徴量ベクトルを求める。さらに、オブジェクト検出部９５は、ヒストグラム記憶部９４に記憶されたヒストグラムを参照し、その最高頻度の特徴量ベクトルを中心とする、特徴量ベクトル空間の所定の範囲内に、前処理部１２からのオブジェクトの特徴量ベクトルが存在するかどうかを判定し、存在する場合には、そのオブジェクトは、受信装置２のユーザが注目する傾向にあるものであるとして予測し、そのオブジェクトを表すラベルを、選択制御部９２に供給する。
【０１８３】
次に、図１８のフローチャートを参照して、図１６に示したように動作する制御部３５によるＭＵＸ３２の制御処理について説明する。
【０１８４】
先ず、最初に、ステップＳ８１において、優先範囲設定部９１は、受信装置２からクリックデータが送信されてきたかどうかを判定する。ステップＳ８１において、受信装置２からクリックデータが送信されてきたと判定された場合、ステップＳ８２に進み、優先範囲設定部９１は、そのクリックデータに基づき、前述したように優先範囲を設定し、その優先範囲を表す信号を選択制御部９２及び特徴量抽出部９３に供給する。
【０１８５】
選択制御部９２は、ステップＳ８３において、上記優先範囲内の画像（オブジェクト画像）の空間解像度を、画像の時間解像度を犠牲にして向上させるように、ＭＵＸ３２を制御する。
【０１８６】
また、特徴量抽出部９３は、ステップＳ８４において、上記優先範囲内にあるオブジェクトの特徴量を抽出し、その抽出したオブジェクトの各特徴量を要素として構成される特徴量ベクトルを求める。さらに、特徴量抽出部９３は、ステップＳ８５において、ヒストグラム記憶部９４に記憶されているヒストグラムの、上記求めた特徴量ベクトルの度数を１だけインクリメントし、ステップＳ８１に戻る。
【０１８７】
以上のステップＳ８１乃至Ｓ８５の処理が繰り返されることにより、ヒストグラム記憶部９４には、受信装置２のユーザが注目する傾向にあるオブジェクトの特徴量ベクトルのヒストグラムが形成されていく。すなわちこれにより、受信装置２のユ−ザの嗜好が学習されていくことになる。
【０１８８】
一方、ステップＳ８１において、受信装置２からクリックデータが送信されてきていないと判定された場合、ステップＳ８６に進み、オブジェクト検出部９５は、前処理部１２から供給されるオブジェクト画像データについて、特徴量抽出部９３における場合と同様にして、特徴量ベクトルを求める。さらに、オブジェクト検出部９５は、ステップＳ８７において、ヒストグラム記憶部９４に記憶されたヒストグラムを参照し、その中で最高頻度の特徴量ベクトルを中心とする、特徴量ベクトル空間の所定の範囲内に、前処理部１２からのオブジェクト画像の特徴量ベクトルが存在するかどうかを判定する。すなわち、ステップＳ８７では、最高頻度の特徴量ベクトルと、前処理部１２からのオブジェクト画像の特徴量ベクトルとの、特徴ベクトル空間における距離が所定値以内であるかどうかが判定される。
【０１８９】
ステップＳ８７において、最高頻度の特徴量ベクトルと、前処理部１２からのオブジェクト画像の特徴量ベクトルとの距離が所定値以内でないと判定された場合、すなわち、前処理部１２からのオブジェクト画像が、過去の傾向からして、受信装置２のユーザが注目する確率の低いものである場合、ステップＳ８８に進み、選択制御部９２は、受信装置２において通常の時間解像度および空間解像度が表示されるように、ＭＵＸ３２を制御し、ステップＳ８１に戻る。
【０１９０】
また、ステップＳ８７において、最高頻度の特徴量ベクトルと、前処理部１２からのオブジェクト画像の特徴量ベクトルとの距離が所定値以内であると判定された場合、すなわち、前処理部１２からのオブジェクト画像が、過去の傾向からして、受信装置２のユーザが注目する確率の高いものである場合、オブジェクト検出部９５は、前処理部１２からのオブジェクトのラベルを、選択制御部９２に出力し、ステップＳ８９に進む。
【０１９１】
選択制御部９２は、ステップＳ８９において、オブジェクト検出部９５からの上記ラベルが付されたオブジェクト画像の空間解像度を、画像の時間解像度を犠牲にして向上させるように、ＭＵＸ３２を制御し、ステップＳ８１に戻る。
【０１９２】
従って、この場合、受信装置２では、時間解像度を犠牲にして、オブジェクト検出部９５が出力したラベルの付されたオブジェクト画像が、高い空間解像度で表示される。そして、その後も、そのオブジェクトは、高い空間解像度で表示され続ける。
【０１９３】
その結果、受信装置２では、ユーザがクリックデータ入力部２４を操作しなくても、ユーザが注目する傾向のあるオブジェクトが表示される場合には、そのオブジェクトは、いわば自動的に高い空間解像度で表示され、その後も、その高い空間解像度で表示され続けることになる。
【０１９４】
なお、ヒストグラム記憶部９４に記憶された、受信装置２のユーザの嗜好の学習結果としての特徴量ベクトルのヒストグラムは、例えば、定期的または不定期に、或いは受信装置２のユーザからの要求に対応して、リセットすることが可能である。
【０１９５】
次に、本発明において、データの提供やデータ送受信に応じて行われる課金（例えば図１の管理センタ１０３を通じて行われる端末１や２へのデータ提供や端末１と２の間でのデータ送受信に応じた課金など）の流れ及びそのためのシステム構成の詳細について、以下に説明する。
【０１９６】
一般に、ソフトウェアは、様々な処理手法（プログラム）の融合によって構成されているものであり、例えば、表計算ソフトの場合には、単なる四則演算を行うためのプログラムだけでなく、統計処理を行うためのプログラム等も含まれている。通常は、ソフトウェアを構成するそれらの処理手法（プログラム、以下適宜メソッドと呼ぶ）が記録されたＣＤ−ＲＯＭ等のパッケージメディアが市販され、当該パッケージメディアを購入することで、ユーザはそのソフトウェアの使用権を取得し、利用可能な状態になる。
【０１９７】
本発明の場合は、パッケージメディアを購入した時点でユーザが利用権を獲得するのではなく、ユーザがソフトウェアを利用する度毎に利用権を獲得し、また、ソフトウェアの機能のうちで必要なメソッドの利用権を獲得するようなシステムを提供する。したがって、ユーザは、ソフトウェアを利用した場合にのみ、また、ソフトウェアの機能のうちで必要なメソッドを使った分だけの料金を支払えば良く、その結果、全てのソフトウェアを一括して提供する上記パッケージメディアの場合よりも安価にメソッドを利用することができる。
【０１９８】
また、ある一つの処理を行う場合において、その処理結果を得るための手法には様々な手法が考えられる。したがって、例えばよく似た目的を達成する処理であっても、より高度な手法を用いれば、より望ましい結果を得ることができると考えられる。言い換えれば、より高度な手法を用いることで、ユーザにメリットを提供することが可能となる。
【０１９９】
本発明の場合は、複数用意されたそれぞれ異なるアルゴリズムの中から、ユーザが利用するアルゴリズムを選択し、そのアルゴリズムの高度さに応じて異なる料金を徴収するシステムを提供する。つまり、本発明では、ユーザが受けるメリットに応じた料金をユーザに対して課金するシステムを構築している。
【０２００】
例えば画像通信を例に挙げて説明すると、当該画像通信の場合は、より高度な圧縮手法（アルゴリズム）を用いることで全体のデータ量を削減することが可能となり、また、データ量を削減することにより、限られたデータ通信の帯域を有効に利用することが可能となる。このことにより、例えば同一のデータ量であれば、より高度なアルゴリズムを用いることで、より高解像度で高品質な画像を手に入れることが可能になる。
【０２０１】
そこで、本発明では、例えば画像通信において、圧縮率が低い手法を相対的に低度なアルゴリズム、例えば高圧縮を実現する手法を相対的に高度なアルゴリズムと定義し、上記高度なアルゴリズムを用いた場合には低度なアルゴリズムを用いた場合に比べて高い料金を支払ってもらうこととする。もちろん、本発明は、画像通信における画像圧縮のためのアルゴリズムに限定されるものではなく、例えば、データ通信のアルゴリズムや音声処理のアルゴリズムなど、各種様々なアルゴリズムを用いた処理においても適用可能であり、アルゴリズムの高度さに応じた課金を行うこととする。
【０２０２】
図１９には、上述したような課金が行われる一例として、メソッドが予めインストールされている端末としての処理装置１００と管理センタ１０３との間における課金処理の基本モデルを示す。なお、図１の管理センタ１０３を通じて行われる端末１や２へのデータ提供や端末１と２の間での実際のデータ送受信に応じた課金処理については後述する。
【０２０３】
この図１９の処理装置１００には、それぞれが個々に異なる種類のアルゴリズム（プログラム）を用いて処理を行う複数の処理部１０２₁〜１０２_Nを備えたアルゴリズム処理部１０２と、それら各処理部１０₂１〜１０２_Nの各アルゴリズムの利用を管理する利用処理管理部１０１とが設けられている。なお、この図１９の例の場合、当該アルゴリズム処理部１０２の各処理部１０２₁〜１０２_Nのアルゴリズムは、ユーザが勝手に利用することができないものである。
【０２０４】
また、管理センター１０３は、処理装置１００が正当な装置であるか（ユーザが正当なユーザであるか）否かの認証情報を保持する認証用メモリ１０４と、ユーザ（処理装置１００）によるアルゴリズムの利用履歴と料金計算用のテーブル１０７に保持されている利用料金計算表とに基づいて、そのユーザの利用料金を計算する料金計算システム１０６と、全体を管理する管理システム１０５とを備えている。
【０２０５】
この図１９において、処理装置１００の各処理部１０２₁〜１０２_Nでの各処理のうち何れかを利用したい場合、先ず、ユーザからは、上記それら各処理部１０２₁〜１０２_Nのうちどの処理部を用いるか（すなわちどのアルゴリズムを用いるか）を選択するための選択入力が行われる。当該ユーザによる選択の入力がなされると、利用処理管理部１０１は、先ず、管理センター１０３に対して処理（アルゴリズム）の利用許可の問い合わせを行う。
【０２０６】
上記利用許可の問い合わせの信号を受信すると、管理センター１０３の管理システム１０５は、その問い合わせを行った処理装置１００が、自己の管理している処理装置であるか否か、すなわちその問い合わせを行った処理装置１００が正当な装置（正当なユーザ）であるか否かを、認証用メモリ１０４に格納されている認証情報を元に確認する。この認証において、正当な処理装置（正当なユーザ）であると確認すると、管理システム１０５は、処理装置１００に対して、利用許可信号を送信する。
【０２０７】
上記利用許可信号を受信すると、処理装置１００の利用管理部１０１は、アルゴリズム処理部１０２を制御し、上記ユーザが選択入力を行った処理（管理センター１０３により利用許可がおりた処理）に対応する処理部での処理を直ちに開始させる。これによりユーザの所望する処理が実行されることになる。
【０２０８】
また管理センター１０３の管理システム１０５は、上記利用許可を送信した処理装置１００（ユーザ）とその利用を許可した処理（アルゴリズム）を示す情報（利用履歴）を、料金計算システム１０６に送る。料金計算システム１０６は、利用履歴の情報を受け取ると、料金計算用テーブル１０７に保持されている各アルゴリズム毎に設定されている利用料金計算表を用いて、上記処理（アルゴリズム）を利用した場合の料金を計算する。その後、料金計算システム１０６は、上記処理装置１００のユーザに対して、オンライン或いはオフラインにて料金の請求を行う。
【０２０９】
図１９には、処理装置１００にメソッド（プログラム）が予めインストールされている場合の構成を挙げたが、例えば図２０に示す課金処理の基本モデルのように、処理装置１１０がメソッド（プログラム）を持たず、管理センター１０３等のサーバから、必要に応じてメソッドを取得（処理を行う毎にプログラムをダウンロード）することも可能である。
【０２１０】
この図２０の処理装置１１０には、管理センター１０３から送信されてきたメソッド（プログラム）を一時的に保持するためのメモリ１１１と、そのメモリ１１１に保持されたメソッド（プログラム）を用いて処理を行うためのＭＰＵ（マイクロプロセッサユニット）とが設けられている。
【０２１１】
また、この図２０の場合の管理センター１０３は、処理装置１１０が正当な装置であるか（ユーザが正当なユーザであるか）否かの認証情報を保持する認証用メモリ１０４と、ユーザ（処理装置１１０）に対するメソッド（プログラム）の伝送履歴と料金計算用のテーブル１０７に保持されている各アルゴリズム毎の利用料金計算表とに基づいて、そのユーザの利用料金を計算する料金計算システム１０６と、複数の異なるアルゴリズム（プログラム）を保持するアルゴリズムメモリ１１５と、全体を管理すると共に処理装置１１０からの要求に応じてアルゴリズムメモリ１１５からプログラムを読み出し、例えば圧縮して処理装置１１０に送信する処理管理プロセッサ１１４とを備えている。
【０２１２】
この図２０において、管理センター１０３のアルゴリズムメモリ１１５に保持されている各アルゴリズムに対応する処理のうち何れかを利用したい場合、先ず、処理装置１１のユーザからは、上記各処理のうち何れかを選択するための選択指示が行われる。当該ユーザによる選択の指示がなされると、処理装置１１０のＭＰＵ１１２は、管理センター１０３に対して処理手法（アルゴリズム）の送信要求を行う。
【０２１３】
上記アルゴリズムの送信要求を受信すると、管理センター１０３の処理管理プロセッサ１１４は、その要求を行った処理装置１１０が、自己の管理している処理装置であるか否か、すなわちその要求を行った処理装置１１０が正当な装置（正当なユーザ）であるか否かを、認証用メモリ１０４に格納されている認証情報を元に確認する。この認証において、正当な処理装置（正当なユーザ）であると確認すると、処理管理プロセッサ１１４は、アルゴリズムメモリ１１５から処理手順（プログラム）を読み出し、そのプログラムを例えば圧縮したり必要に応じて暗号化等して処理装置１１０に送信する。
【０２１４】
上記送信されてきたプログラムを受信すると、処理装置１１０のＭＰＵ１１２は、圧縮の解凍や暗号の復号等を行い、得られたプログラムをメモリ１１１に保存させる。その後、ＭＰＵ１１２は、そのメモリ１１１に保存したプログラムを用いて処理を行う。これによりユーザの所望する処理が実行されることになる。なお、上記メモリ１１１に保存されたプログラムは、上記処理が終了すると、当該プログラムが再度利用されないように自己破壊を行う。
【０２１５】
また管理センター１０３の処理管理プロセッサ１１４は、上記プログラムを送信した処理装置（ユーザ）とその処理手法（アルゴリズム）を示す情報（伝送履歴）を、料金計算システム１０６に送る。料金計算システム１０６は、伝送履歴の情報を受け取ると、料金計算用テーブル１０７に保持されているテーブルを用いて、上記処理（アルゴリズム）を利用した場合の料金を計算する。その後、料金計算システム１０６は、上記処理装置１１０のユーザに対して、オンライン或いはオフラインにて料金の請求を行う。
【０２１６】
次に、上述した課金処理モデルを実際のシステム構成に適用した場合、すなわち例えば本実施の形態では前記図１の管理センタ１０３を通じて行われる端末１や２へのデータ提供や端末１と２の間でのデータ送受信に応じた課金処理の場合について、図２１以降の各図を参照しながら説明する。
【０２１７】
ここで、図１に示した構成の場合、前述したように、送受信される画像のデータ量が問題になり、前述の例では、画像を背景、オブジェクト、付加情報に分け、さらに階層符号化することによってデータ量を制御しているが、以下の例では、データ量制御のために、異なる画像圧縮のアルゴリズムの中から、ユーザが要求する画質に応じたアルゴリズムを適宜選択し、その選択されたアルゴリズムを利用して圧縮された画像データを送受信する例を挙げている。なお、本実施の形態では、上記画像圧縮のための異なるアルゴリズムとして、前記階層符号化の他に、それぞれ後述するサブサンプル、オブジェクト符号、クラス分類適応予測符号、その他（例えばＭＰＥＧ等）等を例に挙げている。
【０２１８】
また、本実施の形態の場合、上記選択されるアルゴリズムには、上記画像圧縮のためのアルゴリズムだけでなく、状況に応じてそれら画像圧縮のアルゴリズムを自動選択（最適化）するためのアルゴリズム、前述の図１６〜図１８を用いて説明したように、学習することによって画像中からユーザが興味を持っている領域（注目点）を予測するためのアルゴリズム、装置の電力使用量の自動制御を行うためのアルゴリズム等のように、あらゆる階層（ソフトウェア層）のアルゴリズムをも、それぞれ選択可能となされている。すなわち、装置により使用されるソフトウェア層は、例えばハードウェアの制御ソフトウェア、ＯＳ（オペレーションシステム）、アプリケーションソフトウェア等からなるが、本実施の形態によれば、上記画像圧縮のアルゴリズムや、アルゴリズム自動選択（最適化）のアルゴリズム、注目点の予測アルゴリズムのようなアプリケーションソフトウェア層における異なるアルゴリズムの選択だけでなく、電力使用量の自動制御アルゴリズムや各種ハードウェアの切替制御アルゴリズムなどのようなハードウェア制御ソフトウェア層についての異なるアルゴリズムをも選択可能となっている。
【０２１９】
本実施の形態では、上述のように複数の異なるアルゴリズムのうちから所望のアルゴリズムの選択がなされると、その選択されたアルゴリズムに応じた課金が行われることになる。なお、各アルゴリズムに対する課金額は、例えばそれぞれの階層での選択毎の料金の和で定義する。
【０２２０】
図２１には、ユーザが要求する画質に応じて、画像圧縮のための異なるアルゴリズムの中から適宜選択されたアルゴリズムを利用して画像データを圧縮し、その圧縮画像データを送受信可能としたシステムの主要部の構成例を示す。なおここでは、説明を分かり易くするために、図２１の構成として、図１のシステムに本実施の形態の課金処理モデルを適用した場合の主要部のみを示しており、前記図１の送信装置１や受信装置２が備える他の構成については省略している。また、送信装置１と受信装置２は基本的に同じ構成を備えているが、図２１では図示を簡略化するために、送信装置１には受信装置２からの送信要求に応じた画像データ送信のための主要部の構成のみを、また受信装置２にはユーザの要求とそれに応じて送信されてくる画像データの受信のための主要部の構成のみを示している。
【０２２１】
図２１に示す送信装置１は、主要部の構成として、画像データを取り込むための前記ビデオカメラ部６（前記画像入力部１１）と、画像圧縮のためのそれぞれ異なるアルゴリズムであるサブサンプル圧縮、オブジェクト符号圧縮、クラス分類適応予測圧縮、階層符号化等をそれぞれ実行するためのサブサンプル圧縮処理部１２２、オブジェクト符号圧縮処理部１２３、クラス分類適応予測圧縮処理部１２４、前記階層符号化処理部１２５等を有する画像圧縮処理部１２１と、圧縮された画像データを送信するための画像データ送信部１２７と、画像データの送信要求を受信するための要求受信部１２６と、上記画像データの送信要求を受信したとき、その送信要求に応じて上記画像圧縮処理部１２１を制御すると共に、必要に応じて上記画像圧縮のアルゴリズムの自動選択（最適化）やユーザの興味の注目点予測等を行う制御部３５とを備えている。
【０２２２】
また、受信装置２は、主要部の構成として、ユーザによる選択入力（この例では画質選択のための入力）がなされるユーザ指示入力部１３２と、そのユーザによる選択入力に基づいて画像圧縮のためのアルゴリズムから何れかのアルゴリズムを選択したり、状況に応じてそれら画像圧縮のアルゴリズムを自動選択（最適化）するためのアルゴリズム、画像中からユーザが興味を持っている領域（注目点）を予測するためのアルゴリズム、装置の電力使用量の自動制御を行うためのアルゴリズム等の選択信号を生成する制御部１３３と、画像データの要求信号を送信し、また管理センター１０３からの許可信号を受信する要求送信許可受信部１３４と、上記電力使用量の自動制御アルゴリズムを使用する場合に当該装置の電力制御を行う消費電力制御部１３１と、送信されてきた圧縮画像データを受信する画像データ受信部１３５と、その受信した圧縮画像データを圧縮時のアルゴリズムに対応して復号する圧縮画像データ復号部１３６と、復号された画像を表示する表示部１３７（前記表示部７に相当する）とを備えている。
【０２２３】
なお、図２１の構成では、前記図１９のモデルの例ように装置自身が予め複数のメソッドを保持している例を挙げているが、前記図２０のモデルのように、管理センタ１０３から必要に応じてメソッドを取得するものであってもよい。したがって、管理センター１３０は、図１９と図２０の何れのモデルを採用するかにより、図１９或いは図２０の何れかの構成を取るか或いは両方の構成を有することになる。
【０２２４】
この図２１において、送信装置１のビデオカメラ部６にて取り込んだ画像データを受信装置２で取得する場合、当該受信装置２のユーザ指示入力部１３２からは、ユーザによる指示信号が入力される。なお、この指示信号の入力がなされる場合の指示の基準（アルゴリズム選択の基準）は、要求する画像の画質（処理結果の性能）、処理速度、処理時間、データ転送時間、処理結果、利用料金、利用電力量（消費電力）等である。
【０２２５】
ここで、上記ユーザ指示入力部１３２からの指示信号として、所望の画質を要求するための指示信号が入力されたとき、制御部１３３は、その指示信号に対応した画質を実現可能な画像圧縮のためのアルゴリズムを要求するための選択信号を生成し、要求送信許可受信部１３４へ送る。要求送信許可受信部１３４は、上記選択信号を図示しない基地局や交換局などを介して管理センター１０３に送る。なお、この時点で通信経路の確保等の初期化処理が既に終わっているとする。
【０２２６】
管理センター１０３は、上記選択信号を受け取ると、その選択信号を送信してきた受信装置２が、自己の管理している受信装置であるか否か、すなわちその選択信号を送信してきた受信装置２が正当な装置（正当なユーザ）であるか否かを確認し、正当な受信装置であると確認したとき、図示しない基地局や交換局などを介して送信装置１にその選択信号を送信すると共に許可信号を受信装置２に送信する。
【０２２７】
送信装置１の要求受信部１２６は、上記選択信号を受信すると、その選択信号を制御部１２８に送る。制御部１２８は、上記選択信号の内容を解析し、その解析結果に基づき、上記ビデオカメラ部６から取得した画像データを上記サブサンプル圧縮、オブジェクト符号圧縮、クラス分類適応予測圧縮、階層符号化の何れのアルゴリズムを利用して圧縮するか決定し、その決定したアルゴリズムに対応する処理部１２２〜１２５を動作させる。このようにして画像圧縮処理部１２１により圧縮された画像データは、画像データ送信部１２７に送られる。画像データ送信部１２７は、制御部１２８の制御の元で、上記圧縮画像データを、図示しない基地局や交換局などを介して受信装置２に送る。なお、送信装置１から出力された圧縮画像データを一旦管理センター１０３に送り、その管理センター１０３から当該圧縮画像データを図示しない基地局や交換局などを介して受信装置２に送信するようにしてもよい。
【０２２８】
受信装置２の画像データ受信部１３５は、上記圧縮画像データを受信すると、その圧縮画像データを圧縮画像データ復号部１３６に送る。圧縮画像データ復号部１３６は、上記制御部１３３の制御の元、先に選択されて利用許可のなされた画像圧縮のアルゴリズムに対応した復号アルゴリズムを使用して、その圧縮画像データを復号し、表示部１３７に送る。これにより、表示部１３７上には、上記送信装置１のビデオカメラ部６により撮影された画像が表示されることになる。
【０２２９】
また、受信装置２において、ユーザによりユーザ指示入力部１３２から、上記状況に応じてそれら画像圧縮のアルゴリズムを自動選択（最適化）するためのアルゴリズムや、画像中からユーザが興味を持っている領域（注目点）を予測するためのアルゴリズムを指示する旨の指示信号が入力されると、制御部１３３は、上記ユーザ指示入力部１３２からの指示信号に基づいて、上記アルゴリズム自動選択（最適化）のためのアルゴリズムや注目点の予測のためのアルゴリズムの選択信号を生成し、要求送信許可受信部１３４へ送る。これにより、要求送信許可受信部１３４からは、上記選択信号が管理センター１０３に送られることになる。
【０２３０】
管理センター１０３は、上記選択信号の認証を行い、確認後にその選択信号を送信装置１へ送信すると共に許可信号を受信装置２に送信する。
【０２３１】
この時の送信装置１の制御部１２８は、上記選択信号の内容を解析し、その解析結果に基づき、上記サブサンプル圧縮、オブジェクト符号圧縮、クラス分類適応予測圧縮、階層符号化の何れのアルゴリズムを状況に応じて自動選択したり、注目点の予測を行うように、画像圧縮処理部１２１を制御する。このようにして画像圧縮処理部１２１により圧縮された画像データは、画像データ送信部１２７から送信され、基地局、交換局等を介して、受信装置２の画像データ受信部１３５に受信される。
【０２３２】
この時の受信装置２の圧縮画像データ復号部１３６では、上記制御部１３３の制御の元、上記アルゴリズム自動選択により選択された画像圧縮のアルゴリズムに対応した復号アルゴリズムを使用して、その圧縮画像データを復号し、表示部１３７に送ることになる。
【０２３３】
また、受信装置２において、ユーザによりユーザ指示入力部１３２から上記電力使用量の自動制御のアルゴリズムを指示する旨の指示信号が入力されると、制御部１３３は、装置の消費電力の自動制御アルゴリズムの利用許可の問い合わせ信号を要求送信部１３４を介して管理センター１０３に送る。この問い合わせ信号に対応した許可信号が管理センター１０３から送信されてくると、受信装置２では、消費電力制御のためのアルゴリズムを利用可能となり、費電力制御部１３１は当該装置の消費電力の自動制御を行う。
【０２３４】
上述したような処理と同時或いは後に、管理センター１０３では、上記利用許可を送信した受信装置（ユーザ）と、その利用を許可した処理、すなわち画像圧縮のアルゴリズムや、アルゴリズム自動選択（最適化）のためのアルゴリズム、注目点の予測のためのアルゴリズム、消費電力の自動制御のためのアルゴリズム等の利用履歴情報を用いて、受信装置２のユーザに対する利用料金を計算し、その利用料金請求を行う。これにより、受信装置２のユーザは、当該利用料金請求に応じた料金を管理センター１０３に支払うことになる。なお、図２１の例の場合、各画像圧縮のアルゴリズムによる処理や、自動選択（最適化）のためのアルゴリズムによる処理、予測を行うアルゴリズムによる処理は、実際には送信装置１において行われる処理であるが、これらアルゴリズムを選択し、且つそのメリットを受けているのは、受信装置２であるため、それらのアルゴリズムに応じた課金は、そのメリットを受けている受信装置２（ユーザ）に対して行われる。
【０２３５】
ここで、本実施の形態において、利用された各アルゴリズムに対する課金額は、例えばそれぞれの階層での選択毎の料金の和で定義されている。したがって、例えば上記画像圧縮のアルゴリズムのみ利用された場合、前記サブサンプル圧縮、オブジェクト符号圧縮、クラス分類適応予測圧縮、階層符号化の各アルゴリズム毎に予め設定された利用料の課金がなされる。また、例えば、前記アルゴリズム自動選択（最適化）のためのアルゴリズムが利用された場合、そのアルゴリズム自動選択のためのアルゴリズムの利用料金に加えて、当該自動選択アルゴリズムにより選択された画像圧縮のためのアルゴリズムの利用料金もプラスされて課金されることになる。同様に、前記予測を行うアルゴリズムや消費電力の自動選択アルゴリズムが利用された場合にはその利用料もプラスされて課金がなされる。なお、利用料の請求は、利用料の計算結果を元に、逐次あるいはある期間でまとめて、ユーザに請求するような手法をとることができる。また、上記課金は、時間従量制を併用してもよい。
【０２３６】
なお、本実施の形態の場合、受信装置のユーザは、例えば上記画質のように、自己の要求を指示すれば良いのであって、自己がアルゴリズムの選択を行っているという意識をもつ必要は必ずしもない。
【０２３７】
次に、図２２には、図２１の例えば送信装置１における処理の流れを示す。
【０２３８】
図２２において、先ず、要求受信部１２６では、ステップＳ１０１の処理として、前記アルゴリズムの選択信号の受信待ちとなっており、上記選択信号を受信すると、その選択信号を制御部１２８に送る。
【０２３９】
制御部１２８は、上記アルゴリズムの選択信号を受信すると、ステップＳ１０２の処理として、画像圧縮処理部１２１を制御して使用するアルゴリズムの切り替えを行う。すなわち、制御部１２８は、前記各処理部１２２〜１２５のうち、上記選択信号により示されているアルゴリズムに対応する処理部を使用するように、画像圧縮処理部１２１を制御する。
【０２４０】
画像圧縮処理部１２１では、上記制御部１２８によりアルゴリズムの切り替え制御がなされると、ステップＳ１０３の処理として、その切り替え指定がなされたアルゴリズムに対応する処理部を用いたコーディング（画像圧縮）を行い、さらに、そのコーディングにより得られた圧縮画像データを画像データ送信部１２７に送る。
【０２４１】
画像データ送信部１２７では、ステップＳ１０４の処理として、上記画像圧縮処理部１２１からの圧縮画像データを、基地局、交換局、管理センターを介して受信装置２に送信する。
【０２４２】
その後、当該送信装置１（例えば制御部１２８）は、ステップＳ１０５の処理として、処理の終了判定を行い、終了しないときにはステップＳ１０１の処理に戻り、終了するときには当該図２２の送信装置１での処理を終了する。
【０２４３】
次に、図２３には、図２１の受信装置２における処理の流れを示す。
【０２４４】
図２３において、先ず、ユーザによりユーザ指示入力部１３２から例えば画質を指示するための指示信号が入力され、さらに制御部１３３にて選択信号（利用するアルゴリズムを示す信号）が生成されると、その選択信号は、ステップＳ１１０にて、要求送信許可受信部１３４から管理センター１０３に向けて送信される。
【０２４５】
上記選択信号の送信後、制御部１３３は、要求送信許可受信部１３４が管理センター１０３からの前記許可信号を受信したか否かを見ており、不許可信号が返信されたか或いは一定時間経過しても許可信号が送信されてこない場合、処理を終了する。一方、管理センター１０３から許可信号が送信されてきた場合には、その後、送信装置１から圧縮された画像データが送信されてくることになる。
【０２４６】
ここで画像データ受信部１３５では、圧縮画像データの受信待ちとなっており、ステップＳ１１２として圧縮画像データを受信すると、その圧縮画像データを圧縮画像データ復号部１３６に送る。
【０２４７】
圧縮画像データ復号部１３６は、上記圧縮画像データを受け取ると、その圧縮画像データを圧縮とは逆の処理により復号（デコード）し、そのデコード後の画像信号を表示部１３７に送る。これにより、表示部１３７には画像が表示されることになる。
【０２４８】
その後、当該制御部１３３は、ステップＳ１１４の処理として、ユーザ指示入力部１３２から終了の要求指示がなされたか否か判定し、ユーザ指示入力部１３２より終了要求の指示がなされていない場合はステップＳ１１０の処理に戻り、終了要求の指示がなされた場合はステップＳ１１５にて終了信号を生成して、その終了信号を要求送信許可受信部１３４を介して管理センター１０３に送信する。管理センター１０３は、送信装置１に対して送信終了を行わせ、これにより処理が終了する。
【０２４９】
次に、図２４には、図２１及び図１９の管理センター１０３における処理の流れを示す。なお、この図２４では、適宜図１９の管理センターの内部構成を用いて説明する。
【０２５０】
図２４において、先ず、管理システム１０５は、ステップＳ１２１として、受信装置１からアルゴリズムの選択信号（アルゴリズムの要求信号）の受信待ちとなっており、当該選択信号を受信すると、ステップＳ１２２の処理として、認証用メモリ１０４に保持されている情報を用いて、その受信装置２の要求に対する正当性の判定を行う。このステップＳ１２２の判定処理において、不正であると判定された場合、管理システム１０５は、拒絶信号として不許可信号を受信装置２に送信した後、処理を終了する。
【０２５１】
一方、ステップＳ１２２の判定処理において正当であると判定された場合、管理システム１０５は、送信装置１に対してその選択信号（選択されたアルゴリズムを表す信号）を送信し、また、その選択されたアルゴリズムと受信装置２を表す情報を料金計算システム１０６に送る。
【０２５２】
料金計算システム１０６は、上記管理システム１０５から上記選択されたアルゴリズムと受信装置２を表す情報を受け取ると、ステップＳ１２５の処理として、当該情報と料金計算用テーブル１０７の利用料金計算表とを用いて、利用料金の計算を行う。
【０２５３】
その後、管理システム１０５は、受信装置２から終了信号が送信されてきたか否か判定し、送信されてこないときは処理を継続するためにステップＳ１２１の処理に戻る。
【０２５４】
ステップＳ１２６の判定処理において、送信終了と判定された時、料金計算システム１０６は、ステップＳ１２７の処理として、これまでの各処理毎の料金を合算し、また、ステップＳ１２８としてその計算により得られた利用料金の請求を受信装置２のユーザに対して行う。
【０２５５】
その後、管理システム１０５は、終了信号を送信装置１に対して送信し、図２４の処理を終了する。なお、ステップＳ１２７とステップＳ１２８は、ステップＳ１２９の処理後に行っても良い。
【０２５６】
次に、前記アルゴリズムの自動選択（最適化）のためのアルゴリズムによる処理の流れについて、図２５を参照しながら説明する。
【０２５７】
ここで、アルゴリズムの最適化は何を基準にして行うかによりその最適化の手法は異なる。上述の説明では、画像圧縮のためのアルゴリズムの選択時に、画質を基準としてユーザが処理（アルゴリズム）を選択する例を挙げたが、ここでは自動選択（最適化）の基準として利用料の安さを例に挙げる。すなわち、当該自動選択（最適化）アルゴリズムでは、先ず、利用料の最も安いアルゴリズムを選択するが、このとき、画質が限界以上に悪くなる場合にはそれより高品質な画質を得られるようなアルゴリズムを用いるように自動的にアルゴリズムを変更するような例に挙げて説明する。なお、本実施の形態では、画像圧縮のためのアルゴリズムを自動選択する例を述べているが、本発明は画像圧縮のためのアルゴリズムの自動選択に限定されるものではなく、どのようなアルゴリズムの自動選択（最適化）であっても適用可能であり、最適化の基準も利用料に限定されるものではなく、品質や処理時間、データ転送時間等であってもよい。
【０２５８】
この図２５において、例えば画像圧縮処理の最適化のためのアルゴリズムの選択指示が、上記受信装置２よりなされたとき、図２１の送信装置１の制御部１２８は、ステップＳ１７１として、前記サブサンプル圧縮、オブジェクト符号圧縮、クラス分類適応予測圧縮、階層符号化等の各アルゴリズムのうち、最も利用料の安いアルゴリズムを選択する。これにより、画像圧縮処理部１２１では、上記最も利用料の安いアルゴリズムに対応する処理部による画像圧縮処理がなされる。ここで、画像圧縮アルゴリズムの高度さに応じて利用料が決定されているとしたとき、すなわち例えば、最も簡単な圧縮処理であるサブサンプル圧縮の利用料が１回につき１００円、次に高度な処理であるオブジェクト符号圧縮の利用料が１回につき２００円、さらに高度な処理である階層符号化の利用料が１回につき３００円、最も高度な処理であるクラス分類適応予測圧縮の利用料が１回につき４００円であったとすると、最も利用料の安いサブサンプル圧縮が選択されることになる。
【０２５９】
次に、画像圧縮処理部１２１では、ステップＳ１７２の処理として、上記選択された画像圧縮のためのアルゴリズムを使用して圧縮処理が行われた後のデータを復号して得られる画像と、元の画像との差分を計算し、その差分値を制御部１２８に返す。
【０２６０】
上記差分値１２８を受け取った制御部１２８は、ステップＳ１７４の処理として、当該差分値が所定の閾値以下か否かの判定を行う。
【０２６１】
ここで、上記差分値が所定の閾値以下でないと言うことは、上記選択された画像圧縮のためのアルゴリズムを使用して圧縮処理により得られる画像の画質が、限界以上に悪くなっていることを表している。したがって、この時の制御部１２８は、より高品質な画質を得られるような画像圧縮アルゴリズムを用いるように、上記選択されるアルゴリズムの変更を行う。先の選択時に、上記サブサンプル圧縮が選択されていた場合には、それよりも高度なアルゴリズムである上記オブジェクト符号圧縮のアルゴリズムが選択される。その後、画像圧縮処理部１２１では、当該新たに選択されたアルゴリズムを使用して圧縮処理が行われた後、再度差分値が計算され、さらに、制御部１２８では、その差分値が所定の閾値以下か否かの判定を行う。この一連の処理は、上記差分値が所定の閾値以下になるまで繰り返される。
【０２６２】
上記ステップＳ１７４において上記差分値が所定の閾値以下になった場合、ステップＳ１７５の処理として、画像圧縮処理部１２１からは、その時点で選択されている画像圧縮アルゴリズムにより圧縮処理された画像データが処理結果として、画像データ送信部１２７を介して出力される。
【０２６３】
その後、制御部１２８は、受信装置２側からの終了要求がなされたか否かをステップＳ１７６により判定し、終了要求がなされていないときはステップＳ１７１の処理に戻り、終了要求がなされたときには当該処理を終了する。以上が、アルゴリズム自動選択（最適化）のためのアルゴリズムが選択指示されたときの動作である。
【０２６４】
この場合、受信装置２に対しては、上記差分値が所定の閾値以下になった時点で選択されている画像圧縮アルゴリズムに対応する利用料金に、上記最適化のためのアルゴリズムの利用料金が加算された額が課金されることになる。
【０２６５】
なお、上記画質を決定する所定の閾値の決め方としては、複数考えられる。例えば、予め決定しておく方法や、処理した画像をユーザに提示してユーザが選択する手法などが考えられる。
【０２６６】
また、この図２５の説明では、一旦画像圧縮を行って得られる画質を検討（性能の比較）を行って最終的に選択される画像圧縮アルゴリズムを最適なものとして決定する手法を採用しているが、例えば、先に画像の特徴量を検出し、その特徴量に基づいて最適なアルゴリズムを判定することにしてもよい。例えば、画像中の輝度や動き、色などの値の変化の大きい画像では、単純な圧縮アルゴリズムを用いると十分な画質が得られないことが予想されるので、高度な圧縮アルゴリズムを自動選択するとようなことが考えられる。また、画像の特徴として、その画像がＣＧ（コンピュータグラフィック）、ゲーム等の画像であるかなどの検出を行うことで、それら画像に適した圧縮アルゴリズムを自動選択するようなことも考えられる。このようなことを行った場合は、上述した利用料の安いアルゴリズムから順番に選択していくような手法と比べて、繰り返し圧縮を試さないので、処理の高速化が可能となり、画像特性と圧縮アルゴリズムの関連付けを予め設定しておけば、より最適な圧縮アルゴリズムを高速に選択可能となる。
【０２６７】
次に、前記画像圧縮のためのアルゴリズムのうち、サブサンプルについて説明する。当該サブサンプルとは、例えば画像を構成する各画素の例えば２画素のうち１画素を間引くような処理である。もちろん、２画素につき１画素間引く例だけでなく、３画素につき１画素、４画素につき１画素などの間引きも含まれる。
【０２６８】
次に、前記画像圧縮のためのアルゴリズムのうち、オブジェクト符号について説明する。
【０２６９】
オブジェクト符号とは、画像中で時間方向に変化しないものをオブジェクトとして作成（抽出）し、当該変化しない部分（オブジェクト）の情報を一旦送信した後は送信しないようにすることで、情報の圧縮を行う圧縮手法である。なお、このオブジェクトは、前述の図２等にて説明したオブジェクトと略々同じものと考えて良い。
【０２７０】
すなわち、例えば動画を送信するような場合、オブジェクト画像自体が全く変化していないものであれば、そのオブジェクトの画像データを送信することは伝送帯域の無駄な使用となる。したがってこの場合、そのオブジェクトの画像データを一旦送信した後は、再度送信しないようにすることで、情報量の大幅な削減が可能となる。
【０２７１】
具体例として図２６を挙げて説明すると、図２６の（Ａ）に示すような３０フレーム／秒の動画像があり、当該動画像の１フレーム内には、動かない空と山からなる背景１５１と、動いている雲１５２及び自動車１５３があるとする。この１フレームの画像からは、図２６の（Ｂ）に示すように、背景１５１のオブジェクトと、自動車１５３のオブジェクトと、雲１５２のオブジェクトとが抽出されることになる。ここでオブジェクト符号では、上記図２６の（Ａ）の各フレーム間の差分の計算とマッピングにより、それぞれのオブジェクトについての動きの方向及び動き量を表す動きベクトルが求められる。図２６の（Ｂ）の例では、動かない背景１５１の動きベクトルは（ｘ，ｙ）＝（０，０）となり、自動車１５３はｘ方向に−２だけ動き、ｙ方向には変化しないことを示す動きベクトル（−２，０）となり、雲１５２はｘ方向に３、ｙ方向に２だけ動くことを示す動きベクトル（３，２）となっているとする。オブジェクト符号では、上記背景１５１、自動車１５３、雲１５２の各オブジェクトについて形状の情報を取得し、その形状の情報を送信した後は、上記動きベクトルの情報のみを送信することで、伝送データ量を大幅に削減可能となっている。一方、受信側では、先に取得したオブジェクトの形状情報とフレーム毎に受け取る動きベクトルとに基づいて画像を再構成する。
【０２７２】
図２７には、上記オブジェクト符号を行う図２１のオブジェクト符号圧縮処理部１２３の処理の流れを示す。
【０２７３】
この図２７において、先ず制御部１２８によりオブジェクト符号圧縮処理部１２３での処理が選択されると、当該オブジェクト符号圧縮処理部１２３では、ステップＳ１３１として初期処理を行う。当該初期処理では、前記ビデオカメラ部６から初期画像データを取得し、その画像に存在しているオブジェクトを抽出し、今後の処理で用いるデータ（形状情報等）を取得、保持する。
【０２７４】
上記ステップＳ１３１の初期処理後、オブジェクト符号圧縮処理部１２３では、ステップＳ１３２として、上記ビデオカメラ部６より、順次、処理する画像データを取得し、さらに単位時間前（例えば１フレーム前）の画像などの先に保持しておいた、処理に用いるデータを取得する。
【０２７５】
次に、オブジェクト符号圧縮処理部１２３では、ステップＳ１３４として、現在の画像をオブジェクトに分割する。この場合の処理は、例えば同一の色の部分を同一のオブジェクトにしたり、前述したクリックデータに基づいたオブジェクト抽出等の手法を使用する。
【０２７６】
次に、オブジェクト符号圧縮処理部１２３は、ステップＳ１３５の処理として、当該前処理で抽出したオブジェクト毎に動きの情報（動きベクトル）を計算抽出し、さらに、ステップＳ１３６としてその動きベクトルを受信装置２に向けて送信する。
【０２７７】
またこのとき、オブジェクト符号圧縮処理部１２３は、ステップＳ１３７として、既に抽出されてその情報がオブジェクトテーブルに保持されているオブジェクト以外の、新規のオブジェクトが出現していないかを調べる。このステップＳ１３７にて新規オブジェクトが検出されないときは、ステップＳ１４０の処理に進み、一方、新規オブジェクトを検出した場合は、ステップＳ１３８としてその新規のオブジェクトについての情報をオブジェクトテーブルに追加し、さらにステップＳ１３９として、当該新規のオブジェクトに関する情報を受信装置２に向けて送信する。このステップＳ１３９の処理後はステップＳ１４０の処理に進む。
【０２７８】
ステップＳ１４０の処理に進むと、オブジェクト符号圧縮処理部１２３は、次の処理のために、画像とオブジェクト等の各情報を蓄積し、その後、ステップＳ１４１にて、受信装置２側からの終了要求がなされたか否かの判定を行い、終了要求がなされていないときはステップＳ１３２の処理に戻り、終了要求がなされたときには当該処理を終了する。以上が、オブジェクト符号圧縮処理の流れである。
【０２７９】
次に、図２１のクラス分類適応予測圧縮処理部１２４の詳細な構成及びその動作について以下に説明する。
【０２８０】
先ず、時空間モデルで画像を記述することについて、図２８を参照して説明する。
【０２８１】
図２８において、図中Ｔ１、Ｔ２は、時間的に連続する２フレームを示し、Ｔ１が過去のフレーム、Ｔ２が現在のフレームである。これらのフレーム中で、予測の推定値の生成及びクラス分類のために使用する画素が図に示されている。図中×で示す現在フレーム内の未来の画素を、図２８に示す画素の値ｘ_iと係数ｗ_i（ｉ＝１、２、…，ｎ）のｎタップの線形１次結合モデルで表現する。この係数が予測係数である。そして、以下により、詳細に説明するように画素の値ｘ_iと係数ｗ_iの線形１次結合で表現される未来の画素の推定値ｙの真値に対する誤差の二乗が最小二乗法で決定される。１フレーム毎及びクラス毎に１組の係数が確定される。
【０２８２】
図２８に示す時空間モデルの例では、ｎ＝１６である。現在フレームＴ２の未来の画素の予測値ｙは、１６タップの入力画素の線形１次結合ｗ₁ｘ₁＋ｗ₂ｘ₂＋…＋ｗ₁₆ｘ₁₆によって表される。この線形１次結合モデルにおける係数ｗ_iについては、実際の値と線形１次結合で表される推定値との残差が最小になるものが求められる。
【０２８３】
この未定係数ｗ_iを決定するために、入力画像を空間方向（水平方向および垂直方向）に１画素ずつずらした時の図２８に示す各画素の値ｘ_i（ｉ＝１，２，…，ｎ）と予測対象画素の実際の値ｙ_j（ｊ＝１，２，…，ｍ）をそれぞれ代入した線形１次結合の式を作成する。例えば１フレームに対して１組の係数を求める時には、入力画像を１画素ずつシフトすることによって、非常に多くの式、すなわち、１フレームの画素数（＝ｍ）の連立方程式（観測方程式と称する）が作成される。１６個の係数を決定するためには、最低で（ｍ＝１６）の連立方程式が必要である。方程式の個数ｍは、精度の問題と処理時間との兼ね合いで適宜選定できる。観測方程式は、式（１）で表される。
【０２８４】
ＸＷ＝Ｙ （１）
なお、Ｘ、Ｗ、Ｙは、それぞれ下記式（２）のような行列である。
【０２８５】
【数１】

【０２８６】
ここで、係数ｗとして、実際の値との誤差を最小にするものを最小二乗法により求める。このために、観測方程式の右辺に残差行列Ｅを加えた下記式（３）の残差方程式を作成する。すなわち、最小二乗法において、残差方程式における残差行列Ｅの要素の二乗、すなわち二乗誤差が最小になる係数行列Ｗを求める。
【０２８７】
【数２】

【０２８８】
次に、残差方程式（３）から係数行列Ｗの各要素ｗ_iの最確値を見いだすための条件は、ブロック内の画素に対応するｍ個の残差をそれぞれ二乗してその総和を最小にする条件を満足させればよい。この条件は、下記の式（４）により表される。
【０２８９】
【数３】

【０２９０】
次にｎ個の条件を入れてこれを満足する係数行列Ｗの要素である未定係数ｗ₁，ｗ₂，…，ｗ_nを出せばよい。従って、残差方程式（３）より、式（５）となる。
【０２９１】
【数４】

【０２９２】
式（４）の条件をｉ＝１，２，…，ｎについて立てれば、それぞれ式（６）が得られる。
【０２９３】
【数５】

【０２９４】
式（３）と式（６）から、下記式（７）の正規方程式が得られる。
【０２９５】
【数６】

【０２９６】
正規方程式（７）は、丁度、未知数の数がｎ個だけある連立方程式である。これにより、最確値たる各未定係数ｗ_iを求めることができる。正確には、式（７）における、ｗ_iにかかるマトリクスが正則であれば、解くことができる。実際には、Gauss-Jordanの消去法（別名、掃き出し法）を用いて未定係数ｗ_iを求めている。このようにして、未来の画素を表すための係数が１フレームで１組確定する。多数フレームの入力画像を使用して上述と同様の学習を行う時には、各フレームで確定した係数の平均値、あるいは最大出現頻度の係数が、後述する係数メモリ２０５に格納される。
【０２９７】
この例では、学習によって決定された係数を予測係数として使用し、予測符号化を行うようにしている。この場合、推定精度を向上させるために、入力画像のクラス分類（クラスタリング）を行う。図２８において、図中○で示す画素が線形１次結合モデルに使用したものを示し、図中◎で示す画素がモデルおよびクラス分類に使用した画素を示す。つまり、１６画素中の４画素がクラス分類にも使用される。
【０２９８】
ここで、上記４画素のそれぞれが８ビットであると、４画素の値の組合せが非常に多くなり、現実的なクラス分類とは言えない。そこで、後述するように、この４画素のそれぞれのビット数を符号化により圧縮している。より具体的には、ＡＤＲＣ（ダイナミックレンジに適応した符号化）によって、各画素を１ビットのコードに圧縮する。その結果、２⁴＝１６通りのクラスを取り扱えば良いことになる。なお、クラスを指示するコードをインデックスと称する。ＡＤＲＣに限らず、ベクトル量子化によって、画素のビット数を減少させることもできる。さらに、各画素の最上位ビットを集めてインデックスとしても良い。このように予測画素の近傍の４画素をそれぞれ１ビットに正規化した４ビットのコードによってクラス分類することは、画像の時空間における変化の概略のパターン形状に応じてクラス分類を行ったことを意味する。
【０２９９】
図２９は、クラス分類における学習のための構成の一例を示す。図２９において、入力端子２０１に入力される入力画像データとしては、異なる絵柄の多数の静止画像データが好ましい。入力画像データが時系列変換回路２０２及び最小二乗法の演算回路２０３に供給される。時系列変換回路２０２は、例えばラスター走査の入力画像データ中の線形１次結合モデルおよびクラス分類に使用される複数の画素データを同時化する。
【０３００】
この時系列変換回路２０２の出カデータが演算回路２０３およびクラス分類回路２０４に供給される。クラス分類回路２０４は、上述のように、画像の３次元の変化に対応するインデックスを発生する。このインデックスが演算回路２０３に供給される。演算回路２０３は、図２８に示される時空間モデルに関して、上述した最小二乗法のアルゴリズムによって、インデックスで指示されるクラス毎に１組の係数ｗ_iを決定する。この係数が係数メモリ２０５に格納される。
【０３０１】
図３０は、本実施の形態による予測符号化のエンコーダの一例の構成を示す。
【０３０２】
図３０において、係数メモリ２１５には、上述の学習により獲得された係数がクラス毎に格納されている。入力端子２１１からの入力画像データが時系列変換回路２１２に供給され、その出カデータがクラス分類回路２１４および推定値生成回路２１６に供給される。時系列変換回路２１２は、例えばラスター走査の順序に従って入力された画素データを図２８に示すように、過去において順次伝送されてくる画素と未来に伝送されてくる画素をひとまとめにして同時に出力する。クラス分類回路２１４には、クラス分類に使用する４画素のデータが供給される。クラス分類回路２１４からのインデックスが係数メモリ２１５に供給され、クラスに対応する１組の係数がメモリ２１５から読み出される。
【０３０３】
この読み出し係数が推定値生成回路２１６に供給され、時系列変換回路２１２からの画素データを使用して、推定値が生成される。この推定値が減算回路２１８に供給される。減算回路２１８の他の入力として、遅延回路２１７を介された入力画像データが供給される。時系列変換回路２１２、クラス分類回路２１４、係数メモリ２１５、推定値生成回路２１６がローカルデコーダを構成する。減算回路２１８によって、真値（実データ）と推定値との差分値が生成される。
【０３０４】
この差分値が圧縮符号化のためのエンコーダ２１９により符号化され、符号化出力（コード）が出力端子２２０に取り出される。圧縮符号化としては、一例として、適応量子化によってビット数を削減した後、生起確率に基づいて予め求められたハフマン符号によってエントロピー符号化を行う。さらに、エンコーダ２１９に対してリフレッシュ用に画素値そのものが供給され、所定の伝送データ毎に画素値が挿入される。圧縮符号化としては、他のものを採用できる。例えば差分値をブロック化した後、ＤＣＴ変換のような直交変換を行い、そしてエントロピー符号化を行っても良い。この圧縮符号化出力が伝送される。
【０３０５】
図３０の例では、前もってなされる学習により獲得された汎用性のある係数を使用している。図３１に示すエンコーダは、係数を入力画像と関連して更新することを可能とした構成である。すなわち、学習のためのものと同様の最小二乗法の演算回路２１３を設け、演算回路２１３からの係数で係数メモリ２１５を更新することを可能としている。より具体的には、クラス分類回路２１４からのインデックスが演算回路２１３および係数メモリ２１５に供給され、入力画像データが演算回路２１３に供給され、演算回路２１３からの確定係数が係数メモリ２１５に対して供給されている。入力画像の１フレーム毎に限らず、かなり多くのフレームを学習した結果に基づいて係数を更新する構成としても良い。また、図３１の係数メモリに予め学習で決定された係数を格納し、これを入力画像によって変更するようにしてもよい。図３１の例では、係数メモリ２１５の内容が変化するので、出力端子２２１に取り出された係数データをコードと共に伝送する必要がある。図３１の構成において、最小二乗法の演算回路２１３を選択的に動作させるようにしてもよい。
【０３０６】
次に、学習時およびエンコーダにおいて使用される各回路のより詳細な構成について説明する。
【０３０７】
図３２は、クラス分類回路２０４、２１４の一例である。入力画像データ（４画素のデータ）が１ビットＡＤＲＣ回路２２７に順次供給される。ＡＤＲＣ回路２２７では、４画案の値の最大値および最小値が検出され、最大値と最小値の差であるダイナミックレンジＤＲが検出される。このダイナミックレンジＤＲによって各画素の値が割算される。その商が０．５と比較され、商が０．５以上の時に”１”、０．５より小の時に”０”のコードが形成される。
【０３０８】
ＡＤＲＣ回路２２７によって、各画素の値が１ビット（”０”又は”１”）に圧縮される。このＡＤＲＣ回路２２７の出力がシフトレジスタ２２８によって直列並列変換される。シフトレジスタ２２８からの各１ビットのＬ１、Ｌ２、Ｌ３、Ｌ４がレジスタ２２９に格納される。この４ビット（Ｌ１，Ｌ ２，Ｌ３，Ｌ４）がインデックスである。
【０３０９】
なお、以上のようにしてクラス分類適応予測の符号化がなされたデータ（受信コード）を受信して復号する受信装置２側の構成を図３３に示す。
【０３１０】
この図３３において、入力端子２４１に入力された受信コードが圧縮符号化のデコーダ２４３に供給され、入力端子２４２からの受信係数が係数メモリ２４４に供給される。係数メモリ２４４は、クラス分類回路２４５からのインデックスに応答してクラスと対応する係数を出力する。学習によって得られた係数を変更しない時には、係数メモリ２４４の内容が変更されない。係数メモリ２４４の内容は、送信側のものと同一とされることが必要である。係数が推定値生成回路２４６に供給される。
【０３１１】
デコーダ２４３からは、復号差分データが得られ、これが加算器２４７に供給される。また、リフレッシュ用に挿入されている画素値は、推定値生成回路２４６に供給され、推定値の生成に用いられる。加算器２４７は、復号差分値と推定値生成回路２４６からの推定値とを加算し、復号値を発生する。この復号値が時系列変換回路２４８及び２４９に供給される。時系列変換回路２４８は、推定に必要な複数の復号画素データを纏める。時系列変換回路２４９は、復号信号を表示部１３７に表示するように変換し、その信号が出力端子２５０から表示部１３７に送られる。
【０３１２】
時系列変換回路２４８からの復号画素データが推定値生成回路２４６に供給され、また、クラス分類に必要な復号画素データがクラス分類回路２４５に供給される。クラス分類回路２４５は、上述したように、１ビットＡＤＲＣ回路の構成であり、そこからのインデックスが係数メモリ２４４に供給される。かかる図３３に示すデコーダの各回路の構成は、エンコーダについて説明したものと同様であり、その説明は省略する。
【０３１３】
次に、前記消費電力の自動制御のアルゴリズムについて説明する。
【０３１４】
ここで、消費電力制御では、各処理を基本的な命令に分割し、その命令がどのくらい電力量を消費するかを予め設定しておく。この命令毎の電力量の値は、ハードウェアに依存することになると考えられる。この命令毎の電力量の値を用いることで、使用電力量の削減を図ることが可能となり、本実施の形態では、この消費電力の自動制御のアルゴリズムの利用に関して課金を行う。
【０３１５】
また、当該消費電力の自動制御はできるだけ細かく行うことが必要である。望ましくは、回路上での１プロセス（１クロック）毎に行うのが理想的である。この概念図を図３４に示す。
【０３１６】
この図３４において、縦軸は利用電力量、横軸は１クロック（１プロセス）を示している。この図３４のように、非常に細かいプロセス毎に必要最小限の電力量は幾らになるかを調べておき、これから行うであろうプロセスに必要な電力を供給するように制御する。すなわち、それほど電力が必要でない処理を実行しているときには電力量を減らすようにし、一方、電力が必要な処理を実行しているときには電力量を増やすように制御する。
【０３１７】
図３５には、当該消費電力自動制御アルゴリズムにおいて、処理手法（他の各種のプロセス）に応じて電力制御を実行するか否かを判断する際の流れを示す。
【０３１８】
この図３５において、前記図２１の消費電力制御部１３１は、消費電力自動制御アルゴリズムに基づき、先ず、ステップＳ１５１の処理として、使用される処理手法が何れのプロセスであるかを判定し、消費電力自動制御アルゴリズムを使用するものについては、ステップＳ１５２として電力制御機能を実行し、一方、使用しないものについては、ステップＳ１５３として電力制御機能を実行しないようにする。
【０３１９】
その後、消費電力制御部１３１は、終了判定を行い、終了しないときはステップＳ１５１に戻り、終了するとき当該電力自動制御アルゴリズムを終了する。
【０３２０】
図３６には、図３５のステップＳ１５２において電力制御機能を実行する場合の処理の流れを示す。
【０３２１】
この図２６において、消費電力制御部１３１では、ステップＳ１６１として、次に行うプロセスをモニターしており、さらにステップＳ１６２として、そのプロセスに必要な電力量を計算する（ここで参照するテーブルなどによって、予め設定してある電力量の値を供給する必要がある）。
【０３２２】
次に、消費電力制御部１３１は、ステップＳ１６３として、図示しない電源部から、上記計算値に基づいた電力を供給する。これにより、受信装置２では、ステップＳ１６４として、実際に処理が実行される。
【０３２３】
その後、消費電力制御部１３１は、終了判定を行い、終了しないときはステップＳ１６１に戻り、終了するとき当該電力自動制御アルゴリズムを終了する。
【０３２４】
なお、この場合にも、処理の高度さのレベルを用いて課金量を変えることもできる。例えば、モニタする時間間隔に応じて課金量を変えたり、電力量制御の最適化レベルに応じて変えるなどである。
【０３２５】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしての送信装置１や受信装置２に組み込まれているコンピュータや、汎用のコンピュータ等にインストールされる。
【０３２６】
上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる、そのプログラムが記録されている記録媒体について説明する。
【０３２７】
すなわち、上述した処理を実行するプログラムは、コンピュータに内蔵されている記録媒体としてのハードディスクや半導体メモリに予め記録しておくことができる。また、当該プログラムは、フロッピィディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＭＯ（Magneto optical）ディスク、ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリなどの記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。
【０３２８】
なお、このプログラムは、上述したような記録媒体からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介して、コンピュータに有線で転送し、当該コンピュータにおいて、内蔵するハードディスクなどにインストールするようにすることができる。
【０３２９】
また、本明細書において、各種の処理を行うためのプログラムを記述するステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０３３０】
次に、図３７は、上述したコンピュータの構成例を示している。
【０３３１】
この図３７に示すコンピュータは、ＣＰＵ（Central Processing Unit）１４２を内蔵している。ＣＰＵ１４２には、バス１４１を介して、入出力インタフェース１４５が接続されており、ＣＰＵ１４２は、入出力インタフェース１４５を介して、ユーザによって、キーボードやマウス等で構成される入力部１４７が操作されることにより指令が入力されると、それにしたがって、前記半導体メモリに対応するＲＯＭ（Read Only Memory）１４３に格納されているプログラムを実行する。あるいは、また、ＣＰＵ１４２は、ハードディスク１４０に格納されているプログラム、前記衛星若しくはネットワークから転送され、通信部１４８で受信されてハードディスク１４０にインストールされたプログラム、またはドライブ１４９に装着されたフロッピディスク、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤ、若しくは磁気ディスクから読み出されてハードディスク１４０にインストールされたプログラムを、ＲＡＭ（Random Access Memory）１４４にロードして実行する。そして、ＣＰＵ１４２は、その処理結果を、例えば、入出力インタフェース１４５を介して、ＬＣＤ（Liquid CryStal Display）等で構成される表示部１４６に、必要に応じて出力する。
【０３３２】
なお、本実施の形態において、画像の時間解像度および空間解像度の変更は、例えば、送信装置１において、画像を離散コサイン変換するようにして、どの次数までの係数を送信するかや、あるいは、量子化を行うようにして、その量子化ステップを変更すること等によって行うことも可能である。
【０３３３】
また、通常の時間解像度で画像の表示を行う場合、例えば、オブジェクト画像（興味対象領域）については、送信装置１において、その輪郭をチェイン符号化するとともに、オブジェクト画像を構成する画素値（色）の平均値を、その代表値として求め、それらをハフマン符号化等のエントロピー符号化し、受信装置２では、オブジェクト画像の領域内を、その代表値としての色で塗ったものを表示するようにしてもよい。
【０３３４】
さらに、本実施の形態では、画像の空間解像度を向上させるようにしたが、その逆に、時間解像度を向上させるようにすることも可能である。
【０３３５】
また、本実施の形態では、画像の一部の領域としての優先範囲内の空間解像度を向上させるようにしたが、画像全体の空間解像度を向上させるようにすることも可能である。
【０３３６】
さらに、本実施の形態では、画像を、背景とオブジェクトとに分離して処理を行うようにしたが、そのような分離を行わずに処理を行うことも可能である。
【０３３７】
また、本発明実施の形態では、アルゴリズムやソフトウェア層を選択して切替使用可能とした例を挙げているが、本発明で言うアルゴリズムやハードウェア制御プログラムには、ハードウェア自体を切り替える処理も含まれ、その結果として本発明は、ハードウェアの切り替えとそれに応じた課金処理も含まれることになる。
【０３３８】
その他、本発明は、画像データだけでなく、音声データにも適用可能である。
例えば、音声信号に含まれるある基本周波数により、音声の特徴量（例えば、ピッチ、人の声の所望の部分、音楽における各楽器など）を抽出するような場合にも本発明は適用可能である。
【０３３９】
なお、特開平１０−１６４５５２号公報には、例えば視聴者の希望する画質に対応した映像番組を供給可能にすると共に、その希望した画質に応じた課金を行うビデオオンデマンド送信装置及び端末装置が開示されている。また、この公報記載の技術では、供給された映像番組の画質を決定する処理手法として、ＭＰＥＧ１、ＭＰＥＧ２のような同種のアルゴリズムを用いており、それらＭＰＥＧ１、ＭＰＥＧ２の何れかを用いて圧縮された映像番組を供給したかによって、課金額が変えられている。すなわち、この公報記載の技術は、ＭＰＥＧ１、ＭＰＥＧ２のように基本的に同じアルゴリズムを用いて画質を選択するようにしている。
また、この公報記載の技術では、同種のアルゴリズムを用いることで、受信側ではＭＰＥＧ１、ＭＰＥＧ２の何れのアルゴリズムであっても映像番組を再現できるようになされている。言い換えれば、受信側で対応可能なように、送信側のアルゴリズムを同種のアルゴリズムとしている。
【０３４０】
これに対し、本発明実施の形態の送受信システムでは、前述したようにサブサンプル、オブジェクト符号、クラス分類適応予測符号、などの全く異なるアルゴリズムを選択する点が異なっており、また、これら全く異なるアルゴリズムの何れが選択されたとしても、受信側でデータの再生が可能となっている。さらに、本発明実施の形態の送受信システムでは、上記異なるアルゴリズムの選択だけでなく、圧縮手法の自動選択や着目点の予測を行うようなことも可能である。また、本発明実施の形態のシステムでは、電力使用量の自動選択制御のように異なるソフトウェア層を選択可能となっている。
【０３４１】
【発明の効果】
本発明においては、複数の異なるソフトウェア層やアルゴリズムの中から利用するソフトウェア層やアルゴリズムを指示し、複数の異なるソフトウェア層やアルゴリズムの中から上記指示データに応じたソフトウェア層やアルゴリズムを選択し、当該選択したソフトウェア層やアルゴリズムを利用して処理を行い、その利用されたソフトウェア層やアルゴリズムに応じた利用料を支払う（課金を行う）ことにより、利用者の様々な要求に応じたデータ提供及び課金、すなわち、処理結果の性能（画質、音質など）、消費電力、処理時間、データ転送時間、処理結果などの利用者が受けるメリットに応じた課金が可能になると共に、データ提供者にとってもより実情に即した満足できる課金を実現可能である。
【図面の簡単な説明】
【図１】本発明を適用した伝送システムの一実施の形態の構成例を示す図である。
【図２】図１の送信装置（端末）の構成例を示すブロック図である。
【図３】図２の送信装置の処理を説明するためのフローチャートである。
【図４】図１の受信装置（端末）の構成例を示すブロック図である。
【図５】図４の受信装置２の処理を説明するためのフローチャートである。
【図６】図２の送信処理部の構成例を示すブロック図である。
【図７】図６の符号化部の構成例を示すブロック図である。
【図８】階層符号化／復号を説明するための図である。
【図９】図６の送信処理部による送信処理を説明するためのフローチャートである。
【図１０】図４の受信処理部の構成例を示すブロック図である。
【図１１】図１０の復号部の構成例を示すブロック図である。
【図１２】図４の合成処理部の構成例を示すブロック図である。
【図１３】図１２の合成処理部による合成処理を説明するためのフローチャートである。
【図１４】図４の画像出力部における画像の表示例を示す図である。
【図１５】図１の送信装置から受信装置に送信される画像の空間解像度と時間解像度との関係を説明するための図である。
【図１６】興味の注目点の予測を行う場合の図６の制御部の主要部の構成例を示すブロック図である。
【図１７】ユーザが注目する傾向を反映する特徴量の具体例の説明に用いる図である。
【図１８】興味の注目点の予測を行う場合の図６の制御部による制御の流れを説明するためのフローチャートである。
【図１９】メソッドが予めインストールされている処理装置と管理センタとの間における課金処理のモデルについて説明するための図である。
【図２０】メソッドを管理センタから取得する場合の課金処理のモデルについて説明するための図である。
【図２１】課金処理モデルを実際のシステム構成に適用した場合の送信装置、受信装置の主要部の構成を説明するための図である。
【図２２】課金処理モデルを実際のシステム構成に適用した場合の図２１の送信装置における処理の流れを説明するためフローチャートである。
【図２３】課金処理モデルを実際のシステム構成に適用した場合の図２１の受信装置における処理の流れを説明するためフローチャートである。
【図２４】課金処理モデルを実際のシステム構成に適用した場合の図２１の管理センターにおける処理の流れを説明するためのフローチャートである。
【図２５】アルゴリズム自動選択のための最適化アルゴリズムによる処理の流れを説明するためのフローチャートである。
【図２６】画像から抽出されるオブジェクトとその動きの説明に用いる図である。
【図２７】オブジェクト符号圧縮処理の流れを説明するためのフローチャートである。
【図２８】時空間モデルで画像を記述することについての説明に用いる図である。
【図２９】クラス分類適応予測符号における予測符号化回路の係数を決定するためになされる学習のための構成の一構成例を示すブロック図である。
【図３０】クラス分類適応予測符号における予測符号化回路の―構成例を示すブロック図である。
【図３１】クラス分類適応予測符号における予測符号化回路の他の構成例を示すブロック図である。
【図３２】クラス分類適応予測符号におけるクラス分類回路の一構成例を示すブロック図である。
【図３３】クラス分類適応予測符号における復号装置の一構成例のブロック図である。
【図３４】消費電力の自動制御における１プロセス（１クロック）毎の処理の概念説明に用いる図である。
【図３５】消費電力自動制御アルゴリズムにおいて、処理手法に応じて電力制御を実行するか否かを判断する際の流れを説明するためのフローチャートである。
【図３６】電力制御機能を実行する場合の処理の流れを説明するためのフローチャートである。
【図３７】本発明を適用したコンピュータの構成例を示すブロック図である。
【符号の説明】
１ 端末（送信装置）、 ２ 端末（受信装置）、 ３，５ 無線基地局、 ４ 交換局、 ６ ビデオカメラ部、 ７ 表示部、 ８ キー部、 ９ スピーカ、 １０ マイクロホン、 １１ 画像入力部、 １２ 前処理部、 １３背景抽出部、 １４ オブジェクト抽出部、 １５ 付加情報算出部、 １６送信処理部、 ２１ 受信処理部、 ２２ 合成処理部、 ２３ 画像出力部、 ２４ クリックデータ入力部、 ２５ クリックデータ送信部、 ３１ 符号化部、 ３２ ＭＵＸ、 ３３ 送信部、 ３４ データ量計算部、 ３５ 制御部、 ４１Ｂ，４１Ｆ 差分計算部、 ４２Ｂ，４２Ｆ 階層符号化部、 ４３Ｂ，４３Ｆ 記憶部、 ４４Ｂ，４４Ｆ ローカルデコーダ、 ４５ ＶＬＣ部、 ５１ 受信部、 ５２ ＤＭＵＸ、 ５３ 復号部、 ６１Ｂ，６１Ｆ加算器、 ６２Ｂ，６２Ｆ 記憶部、 ６３ 逆ＶＬＣ部、 ７１ 背景書き込み部、 ７２ オブジェクト書き込み部、 ７３ 背景メモリ、 ７４ 背景フラグメモリ、 ７５ オブジェクトメモリ、 ７６ オブジェクトフラグメモリ、 ７７ 合成部， ７８ 表示メモリ、 ７９ サブウインドウメモリ、 １００ 処理装置、 １０１ 利用処理管理部、 １０２ アルゴリズム処理部、 １０３ 管理センター、 １０４ 認証用メモリ、 １０５ 管理システム、 １０６ 料金計算システム、 １０７ 料金計算用テーブル、 １１１ メモリ、 １１２ ＭＰＵ、 １１４ 処理管理プロセッサ、 １１５ アルゴリズムメモリ、 １２１ 画像圧縮処理部、 １２２ サブサンプル圧縮処理部、１２３ オブジェクト符号圧縮処理部、 １２４ クラス分類適応予測圧縮処理部、 １２８、１３３ 制御部、 １２６ 要求受信部、 １２７ 画像データ送信部、 １３１ 消費電力制御部、 １３２ ユーザ指示入力部、 １３４要求送信許可受信部、 １３５ 画像データ受信部、 １３６ 圧縮画像データ復号部、 １３７ 表示部、１４０ ハードディスク、 １４１ バス、 １４２ ＣＰＵ、 １４３ ＲＯＭ、 １４４ ＲＡＭ、 １４５ 入出力インタフェース、 １４６ 表示部、 １４７ 入力部、 １４８ 通信部、 １４９ドライブ

Claims (6)

1. 少なくともアプリケーション層とハードウェア制御層に対して所望のメソッドを指示可能な指示手段と、
   上記指示手段により指示されたメソッドを要求する要求信号を送信する要求信号送信手段と、
   上記要求信号送信手段に応じたメソッドにより処理されたコンテンツデータを受信する受信手段と、
   上記ハードウェア制御層に関わるメソッドを選択的に実行可能なハードウェア制御手段と、
   上記指示手段の指示に応じて、上記ハードウェア制御手段が上記指示されたメソッドを実行するように制御する制御手段とを備え、
   上記ハードウェア制御手段は、実行するプロセスを監視して該プロセスに必要な電力量を計算し、
   上記受信手段は、上記ハードウェア制御手段が記憶する上記プロセスを監視する時間間隔に応じた利用料金情報に基づいて、利用料金請求のための請求信号を受信する通信装置。
2. 上記ハードウェア制御手段は、予め記憶されたプロセス毎の必要最小限の電力量の値に基づいて、実行するプロセスに必要な電力量を計算する請求項１記載の通信装置。
3. 少なくともアプリケーション層とハードウェア制御層に対して所望のメソッドを指示し、
   上記指示されたメソッドを要求する要求信号を送信し、
   上記要求信号に応じたメソッドにより処理されたコンテンツデータを受信し、
   ハードウェア制御手段が上記指示されたメソッドを実行し、実行するプロセスを監視して該プロセスに必要な電力量を計算し、本装置の内部回路への電力供給を制御し、
   上記ハードウェア制御手段が記憶する上記プロセスを監視する時間間隔に応じた利用料金情報に基づいて、利用料金請求のための請求信号を受信する通信方法。
4. 上記ハードウェア制御手段は、予め記憶されたプロセス毎の必要最小限の電力量の値に基づいて、実行するプロセスに必要な電力量を計算する請求項３記載の通信方法。
5. 少なくともアプリケーション層とハードウェア制御層に対して所望のメソッドを指示するステップと、
   上記指示されたメソッドを要求する要求信号を送信するステップと、
   上記要求信号に応じたメソッドにより処理されたコンテンツデータを受信するステップと、
   ハードウェア制御手段が上記指示されたメソッドを実行し、実行するプロセスを監視して該プロセスに必要な電力量を計算し、本装置の内部回路への電力供給を制御するステップと、
   上記ハードウェア制御手段が記憶する上記プロセスを監視する時間間隔に応じた利用料金情報に基づいて、利用料金請求のための請求信号を受信するステップと
   を含むプログラムを情報処理装置に実行させる媒体。
6. 上記ハードウェア制御手段は、予め記憶されたプロセス毎の必要最小限の電力量の値に基づいて、実行するプロセスに必要な電力量を計算する請求項５記載の媒体。

Images