JP2010212947A - 情報処理装置および方法、情報処理システム、並びにプログラム - Google Patents

Abstract

【課題】アップリンク帯域においても映像画質を向上させ、且つ臨場感を損なわない効果を実現する。
【解決手段】送信側としてのクライアント機器１１Aは、撮影画像からコミュニケーションの主体となる画像のみを分離して、その分離した画像の画像データを１次データ２１Aとして送信する。受信側としてのクライアント機器１１Bは、撮影画像の背景に代わるものとして、テクスチャ画像の画像データを２次データ２２Aとして、ネットワーク１３上のストリーミングサーバ１２Aから受信する。受信した１次データ２１Aと２次データ２２Aとを合成し、合成画像をモニタ３４に表示する。本発明は、例えば、ピクチャーコミュニケーションを行う送受信装置に適用可能である。
【選択図】図２

Description

本発明は、情報処理装置および方法、情報処理システム、並びにプログラムに関し、特に、アップリンク帯域においても映像画質を向上させ、且つ臨場感を損なわない双方向通信が実現できるようになった、情報処理装置および方法、情報処理システム、並びにプログラムに関する。

従来、一般的なネットワーク環境として、ADSL（Asymmetric Digital Subscriber Line）接続が広く普及している。

図１を用いて、一般的なADSL接続におけるネットワーク環境を説明する。

クライアント機器１とクライアント機器２とは、ネットワーク３とADSL接続することで、ネットワーク３を介して相互に接続している。たとえば、クライアント機器１とクライアント機器２が双方向通信を行う場合、クライアント機器１は、データをネットワーク３に送信する。すなわち、データはクライアント機器１からネットワーク３に対してアップリンクにより送信される。クライアント機器２は、ネットワーク３を介してクライアント機器１から送信されたデータを受信する。すなわち、データは、ネットワーク３からダウンリンクによりクライアント機器２に送信されてくる。このようにして、クライアント機器２は、クライアント機器１から送信されたデータを受信することができる。

逆方向の通信においても同様に、クライアント機器２は、データをネットワーク３に送信する。すなわち、データはクライアント機器２からネットワーク３に対してアップリンクにより送信される。クライアント機器１は、ネットワーク３を介してクライアント機器２から送信されたデータを受信する。すなわち、データは、ネットワーク３からダウンリンクによりクライアント機器１に送信されてくる。このようにして、クライアント機器１は、クライアント機器２から送信されたデータを受信することができる。（例えば、特許文献１参照）

ADSL接続は、インターネット接続する場合、データがダウンリンクにより送信される（下り）側の通信帯域の幅を広く、データがアップリンクにより送信される（上り）側の通信帯域の幅を狭く設定している。以下、ダウンリンク側の通信帯域をダウンリンク帯域と称する。また、アップリンク側の通信帯域をアップリンク帯域と称する。

特開2001-236292号公報

しかしながら、上述した一般的なADSL接続におけるネットワーク環境では、ビデオコミュニケーションあるいはビデオチャットなどの双方向通信を行う場合、ダウンリンク帯域の幅と比較して、アップリンク帯域の幅の制約が大きい。このため、送信するデータの圧縮符号化レートが低くなってしまう。なお、ビデオコミュニケーションあるいはビデオチャットなどの双方向通信を、以下、ピクチャーコミュニケーションと称する。

よって、ユーザがカメラからのキャプチャ画像全体を圧縮符号化してアップリンクにより送信した場合に、コミュニケーションの主体となる人物の顔が、十分な画質で相手側に受信されるのが困難となることがあった。

また、上述した人物の顔の映像に限らず、他の画像においても、アップリンク帯域に置ける映像画質の向上が望まれている。

本発明はこのような状況に鑑みてなされたものであり、アップリンク帯域においても映像画質を向上させ、且つ臨場感を損なわないようにするものである。

本発明の一側面の第１の情報処理装置は、元画像を１以上の領域に区分し、区分された１以上の領域のうち所定の１の領域を部分画像として、その領域の画サイズで、前記元画像から分割する分割手段と、前記分割手段により前記元画像から分割された前記部分画像を他の情報処理装置に送信する送信手段と、前記部分画像に対して合成する背景画像を配信する配信装置に対して、前記背景画像を前記他の情報処理装置に送信することを要求する要求手段とを備える。

前記部分画像は、ピクチャーコミュニケーションの主体となるオブジェクトを含む画像である。

本発明の一側面である第１の情報処理方法とプログラムのそれぞれは、上述した本発明の一側面の情報処置装置に対応する方法とプログラムのそれぞれである。

本発明の一側面のである第１の情報処理装置及び方法並びにプログラムにおいては、情報処理装置または、情報処理装置を制御するコンピュータによって、元画像が１以上の領域に区分され、区分された１以上の領域のうち所定の１の領域を部分画像として、その領域の画サイズで、前記元画像から分割され、前記元画像から分割された前記部分画像が他の情報処理装置に送信され、前記部分画像に対して合成する背景画像を配信する配信装置に対して、前記背景画像を前記他の情報処理装置に送信することが要求される。

本発明の一側面の第２の情報処理装置は、他の情報処理装置により、元画像が１以上の領域に区分され、区分された１以上の領域のうち所定の１の領域が部分画像とされて、その領域の画サイズで前記元画像から分割され、前記部分画像が送信されてきた場合、その部分画像を受信する部分画像受信手段と、前記部分画像受信手段により受信された前記部分画像と、所定の背景画像とを合成することで、合成画像を生成する合成手段とを備える。

前記合成手段により合成された前記合成画像を含む画像の表示を制御する表示制御手段をさらに備える。

前記部分画像は、ピクチャーコミュニケーションの主体となるオブジェクトを含む画像である。

前記背景画像が配信装置から配信されてきた場合、その背景画像を受信する背景画像受信手段をさらに備え、前記合成手段は、前記部分画像と、前記背景画像受信手段により受信された前記背景画像とを合成することで、前記合成画像を生成する。

前記前記背景画像受信手段により受信された前記背景画像を保持する保持手段をさらに備え、前記合成手段は、前記部分画像と、前記保持手段により保持された前記背景画像とを合成することで、前記合成画像を生成する。

本発明の一側面である第２の情報処理方法とプログラムのそれぞれは、上述した本発明の一側面の情報処置装置に対応する方法とプログラムのそれぞれである。

本発明の一側面である第２の情報処理装置及び方法並ぶにプログラムにおいては、情報処理装置または、情報処理装置を制御するコンピュータによって、他の情報処理装置により、元画像が１以上の領域に区分され、区分された１以上の領域のうち所定の１の領域が部分画像とされて、その領域の画サイズで前記元画像から分割され、前記部分画像が送信されてきた場合、その部分画像が受信され、受信された前記部分画像と、所定の背景画像とが合成されることで、合成画像が生成される。

本発明の一側面である情報処理システムは、第１の情報処理装置から第２の情報処理装置に送信する対象である元画像を１以上の領域に区分し、区分された１以上の領域のうち所定の１の領域を部分画像として、その領域の画サイズで、前記元画像から分割する分割手段と、前記分割手段により前記元画像から分割された前記部分画像を前記第２の情報処理装置に送信する送信手段と、前記部分画像に対して合成する背景画像を配信する配信装置に対して、前記背景画像を前記第２の情報処理装置に送信することを要求する要求手段とを備える前記第１の情報処理装置と、前記第１の情報処理装置からの要求を受けて、前記背景画像を前記第２の情報処理装置に配信する前記配信装置と、前記第１の情報処理装置から送信されてきた前記部分画像を受信する部分画像受信手段と、前記配信装置から配信されてきた前記背景画像を受信する背景画像受信手段と、前記部分画像受信手段により受信された前記部分画像と、前記背景画像受信手段により受信された前記背景画像とを合成することで、前記合成画像を生成する合成手段とを備える第２の情報処理装置とを含むように構成される。

本発明の一側面である情報処理システムにおいては、第１の情報処理装置によって元画像を１以上の領域に区分され、区分された１以上の領域のうち所定の１の領域を部分画像として、その領域の画サイズで、前記元画像から分割され、前記分割手段により前記元画像から分割された前記部分画像を前記第２の情報処理装置に送信され、前記部分画像に対して合成する背景画像を配信する配信装置に対して、前記背景画像を前記第２の情報処理装置に送信することを要求される。また、配信装置によって、前記第１の情報処理装置からの要求を受けて、前記背景画像を前記第２の情報処理装置に配信される。第２の情報処理装置によって、前記第１の情報処理装置から送信されてきた前記部分画像が受信され、前記配信装置から配信されてきた前記背景画像が受信され、前記部分画像受信手段により受信された前記部分画像と、前記背景画像受信手段により受信された前記背景画像とを合成することで、前記合成画像が生成される。

以上のごとく、本発明によれば、アップリンク帯域においても映像画質を向上させ、且つ臨場感を損なわないようにすることが可能となる。

一般的なADSL接続におけるネットワーク環境を説明するための図である。 本発明を適用した情報処理システムの概要を示す機能ブロック図である。 クライアント機器１１の機能的な構成例を示す機能ブロック図である。 図３のクライアント機器１１よる画像表示を説明するための図である。 図３の部分図作成部３２Aの機能的な構成例を示す機能ブロック図である。 図３の部分図作成部３２Bの機能的な構成例を示す機能ブロック図である。 図５の画像分離処理部の処理の例を説明するための図である。 図５の画像分離処理部の処理の例を説明するための図である。 図５および図６の動画フレーム合成部の処理を説明するための図である。 図３のクライアント機器１１による双方向通信処理の一例を説明するフローチャートである。 図３のクライアント機器１１による双方向通信処理の一例を説明するフローチャートである。 本発明が適用される情報処理システムを制御するコンピュータの構成例を示すブロック図である。

〈本発明の実施の形態〉
図２は、本発明の手法が適用される情報処理システムの概要を示す機能ブロック図である。

図２において、点線で囲まれたブロックは、データを示している。また、点線はデータの流れを示している。ただし、実際のデータの伝送経路は、点線そのものではなく、後述するネットワーク１３を介在する経路になる。

図２の例の情報処理システムは、クライアント機器１１A，１１B，ストリーミングサーバ１２A，１２Bが、ネットワーク１３を介して相互に接続されて構成されている。

なお、クライアント機器１１A，１１B、およびストリーミングサーバ１２A，１２Bは、は、それぞれ１以上の数で構成されていればよく、図２の例に限定するものではない。

クライアント機器１１Aは、ネットワーク１３を介して、クライアント機器１１Bとピクチャーコミュニケーションを行う。

クライアント機器１１Aは、カメラ（後述する図３のカメラ３１参照）から入力されたキャプチャ画像の画像データを、次の第１の画像データと第２の画像データに分離する。第１の画像データは、キャプチャ画像のうちのコミュニケーションの主体となる部分、たとえば、人物についての画像データである。なお、以下、第１の画像データを、１次データと称する。第２の画像データは、キャプチャ画像のうちの１次データ以外の部分、たとえば、人物の背景についての画像データである。なお、以下、第２の画像データを、背景画像データと称する。

クライアント機器１１Aは、キャプチャ画像の画像データのうち、１次データ２１Aを圧縮符号化する。圧縮符号化された１次データ２１Aは、ネットワーク１３を介してクライアント機器１１Bに送信される。

同様に、クライアント機器１１Bは、キャプチャ画像の画像データのうち、１次データ２１Bを圧縮符号化する。圧縮符号化された１次データ２１Bは、ネットワーク１３を介してクライアント機器１１Aに送信される。

ストリーミングサーバ１２Aは、１次データ２１Aに対応する背景画像データに代わるものとして、２次データ２２Aを、ネットワーク１３を介してクライアント機器１１Aおよびクライアント機器１１Bに配信する。２次データ２２Aは、例えば、ストリーミングサーバ１２Aに予め保存されていた静止画または動画の画像データである。ただし、２次データ２２Aは、圧縮符号化されて保存されている。

同様にストリーミングサーバ１２Bは、１次データ２１Bに対応する背景画像データに代わるものとして、２次データ２２Bを、ネットワーク１３を介してクライアント機器１１Aおよびクライアント機器１１Bに配信する。２次データ２２Bは、例えば、ストリーミングサーバ１２Bに予め保存されていた静止画または動画の画像データである。ただし、２次データ２２Bは、圧縮符号化されて保存されている。

クライアント機器１１Aは、クライアント機器１１Bから送信された１次データ２１Bを、ネットワーク１３を介して受信する。クライアント機器１１Aはまた、ストリーミングサーバ１２Bから送信された２次データ２２Bを、ネットワーク１３を介して受信する。上述の如く、１次データ２１Bと２次データ２２Bはともに圧縮符号化されている。そこで、クライアント機器１１Aは、１次データ２１Bと２次データ２２Bとのそれぞれに対して伸長復号化処理を施す。さらにクライアント機器１１Aは、伸長復号化処理が施された１次データ２１Bと２次データ２２Bに対して合成処理を施す。この合成処理により得られる画像データとは、次のような合成画像についての画像データとなる。即ち、本来の背景画像の代わりに、２次データ２２Bに対応する静止画像等を背景画像として、１次データ２１Bに対応するコミュニケーションの主体となる部分（例えば人物）が合成された画像（以下、部分図データ２３Bと称する）についての合成画像データが得られる。この部分図データ２３Bは、クライアント機器１１Aのモニタ（後述する図３のモニタ３４）において、通信相手であるクライアント機器１１Bからの受信画像として表示される。

クライアント機器１１Aは、自身の画像に対応する画像データとして、１次データ２１Aを保持している。クライアント機器１１Aはまた、ストリーミングサーバ１２Aから送信された２次データ２２Aを、ネットワーク１３を介して受信する。上述の如く、１次データ２１Aと２次データ２２Aはともに圧縮符号化されている。そこで、クライアント機器１１Aは、１次データ２１Aと２次データ２２Aとのそれぞれに対して伸長復号化処理を施す。さらにクライアント機器１１Aは、伸長復号化処理が施された１次データ２１Aと２次データ２２Aに対して合成処理を施す。この合成処理により得られる画像データとは、次のような合成画像についての画像データとなる。即ち、本来の背景画像の代わりに、２次データ２２Aに対応する静止画像等を背景画像として、１次データ２１Aに対応するコミュニケーションの主体となる部分（例えば人物）が合成された画像（以下、部分図データ２３Aと称する）についての合成画像データが得られる。この部分図データ２３Aは、クライアント機器１１Aのモニタ（後述する図３のモニタ３４）において、通信相手であるクライアント機器１１Bへの送信画像として表示される。

すなわち、クライアント機器１１Aは、通信相手であるクライアント機器１１Bからの受信画像（部分図データ２３B）と、クライアント機器１１Bへの送信画像（部分図データ２３A）を、同時にモニタ（後述する図３のモニタ３４）に表示することができる。

クライアント機器１１Bは、クライアント機器１１Aから送信された１次データ２１Aを、ネットワーク１３を介して受信する。クライアント機器１１Bはまた、ストリーミングサーバ１２Aから送信された２次データ２２Aを、ネットワーク１３を介して受信する。上述の如く、１次データ２１Aと２次データ２２Aはともに圧縮符号化されている。そこで、クライアント機器１１Bは、圧縮符号化された１次データ２１Aと２次データ２２Aとのそれぞれに対して伸長復号化処理を施す。さらにクライアント機器１１Bは、伸長復号化処理の結果得られた１次データ２１Aと２次データ２２Aに対して合成処理を施す。この合成処理により得られる画像データとは、次のような合成画像についての画像データとなる。即ち、本来の背景画像の代わりに、２次データ２２Aに対応する静止画像等を背景画像として、１次データ２１Aに対応するコミュニケーションの主体となる部分（例えば人物）が合成された画像（以下、部分図データ２３Aと称する）についての合成画像データが得られる。この部分図データ２３Aは、クライアント機器１１Bのモニタ（後述する図３のモニタ３４）において、通信相手であるクライアント機器１１Aからの受信画像として表示される。

クライアント機器１１Bは、自身の画像に対応する画像データとして、１次データ２１Bを保持している。クライアント機器１１Bはまた、ストリーミングサーバ１２Bから送信された２次データ２２Bを、ネットワーク１３を介して受信する。上述の如く、１次データ２１Bと２次データ２２Bはともに圧縮符号化されている。そこで、クライアント機器１１Aは、圧縮符号化された１次データ２１Bと２次データ２２Bとのそれぞれに対して伸長復号化処理を施す。さらにクライアント機器１１Bは、伸長復号化処理の結果得られた１次データ２１Bと２次データ２２Bに対して合成処理を施す。この合成処理により得られる画像データとは、次のような合成画像についての画像データとなる。即ち、本来の背景画像の代わりに、２次データ２２Bに対応する静止画像等を背景画像として、１次データ２１Bに対応するコミュニケーションの主体となる部分（例えば人物）が合成された画像（以下、部分図データ２３Bと称する）についての合成画像データが得られる。この部分図データ２３Bは、クライアント機器１１Bのモニタ（後述する図３のモニタ３４）において、通信相手であるクライアント機器１１Aへの送信画像として表示される。

このようにして、クライアント機器１１Bにおいても、通信相手であるクライアント機器１１Aからの受信画像（部分図データ２３A）と、クライアント機器１１Aへの送信画像（部分図データ２３B）を、同時にモニタ（後述する図３のモニタ３４）に表示することができる。

[クライアント機器の構成例]
次に、クライアント機器１１A，１１Bの詳細について説明する。

なお、以下、クライアント機器１１A，１１Bを個々に区別する必要がない場合、それらをまとめて、クライアント機器１１と称する。

図３は、クライアント機器１１の機能的な構成例を示す機能ブロック図である。

図４は、図３のクライアント機器１１における画像表示例を説明するための図である。

図３の例のクライアント機器１１は、カメラ３１、モニタ３２、部分図作成部３２Aおよび３２B、および、画像構成部３３を含むように構成されている。ただし、カメラ３１とモニタ３４は、クライアント機器１１にとって必須な構成要素ではない。即ち、外部機器としてのカメラ３１とモニタ３４を、クライアント機器１１に接続するようにしてもよい。

以下、クライアント機器１１Aであるとして説明する。

カメラ３１は、ユーザ等の被写体を撮影し、その結果得られる画像データ（以下、撮影画像データと称する）を、部分図作成部３２Aに供給する。

部分図作成部３２Aは、撮影画像データを、１次データ２１Aと背景画像データとに分離する。さらに、部分図作成部３２Aは、１次データ２１Aに対して圧縮符号化処理を施す。圧縮符号化された１次データ２１Aは、ネットワーク１３を介してクライアント機器１１Bに送信される。

また、部分図作成部３２Aは、図２に示されるストリーミングサーバ１２Aから送信されてくる２次データ２２Aを、ネットワーク１３を介して受信する。

ここで、上述の如く２次データ２２Aは、圧縮符号化されている。そこで、部分図作成部３２Aは、圧縮符号化されている２次データ２２Aに対して伸長復号化処理を施す。さらに部分図作成部３２Aは、図４の上段に示されるように、１次データ２１Aと２次データ２２Aに対して合成処理を施すことで、部分図データ２３Aを生成する。

図４の上段に示されるように、１次データ２１Aとは、撮影画像から背景画像が除外された画像、即ち、コミュニケーションの主体となる部分（例えば図４の例では特定人物の上半身）についての画像データである。また、２次データ２２Aとは、本来の背景画像の代わりとなる静止画像等（例えば図４の例では斜線パターンの静止画像）についての画像データである。よって、部分図データ２３Aとは、本来の背景画像の代わりとなる静止画像等（例えば図４の例では斜線パターンの静止画像）の上に、コミュニケーションの主体となる部分（例えば図４の例では特定人物の上半身）が合成された合成画像についての画像データとなる。

部分図作成部３２Bは、図２に示されるクライアント機器１１Bから送信されてくる１次データ２１Bを、ネットワーク１３を介して受信する。

また、部分図作成部３２Bは、図２に示されるストリーミングサーバ１２Bから送信されてくる２次データ２２Bを、ネットワーク１３を介して受信する。

ここで、上述の如く１次データ２１B、および２次データ２２Bは、圧縮符号化されている。そこで、部分図作成部３２Bは、圧縮符号化されている１次データ２１B、および２次データ２２Aに対して伸長復号化処理を施す。さらに部分図作成部３２Bは、図４の下段に示されるように、１次データ２１Bと２次データ２２Bに対して合成処理を施すことで、部分図データ２３Bを生成する。

図４の下段に示されるように、１次データ２１Bとは、撮影画像から背景画像が除外された画像、即ち、コミュニケーションの主体となる部分（例えば図４の例では特定人物の上半身）についての画像データである。また、２次データ２２Bとは、本来の背景画像の代わりとなる静止画像等（例えば図４の例では格子パターンの静止画像）についての画像データである。よって、部分図データ２３Bとは、本来の背景画像の代わりとなる静止画像等（例えば図４の例では格子パターンの静止画像）の上に、コミュニケーションの主体となる部分（例えば図４の例では特定人物の上半身）が合成された合成画像についての画像データとなる。

図３の画面構成部３３は、図４の右方のモニタ３４に示されるように、部分図作成部３２からの部分図データ２３Aに対応する画像と、部分図作成部３２Bからの部分図データ２３Bに対応する画像を、モニタ３４の一画面に表示させる制御をする。

なお、説明の簡略上、クライアント機器１１Aとして説明を行った。勿論、クライアント機器１１Bも、以上に説明した各種機能を同様に有している。

このようにして、ユーザは、クライアント機器１１Aやクライアント機器１１Bを用いて、たとえば自身の画像と通信相手の画像を同時に見ながら、ピクチャーコミュニケーションを行うことができる。

また、送信側としてのクライアント機器１１Aは、本来の背景画像の代わりとなる２次データ２２Aに対し、画像制御を行うことが可能である。例えば、２次データ２２Aが静止画である場合においては、クライアント機器１１Aは、静止画スライドショーのページ送り制御等を行うことも可能である。また例えば、２次データ２２Aが動画である場合においては、クライアント機器１１Aは、動画の早送りや巻き戻し制御等を行うことも可能である。

図５は、図３のクライアント機器１１の部分図作成部３２Aの詳細な機能的構成例を示している。

図５の例では、部分図作成部３２Aは、画像入力部４１乃至動画フレーム合成部５３を含むように構成されている。

なお、以下の簡略上、図３の説明と同様に、クライアント機器１１Aの部分図作成部３２Aとして説明をする。勿論、クライアント機器１１Bの部分図作成部３２Aも、以下に説明する各種機能を同様に有している。

画像入力部４１は、カメラ３１から撮影画像データを入力し、画像分離処理部４２に供給する。

画像分離処理部４２は、撮影画像データを、コミュニケーションの主体となる画像（例えば人物）についての１次データ２１Aと、背景画像についての背景画像データとに分離する。分離された１次データ２１Aは、符号化部４３に供給される。

なお、分離直後の１次データ２１Aに対応する画像には、コミュニケーションの主体となる画像（人物）以外の背景部分がまだ含まれている。そこで、画像分離処理部４２は、分離直後の１次データ２１Aに対応する画像のうち、コミュニケーションの主体となる画像（人物）以外の背景部分の代わりに、高周波成分の少ない平滑なテクスチャで置き換える処理を実行する。なお、この処理の詳細については、図８を参照して後述する。

以上に説明した一連の処理、即ち、背景画像データを１次データ２１Aと背景画像データとに分離し、背景画像データを平滑なテクスチャに置き換えるまでの処理を、以下、画像分離処理と称する。画像分割処理の具体例については、図７と図８を用いて後述する。

符号化部４３は、ビット割当て部４４を含むように構成されている。

符号化部４３は、画像分離処理部４２から入力された１次データ２１Aに対して圧縮符号化処理を施す。圧縮符号化された１次データ２１Aは、送信処理部４５に供給される。

また、符号化部４３は、１次データ２１Aを、画像サイズ変換部４６に供給する。

ビット割当て部４４は、１次データ２１Aの圧縮符号化に際して適応的にビットを割り当てる処理を施す。

送信処理部４５は、圧縮符号化された１次データ２１Aを、ネットワーク１３を介してクライアント機器１１Bに送信する。

画像サイズ変換部４６は、符号化部４３からの１次データ２１Aに対して、サイズ変換処理を施す。画サイズが変更された１次データ２１Aは、動画フレーム合成部５３に供給される。

図２のストリーミングサーバ１２Aから送信された２次データ２２Aは、ネットワーク１３を介してクライアント機器１１（本例ではクライアント機器１１A）に受信される。

クライアント機器１１Aの受信処理部４７は、２次データ２２Aを受信し、スイッチ部４９に供給する。

受信処理部４７は、必要に応じて２次データ２２Aをローカル蓄積部４８に蓄積させる。

ローカル蓄積部４８は、クライアント機器１１Aに内蔵されているか、または外部機器として接続されている。ローカル蓄積部４８は、２次データ２２Aを予め蓄積している。

例えば、受信処理部４７は、ローカル蓄積部４８への２次データ２２Aの蓄積を、ネットワーク１３の通信帯域に余裕のある時にあらかじめ行っておく。

スイッチ部４９は、入力を、受信処理部４７側とローカル蓄積部４８側のいずれか一方に切り替える。すると、受信処理部４７側とローカル蓄積部４８側とのうち切り替えられた側から、2次データ２２Aがスイッチ部４９に入力される。スイッチ部４９に入力された２次データ２２Aは、データカウンタ部５０に供給される。この場合、スイッチ部４９がローカル蓄積部４８に切り替えて２次データ２２Aを出力することにより、ダウンリンク帯域をより有効に利用できる。なお、スイッチ部４９により切り替えられた後のモニタ３４の表示としては、ファイルとして既圧縮符号化ビデオの非参照ピクチャからのみ表示することが可能となる。

データカウンタ部５０は、２次データ２２Aに関するストリーミングサーバ１２A上のファイル読み出し経過位置を算出する。これにより、ネットワーク１３を介して受信する２次データ２２Aを、ローカル蓄積部４８にある、ストリーミングサーバ１２Aのコピーファイルの先頭位置からのオフセットとして読み換えることができるようになる。

データカウンタ部５０から出力される２次データ２２Aは圧縮符号化されている。そこで、復号化部５１は、圧縮符号化された２次データ２２Aに対して伸長復号化処理を施す。その結果得られる２次データ２２Aは、画像サイズ変換部５２に供給される。

画像サイズ変換部５２は、復号化部５１からの２次データ２２Aに対し、サイズ変換処理を施す。画サイズが変更された２次データ２２Aは、動画フレーム合成部５３に供給される。

動画フレーム合成部５３は、画像サイズ変換部４６からの１次データ２１Aと、画像サイズ変換部５２からの２次データ２２Aとに対し、合成処理をフレーム毎に施す。その結果得られる部分図データ２３Aは、画像構成部３３に供給される。

図６は、図３のクライアント機器１１の部分図作成部３２Bの詳細な機能的構成例を示している。

図６の例では、部分図作成部３２Bは、受信処理部７１乃至動画フレーム合成部７７を含むように構成されている。

なお、以下の簡略上、図３の説明と同様に、クライアント機器１１Aの部分図作成部３２Bとして説明をする。勿論、クライアント機器１１Bの部分図作成部３２Bも、以下に説明する各種機能を同様に有している。

図２のクライアント機器１１（本例ではクライアント機器１１B）から送信された１次データ２１Bは、ネットワーク１３を介してクライアント機器１１（本例ではクライアント機器１１A）に受信される。

受信処理部７１はクライアント機器１１Bから送信されてくる１次データ２１Bを、ネットワーク１３を介して受信する。

ここで、上述の如く１次データ２１Bは、圧縮符号化されている。そこで復号化部７２は、圧縮符号化されている１次データ２１Bに対して伸長復号化処理を施す。伸長復号化された１次データ２１Bは、画像サイズ変換部７３に供給される。

画像サイズ変換部７３は、復号化部７２からの１次データ２１Bに対し、サイズ変換処理を施す。画サイズが変更された１次データ２１Bは、動画フレーム合成部７７に供給される。

図２のストリーミングサーバ１２Bから送信された２次データ２２Bは、ネットワーク１３を介してクライアント機器１１（本例ではクライアント機器１１A）に受信される。

受信処理部７４は、ストリーミングサーバ１２Bから送信されてくる２次データ２２Bを、ネットワーク１３を介して受信する。

ここで、上述の如く２次データ２２Bは、圧縮符号化されている。そこで復号化部７５は、圧縮符号化されている２次データ２２Bに対して伸長復号化処理を施す。伸長復号化された２次データ２２Bは、画像サイズ変換部７６に供給される。

画像サイズ変換部７６は復号化部７５からの２次データ２２Bに対し、サイズ変換処理を施す。画サイズが変更された２次データ２２Bは、動画フレーム合成部７７に供給される。

動画フレーム合成部７７は、画像サイズ変換部７３からの１次データ２１Bと、画像サイズ変換部７６からの２次データ２２Bとに対し、合成処理をフレームごとに施す。その結果得られる部分図データ２３Bは、画像構成部３３に供給される。

なお、クライアント機器１１は、２次データ２２Aおよび２次データ２２Bのファイル再生を、自動的に繰り返し再生するように制御することも可能である。

[本発明が適用される画像表示処理装置の画像分離処理の一例]
図７と図８は、図５の画像分離処理部４２による画像分離処理の具体例を説明するための図である。

図７のAには、カメラ３１により被写体ｍが撮影された結果、カメラ３１から出力された撮影画像データ２０Aの一例が示されている。即ち、図７のAの撮影画像データ２０Aが画像入力部４１を介して画像分離処理部４２に提供される。

すると、画像分離処理部４２は、撮影画像データ２０Aに対応する撮影画像のうち、コミュニケーションの主体となる部分（図７の例では被写体ｍ）と背景との境界mbを検出する。そして、画像分離処理部４２は、この境界mbに従って、撮影画像データ２０Aから、一次データ２１A（図７のC参照）と背景画像データとを分離する。

なお、図７のCに示される画像、即ち、一次データ２１Aに対応する画像は、基本的に、図７のBに示される撮影画像のうち点線の部分の画像である。しかしながら、基本的にと記述したように、図７のBの点線の部分の画像と、図７のCの一次データ２１Aに対応する画像とは異なる。前者の画像には、コミュニケーションの主体となる画像（図７の例では被写体ｍの画像）以外に、背景画像がまだ含まれているからである。このため、画像分離処理部４２は、撮影画像データから、前者の画像に対応する画像データを切り出した後、その前者の画像（以下、スクラップ画像と称する）から、背景画像を除去する処理（以下、背景除去処理と称する）を実行する必要がある。

図８は、背景除去処理の具体例を示す図である。

図８のAは、スクラップ画像を示している。このスクラップ画像は、境界mbを境にして、コミュニケーションの主体となる画像mp（図７の被写体ｍの画像mp）と、背景画像bpとに区分される。

画像分離処理部４２は、図８のAのスクラップ画像のうち、背景画像bpを、例えば画素値でいう極値の色（例えば黒色）で塗りつぶす画像処理を行う。その結果、図８のBに示されるように、図８のAのスクラップ画像に対して、背景画像bpがテクスチャ画像tpに変更された画像についての画像データが生成される。この図８のBに対応する画像データこそが、１次データ２１Aとして画像分離処理部４２から符号化部４３に供給される。

なお、受信側であるクライアント機器１１Bに送信される１次データ２１Aとしては、テクスチャ画像tpに変更される前の画像、即ち、背景画像bpを含むスクラップ画像に対応する画像データを採用してもよい。この場合、受信側であるクライアント機器１１Bの部分図作成部３２Bでは、図６に示されるように、圧縮符号化された１次データ２１Aが復号化部７２で伸張復号化処理されると、背景画像bpを含むスクラップ画像に対応する画像データが得られることになる。そこで、動画フレーム合成部７７等が、図８のAのスクラップ画像のうち、背景画像bpを、例えば画素値でいう極値の色（例えば黒色）で塗りつぶす画像処理を行ってもよい。即ち、受信側のデコード後の１次データ２１Aに対して、テクスチャ画像tpを張り付ける処理が施されても構わない。

[本発明が適用される画像表示処理装置の画像合成処理の一例]
図９は、動画フレーム合成部５３が、１次データ２１Aと２次データ２２Aとを合成する画像合成処理の具体例を説明するための図である。なお、この画像合成処理は、動画フレーム合成部７７において、１次データ２１Bと２次データ２２Bに対して行う画像合成処理についても同様である。

図９において、１次データ２１Aに対応する画像1p（以下、1次画像1pと称する）が、２次データ２１Bに対応する画像2Pの上に配置される。1次画像1pは、図８のBを用いて説明した如く、背景としてのテクスチャ画像tpと、コミュニケーションの主体となる画像mp（図７の被写体ｍの画像mp）とに区分される。

図９において、画像のスキャンラインの方向が、破線の矢印で示されている。また、図９には、オフセット領域の始点Ｓ、1次画像1pの始点Ｔ、スクラップ画像の終点Ｐが、それぞれ示されている。

動画フレーム合成部５３は、スキャンライン方向において、極値で塗りつぶしたテクスチャ画像tpの画素値（以下、フィルデータ値と称する）をトグルとして、そのフィルデータ値（１次データ２１Aの画素値）を、２次画像2Pの画素値（２次データ２２Aの画素値）に切り替えることで、合成処理を実現する。

具体的には、スキャンライン方向にしたがってスキャンする場合、動画フレーム合成部５３は、フィルデータ値でなくなった画素、すなわち極値で塗りつぶしていない最初の画素をInとして認識する。その後、動画フレーム合成部５３は、スキャンを継続し、再びフィルデータ値となった画素、すなわち極値で塗りつぶした最初の画素をOutとして認識する。換言すると、動画フレーム合成部５３は、InとOutとの間の線領域を、コミュニケーションの主体となる画像mp（図７の被写体ｍの画像mp）の線領域と認識する。

次に、スキャンライン方向において、１次画像1Pの始点Ｔ以後の領域かつ１次画像1Pの終点Ｐ以前の領域であって、さらにIn以後Out以前の領域を、１次データ２１Aの各画素値で埋める処理を行う。この１次データ２１Aの画素値で埋められた領域こそが、コミュニケーションの主体となる画像mp（図７の被写体ｍの画像mp）の領域である。以下、かかる領域を、１次データ領域と称する。

さらに、動画フレーム合成部５３は、１次データ領域以外の領域の画素を、すべて２次データ２２Aの画素値で埋める処理を行う。

なお、動画フレーム合成部５３は、本実施の形態では、例えば境界mp付近の画素に対する処理として、１次データ２１Aの画素値と２次データ２１Bの画素値との方向性をもったαブレンディング処理を採用している。

このようにして、動画フレーム合成部５３は、１次データ２１Aと２次データ２２Aとを合成する合成処理を行う。

［本発明が適用される情報処理システムの処理方法の例］
次に、図１０，および図１１のフローチャートを参照して、クライアント機器１１Aおよびクライアント機器１１Bが、ネットワーク１３を介してピクチャーコミュニケーションを行う場合の処理（以下、双方向通信処理と称する）について説明する。

なお、クライアント機器１１Aおよびクライアント機器１１Bと、ストリーミングサーバ１２Bとの通信は、ストリーミングサーバ１２Aとの通信と同様の処理であるため、図１０，図１１には図示がされていない。よって、これらの処理の説明は省略する。

また、双方向通信処理において、クライアント機器１１Aとクライアント機器１１Bとの間のIP（Internet Protocol）アドレスやユーザ名などの基本となる通信の設定は、第３のサーバ（ネットワークサーバ等）を介して執り行われているものとする。

図１０のステップＳ１において、クライアント機器１１Aは、クライアント機器１１Bに対して初期接続を要求する。

ステップＳ２において、クライアント機器１１Bは、クライアント機器１１Aに対して、初期接続に対する応答を行う。

ステップＳ３において、クライアント機器１１Aは、クライアント機器１１Bに対して、クライアント機器１１Aのパラメータを通知する。

ステップＳ４において、クライアント機器１１Bは、クライアント機器１１Aに対し、クライアント機器１１Bのパラメータを通知する。

パラメータとしては、例えば合成処理に関するパラメータが存在する。具体的には例えば、図９を用いて説明した１次画像１Pの左上位置と２次画像2Pの左上位置との差のオフセットに対して、XYオフセット等がパラメータとして、クライアント機器１１Aからクライアント機器１１Bに通知される。

パラメータ通知がなされたクライアント機器１１A，１１Bは、例えば、２次データ２２A，２２Bに関して、あらかじめ指定しておいた再生位置で合成時の頭出しを行い、スタンバイ状態にする。

ステップＳ５において、クライアント機器１１Aは、クライアント機器１１Bに対し、２次データ２２Aの配信先としてのストリーミングサーバ１２Aの存在場所等を通知する。

ステップＳ６において、クライアント機器１１Bは、クライアント機器１１Aに対し、その通知に対する応答を行う。

ステップＳ７において、クライアント機器１１Bは、クライアント機器１１Aに対し、２次データ２２Bの配信先としてのストリーミングサーバ１２Bの存在場所等を通知する。

ステップＳ８において、クライアント機器１１Aは、クライアント機器１１Bに対し、その通知に対する応答を行う。

ステップＳ９において、クライアント機器１１Aは、ストリーミングサーバ１２Aに対し、パラメータを要求する。

ステップＳ１０において、クライアント機器１１Bは、ストリーミングサーバ１２Aに対し、パラメータを要求する。

ステップＳ１１において、ストリーミングサーバ１２Aは、クライアント機器１１Aに対し、パラメータの書き込みを行う。

ステップＳ１２において、ストリーミングサーバ１２Aは、クライアント機器１１Bに対し、パラメータの書き込みを行う。

ステップＳ１３において、クライアント機器１１Aは、ストリーミングサーバ１２Aに対し、セットアップ要求を行う。

ステップＳ１４において、クライアント機器１１Bは、ストリーミングサーバ１２Aに対し、セットアップ要求を行う。

ステップＳ１５において、ストリーミングサーバ１２Aは、クライアント機器１１Aに対し、セットアップ要求に対する応答を行う。

ステップＳ１６において、クライアント機器１１Aは、ストリーミングサーバ１２Aに対し、２次データ２２Aの送信を要求する。

ステップＳ１７において、ストリーミングサーバ１２Aは、クライアント機器１１Aに対し、２次データ２２Aをパケット単位で送信する。

ステップＳ１８において、クライアント機器１１Aは、ストリーミングサーバ１２Aに対し、通信の中断を要求する。

ステップＳ１９において、ストリーミングサーバ１２Aは、クライアント機器１１Aに対し、通信の中断に対する応答を行う。そして、ストリーミングサーバ１２Aは、クライアント機器１１Aに対する２次データ２２Aのパケット送信を一時中断する。

ステップＳ２０において、クライアント機器１１Aは、ストリーミングサーバ１２Aに対し、再送信を要求する。

ステップＳ２１において、ストリーミングサーバ１２Aは、クライアント機器１１Aに対し、２次データ２２Aをパケット単位で送信する。

ステップＳ２２において、クライアント機器１１Aは、ストリーミングサーバ１２Aに対し、通信の中断を要求する。

ステップＳ２３において、ストリーミングサーバ１２Aは、クライアント機器１１Aに対し、通信の中断に対する応答を行う。そして、ストリーミングサーバ１２Aは、クライアント機器１１Aに対する２次データ２２Aのパケット送信を一時中断する。

図１１のステップＳ２４において、クライアント機器１１Aは、ストリーミングサーバ１２Aに対し、ストリーミング開始を要求する。

ステップＳ２５において、ストリーミングサーバ１２Aは、クライアント機器１１Aに対し、ストリーミング開始に対する応答を行う。

ステップＳ２６において、ストリーミングサーバ１２Aは、クライアント機器１１Aに対し、２次データ２２Aをパケット単位で送信する。

ステップＳ２７において、ストリーミングサーバ１２Aは、クライアント機器１１Bに対し、２次データ２２Aをパケット単位で送信する。

ステップＳ２８において、クライアント機器１１Aは、クライアント機器１１Bに対し、１次データ２１Aをパケット単位で送信する。

ステップＳ２９において、クライアント機器１１Bは、クライアント機器１１Aに対し、１次データ２１Bをパケット単位で送信する。

ステップＳ３０において、クライアント機器１１Aは、ストリーミングサーバ１２Aに対し、通信の中断を要求する。

ステップＳ３１において、ストリーミングサーバ１２Aは、クライアント機器１１Aに対し、通信の中断に対する応答を行う。そして、ストリーミングサーバ１２Aは、クライアント機器１１Aに対する２次データ２２Aのパケット送信を一時中断する。

ステップＳ３２において、クライアント機器１１Aは、ストリーミングサーバ１２Aに対し、再送信を要求する。

ステップＳ３３において、ストリーミングサーバ１２Aは、クライアント機器１１Aに対し、２次データ２２Aをパケット単位で送信する。

ステップＳ３４において、ステップＳ３３の処理と同時に、ストリーミングサーバ１２Aは、クライアント機器１１Bに対し、２次データ２２Aをパケット単位で送信する。

ステップＳ３５において、クライアント機器１１Aは、ストリーミングサーバ１２Aに対し、ストリーミングを再開する。

ステップＳ３６において、ストリーミングサーバ１２Aは、クライアント機器１１Aに対し、ストリーミングの再開に対する応答を行う。

ステップＳ３７において、ストリーミングサーバ１２Aは、クライアント機器１１Bに対し、２次データ２２Aをパケット単位で送信する。

ステップＳ３８において、クライアント機器１１Aは、クライアント機器１１Bに対し、接続終了を要求する。

ステップＳ３９において、クライアント機器１１Bは、クライアント機器１１Aに対し、接続終了に対する応答を行う。

ステップＳ４０において、クライアント機器１１Aは、ストリーミングサーバ１２Aに対し、ストリーミングの終了を要求する。

ステップＳ４１において、ストリーミングサーバ１２Aは、クライアント機器１１Aに対し、ストリーミングの終了に対する応答を行う。

以上で、双方向通信処理は終了される。

以上説明したように、ストリーミングサーバ１２Aやストリーミングサーバ１２Bは、データの送信先であるクライアント機器１１Aやクライアント機器１１Bの応答をチェックすることにより、ダウンリンク帯域のトラヒック状況を検知することができる。その結果、ストリーミングサーバ１２Aやストリーミングサーバ１２Bは、ダウンリンク帯域が不足していると判断した場合、２次データ２２Aや２次データ２２Bの送信を一時中断することができる。これにより、１次データ２１や１次データ２１Bのクライアント機器１１Aやクライアント機器１１Bに対する優先的な送信処理が実現可能となる。

本発明によれば、ピクチャーコミュニケーションを行う場合に、コミュニケーションの主体となる画像（たとえば人物の画像）とそれ以外の画像（たとえば背景の画像）を分離し、コミュニケーションの主体となる画像のみをアップリンクにより送信することができる。また、背景に相当する画像を、ネットワーク上からのストリーミングデータをダウンロードして合成することにより、通信帯域幅の狭いアップリンク時のデータ量を抑制し、ダウンリンク帯域幅を活用することが可能となる。これにより、高画質、高解像度の双方向動画コミュニケーションが可能となる。

また、本発明の適用先は、上述した例に特に限定されない。例えば、本発明は、ビデオチャットなどのPeer to Peerのコミュニケーションとオンデマンドのストリーミング機能を合成した技術分野に適用することができる。

また、本発明によれば、ピクチャーコミュニケーションを行う相手に、自分の背景等の見られたくない箇所を隠すこともできる。これにより、プライバシーを確保することができる。

また、背景として表示する２次データを、ユーザが任意に選択することにより、仮想臨場感を創造することも可能である。

上述した一覧表示処理も含む一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。

上述した一連の処理をソフトウエアにより実行させる場合、本発明が適用される情報処理装置は、たとえば、図１２に示されるコンピュータを含むように構成することもできる。或いは、図１２のコンピュータによって、本発明が適用される情報処理装置が制御されてもよい。

図１２において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory
）１０２に記録されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。

入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、および、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、たとえば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図１２に示されるように、装置本体とは別に、視聴者にプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）３１１により構成されるだけでなく、装置本体に予め組み込まれた状態で視聴者に提供され
る、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。

１，２，１１A，１１B クライアント機器， ３，１３ ネットワーク， １２A，１２B ストリーミングサーバ， ３１ カメラ， ３２A，３２B 部分図作成部， ３３ 画面構成部， ３４ モニタ， ４１ 画像入力部， ４２ 画像分離処理部， ４３ 符号化部， ４４ ビット割当て部， ４５ 送信処理部， ４６，５２，７３，７６ 画像サイズ変換部， ４７，７１，７４ 受信処理部， ４８ ローカル蓄積部， ４９ スイッチ部， ５０ データカウンタ部， ５１，７２，７５ 復号化部， ５３，７７ 動画フレーム合成部， １０１ ＣＰＵ， １０２ ＲＯＭ， １０３ ＲＡＭ， １０４ バス， １０５ 入出力インタフェース， １０６ 入力部， １０７ 出力部， １０８ 記憶部， １０９ 通信部， １１０ ドライブ， １１１ リムーバブルメディア

Claims (12)

1. 元画像を１以上の領域に区分し、区分された１以上の領域のうち所定の１の領域を部分画像として、その領域の画サイズで、前記元画像から分割する分割手段と、
   前記分割手段により前記元画像から分割された前記部分画像を他の情報処理装置に送信する送信手段と、
   前記部分画像に対して合成する背景画像を配信する配信装置に対して、前記背景画像を前記他の情報処理装置に送信することを要求する要求手段と
   を備える情報処理装置。
2. 前記部分画像は、ピクチャーコミュニケーションの主体となるオブジェクトを含む画像である
   請求項１に記載の情報処理装置。
3. 情報処理装置が、
   元画像を１以上の領域に区分し、区分された１以上の領域のうち所定の１の領域を部分画像として、その領域の画サイズで、前記元画像から分割し、
   前記元画像から分割された前記部分画像を他の情報処理装置に送信し、
   前記部分画像に対して合成する背景画像を配信する配信装置に対して、前記背景画像を前記他の情報処理装置に送信することを要求する
   ステップを含む情報処理方法。
4. 情報処理装置を制御するコンピュータに、
   元画像を１以上の領域に区分し、区分された１以上の領域のうち所定の１の領域を部分画像として、その領域の画サイズで、前記元画像から分割し、
   前記元画像から分割された前記部分画像を他の情報処理装置に送信し、
   前記部分画像に対して合成する背景画像を配信する配信装置に対して、前記背景画像を前記他の情報処理装置に送信することを要求する
   ステップを含む情報処理を実行させるプログラム。
5. 他の情報処理装置により、元画像が１以上の領域に区分され、区分された１以上の領域のうち所定の１の領域が部分画像とされて、その領域の画サイズで前記元画像から分割され、前記部分画像が送信されてきた場合、その部分画像を受信する部分画像受信手段と、
   前記部分画像受信手段により受信された前記部分画像と、所定の背景画像とを合成することで、合成画像を生成する合成手段と
   を備える情報処理装置。
6. 前記合成手段により合成された前記合成画像を含む画像の表示を制御する表示制御手段
   をさらに備える請求項５に記載の情報処理装置。
7. 前記部分画像は、ピクチャーコミュニケーションの主体となるオブジェクトを含む画像である
   請求項６に記載の情報処理装置。
8. 前記背景画像が配信装置から配信されてきた場合、その背景画像を受信する背景画像受信手段をさらに備え、
   前記合成手段は、前記部分画像と、前記背景画像受信手段により受信された前記背景画像とを合成することで、前記合成画像を生成する
   請求項５に記載の情報処理装置。
9. 前記前記背景画像受信手段により受信された前記背景画像を保持する保持手段をさらに備え、
   前記合成手段は、前記部分画像と、前記保持手段により保持された前記背景画像とを合成することで、前記合成画像を生成する
   請求項８に記載の情報処理装置。
10. 情報処理装置が、
    他の情報処理装置により、元画像が１以上の領域に区分され、区分された１以上の領域のうち所定の１の領域が部分画像とされて、その領域の画サイズで前記元画像から分割され、前記部分画像が送信されてきた場合、その部分画像を受信し、
    受信された前記部分画像と、所定の背景画像とを合成することで、合成画像を生成する
    ステップを含む情報処理方法。
11. 情報処理装置を制御するコンピュータに、
    他の情報処理装置により、元画像が１以上の領域に区分され、区分された１以上の領域のうち所定の１の領域が部分画像とされて、その領域の画サイズで前記元画像から分割され、前記部分画像が送信されてきた場合、その部分画像を受信し、
    受信された前記部分画像と、所定の背景画像とを合成することで、合成画像を生成する
    ステップを含む情報処理を実行させるプログラム。
12. 第１の情報処理装置から第２の情報処理装置に送信する対象である元画像を１以上の領域に区分し、区分された１以上の領域のうち所定の１の領域を部分画像として、その領域の画サイズで、前記元画像から分割する分割手段と、
    前記分割手段により前記元画像から分割された前記部分画像を前記第２の情報処理装置に送信する送信手段と、
    前記部分画像に対して合成する背景画像を配信する配信装置に対して、前記背景画像を前記第２の情報処理装置に送信することを要求する要求手段と
    を備える前記第１の情報処理装置と、
    前記第１の情報処理装置からの要求を受けて、前記背景画像を前記第２の情報処理装置に配信する前記配信装置と、
    前記第１の情報処理装置から送信されてきた前記部分画像を受信する部分画像受信手段と、
    前記配信装置から配信されてきた前記背景画像を受信する背景画像受信手段と、
    前記部分画像受信手段により受信された前記部分画像と、前記背景画像受信手段により受信された前記背景画像とを合成することで、前記合成画像を生成する合成手段と
    を備える第２の情報処理装置と
    を含むように構成される情報処理システム。

Images