JP2004172862A - 画像合成方法および合成画像配信システム - Google Patents

Abstract

【課題】画像配信において、プライバシー保護を図ること、画像の合成処理を簡易かつ精度良く実行することを課題とする。
【解決手段】カメラ１の撮影した画像は、ネットワークを介して中継サーバ２に送信される。中継サーバ２は、背景画像データＢＤ、代理画像データＡＤを記憶しており、受信した撮影画像から背景領域および被写体領域を決定し、背景領域に背景画像を合成する。あるいは、被写体領域に代理画像を合成する。合成された画像は、端末装置３に送信される。ここで、カメラ１は、最初にブルーバックのみの背景を撮影しており、これを基準画像として中継サーバ２が記憶する。中継サーバ２は、その後受信する撮影画像と基準画像を比較することにより、背景領域を決定する。
【選択図】 図３

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体画像と背景画像の合成技術に関する。
【０００２】
【従来の技術】
｛ブルーバッククロマキー合成法｝
被写体の画像に任意の背景画像を合成する方法として、放送などの分野においてはクロマキー合成が行なわれている。クロマキー合成の原理は、被写体となる人物と関係の薄い色調（通常は青色（ブルーバック）または緑色を用いる）を背景とした状態で撮影を行い、その撮影画像から背景となった色調を光学的にあるいは電子的に抜き出し、排除して、そこに他の画像を代替して合成するというものである。
【０００３】
図８は、クロマキー合成システムの概略図である。ブルーシートの前にいる被写体１００を撮影カメラ１０１で撮影し、その撮影画像をクロマキー合成装置１０２に入力する。クロマキー合成装置１０２は、複数の背景画像データ１０４を蓄積しており、合成部１０３は、入力した撮影画像のブルーバック部分に任意に選択された背景画像データ１０４を合成して出力するのである。
【０００４】
｛ホロセットクロマキー合成法｝
また、ブルーバックを用いたクロマキー合成方法に代用される方法として、米グローバルストリーム社により提供されている「ホロセット法」が存在する。図９は、ホロセット法による合成システムの概略図である。被写体１００の背景には、色成分補助光を乱反射させる乱反射素材１１０（布に硝材をつけたもの等）が吊り下げられている。また、撮影カメラ１１１の近傍位置に配置された光源１１５からは補助光が照射される。そして、光源１１５から、たとえば青色光を発生させる。青色光は背景の乱反射素材１１０で反射し、撮影カメラ１１１で捉えられる。これにより撮影カメラ１１１が取得する画像は、背景が青色の画像となる。そして、同様に撮影画像を入力するクロマキー合成装置１１２では、合成部１１３が、入力した撮影画像のブルーバック部分に任意に選択された背景画像データ１１４を合成して出力するのである。
【０００５】
｛輝度差検出法｝
また、同一出願人によって、輝度差検出による画像合成方法が提案されている。この方法は、ストロボあるいは人工照明などを投射したうえで撮影を行い、撮影画像における被写体と背景の輝度差を用いて（コントラス拡張を行い）、輝度の小さい部分の背景を抜き出すというものである。
【０００６】
図１０は、輝度差検出によりブルーバック処理を実行するシステムの概略および処理の流れを示す図であり、図１１は、輝度差検出によりブルーバック処理を実行する処理部１２０の機能ブロック図を示している。処理部１２０は、撮影画像を入力するＰＣ等のコンピュータ上で動作するソフトウェアにより実現される。あるいは、処理部１２０は専用のハードウェアで実現されてもよい。
【０００７】
図１０に示すように、撮影カメラ１２９の近傍位置には、光源１２８が配置されており、光源１２８が発する白色光が被写体１００を照射している。処理部１２０には、白色光が照射された状態で被写体１００を撮影して得られた画像Ａ１が入力される。次に、画像Ａ１は、コントラスト拡張部１２１においてコントラストの強調処理が行われる。このようにして得られる画像を拡張輝度画像Ａ２とする。拡張輝度画像Ａ２は、次に、低輝度域カット部１２２において処理され、設定された閾値以下の輝度の情報が切り捨てられる。この処理により、背景部分の情報が切り取られ、被写体部分の輝度が拡張された拡張高輝度画像Ａ３が生成される。拡張高輝度画像Ａ３は、次に、逆補正部１２３によってコントラストの補正が行われる。逆補正部１２３では、コントラスト拡張部１２１において拡張されたコントラストが、元のコントラストに戻され、高輝度画像Ａ４が生成される。したがって、被写体１００が背景１２７よりも輝度が大きく撮影される環境下では、高輝度画像Ａ４は、背景が取り除かれた被写体を含む画像である。以上の処理により生成された高輝度画像Ａ４は、輝度補正部１２４において輝度補正が施された後、ブルーバック処理部１２５においてブルーバック処理がされる。つまり、被写体以外の領域がブルーバックに置き換えられる。このようにして、ブルーバック画像が得られるのである。
【０００８】
｛多点測距法｝
また、クロマキー合成を行うために多点測距を利用する方法が同一出願人により提案されている（特開２００１−１６７２７６公報）。この方法は、ＡＦ（オートフォーカス）機構により距離差検出を行い、被写体領域を検知するものである。スチル、ビデオカメラなどに内蔵されているＡＦ機構を用い、画面内の複数地点に対して同時あるいは連続的に測距を行い、等高線と同様の考え方で同一距離点を結び、ある閾値以下の距離を抜き出し被写体とするか、あるいは、ある設定値以上の差異が発生したものを被写体と背景として区別する技術である。そして、この技術を利用すれば、背景に任意の画像を合成することが可能である。
【０００９】
図１２は、多点測距法による処理の流れを示す図である。図１３は、多点測距処理を行なう処理部１３０の機能ブロック図である。処理部１３０は、撮影画像を入力するＰＣ等のコンピュータ上で動作するソフトウェアにより実現される。あるいは、処理部１３０は専用のハードウェアで実現されてもよい。
【００１０】
まず、任意の背景で被写体１３５を撮影するとともに、多点測距素子により撮影領域内における被写体および背景の距離情報を取得する。そして、処理部１３０は、この撮影画像と距離情報とを入力する。距離情報解析部１３１は、この距離情報をもとに等距離点を結び、等距離画像１３６を生成する。そして、被写体抽出部１３２は、距離がある閾値以下の領域を抽出することにより、特定被写体画像１３７を取得するとともに、被写体１３５を撮影した画像データから、特定被写体画像１３７の領域のデータを抽出することにより、被写体撮影画像１３８を生成する。そして、ブルーバック処理部１３３において背景領域がブルーバック画像に置き換えられるのである。
【００１１】
以上、背景画像を合成するためのいくつかの方法を示したが、この他にも被写体（人物）自体を合成処理により置き換ええることも行なわれている。そのような技術の１つとして、アバターと呼ばれる技術が存在する。アバターは、一般の人物等を被写体として撮影し、撮影画像に対して画像認識を行い、顔や目の動きを解析し、それをアニメーションやキャラクターの画像に置き換えて表示を行なうものである。この技術については、たとえば、特願平０９−０６４８１２において開示されている。
【００１２】
一方、ネットワーク経由で撮影画像を配信するＷｅｂカメラが存在する。また、ネットワークを利用し、多地点・双方向で画像や音声をやりとりするテレビ会議システムが存在する。
【００１３】
【発明が解決しようとする課題】
上述した、ブルーバックやホロセットによるクロマキー合成方法において、ブルーシートや乱反射素材に”しわ”がある場合や、シートが破れている場合などには、撮影画像における背景領域の青色にばらつきが生じることとなる（濃い青色部分や薄い青色部分、あるいは他の色として撮影される部分が混在することになる）。このような場合、背景領域の抽出精度が低下するため、合成処理を行なっても背景部分の置き換えが不充分である。
【００１４】
また、上述したブルーバックやホロセットによるクロマキー合成方法では、被写体の背景にシートを設置する必要があるため、大掛かりな仕組みとなる。また、多点測距法において、撮影装置に特別の仕組みが必要であり、輝度差検出法では、被写体を照射するための光源が必要となるなど、簡易なシステム構成とは言えない。
【００１５】
また、テレビ会議による画像配信やＷｅｂカメラによる画像配信が、ブロードバンドネットワークなどの普及で一般化された現代においては、一般利用者のプライバシー配慮が重要な課題となっている。たとえば、利用者の人物画像を配信しようとする場合、不用意に自宅の様子が映し出される場合がある。逆に、利用者自身が人物画像として配信されることを望まない場合もある。
【００１６】
本発明においては、Ｗｅｂカメラやテレビ電話システムその他の画像配信システム、ＰＣカメラ（ＵＳＢカメラ）、デジタルムービーカメラ、デジタルスチルカメラ、テレビゲーム機器、携帯電話および携帯通信機器等を用いた画像配信において、利用者プラバシーの保護を行なうこと、機器に搭載されるアプリケーション・ソフトウェアで構成されるクロマキー処理、またはクロマキーと同様な効果を得られる手法、およびアバター処理等を、簡便かつ有効に用いることを目的とする。
【００１７】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の発明は、被写体画像と背景画像とを組み合わせて合成画像を生成する方法であって、被写体の存在しない状態で略全面にわたり一の系統色に設定された背景を撮影して第１画像を取得する工程と、前記第１画像の画像情報を記憶手段に格納する工程と、前記背景の中に被写体が存在する状態で撮影を行い、第２画像を取得する工程と、前記第２画像中、前記一の系統色であって、前記第１画像と画像情報が一致する領域を背景領域として決定する工程と、前記背景領域に、予め蓄積された背景画像を合成する工程と、を備えることを特徴とする。
【００１８】
請求項２記載の発明は、請求項１に記載の画像合成方法において、前記背景が略全面にわたり青色系統色となっていることを特徴とする。
【００１９】
請求項３記載の発明は、被写体画像と背景画像とを組み合わせて合成画像を生成する方法であって、被写体の存在しない状態で背景を撮影して第１画像を取得する工程と、前記第１画像の画像情報を記憶手段に格納する工程と、前記背景の中に被写体が存在する状態で撮影を行い、第２画像を取得する工程と、前記第１画像と前記第２画像との差分を被写体領域として抽出し、当該被写体領域以外の領域を背景領域として決定する工程と、前記背景領域に、予め蓄積された背景画像を合成する工程と、を備えることを特徴とする。
【００２０】
請求項４記載の発明は、被写体画像と背景画像とを組み合わせた合成画像をネットワークを介して配信するシステムであって、撮影装置と、前記撮影装置の撮影した画像をネットワーク経由で受信し、画像合成処理を行った後、合成画像を端末装置に配信するサーバと、を備え、前記サーバは、背景画像を蓄積する記憶手段と、前記撮影装置から受信した撮影画像の中から背景領域を決定する手段と、前記背景領域に前記背景画像を合成して前記合成画像を生成する手段と、を備えることを特徴とする。
【００２１】
請求項５記載の発明は、請求項４に記載の合成画像配信システムであって、前記サーバは、さらに、代理画像を蓄積する記憶手段と、前記撮影装置から受信した撮影画像の中から被写体領域を決定する手段と、前記被写体領域に前記代理画像を合成して前記合成画像を生成する手段と、を備えることを特徴とする。
【００２２】
請求項６記載の発明は、被写体画像と背景画像とを組み合わせた合成画像をネットワークを介して配信するシステムであって、撮影装置と、撮影画像に画像合成処理を実行するためのプログラムを記憶するとともに、前記撮影装置から受信した合成画像を端末装置に配信するサーバと、を備え、前記撮影装置は、背景画像を蓄積する記憶手段と、前記プログラムをダウンロードする手段と、を備え、前記プログラムが実行されることにより、前記撮影装置が、撮影画像の中から背景領域を決定する手段、前記背景領域に前記背景画像を合成して前記合成画像を生成する手段、として動作することを特徴とする。
【００２３】
請求項７記載の発明は、請求項６に記載の合成画像配信システムであって、前記撮影装置は、さらに、代理画像を蓄積する記憶手段、を備え、前記プログラムが実行されることにより、前記撮影装置が、さらに、撮影画像の中から被写体領域を決定する手段、前記被写体領域に前記代理画像を合成して前記合成画像を生成する手段、として動作することを特徴とする。
【００２４】
請求項８記載の発明は、被写体画像と背景画像とを組み合わせた合成画像をネットワークを介して交換するシステムであって、少なくとも２以上の端末装置と、前記端末装置の送信した画像をネットワーク経由で受信し、画像合成処理を行った後、合成画像を他の端末装置に送信するサーバと、を備え、前記サーバは、背景画像を蓄積する記憶手段と、前記端末装置から受信した撮影画像の中から背景領域を決定する手段と、前記背景領域に前記背景画像を合成して前記合成画像を生成する手段と、を備えることを特徴とする。
【００２５】
請求項９記載の発明は、請求項８に記載の合成画像配信システムであって、前記サーバは、さらに、代理画像を蓄積する記憶手段と、前記端末装置から受信した撮影画像の中から被写体領域を決定する手段と、前記被写体領域に前記代理画像を合成して前記合成画像を生成する手段と、を備えることを特徴とする。
【００２６】
【発明の実施の形態】
以下、図面を参照しつつ本発明の実施の形態について説明する。図１および図２は、本発明の合成画像配信システムの２つの実施の形態を示している。図１は片方向配信型、図２は多地点・双方向配信型のシステム概略図である。
【００２７】
片方向配信型では、カメラ１より撮影された画像が、中継サーバ２に送信される。中継サーバ２は、撮影画像に背景画像を合成した後、端末装置３に合成画像を配信する。また、中継サーバ２では、アバター等により人物画像の置き換え処理なども行なわれる。
【００２８】
多地点・双方向配信型では、各端末装置４（４ａ，４ｂ，４ｃ）より中継サーバ５に対して画像が送信される。中継サーバ５は、撮影画像に背景画像を合成した後、他の端末装置４に合成画像を配信する。また、中継サーバ５では、アバター等により人物画像の置き換え処理なども行なわれる。この多地点・双方向配信型は、音声の交換も行なうことで、いわゆるテレビ会議システムの形態となる。
【００２９】
図３は、片方向配信型におけるシステムの主な機能ブロックを示す図である。カメラ１は、ＣＣＤ等からなる撮影手段を備えるとともに、撮影画像をネットワークに対して送信する機能を備えている。ネットワーク配信機能がＷｅｂサーバにより実現されている場合には、カメラ１は、いわゆるＷｅｂカメラと呼ばれる。撮影手段としては、他にも、ＰＣとデジタルカメラの組み合わせ、通信機能つきデジタルカメラ、デジタルビデオなどを利用可能である。
【００３０】
カメラ１から送信された画像は、中継サーバ２の画像受信部２１で受信される。中継サーバ２は、受信した撮影画像に合成するための背景画像データＢＤと代理画像データＡＤとを蓄積している。合成処理部２２において、撮影画像に背景画像データＢＤあるいは代理画像データＡＤが合成されると、合成画像は画像配信部２３より端末装置３に配信される。
【００３１】
端末装置３では、画像受信部３１が合成画像を受信し、受信した合成画像は、モニタ３２に出力されるのである。端末装置３としては、ＰＣの他に、携帯電話などのモバイル端末を利用することが可能である。
【００３２】
このようなシステム形態とすることにより、端末装置３は、カメラ１の撮影した画像を参照可能となる。そして、カメラ１の撮影した画像は、背景画像や人物画像を合成によって差替えることが可能であるので、撮影側は、見せたくない対象（部屋の中の様子や自分自身の顔など）の画像が配信されることを防止することが可能である。また、中継サーバ２が複数の背景画像データＢＤあるいは代理画像データＡＤを蓄積することにより、目的に応じて様々な映像効果を得ることが可能である。さらには、合成処理を中継サーバ２で行なうことにより、カメラ１側に合成処理を行なうためのハードウェアやソフトウェアが不要となり、一般的なＷｅｂカメラを利用することが可能である。また、カメラ１側には高い処理能力が要求されないので、携帯系端末を利用することも可能である。また、中継サーバ２に複数のカメラ１がネットワーク接続され、複数のカメラ１から画像が配信されるシステム形態であっても、中継サーバ２で集中的に合成処理を実行することで、システムコストを低減させることも可能である。また、中継サーバ２に豊富な背景画像や代理画像を用意することで、多くの利用者がこれらデータベースを共有することが可能である。
【００３３】
図４は、多地点・双方向配信型におけるシステムの主な機能ブロックを示す図である。各端末装置４（４ａ，４ｂ）は、カメラ４１を備えることにより、端末装置４の周辺画像を撮影可能である。カメラ４１が撮影した画像は、画像送受信部４５によりネットワークに対して送信される。端末装置４としては、テレビ会議システム専用端末や、テレビ会議ソフトウェアが搭載されたＰＣ，通信機能つきゲーム機、セットトップボックス、ＰＤＡや携帯電話端末などを利用可能である。
【００３４】
端末装置４から送信された画像は、中継サーバ５の画像送受信部５２で受信される。中継サーバ５は、受信した撮影画像に合成するための背景画像データＢＤと代理画像データＡＤとを蓄積している。合成処理部５１において、撮影画像に背景画像データＢＤあるいは代理画像データＡＤが合成されると、合成画像は画像送受信部５２より他の端末装置４に配信される。
【００３５】
端末装置４では、画像送受信部４５が合成画像を受信し、受信した合成画像は、モニタ４３に出力されるのである。端末装置４としては、ＰＣの他に、携帯電話などのモバイル端末を利用することも可能である。なお、本発明においては必須の機能ではないが、各端末装置４は、マイク４２およびスピーカ４４を備えており、各端末装置４がマイク４２で集音した音声は、中継サーバ５を介して各端末装置４に送信される。各端末装置４は、受信した音声をスピーカ４４より出力する。
【００３６】
このようなシステム形態とすることにより、各端末装置４は、他の端末装置４のカメラ４１の撮影した画像を参照可能となる。そして、カメラ４１の撮影した画像は、背景画像や人物画像を合成によって差替えることが可能であるので、撮影側は、見せたくない対象（部屋の中の様子や自分自身の顔など）の画像が配信されることを防止することが可能である。また、中継サーバ５が複数の背景画像データＢＤあるいは代理画像データＡＤを蓄積することにより、目的に応じて様々な映像効果を得ることが可能である。さらには、合成処理を中継サーバ５で行なうことにより、各端末装置４に合成処理を行なうためのハードウェアやソフトウェアが不要となる。
【００３７】
以上、片方向配信型および多地点・双方向配信型の合成画像配信システムについて、そのシステム全体構成について説明したが、このようなシステム形態とすることにより、映像通信利用者の自宅やその他通信場所などの背景環境のプライバシー保護を図ることがでる。また、好みの仮想空間を合成することにより、映像通信利用者の意思や主張を付加することや、背景を通信内容に係る映像や資料とすることにより、教育分野での活用が可能であり、プレゼンテーション効果を発揮することができる。また、通信利用者がその場所に存在しなくても、映画やムービーなどのコンテンツのようなロケ効果を得ることができる。
【００３８】
また、切り出した被写体を、他の代理画像に変換することで、本人が映し出されなく無い場合、プライバシー保護を図ることができ、適当なキャラクター画像を選択するなどの娯楽的な利用が可能である。また、アバターを用いることで、本人が他のキャラクター（ニュースキャスターやアニメの主人公など）になりきって、教育番組やプレゼンテーション、あるいはドラマやムービーを製作することが可能である。
【００３９】
また、同時に背景と被写体を変換することで、仮想的な背景内で仮想的なキャラクターが通話者に代わり会話を行うことが可能であり、プライバシーを保護することができる。また、ネット通信でハンドルネームのように、ハンドル画像により本人の個性を主張することや、教育、プレゼンテーションを効果的に行なうことが可能である。
【００４０】
次に、上述した中継サーバ２あるいは中継サーバ５が備える合成処理部２２あるいは合成処理部５１の機能構成および、調整型クロマキー合成処理および動き検出型合成処理について説明する。合成処理部２２および合成処理部５１は同様の処理を行なうので、共通の説明を行なう。
【００４１】
＜調整型クロマキー合成処理＞
まず、図５、図６を参照しながら調整型クロマキー処理について説明する。図５に示すように、合成処理部２２（５１）は、登録部６１、ブルーバック除去部６４、差分検出部６５、代理画像合成部６６、背景画像合成部６７を備えている。
【００４２】
調整型クロマキー処理では、図６に示すように、まず、被写体の存在しないブルーバックの撮影を行なう。つまり、背景には、ブルーシートが設置されており（あるいは、青色の壁でもよい。）、背景は全面にわたって青色となっている。この撮影は、カメラ１（図３）あるいはカメラ４１（図４）により行なわれる。したがって、カメラ１あるいはカメラ４１の撮影現場には、ブルーシート等が準備される。登録部６１は、中継サーバ２（５）が受信したブルーバックのみからなる撮影画像を入力する。そして、登録部６１は、このブルーバックのみからなる撮影画像を基準ブルーバックデータ６２として記憶手段に格納する。
【００４３】
前述したように、ブルーシートに”しわ”や破れた部分などが存在すれば、実際に撮影されたブルーバックのみの画像は、青色にもばらつきが生じていることになる（”しわ”などが無い場合であっても、現実的には色にばらつきが生じることになる。）。したがって、このような色の分布を基準ブルーバックデータ６２として記憶するのである。
【００４４】
次に、図６に示すように、ブルーバックの前に被写体が追加され、さらに撮影が行なわれる。登録部６１が入力した撮影画像は、ブルーバック除去部６４に出力される。ブルーバック除去部６４は、入力した撮影画像と基準ブルーバックデータ６２とを比較処理することにより、被写体が追加された撮影画像からブルーバックの除去処理を行なう。
【００４５】
ここで、一般のブルーバック除去処理は、画像中の青色領域を背景として除去する処理であるが、本実施の形態においては、基準ブルーバックデータ６２として、初期状態のブルーバック情報が登録されている。したがって、一律に青色と判断される領域を除去するのではなく、基準ブルーバックデータ６２と変化のない青色領域を除去することとしている。この処理は、あくまでも青色をキー色として背景除去を行なうので、被写体部分など、青色とは色相の異なる領域については、比較処理を省略することが可能である。
【００４６】
これにより、ブルーシートに”しわ”ができている場合や破れた部分がある場合などにおいて、ブルーバックに濃い青色部分や薄い青色部分が存在している場合であっても、これらの情報を初期情報である基準ブルーバックデータ６２として保存しているので、この初期情報と比較することで背景を正確に認識することが可能となるのである。
【００４７】
なお、この調整型クロマキー法を行なう場合には、背景は必ずしもブルーバックでなくてもよい。したがって、青色以外の色であっても、一の系統色で背景全面を設定するようにしてもよい。ただし、人の肌色と補色の関係にあるブルー系統の色を使用することが望ましい。
【００４８】
ブルーバック除去処理が行なわれると切り出し画像７１が生成される。背景画像合成部６７は、この切り出し画像と背景画像データＢＤを合成処理することにより、合成画像７２を出力するのである。これにより、背景画像の差替え処理が行なわれることになる。また、人物の差替えを行なう場合には、代理画像合成部６６において切り出し画像７１を代理画像データＡＤに差替えることが可能である。また、代理画像合成部６６においてアバターを行い、キャラクター動画などに画像を置き換えることも可能である。
【００４９】
＜動き検出処理＞
次に、図５、図７を参照しながら動き検出型合成処理について説明する。図５に示すように、合成処理部２２（５１）は、登録部６１、ブルーバック除去部６４、差分検出部６５、代理画像合成部６６、背景画像合成部６７を備えている。
【００５０】
動き検出方合成処理では、図７に示すように、まず、被写体の存在しない背景の撮影を行なう。この背景には、ブルーシートなどは不要である。この撮影は、カメラ１（図３）あるいはカメラ４１（図４）により行なわれる。登録部６１は、中継サーバ２（５）が受信した背景のみからなる撮影画像を入力する。そして、登録部６１は、この背景のみからなる撮影画像を基準背景データ６２として記憶手段に格納する。
【００５１】
次に、図７に示すように、背景の前に被写体が追加され、さらに撮影が行なわれる。登録部６１が入力した撮影画像は、差分検出部６５に出力される。差分検出部６５は、入力した撮影画像と基準背景データ６３とを比較処理することにより、被写体が追加された撮影画像から背景の除去処理を行なう。具体的には、新たに入力した撮影画像データと基準背景データ６３との差分抽出を行なうことにより、撮影画像データ中の差分抽出された領域を切り出し画像７１として出力するのである。
【００５２】
差分検出処理が切り出し画像７１を出力すると、背景画像合成部６７は、この切り出し画像と背景画像データＢＤを合成処理することにより、合成画像７２を出力するのである。これにより、背景画像の差替え処理が行なわれることになる。また、人物の差替えを行なう場合には、代理画像合成部６６において切り出し画像７１を代理画像データＡＤに差替えることが可能である。また、代理画像合成部６６においてアバターを行い、キャラクター動画などに画像を置き換えることも可能である。
【００５３】
また、上記説明では、被写体のいない状態で１度基準となる背景基準データ６３を取得するようにしたが、この背景基準データ６３を定期的に更新するようにすれば、背景自体に変化が生じるような環境でも合成処理が可能となる。
【００５４】
この動き検出型合成処理は、ブルーバッククロマキー合成方法のように、被写体の背後にブルーシートを用意する必要がなく、撮影場所を任意に選択することが可能である。
【００５５】
以上、合成処理部２２あるいは合成処理部５１において、調整型クロマキー合成処理および動き検出型合成処理を行う場合を説明したが、合成処理部２２あるいは合成処理部５１において、上述した各合成処理（ブルーバッククロマキー合成法、ホロセットクロマキー合成法、輝度差検出法、多点測距法）を実行することにしてもよい。そして、ブルーバッククロマキー合成法を利用する場合には、各撮影場所においてブルーシートを、ホロセットクロマキー合成法を利用する場合には、各撮影場所に乱反射素材シートおよび光源を用意すればよい。また、輝度差検出法を利用する場合にも、各撮影場所に光源を用意すればよい。また、多点測距法を利用する場合には、カメラ１（図３）あるいはカメラ４１（図４）に、多点測距機能および測定情報を画像とともに送信する機能を付加するようにすればよい。
【００５６】
図１および図３で示した片方向配信型のシステムでは、画像の合成処理は、中継サーバ２で実行するようにした。この変形例として、画像合成処理をカメラ１側で実行するようにしてもよい。そして、図３および図５で示した合成処理部２２を実現するためのソフトウェアを中継サーバ２がダウンロード可能に記憶するようにする。カメラ１は、当該ソフトウェア（ＪＡＶＡ（登録商標）等）をダウンロードし、実行することによって、合成処理部２２と同様の機能を実行可能とするのである。背景画像データＢＤおよび代理画像データＡＤは、カメラ１が蓄積するようにすればよい。この場合、カメラ１は、背景画像を合成した合成画像あるいは代理画像を合成した合成画像を中継サーバ２に送信することとなる。中継サーバ２は、受信した合成画像を端末装置３に配信するのである。このようなシステム形態とすれば、様々な端末機器（撮影装置）において、必要に応じて画像合成処理機能を付加することが可能となる。また、各端末機器に処理負荷を分散させることが可能である。
【００５７】
同様に、図２および図４で示した多地点・双方向配信型のシステムにおいても、各端末装置４が合成処理部５１を実現するソフトウェアをダウンロードし、各端末装置４において合成処理を実行することも可能である。
【００５８】
【発明の効果】
以上説明したように、請求項１記載の発明では、同一系統色に設定された背景を第１画像として記憶し、撮影された第２画像と比較処理を行なって背景領域の決定を行なうので、背景色に色のばらつきが生じている場合であっても、背景領域の抽出を精度よく行なうことができる。
【００５９】
請求項２記載の発明では、背景を青色とするので、人物被写体が背景と誤認されることを防止できる。
【００６０】
請求項３記載の発明では、背景を第１画像として記憶し、撮影された第２画像との差分を抽出して背景領域を決定するので、自由な背景を選択することができるため撮影環境の制約がなく、簡易なシステムとすることができる。
【００６１】
請求項４ないし７記載の発明では、撮影された画像を遠隔地に配信する際、プライバシーの保護を図ることが可能である。
【００６２】
請求項８，９記載の発明では、撮影された画像を多地点間で交換する際、プライバシーの保護を図ることが可能である。
【図面の簡単な説明】
【図１】片方向配信型の合成画像配信システムの概略図である。
【図２】多地点・双方向配信型の合成画像配信システムの概略図である。
【図３】片方向配信型の合成画像配信システムの機能ブロック図である。
【図４】多地点・双方向配信型の合成画像配信システムの機能ブロック図である。
【図５】合成処理部の機能ブロック図である。
【図６】調整型クロマキー合成処理の処理の流れを示す図である。
【図７】動き検出型合成処理の処理の流れを示す図である。
【図８】ブルーバッククロマキー合成処理の処理概要図である。
【図９】ホロセットクロマキー合成処理の処理概略図である。
【図１０】輝度差検出処理の処理概要図である。
【図１１】輝度差検出処理の機能ブロック図である。
【図１２】多点測距処理の処理概要図である。
【図１３】多点測距処理の機能ブロック図である。
【符号の説明】
１ カメラ
２ 中継サーバ
３ 端末装置
４ 端末装置
５ 中継サーバ
２２，５１ 合成処理部

Claims (9)

1. 被写体画像と背景画像とを組み合わせて合成画像を生成する方法であって、
   被写体の存在しない状態で略全面にわたり一の系統色に設定された背景を撮影して第１画像を取得する工程と、
   前記第１画像の画像情報を記憶手段に格納する工程と、
   前記背景の中に被写体が存在する状態で撮影を行い、第２画像を取得する工程と、
   前記第２画像中、前記一の系統色であって、前記第１画像と画像情報が一致する領域を背景領域として決定する工程と、
   前記背景領域に、予め蓄積された背景画像を合成する工程と、
   を備えることを特徴とする画像合成方法。
2. 請求項１に記載の画像合成方法において、
   前記背景が略全面にわたり青色系統色となっていることを特徴とする画像合成方法。
3. 被写体画像と背景画像とを組み合わせて合成画像を生成する方法であって、
   被写体の存在しない状態で背景を撮影して第１画像を取得する工程と、
   前記第１画像の画像情報を記憶手段に格納する工程と、
   前記背景の中に被写体が存在する状態で撮影を行い、第２画像を取得する工程と、
   前記第１画像と前記第２画像との差分を被写体領域として抽出し、当該被写体領域以外の領域を背景領域として決定する工程と、
   前記背景領域に、予め蓄積された背景画像を合成する工程と、
   を備えることを特徴とする画像合成方法。
4. 被写体画像と背景画像とを組み合わせた合成画像をネットワークを介して配信するシステムであって、
   撮影装置と、
   前記撮影装置の撮影した画像をネットワーク経由で受信し、画像合成処理を行った後、合成画像を端末装置に配信するサーバと、
   を備え、
   前記サーバは、
   背景画像を蓄積する記憶手段と、
   前記撮影装置から受信した撮影画像の中から背景領域を決定する手段と、
   前記背景領域に前記背景画像を合成して前記合成画像を生成する手段と、
   を備えることを特徴とする合成画像配信システム。
5. 請求項４に記載の合成画像配信システムであって、
   前記サーバは、さらに、
   代理画像を蓄積する記憶手段と、
   前記撮影装置から受信した撮影画像の中から被写体領域を決定する手段と、
   前記被写体領域に前記代理画像を合成して前記合成画像を生成する手段と、
   を備えることを特徴とする合成画像配信システム。
6. 被写体画像と背景画像とを組み合わせた合成画像をネットワークを介して配信するシステムであって、
   撮影装置と、
   撮影画像に画像合成処理を実行するためのプログラムを記憶するとともに、前記撮影装置から受信した合成画像を端末装置に配信するサーバと、
   を備え、
   前記撮影装置は、
   背景画像を蓄積する記憶手段と、
   前記プログラムをダウンロードする手段と、
   を備え、
   前記プログラムが実行されることにより、前記撮影装置が、
   撮影画像の中から背景領域を決定する手段、
   前記背景領域に前記背景画像を合成して前記合成画像を生成する手段、
   として動作することを特徴とする合成画像配信システム。
7. 請求項６に記載の合成画像配信システムであって、
   前記撮影装置は、さらに、
   代理画像を蓄積する記憶手段、
   を備え、
   前記プログラムが実行されることにより、前記撮影装置が、さらに、
   撮影画像の中から被写体領域を決定する手段、
   前記被写体領域に前記代理画像を合成して前記合成画像を生成する手段、
   として動作することを特徴とする合成画像配信システム。
8. 被写体画像と背景画像とを組み合わせた合成画像をネットワークを介して交換するシステムであって、
   少なくとも２以上の端末装置と、
   前記端末装置の送信した画像をネットワーク経由で受信し、画像合成処理を行った後、合成画像を他の端末装置に送信するサーバと、
   を備え、
   前記サーバは、
   背景画像を蓄積する記憶手段と、
   前記端末装置から受信した撮影画像の中から背景領域を決定する手段と、
   前記背景領域に前記背景画像を合成して前記合成画像を生成する手段と、
   を備えることを特徴とする合成画像配信システム。
9. 請求項８に記載の合成画像配信システムであって、
   前記サーバは、さらに、
   代理画像を蓄積する記憶手段と、
   前記端末装置から受信した撮影画像の中から被写体領域を決定する手段と、
   前記被写体領域に前記代理画像を合成して前記合成画像を生成する手段と、
   を備えることを特徴とする合成画像配信システム。

Images