JP2021057704A - 画像処理装置、画像処理方法、プログラム - Google Patents

Abstract

【課題】抽出した動体を他の画像と合成する場合に不要な動体が抽出されないようにする。【解決手段】動体抽出部は、動体抽出対象画像について、合成に用いる画像が抽出されないエリアとして設定されたマスクエリア以外で動体の画像を抽出した抽出画像を生成する。そして画像合成部は動体抽出部で生成された抽出画像を、他の画像と合成する処理を行う。【選択図】図４

Description

本技術は画像処理装置、画像処理方法、プログラムに関し、特に動体を抽出した画像と他の画像の合成処理についての技術分野に関する。

複数の画像を合成する画像合成処理については各種の技術が提案されている。
例えば下記特許文献１には被写体抽出や背景画像との合成処理に関する技術が開示されている。

特開２０１３−３９９０号公報

動画の中から動体を抽出し、別の画像と合成する機能を有する機器の場合、画像のフレーム内に存在する動体を検出して、その動体とされる被写体の画素範囲を抽出する。この場合に、画像内の特定の被写体のみを抽出したいにもかかわらず余分なものが抽出されてしまうことがある。

例えば室内で演技やプレゼンテーションなどを行っている演者を撮像し、他の画像と合成するような場合を想定する。この場合、撮像された画像からは動体として演者のみを抽出したい。撮影現場では演者以外は動かないものであるため、通常は演者の画像のみが抽出される。
ところが、例えば演者の背後に存在する例えば窓ガラスに、反射により何らかの動体の像が映り込んだ場合や、カーテンが揺れてしまった場合などは、その撮像された画像からは、その像やカーテンが動体として抽出されてしまう。すると合成画像にそれらの不要な動体も合成されることになり、所望の画像を作成することができない。

一方で、画像内に現れる物体を全て認識し、例えば人物などの特定の被写体のみを抽出するようにすれば、例えば上述のカーテンなどを除外することは可能であるが、そのような処理は処理負担の増大をもたらすとともに、処理能力の高い装置でないと実行できない。
そこで本開示では、より簡易な処理で、不要な動体が合成する画像として抽出されないようにする技術を提案する。

本技術に係る画像処理装置は、動体抽出対象画像について、合成に用いる画像が抽出されないエリアとして設定されたマスクエリア以外で動体の画像を抽出した抽出画像を生成する動体抽出部と、前記抽出画像を他の画像と合成する処理を行う画像合成部と、を備える。
動体抽出対象画像とは、動体抽出の処理を行う対象の画像データのことである。例えばカメラにより撮像されて入力される画像を動体抽出対象画像とする。この画像について、動体検出を行い、人物などの動体と判定した被写体の画像を抽出する。その動体の抽出画像を、他の画像と合成する。この場合に動体抽出対象画像において、合成に用いる動体画像としての画像の抽出を行わないマスクエリアの設定を可能とする。

上記した本技術に係る画像処理装置においては、前記動体抽出部は、合成に用いる画像が抽出されるエリアとして設定された絶対抽出エリアの画像を、動体であるか否かにかかわらず前記動体抽出対象画像から抽出して前記抽出画像を生成することが考えられる。
例えばカメラにより撮像されて入力される画像について、動体であるか否かに関わらず合成画像に加えたいものがある場合がある。例えばそのような物体が画像上で存在するエリアを絶対抽出エリアとして設定し、被写体の画像が動体に関わらず合成処理の対象として抽出されるようにする。

上記した本技術に係る画像処理装置においては、画面上で前記マスクエリアの位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備えることが考えられる。
例えば動体抽出対象画像や他の画像を表示させた画面上で、ユーザが操作によりマスクエリアの位置を決めたり、マスクエリアの形状やサイズを決めたりすることができるようにする。

上記した本技術に係る画像処理装置においては、前記ユーザインタフェース制御部は、前記動体抽出対象画像と前記他の画像を合成した画像を表示させた画面上で前記マスクエリアの位置、形状又はサイズの設定を制御することが考えられる。
例えば合成画像をプレビュー表示させた画面上で、ユーザが操作によりマスクエリアの位置を決めたり、マスクエリアの形状やサイズを決めたりすることができるようにする。

上記した本技術に係る画像処理装置においては、画面上で前記絶対抽出エリアの位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備えることが考えられる。
例えば動体抽出対象画像や他の画像を表示させた画面上で、ユーザが操作により絶対抽出エリアの位置を決めたり、絶対抽出エリアの形状やサイズを決めたりすることができるようにする。

上記した本技術に係る画像処理装置においては、前記ユーザインタフェース制御部は、前記動体抽出対象画像と前記他の画像を合成した画像を表示させた画面上で前記絶対抽出エリアの位置、形状又はサイズの設定を制御することが考えられる。
例えば合成画像をプレビュー表示させた画面上で、ユーザが操作により絶対抽出エリアの位置を決めたり、絶対抽出エリアの形状やサイズを決めたりすることができるようにする。

上記した本技術に係る画像処理装置においては、前記ユーザインタフェース制御部は、前記動体抽出対象画像と前記他の画像を合成した画像において、画像の合成比率を操作に応じて可変することが考えられる。
マスクエリアを設定するために表示する合成画像において、例えば他の画像に対し、動体抽出対象画像の合成比率をユーザの操作に応じて可変できるようにする。例えば動体抽出対象画像がはっきり現れたり、薄く現れたり、或いは見えなくなったりする表示状態が可変できるようにする。
もちろん絶対抽出エリアを設定するために表示する合成画像においても、同様に合成比率を可変できるようにしてもよい。

上記した本技術に係る画像処理装置においては、画面上で前記マスクエリアと前記絶対抽出エリアの一方又は両方について、位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備え、前記ユーザインタフェース制御部は、画面上で前記マスクエリアを示す表示と、画面上で前記絶対抽出エリアを示す表示を、異なる表示態様とすることが考えられる。
画面上で例えば枠表示や半透明の領域の表示などとして、マスクエリアや絶対抽出エリアの範囲を提示する。このときに各エリアを表す表示の表示態様が異なるようにする。例えば枠の範囲の色、枠線の種別（実線、破線、波線、二重線、太線、細線など）、領域の色、輝度、透明度などが異なるようにする。

上記した本技術に係る画像処理装置においては、画面上で前記マスクエリアと前記絶対抽出エリアの一方又は両方について、位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備え、前記ユーザインタフェース制御部は、前記マスクエリアと前記絶対抽出エリアの重複が生じないように設定操作を制限する処理を行うことが考えられる。
例えば画面上でマスクエリアと絶対抽出エリアを、マスク枠や絶対抽出枠により表示させて任意に設定可能とするが、操作により重複が生じる場合は、その操作を制限する。

上記した本技術に係る画像処理装置においては、前記ユーザインタフェース制御部は、前記他の画像の設定を制御することが考えられる。
即ち動体抽出対象画像と合成する他の画像として、例えば背景画像などを選択する環境を提供する。

上記した本技術に係る画像処理装置においては、前記画像合成部は、前記抽出画像と前記他の画像との合成画像を出力するとともに、前記合成画像を左右反転した画像を出力できるようにすることが考えられる。
例えば合成画像としての画像データを出力しつつ、別系統の出力として左右反転させた画像を出力する。

上記した本技術に係る画像処理装置においては、前記画像合成部は、前記抽出画像と前記他の画像との合成画像を出力するとともに、前記抽出画像を出力できるようにすることが考えられる。
例えば合成画像としての画像データを出力しつつ、別系統の出力として抽出画像を出力する。

上記した本技術に係る画像処理装置においては、前記合成画像を左右反転した画像の出力の制御を行うユーザインタフェース制御部を備えることが考えられる。
ユーザが、画像処理装置に左右反転させた画像の出力を実行させるか否かを選択できるようにする。

上記した本技術に係る画像処理装置においては、前記抽出画像の出力の制御を行うユーザインタフェース制御部を備えることが考えられる。
ユーザが、画像処理装置に動体抽出部で生成された抽出画像のみの画像の出力を実行させるか否かを選択できるようにする。

上記した本技術に係る画像処理装置においては、前記動体抽出対象画像は、カメラによる撮像画像であることが考えられる。
即ちカメラによる撮像画像について、動体抽出を行い、動体を合成画像に反映させる。

上記した本技術に係る画像処理装置においては、前記他の画像の１つは背景画像であることが考えられる。
即ち背景画像を用意し、動体抽出対象画像と合成するようにする。

上記した本技術に係る画像処理装置においては、複数系統の画像入力が可能とされ、前記動体抽出対象画像は、一の系統で入力されるカメラによる撮像画像であり、前記他の画像の１つは、他の系統で入力される入力画像であることが考えられる。
他の入力系統として、例えば演者の説明に用いるような他の画像を合成可能とする。

上記した本技術に係る画像処理装置においては、前記他の画像の１つはロゴ画像であることが考えられる。
即ちロゴ画像を用意し、動体抽出対象画像と合成するようにする。

本技術に係る画像処理方法は、動体抽出対象画像について、合成に用いる画像が抽出されないエリアとして設定されたマスクエリア以外で動体の画像を抽出した抽出画像を生成し、前記抽出画像を、他の画像と合成する処理を行う。
これによりマスクエリアにおける動体が合成のための抽出対象から除外される。
本技術に係るプログラムは、このような画像処理方法を画像処理装置に実行させるプログラムである。例えば画像処理装置に内蔵される制御部としての演算処理装置に実行させる。これにより本技術の処理を各種の画像処理装置で実行可能とする。

本技術の実施の形態の合成画像の説明図である。 実施の形態の合成画像のレイヤー構成の説明図である。 実施の形態の画像処理装置のブロック図である。 実施の形態の画像処理装置の機能構成の説明図である。 実施の形態の設定処理のフローチャートである。 実施の形態のマスクエリア設定処理のフローチャートである。 実施の形態の絶対抽出エリア設定処理のフローチャートである。 実施の形態の設定画面で背景画像を表示した状態の説明図である。 実施の形態の設定画面で他の背景画像を表示した状態の説明図である。 実施の形態の設定画面でスクリーンエリアを配置した状態の説明図である。 実施の形態のカメラ画像の説明図である。 実施の形態の設定画面で行うエリア設定の説明図である。 実施の形態の設定画面で透過率操作をしたときの説明図である。 実施の形態の設定画面で透過率操作をしたときの説明図である。 実施の形態の設定画面で設定したマスクエリアと絶対抽出エリアの説明図である。 実施の形態の合成処理のフローチャートである。 実施の形態の合成処理のキー画像生成過程の説明図である。 実施の形態の出力モニター画面の説明図である。 実施の形態の左右反転画像の説明図である。 実施の形態のカメラ画像のみの表示の説明図である。 実施の形態においてマスク処理で物体認識を行う場合のフローチャートである。 実施の形態において絶対抽出エリアの画像抽出処理で物体認識を行う場合のフローチャートである。

以下、実施の形態を次の順序で説明する。
＜１．合成画像の説明＞
＜２．画像処理装置の構成＞
＜３．設定処理及びＵＩ＞
＜４．合成処理及びＵＩ＞
＜５．物体認識を行う場合の処理例＞
＜６．まとめ及び変形例＞

＜１．合成画像の説明＞
図１は本開示の技術により制作される合成画像の例を示している。
この合成画像は、基本的には或る画像を背景として設定したうえで、例えばカメラにより撮像している演者６２の画像を合成したものである。

さらにこの場合、画像内にスクリーンエリア６１が設定され、スクリーンエリア６１には演者６２を含む画像とは別系統の画像が表示されるようにしている。ここでは花の画像がスクリーンエリア６１に合成されている状態を示している。
これにより、あたかも演者６２が、背景により設定した場所において、スクリーンエリア６１に映し出される画像（スクリーン画像）を用いながら、プレゼンテーションを行うような合成画像が形成される。
また画像内には、ロゴ６５の画像が合成されて表示される。

このような合成画像のレイヤー構成を図２に示している。
この例では、合成画像はトップレイヤーＬ１、セカンドレイヤーＬ２、サードレイヤーＬ３、ボトムレイヤーＬ４の４つのレイヤー構成となる。
なお、本技術による合成画像は必ずしも４つのレイヤー構成としなくてもよく、合成画像は最低２つのレイヤーで構成されれば良い。もちろん３つのレイヤー構成や、５以上のレイヤーを有するレイヤー構成とされてもよい。

最も前面側となるトップレイヤーＬ１は、トップレイヤー画像ｖＬ１が表示される。図１の例では、ロゴ６５の画像（以下「ロゴ画像」という）がトップレイヤー画像ｖＬ１とされている。

図２のセカンドレイヤーＬ２にはセカンドレイヤー画像ｖＬ２が表示される。図１の例では演者６２の画像がセカンドレイヤー画像ｖＬ２となる。例えば、これはカメラによって演者を撮像している画像について動体抽出処理が行われることで、演者６２の画像が抽出され、合成画像に反映されたものである。

なおカメラによって撮像された画像について、説明上「カメラ画像」とも呼ぶ。この「カメラ画像」とは、特には、後述する図３のカメラ１１によって撮像された、本実施の形態の画像処理装置１に入力された画像を指す。
カメラ画像に対する動体抽出処理により抽出された画像については「抽出画像ｖＥ」と表記して抽出処理前のカメラ画像と区別する。

図２のサードレイヤーＬ３にはサードレイヤー画像ｖＬ３が表示される。サードレイヤー画像ｖＬ３は図１のように所定位置に設定されたスクリーンエリア６１に当てはめられる。
スクリーンエリア６１に表示される画像を「スクリーン画像」と呼ぶ。
スクリーン画像は動画でも良いし、静止画でもよいし、疑似動画やスライドショウのような画像でもよい。
スクリーン画像の内容は、例えば合成画像として作成する動画コンテンツの目的にあわせたものでよく、プレゼンテーション用の画像、講義用の画像、商品説明画像、各種説明用の画像などが想定されるが、特に内容が限定されるものではない。

ボトムレイヤーＬ４にはボトムレイヤー画像ｖＬ４が表示される。ボトムレイヤー画像ｖＬ４としては、背景となるような画像（以下「背景画像」）が用いられる。例えば図１の例では、ニューススタジオの風景のような背景画像が用いられている。これ以外に、教室、図書館、実験室、海辺、公園、街中など、場所を表す画像が背景がとして想定される。或いはブルーバックなどの単色背景や幾何学模様など、通常の自然空間ではない背景画像が用いられてもよい。
背景画像は静止画が想定されるが、動画、疑似動画などでもよい。

例えば以上のようなレイヤー構成により、或る背景の前で、演者６２がスクリーン画像を用いてプレゼンテーション等を行うとともに、前面に企業、商品、主催者等のロゴ６５が表示される合成画像が制作される。

＜２．画像処理装置の構成＞
以上のような合成画像を制作するための、本実施の形態の画像処理装置１の構成を図３に示す。図３では画像処理装置１とともに、接続される周辺機器の例も示している。

画像処理装置１の周辺機器としては、カメラ１１、パーソナルコンピュータ（以下パーソナルコンピュータは「ＰＣ」と表記する）１２、画像ソース機器１３、モニター／レコーダー１４、確認用モニター１５，１６、操作用ＰＣ１７を示している。これらの周辺機器は説明上の一例である。

画像処理装置１はＣＰＵ（Central Processing Unit）２、ＧＰＵ（Graphics Processing Unit）３、フラッシュＲＯＭ（Flash Read Only Memory）４、ＲＡＭ（Random Access Memory）５、入力端子６（６−１，６−２，・・・，６−ｎ）、出力端子７（７−１，７−２，・・・，７−ｍ）、ネットワーク通信部８を備える。

入力端子６としては、入力端子６−１から入力端子６−ｎまでのｎ個の端子を備え、ｎ系統の画像入力が可能とされる。それぞれの入力端子６は例えばＨＤＭＩ（High-Definition Multimedia Interface：登録商標）入力端子とされている。もちろんこれに限らず、ＤＶＩ（Digital Visual Interface）端子、Ｓ端子、ＲＧＢ端子、Ｙ／Ｃ端子などでもよい。

例えば入力端子６−１にはカメラ１１が接続され、カメラ１１で撮像されたカメラ画像としての画像データが入力される。カメラ１１は例えば動画撮像として演者６２の撮像などを行う。本例では、この演者６２を含むカメラ画像が画像処理装置１において動体抽出対象画像とされる例で説明する。
なお本開示では、「動体抽出対象画像」とは、画像処理装置１で動体の検出及びその画像の抽出が行われる画像データを示す用語としている。本例の場合、カメラ１１から供給された撮像画像（セカンドレイヤーＬ２に用いられる画像）が動体抽出対象画像とされる例とするが、もちろんこれに限らない。

入力端子６−２には例えばＰＣ１２が接続され、ＰＣ１２から画像データが入力される。例えばＰＣ１２からはスクリーン画像、背景画像、ロゴ画像などの画像データが供給されるようにすることができる。
以下では説明上の一例として、スクリーンエリア６１に表示されるスクリーン画像としての画像データがＰＣ１２から供給されるものとする。

他の入力端子６−ｎにも、何らかの画像ソース機器１３を接続して、画像合成に用いる画像データを入力することができる。
入力端子６−１から入力端子６−ｎまでの各入力端子６にどのような機器を接続するかは任意であり、図３の接続例は一例に過ぎない。各入力端子６には、合成画像に用いる画像が入力されるように画像ソースとなる機器が接続されればよい。

出力端子７としては、出力端子７−１から出力端子７−ｍまでのｍ個の端子を備え、ｍ系統の画像出力が可能とされる。それぞれの出力端子７は例えばＨＤＭＩ出力端子とされている。もちろんこれもＨＤＭＩ端子であることに限定されず、ＤＶＩ端子、Ｓ端子、ＲＧＢ端子、Ｙ／Ｃ端子などでもよい。。

例えば出力端子７−１にはモニター／レコーダー１４が接続される。ここでは、モニター／レコーダー１４とは、モニター機器、レコーダー機器、又はモニター及びレコーダー機器を表すものとしている。
この出力端子７−１は、例えば合成結果を画像コンテンツとして使うためのマスター出力（いわゆる本線画像）として、モニター／レコーダー１４に供給するために用いる例としている。出力端子７−１から出力される合成画像の画像データは、モニターレコーダー１４で画像コンテンツとして表示されたり、記録媒体に記録されたりする。

出力端子７−２、７−ｍには、確認用モニター１５，１６が接続される例としている。画像処理装置１は、例えば画像制作スタッフや演者６２がモニタリングするための画像データを、出力端子７−２、７−３から確認用モニター１５，１６に出力する。これによりスタッフや演者６２等が画像状態を確認できるようにしている。

出力端子７−１から出力端子７−ｍまでの各出力端子７にどのような機器を接続するかは任意であり、図３の接続例は一例に過ぎない。各出力端子７には必要に応じてモニター機器やレコーダー機器が接続されれば良い。また出力端子７には通信機器が接続され、合成画像等の画像データを外部機器に送信できるようにしてもよい。

ＣＰＵ２は画像処理装置１の全体動作を制御する処理を行う。
ＧＰＵ３は、ＧＰＧＰＵ（General-purpose computing on graphics processing units）として使用されることで高速な画像処理を実現する。
ＲＡＭ５には、画像抽出や合成処理などの画像処理結果が一時的に保存される。

フラッシュＲＯＭ４は、ＣＰＵ２やＧＰＵ３の処理動作を規定するプログラムが保存される。またフラッシュＲＯＭ４は、後述するマスクエリアや絶対抽出エリアなどの各種の設定値の記憶領域としても用いられる。さらにフラッシュＲＯＭ４は、背景画像、ロゴ画像、スクリーン画像などが記憶され、合成する画像のソースとして機能する場合もある。

ネットワーク通信部８は例えばＲＪ４５イーサネットコネクタなどとして実現され、ネットワーク通信を行う。ここではネットワークを介して操作用ＰＣ１７と通信を行う例を示している。
この場合、画像処理装置１の操作はネットワーク経由で行い、画像処理装置１がＷｅｂサーバーとなり、操作者は操作用ＰＣ１７を用いて、操作用のＷｅｂページにアクセスし、当該操作用Ｗｅｂページ上で操作を行うことができるようにされる。このために画像処理装置１はネットワーク通信部８を介して操作用ＰＣ１７とネットワーク接続を行い、ｔｃｐ／ｉｐで通信する。

なお、ネットワーク経由で操作を行うようにすることは一例であり、画像処理装置１に操作子を設けたり、キーボード、マウス、タッチパネル、タッチパッド、リモートコントローラーなどの操作機器で画像処理装置１に対して操作情報を入力したり、確認用モニター１５等に操作インタフェース画面を表示させてスタッフが画面上の操作を実行できるようにしてもよい。

例えば図３の画像処理装置１ではオペレーションシステムとして、Ｌｉｎｕｘ（登録商標）を搭載する。
画像処理装置１のコントロールとしてＷｅｂページをユーザインタフェースとして使用するため、ｈｔｔｐｓサーバーが動作している。操作用ＰＣ１７のブラウザからはｃｇｉにより機器と通信を行い、ｃｇｉコマンドを解釈して画像処理プログラムに対して指示を行う。
画像合成プログラムは、準備状態と、実行状態の二つの状態を持ち、準備状態で合成するための各種設定を行い、実行状態では入力映像との合成を行い出力端子７に合成結果の画像を出力する。

このような画像処理装置１において、上記のＣＰＵ２、ＧＰＵ３、フラッシュＲＯＭ４は、ＲＡＭ５としてのハードウェア構成と、ソフトウェアプログラムにより実現される処理機能を図４に示す。
実現される処理機能としては、動体抽出部２０、画像合成部２１、設定部２２、ユーザインタフェース制御部３１がある。なお、以下「ユーザインタフェース」の用語は「ＵＩ」と表記する。

動体抽出部２０は、動体抽出対象画像から動体抽出をおこなう。上述のように例えばカメラ１１から供給された撮像画像（カメラ画像）が動体抽出対象画像とされる例としている。
動体抽出部２０は、動体抽出対象画像について、画像抽出を行わないエリアとして設定されたマスクエリア以外から動体の画像の抽出を行う。また動体抽出部２０は、合成に用いる画像が抽出されるエリアとして設定された絶対抽出エリアの画像を、動体であるか否かにかかわらず抽出する。これらに基づいて動体抽出部２０は抽出画像ｖＥを生成し、合成処理に用いる画像として画像合成部２１に供給する。
この動体抽出部２０は、入力端子６−１に入力されるカメラ画像としての画像データを取り込み、これを動体抽出対象画像とする。そしてカメラ画像の中で動体及び絶対抽出エリアの画像を抽出し、抽出画像ｖＥとして出力する。

画像合成部２１は、動体抽出部２０からの抽出画像ｖＥと他の画像を合成する処理を行う。他の画像としては、ロゴ画像（トップレイヤー画像ｖＬ１）、スクリーン画像（サードレイヤー画像ｖＬ３）、背景画像（ボトムレイヤー画像ｖＬ４）が想定される。
例えば入力端子６−２により入力された画像や、フラッシュＲＯＭ４から読み出した画像としての、スクリーン画像、背景画像、ロゴ画像を、セカンドレイヤー画像ｖＬ２とする抽出画像ｖＥと合成する。
そして画像合成部２１は、生成した合成画像などを、例えば出力画像ｖＯＵＴ１、ｖＯＵＴ２、ｖＯＵＴｍなどとして、各出力端子７−１，７−２，７−ｍから出力する。即ち複数系統の画像データを出力することができる。
出力画像ｖＯＵＴ１、ｖＯＵＴ２、ｖＯＵＴｍのそれぞれは、合成画像とされたり、プレビュー用の画像であったり、後述する左右反転画像であったりする。また抽出画像ｖＥ等、画像合成部２１に入力される画像をそのまま出力画像とする場合もある。

ＵＩ制御部２３は、後述の設定画面５０や出力モニター画面８０を例えばＷｅｂページにより用意し、操作者（例えば操作用ＰＣ１７のユーザ）が設定画面５０上で操作を行うことができるようにする。また操作情報の取り込みを行い、画面に操作内容を反映させる処理を行う。特にＵＩ制御部２３は、マスクエリアや絶対抽出エリアの設定のための操作を操作者が実行できるようにする。

設定部２２は、ＵＩ制御部２３が提供する設定画面５０上の操作でユーザが設定した設定情報を例えばフラッシュＲＯＭ４などに記憶する機能を示している。
設定情報とは、例えばマスクエリアや絶対抽出エリアの設定情報、背景画像の選択情報、スクリーンエリア６１の設定、ロゴ画像の選択情報などである。

以上の機能において、例えば動体抽出部２０、画像合成部２１の機能は、主にＧＰＵ３によって実現され、ＵＩ制御部２３、設定部２２の機能は主にＣＰＵ２によって実行されることが考えられる。但し、もちろん各機能の全てＣＰＵ２主体で実現してもよいし、ＧＰＵ３主体で実現してもよい。各機能の処理が実行される状態であればよく、そのためのハードウェア構成は問われない。

＜３．設定処理及びＵＩ＞
以上の構成の画像処理装置１によって実現される動作を説明する。以下説明する処理は、図３の画像処理装置１が図４の機能を備えることで実行される。
まず図５，図６，図７で設定処理に関して述べる。設定処理とは、上述の準備状態で行われる処理である。
主な処理内容は次のようになる。
ａ） 背景映像の選択
ｂ） スクリーンエリア６１の設定
ｃ） マスクエリアの設定
ｄ） 絶対抽出エリアの設定
ｅ） ロゴ画像の選択と配置位置と大きさの設定

これらを設定することで、画像のレイヤー構造は図２のようになる。
特に本実施の形態では、上記ｃ）のマスクエリアの設定と、上記ｄ）の絶対抽出エリアの設定とが可能とされるとともに、設定時にこれらの位置、形状、サイズを、カメラ画像と比較しながら調整できる。

設定処理においては、画像処理装置１（ＣＰＵ２又はＧＰＵ３）はＵＩ制御部２３の機能により図５のステップＳ１００でユーザに対して設定画面５０を提供しながら、ステップＳ１０１，Ｓ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５，Ｓ１０６，Ｓ１０７でユーザ操作をチェックしつつ、操作に応じて必要な処理を実行する。

画像処理装置１がステップＳ１００でユーザの操作のために提供する設定画面５０の例を図８に示す。
設定画面５０には、入力表示部５１、背景選択部５２、エリア設定説明部５３、透過率調整バー５４、プレビューエリア５５、マスクエリアチェックボックス５６、絶対表示エリアチェックボックス５７、保存ボタン５８、スクリーンエリアチェックボックス５９、ロゴ選択部６０が用意されている。
なお、このような設定画面はあくまでも一例であり、操作のための表示内容などはこの例に限定されるものではない。

プレビューエリア５５には、設定過程で入力画像、背景画像、合成画像などが適宜表示される。ユーザはプレビューエリア５５で画像を確認しながら各種設定を進めることができる。

入力表示部５１には、例えば入力１，入力２などとして、入力端子６−１、６−２等に接続される機器又は信号種別が表示される。例えば入力１として入力端子６−１にはカメラ１１からの画像信号が入力されることや、入力２として入力端子６−２にＰＣ１２からの画像信号が入力されることなどが、信号種別、接続機器の機種名等などにより表示される。

背景選択部５２は例えばプルダウンメニュー形式とされ、プルダウンメニューから背景画像名を選択することで、背景画像を選択できるようにされる。
ロゴ選択部６０も同様に例えばプルダウンメニュー形式とされ、プルダウンメニューからロゴ画像名を選択することで、ロゴ画像を選択できるようにされる。

スクリーンエリアチェックボックス５９は、スクリーンエリア６１をオン／オフするために設けられる。例えばスクリーンエリアチェックボックス５９をチェックすることで、後述の図１０のようにプレビューエリア５５上にスクリーンエリア６１が表示される。
スクリーンエリア６１に表示される画像が、入力表示部５１において例えば入力２として提示される。例えばＰＣ１２から供給される画像データがＨＤＭＩ画像データとされ、それがスクリーン画像となる。

エリア設定説明部５３には、マスクエリアと絶対抽出エリアの説明が記述される。
マスクエリアは、合成に用いる動体画像が抽出されないエリアである。つまりマスクエリアの被写体画像は動体であっても抽出画像ｖＥに含まれないものとなる。
例えばカメラ画像について動体抽出方式で合成対象を抽出する場合、窓の反射やカーテンの揺れなどにより意図しない物体が抽出されたりすることがある。これを防ぐため、あらかじめ動体抽出しないマスクエリアを指定することで、不要な物体が抽出されてしまうことを回避する。
このマスクエリアはユーザが任意に設定できる。本例の場合、プレビューエリア５５の画面上でユーザがマスクエリアの位置、サイズ、形状を任意に設定できるようにしている。

絶対抽出エリアは、逆に動体であるか否かにかかわらず、つまり静止物であっても抽出画像ｖＥに含まれるようにするエリアである。例えば動体でないため本来は動体抽出処理によっては抽出されないが、合成画像に含めたいものもある。例えば演者６２の近くにあるオブジェクトで、必ず一緒に写したいものがある場合に、絶対抽出エリアを用いる。
この絶対抽出エリアもユーザが任意に設定できる。本例の場合、マスクエリアと同様に、プレビューエリア５５の画面上でユーザが絶対抽出エリアの位置、サイズ、形状を任意に設定できるようにしている。

マスクエリアチェックボックス５６として４つのチェックボックス（「マスクエリア１」から「マスクエリア４」）が用意され、また絶対表示エリアチェックボックス５７はとして４つのチェックボックス（「絶対抽出エリア１」から「絶対抽出エリア４」）が用意される。
ユーザがチェックボックスにチェックを入れると、対応するマスクエリア又は絶対抽出エリアがプレビューエリア５５に出現する。この例の場合、最大４つのマスクエリアと最大４つの絶対抽出エリアが設定可能とされる。

透過率調整バー５４は、プレビューエリア５５に表示されるカメラ画像の透過率を調整する操作子とされる。この場合の透過率とは、例えば背景画像などとのアルファブレンディング処理のブレンド比と言い換えることができる。

例えばこのような設定画面５０がＷｅｂページとして提供されることで、ユーザは操作用ＰＣ１７を用いて操作を行うことができる。

設定処理では、ユーザはまず背景画像の設定を行う。
ユーザによる背景画像設定の操作を検知すると、画像処理装置１は処理を図５のステップＳ１０１からステップＳ１１０に進め、ボトムレイヤー画像ｖＬ４として用いる背景画像の設定を行う。そしてステップＳ１７０で背景設定に応じたプレビュー画像をプレビューエリア５５に表示させる制御を実行する。

具体的には、ユーザが背景選択部５２の操作でプルダウンメニューから特定の背景を選択することで、その背景画像をボトムレイヤー画像ｖＬ４として設定する。例えば「スタジオ」「教室」「研究室」「図書館」「公園」などの背景画像が用意される。これらの選択候補とされる背景画像は、例えばフラッシュＲＯＭ４に記憶された画像や、ＰＣ１２や他の画像ソース１３から取得できる画像である。そしてユーザの選択に応じた背景画像がプレビューエリア５５に表示される。
図８には、ユーザが「スタジオ」を選択した状態を示しており、また図９にはユーザが「教室」を選択した状態を示している。これらのように画像処理装置１はユーザの選択操作に応じてステップＳ１１０で背景画像設定を行い、ステップＳ１７０でプレビューエリア５５に表示されるようにする。ユーザは背景画像を確認しながら所望の背景画像をボトムレイヤー画像ｖＬ４として選択できることになる。

例えば背景画像設定に続いて、ユーザはスクリーンエリアチェックボックス５９をチェックする操作を行うことで、サードレイヤー設定を行うことができる。
スクリーンエリア６１に関する操作に応じて、画像処理装置１は図５のステップＳ１０２からステップＳ１２０に進み、サードレイヤー合成を行うエリア、即ちスクリーンエリア６１の位置・サイズの設定処理を行う。そして画像処理装置１は設定に基づいて、ステップＳ１７０でスクリーンエリア６１を含むプレビュー画像を生成し、プレビューエリア５５に表示させる。
例えばスクリーンエリアチェックボックス５９のチェック操作を検知した場合、画像処理装置１はステップＳ１２０で、スクリーンエリア６１を、例えば初期位置として予め決められた位置やサイズにより設定し、ステップＳ１７０で、プレビューエリア５５に、そのスクリーンエリア６１を表示させる処理を行う。
図１０には、例えば先に選択した背景画像（教室）に重なるようにスクリーンエリア６１が表示された状態を示している。
なお、スクリーンエリア６１については、上述の背景設定の際に、予め設定された位置やサイズで設定し、表示させるようにしてもよい。

またスクリーンエリア６１についてはドラッグ、クリックなどの操作により移動、拡大縮小、変形等の操作が可能とされることが考えられる。画像処理装置１は、それらの操作が検知される度に、ステップＳ１０２からステップＳ１２０に進み、操作に応じてスクリーンエリア６１の位置やサイズ等の設定を変更し、ステップＳ１７０で移動、拡大、縮小、変形等が行われたスクリーンエリア６１を表示させる。なお拡大や縮小はアスペクト比を保ったまま行われるようにすることが望ましい。
これによりユーザは任意の位置やサイズなどでスクリーンエリア６１を設定できる。

マスクエリアに関する操作を検知した場合、画像処理装置１はステップＳ１０３からステップＳ１３０に進み、セカンドレイヤー画像ｖＬ２に合成する画像、即ちカメラ画像に適用するマスクエリアの設定処理を行う。

例えば図１１のようなカメラ画像を想定する。このカメラ画像は、主に演者６２の撮像を目的としたもので、ある場所で演者６２に実演してもらい、それをカメラ１１で撮影したものである。このときに、撮影場所には、図のようにカーテン６４が閉じられた窓があったとする。このカーテン６４は合成画像には入れたくないものである。
カーテン６４は動いていないため、動体抽出処理では、通常は抽出されない。しかし、風が吹くなどによりカーテン６４が動いてしまい、その期間、カーテン６４が動体として抽出され、抽出画像ｖＥに含まれてしまうことがある。つまりあるフレーム期間のみ、合成画像にカーテン６４が表れてしまうような場合が生ずる。
そのようなカーテン６４の範囲にマスクエリアを設定する。するとカーテン６４が動いたとしても、マスクエリア内であるので、動体抽出処理の対象外となり、カーテン６４は抽出されず、合成画像に表れないようになる。

マスクエリアに関する操作としては、マスクエリアチェックボックス５６のチェックのオン／オフの操作や、マスクエリアの位置、サイズ、形状等の操作がある。これらの操作に応じて画像処理装置１は図５のステップＳ１３０で操作に応じたマスクエリアの設定処理を行い、ステップＳ１７０でマスクエリアの設定状態を表示させる。

ステップＳ１３０の処理を図６に詳しく示す。
まずユーザは、マスクエリアの設定を行うためには、マスクエリアチェックボックス５６のチェックにより、プレビューエリア５５にマスクエリアを示すマスク枠７０を出現させる操作を行う。
マスクエリアチェックボックス５６のチェック操作が行われて図５のステップＳ１３０に進んだ場合、画像処理装置１は図６のステップＳ１３１からステップＳ１３４に進み、有効とされるマスクエリアを例えば初期の設定状態で追加する。そして図５のステップＳ１７０でそのマスクエリアをマスク枠７０により表示させる。
図１２は、方形の実線として、４つのマスク枠７０を示している。各マスク枠７０は、それぞれ初期の設定状態（位置、サイズ、形状）で有効化されたマスクエリアを示すものとされる。

逆にマスクエリアチェックボックス５６のチェックを外す操作が行われると、画像処理装置１は同じく図５のステップＳ１０３からステップＳ１３０に進む。この場合、図６のステップＳ１３２からステップＳ１３５に進むことになり、画像処理装置１は、チェックが外されたチェックボックスに対応するマスクエリアの設定を無効とし、図５のステップＳ１７０で該当のマスク枠７０を消去させる。
ユーザは、マスクエリアチェックボックス５６のチェックのオン／オフにより、０個から４個のうちで任意の数のマスク枠７０を表示させることができる。

マスク枠７０には、例えば四隅に操作円ＲＣが表示され、ユーザは操作円ＲＣの部分をドラッグすることで、マスク枠７０のサイズや形状を変更できる。
また、マスク枠７０内のクリックやダブルクリック、或いはピンチイン／アウト等の操作でサイズが拡大／縮小されるようにしてもよい。またマスク枠７０の内側を指定したドラッグにより、位置を移動させることができるようにしてもよい。
また、タッチパネル画面上をなぞるような操作により、形状を四角形から三角形、円、楕円形、多角形、不定形などに変化させるようにしてもよい。

これらのマスクエリアの位置、サイズ、形状を変更する操作を検知した場合も、画像処理装置１は図５のステップＳ１０３からステップＳ１３０に進む。この場合、画像処理装置１は図６のステップＳ１３３からステップＳ１３６に進んで、マスクエリアの位置、又はサイズ、又は形状の設定の変更を行う。そして図５のステップＳ１７０に進み、設定変更したマスクエリアがマスク枠７０の位置、又はサイズ、又は形状により表示されるようにする。
なお、ステップＳ１３６で画像処理装置１は、マスクエリアの位置、サイズ、形状の設定変更は、操作に無制限に応じるものではなく、絶対抽出エリアとの重複がない範囲で変更が生じるように操作を制限する。これについては絶対抽出エリアの説明の後に述べる。

画像処理装置１が以上の図５のステップＳ１０３，Ｓ１３０（図６の処理）を行うことで、ユーザは任意の数のマスクエリアを、任意の位置、サイズ、形状で設定できる。
図１５は、プレビューエリア５５にカメラ画像を表示させた状態で、マスク枠７０で示すように、カーテン６４の周囲に１つのマスクエリアを設定した例を示している。

絶対抽出エリアに関する操作を検知した場合、画像処理装置１は図５のステップＳ１０４からステップＳ１４０に進み、セカンドレイヤー画像ｖＬ２として合成する画像、即ちカメラ画像に適用する絶対抽出エリアの設定処理を行う。

例えば図１１のようなカメラ画像を想定した場合に、画像制作者が、演者６２とともに演台６３も抽出したい、つまり合成画像に表れるようにしたいと考えたとする。ところが演台６３は動体ではないので、動体抽出処理によっては抽出されない。このような場合に絶対抽出エリアを設定する。絶対抽出エリアを設定することで、画像処理装置１は動体抽出処理において、絶対抽出エリア内の画像は動体でなくとも抽出し、抽出画像ｖＥに含めるようにする。つまり合成画像に表れるようにする。

絶対抽出エリアに関する操作としては、絶対抽出エリアチェックボックス５７のチェックのオン／オフの操作や、絶対抽出エリアの位置、サイズ、形状等の操作がある。これらの操作に応じて画像処理装置１はステップＳ１４０で操作に応じた絶対抽出エリアの設定処理を行い、ステップＳ１７０で絶対抽出エリアの設定状態を表示させる。

ステップＳ１４０の処理を図７に詳しく示す。
まずユーザは、絶対抽出エリアの設定を行うためには、絶対抽出エリアチェックボックス５７のチェックにより、プレビューエリア５５に絶対抽出エリアを示す絶対抽出枠７１を出現させる操作を行う。
絶対抽出エリアチェックボックス５７のチェック操作が行われて図５のステップＳ１４０に進んだ場合、画像処理装置１は図７のステップＳ１４１からステップＳ１４４に進み、有効とされる絶対抽出エリアを例えば初期の設定状態で追加する。そして図５のステップＳ１７０でその絶対抽出エリアを絶対抽出枠７１により表示させる。
図１２では、方形の破線として、４つの絶対抽出枠７１を示している。各絶対抽出枠７１は、それぞれ初期の設定状態（位置、サイズ、形状）で有効化された絶対抽出エリアを示すものとされる。

なお図１２においてマスク枠７０は直線、絶対抽出枠７１は破線で示したが、これはマスク枠７０と絶対抽出枠７１の表示態様が異なるようにしていることを示している。
このように枠線の種類の違いでもよいし、枠の線の色の違いでもよい。また枠としての表示ではなく、例えば半透明の領域として、マスクエリアは青色の半透明領域、絶対抽出エリアは紫色の半透明領域などとして表示されるようにしてもよい。いずれにしても、表示上で、ユーザがマスクエリアと絶対抽出エリアを見分けられるようにする。

絶対抽出エリアチェックボックス５７のチェックを外す操作が行われると、画像処理装置１は同じく図５のステップＳ１０４からステップＳ１４０に進む。この場合、図７のステップＳ１４２からステップＳ１４５に進むことになり、画像処理装置１は、チェックが外されたチェックボックスに対応する絶対抽出エリアの設定を無効とし、図５のステップＳ１７０で該当の絶対抽出枠７１を消去させる。
ユーザは、絶対抽出エリアチェックボックス５７のチェックのオン／オフにより、０個から４個のうちで任意の数の絶対抽出枠７１を表示させることができる。

絶対抽出枠７１には、例えば四隅に操作円ＲＣが表示され、ユーザは操作円ＲＣの部分をドラッグすることで、絶対抽出枠７１のサイズや形状を変更できる。
また、絶対抽出枠７１内のクリックやダブルクリック、或いはピンチイン／アウト等の操作でサイズが拡大／縮小されるようにしてもよい。また絶対抽出枠７１の内側を指定したドラッグにより、位置を移動させることができるようにしてもよい。
また、タッチパネル画面上をなぞるような操作により、形状を四角形から三角形、円、楕円形、多角形、不定形などに変化させるようにしてもよい。

これらの絶対抽出エリアの位置、サイズ、形状を変更する操作を検知した場合も、画像処理装置１は図５のステップＳ１０４からステップＳ１４０に進む。この場合、画像処理装置１は図７のステップＳ１４３からステップＳ１４６に進んで、絶対抽出エリアの位置、又はサイズ、又は形状の設定の変更を行う。そして図５のステップＳ１７０に進み、設定変更した絶対抽出エリアが絶対抽出枠７１の位置、又はサイズ、又は形状により表示されるようにする。

画像処理装置１が以上の図５のステップＳ１０４，Ｓ１４０（図７の処理）を行うことで、ユーザは任意の数の絶対抽出エリアを、任意の位置、サイズ、形状で設定できる。
図１５は、プレビューエリア５５にカメラ画像を表示させた状態で、絶対抽出枠７１で示すように、演台６３の周囲に１つの絶対抽出エリアを設定した例を示している。

但し、図７のステップＳ１４６で画像処理装置１は、絶対抽出エリアの位置、サイズ、形状の設定変更は、操作に無制限に応じるものではなく、絶対抽出エリアとの重複がない範囲で変更が生じるように操作を制限する。
上述の図６のステップＳ１３６でも操作を制限すると述べたが、合わせて説明する。

マスクエリアと絶対抽出エリアの位置、サイズ、形状をユーザが任意に設定できるようにすると、マスクエリアと絶対抽出エリアが重なってしまうことが生ずる可能性がある。マスクエリアと絶対抽出エリアが重なると、動体抽出処理でどちらかを優先する必要があるが、どちらを優先するかは一概には決められない。そこで、設定変更操作があっても、重複する場合は、その操作を無効とするようにする。

例えばユーザが或るマスクエリアを移動させる操作を行った場合に、そのマスクエリアの一部が或る絶対抽出エリアに重なる場合は、その重なる直前までしか、マスクエリアを移動できないようにする。例えばユーザから見れば、マスク枠７０を、絶対抽出枠７１にぶつかった以降は、重なる方向へは移動ができなくなるように表示する。
同様に、例えばユーザが或る絶対抽出エリアを移動させる操作を行った場合に、その絶対抽出エリアの一部が或るマスクエリアに重なる場合は、その重なる直前までしか、絶対抽出エリアを移動できないようにする。例えばユーザから見れば、絶対抽出枠７１を、マスク枠７０にぶつかった以降は、重なる方向へは移動ができなくなるように表示する。
形状やサイズの変更の場合も同様である。マスクエリア（マスク枠７０）の形状やサイズの変更は、絶対抽出エリア（絶対抽出枠７１）に重ならない範囲で有効とする。また絶対抽出エリア（絶対抽出枠７１）の形状やサイズの変更は、マスクエリア（マスク枠７０）に重ならない範囲で有効とする。

ステップＳ１３６，Ｓ１４６では、このようにマスクエリアと絶対抽出エリアの重なりが生じない範囲でユーザの設定変更操作を受け付け、設定変更を行う。
なお、マスクエリアと絶対抽出エリアのいずれか一方が優先されるという設計思想により、重なりが生じても処理に問題が生じないようにする場合は、このような制限は必要ない。

以上のようにマスクエリアと絶対抽出エリアの設定処理が行われるが、ユーザにとっては、これらの設定操作の際に、背景画像やスクリーンエリア６１だけでなく、カメラ画像も確認できることが望ましい。ユーザが透過率調整バー５４を操作することで、カメラ画像の内容をプレビューエリア５５において確認できる。

透過率調整バー５４の操作を検知すると、画像処理装置１は図５のステップＳ１０５からステップＳ１５０に進み、カメラ画像のブレンド比を操作に応じて変更し、ステップＳ１７０でのプレビュー画像の生成に反映させる。
この設定処理を行うのが準備段階であり、カメラ１１によっては本番の撮像は行っていないことが想定されるため、カメラ１１によっては、本番の撮像を行う環境でリハーサル撮像を行うようにし、カメラ画像が画像処理装置１に入力されるようにする。演者６２もしくは演者の代わりのスタッフが撮像されるようにしてもよい。

プレビューエリア５５に表示させるプレビュー画像は、それまでに選択設定した背景画像やスクリーンエリア６１を示す表示内容であるが、その時点（準備処理時）のリハーサル撮像中のカメラ画像も合成した画像とすることができる。そして背景画像等に対するカメラ画像の合成比率は透過率調整バー５４の操作により可変設定される。

図１２は、カメラ画像が最大透過率状態である例である。つまりプレビューエリア５５においてカメラ画像は視認できない。
図１３は、透過率調整バー５４の操作に応じて、カメラ画像の透過率を下げた（ブレンド比を上げた）場合を示している。背景画像等とともに、演者６２、演台６３、カーテン６４等を含むカメラ画像が視認できる状態となる。
図１４は、透過率調整バー５４の操作によりカメラ画像の透過率を最小（ブレンド比を最大）とした場合を示している。背景画像等とともに、カメラ画像が明確に視認できる状態となる。

ユーザはこのようにセカンドレイヤーＬ２に用いる画像（この例ではカメラ画像）についてブレンド比率を可変する操作をしながら、マスクエリアや絶対抽出エリアの設定を行うことができる。これにより、カメラ画像に被写体として含まれるオブジェクトの位置を確認してマスクエリアや絶対抽出エリアを設定できることになる。
また透過率調整バー５４の操作によるカメラ画像のブレンド調整は、上述の背景画像の選択の際や、サードレイヤー設定（スクリーンエリア６１の設定）の際に行うことで、カメラ画像から抽出する演者６２や演台６３に応じた背景画像選択や、スクリーンエリア６１の適切な配置等を行うこともできる。
これらにより、例えば各レイヤーの画像の位置関係とカメラ画像の画角を比較しながらそれぞれの設定を調整できるようになる。

設定処理では、トップレイヤー画像ｖＬ１の設定、例えばロゴ画像の選択も行われる。 ユーザによるトップレイヤー画像設定の操作を検知すると、画像処理装置１は処理を図５のステップＳ１０６からステップＳ１６０に進め、トップレイヤー画像ｖＬ１として用いるロゴ画像の設定を行う。そしてステップＳ１７０でロゴ画像をプレビュー画像に重畳して、プレビューエリア５５に表示させる制御を実行する。

具体的には、ユーザがロゴ選択部６０の操作でプルダウンメニューから特定のロゴデザインを選択することで、そのロゴ画像をトップレイヤー画像ｖＬ１として設定する。プルダウンメニューで選択候補とされるロゴ画像は、例えばフラッシュＲＯＭ４に記憶された画像や、ＰＣ１２や他の画像ソース１３から取得できる画像である。
またユーザがロゴ画像に対して、クリック、ドラッグ等の所定の操作を行うことで、画像処理装置１はステップＳ１６０で、ロゴ画像を、アスペクト比を保ったまま拡大縮小を行ってサイズ調整を行ったり、任意の位置に配置したりするような設定変更を行う。
ロゴ画像についてもステップＳ１７０でプレビュー画像に合成されてプレビューエリア５５に表示される。

以上のように背景画像、スクリーンエリア６１、マスクエリア、絶対抽出エリア、ロゴ画像の全部又は一部についての設定を行ったら、ユーザはその設定を保存する操作を行う。
ユーザが保存ボタン５８を操作したことを検知したら、画像処理装置１は図５のステップＳ１０７からステップＳ１８０に進み、設定値保存を行う。
例えば背景画像、スクリーンエリア６１の範囲、マスクエリアの範囲、絶対抽出エリアの範囲、ロゴ画像などの設定情報をフラッシュＲＯＭ４に記憶する。
以上で設定処理を完了する。

なお、実際の設定の手順、処理、操作内容等は多様に考えられる。
スクリーンエリア６１を全画面として、スクリーン画像を背景として使用してもよい。
マスクエリアについては、デフォルトの設定として、画像認識からオブジェクト認識を行い、検出されたオブジェクトがマスクすべきものであったときは、初期状態として、そのオブジェクトの領域をマスクエリアとして設定しておくことも考えられる。例えば、カメラ画像内に窓やカーテンや時計などが存在する場合に、それらを認識して自動的に初期状態でマスクエリアとしておく。

同様に、絶対抽出エリアの設定に関してもオブジェクト認識を利用できる。例えばカメラ画像について所定のオブジェクトが認識された場合、その領域を絶対抽出エリアとして初期設定しておくようにしてもよい。
また背景画像の意味するテーマに合わせて、対象のオブジェクトを指定することも考えられる。例えば背景画像がニューススタジオであった場合、カメラ画像内に演台６３が見つかれば、その領域を自動的に絶対抽出エリアとする。また背景画像がラボラトリーであれば、ホワイトボードが見つかればホワイトボードの領域を自動的に絶対抽出エリアとするなどである。

＜４．合成処理及びＵＩ＞
以上の設定処理が準備状態として行われた後、実行状態として実際の画像合成処理による画像出力が行われる。この場合の合成処理及びＵＩについて説明する。
図１６は画像処理装置１（ＣＰＵ２又はＧＰＵ３）が実行状態として行う処理例を示している。この図１６は、例えばカメラ１１から供給されるカメラ画像についての１フレームタイミング毎に行われる処理例である。

ステップＳ２１０からステップＳ２５０の処理は画像処理装置１が、図４の動体抽出部２０の機能により実行する。
ステップＳ２１０で画像処理装置１は、カメラ画像としての１フレームの画像データを取得する。例えば図１７Ａのように演者６２、演台６３、カーテン６４等が被写体として含まれるカメラ画像の１フレームを処理対象として取り込む。
なお、準備段階の設定処理で、図１７Ｂのマスク枠７０、絶対抽出枠７１で示すようにマスクエリアと絶対抽出エリアが設定されているとする。

ステップＳ２２０で画像処理装置１は、動体抽出処理を行う。例えば今回取得したフレームを前回のフレームと比較して、差分が生じている被写体を検出し、当該被写体の画像を抽出する。
この動体抽出結果を図１７Ｃに示す。ここでは演者６２が抽出されている。また実際の被写体のカーテン６４が動いていたことで、制作者が意図していないカーテン６４の画像までが抽出されている。なおこの段階ではマスクエリアの処理を反映していないため仮の動体抽出であるといえる。

ステップＳ２３０で画像処理装置１は、マスク処理を行う。即ち準備処理で設定したマスクエリアに存在する画像については、合成処理に用いる画像としての動体抽出を行わないようにする処理である。
図１７Ｃのように仮に動体としての画像の抽出が行われても、そのままその動体画像が合成処理に用いられる画像として最終的に抽出される（抽出画像ｖＥとされる）ものとはならない。例えばカーテン６４の領域がマスクエリアとして設定されている場合、動体として仮に抽出されたカーテン６４は、抽出されないように設定されているエリアの画像であることから、動体としては抽出されないものとされる。結果として動体抽出結果は図１７Ｄのように演者６２のみとなる。

なお、以上の例では、一旦、画面全体で動体抽出を行った後に、マスクエリアの範囲内では、動体が合成に用いる画像としては抽出されないように無効化する処理を行うものとしたが、そもそもマスクエリアについては動体検出が行われないような処理としてステップＳ２２０，Ｓ２３０が行われてもよい。
いずれにしても、マスクエリアが、結果として画像抽出が行われないエリアとなるようにすればよい。換言すれば、抽出画像ｖＥにマスクエリアの画像が含まれないようにすればよい。

ステップＳ２４０で画像処理装置１は、カメラ画像における絶対抽出エリアの画像の抽出処理を行う。即ち準備処理で設定した絶対抽出エリアについて、画像を抽出する処理である。この場合、動体でない画像を抽出するという意味となる。この結果、例えば図１７Ｅのように演台６３が抽出される。

ステップＳ２５０で画像処理装置１は、抽出画像ｖＥを作成する。即ち図４の動体抽出部が画像合成部２１に受け渡す画像を作成する。
抽出画像ｖＥは、動体抽出対象画像としたカメラ画像について、画像抽出を行わないエリアとして設定されたマスクエリア以外から動体の画像の抽出を行った画像である。さらに抽出画像ｖＥは、必ず画像抽出を行うエリアとして設定された絶対抽出エリアの画像を、動体であるか否かにかかわらず抽出した画像である。
これは図１７Ｄの画像と図１７Ｅの画像を合わせた画像であり、結果として抽出画像ｖＥは図１７Ｆのようになる。

このように抽出画像ｖＥが生成されたら、画像処理装置１は図４の画像合成部２１の機能により、図１６のステップＳ２６０からステップＳ２８０の処理を実行する。

ステップＳ２６０で画像処理装置１は、抽出画像ｖＥとボトムレイヤー画像ｖＬ４及びサードレイヤー画像ｖＬ３の合成を行う。即ち抽出画像ｖＥを、準備段階で選択した背景画像に合成するとともに、そのスクリーンエリア６１に、例えばスクリーン画像を嵌め込むような合成処理を行う。スクリーン画像は、例えばＰＣ１２から供給される画像データである。

ステップＳ２７０で画像処理装置１は、トップレイヤー画像ｖＬ１の合成を行う。即ち準備段階で選択し、位置やサイズを設定したロゴ画像の合成を行う。
この段階で、４つのレイヤーの画像を合成した合成画像が生成されることになる。

ステップＳ２８０で画像処理装置１は、出力画像作成を行う。即ち各出力端子７−１、７−２、・・・７−ｍから出力する画像データ（出力画像ｖＯＵＴ１、ｖＯＵＴ２、・・・ｖＯＵＴｍ）をそれぞれ生成する。

例えばモニター／レコーダー１４に対しては、合成画像の画像データを出力画像ｖＯＵＴ１として出力端子７−１から出力する。いわゆる本線画像として、合成画像が出力されることになる。

出力端子７−２以降についても本線画像と同様の画像データを出力してもよいが、例えば画像処理装置１は、スタッフのモニター用に、画像モニター及び所定の操作が可能な出力モニター画面を生成する画像データを生成して出力してもよい。
例えば図１８のような画像モニター画面８０を表示させる画像データを生成し、出力画像ｖＯＵＴ２として出力端子７−２から出力する。

この画像モニター画面８０は、トップレイヤー画像ｖＬ１、セカンドレイヤー画像ｖＬ２、サードレイヤー画像ｖＬ３、ボトムレイヤー画像ｖＬ４の合成画像が含まれるとともに、左右反転チェックボックス８１、抽出画像チェックボックス８２が設けられている。
例えば確認用モニター１５、１６は、単に画像処理装置１からの画像データを入力するのみではなく、確認用モニター１５の画面上の操作をＣＰＵ２が検知できるようにインタフェースが確保されている。
例えば出力端子７−２，７−３が双方向通信端子とされていたり、或いは確認用モニター１５、１６がネットワーク通信部８を介して通信可能とされていたりすることが考えられる。

例えば確認用モニター１５、１６において、左右反転チェックボックス８１や抽出画像チェックボックスのチェックがされていないときは、画像処理装置１は出力画像ｖＯＵＴ２・・・ｖＯＵＴｍとして、図１８に示すような画像を表示させる画像データを生成し出力端子７−２・・・７−ｍから出力する。
各フレームのタイミングで図１６の処理が行われるため、確認用モニター１５や確認用モニター１６を視認しているスタッフは、演者６２が演じている状態の合成画像として、図１８のような画像を見ることができる。

また例えば確認用モニター１６の操作により、左右反転チェックボックス８１がチェックされたとする。この場合、画像処理装置１は出力画像ｖＯＵＴｍとして、図１９に示すような、合成画像を左右反転させた画像を表示させる画像データを生成し出力端子７−ｍから出力する。例えば確認用モニター１６が演者６２に向けられているとすると、演者６２は左右反転画像を見ながら演じることになる。
演者６２が確認用モニター１６を、自身で動作確認を行うためのモニターとして使用する場合、左右反転しないと、映っている映像と自身の動きが左右逆になり直感的に動作することができない。そこで、映像を左右反転して鏡に映しているように見せることで、自身の動きと映像が一致して演者がスムーズに動くことができるようになる。
また、画像処理装置１はこの左右反転画像に、マスクエリアと絶対抽出エリアを示すようにマスク枠７０と絶対抽出枠７１を表示させるようにする。これにより演者６２は、マスクエリアに入らないようにしたり、絶対抽出エリアのものを移動させないようにしたりするなどを確認しながら撮影に臨むことができる。

また例えばスタッフが確認用モニター１５側の操作により、抽出画像チェックボックス８２をチェックする操作を行ったとする。この場合、画像処理装置１は出力画像ｖＯＵＴ２として、図２０に示すような、抽出画像ｖＥのみの画像（セカンドレイヤー画像ｖＬ２のみの画像）を表示させる画像データを生成し出力端子７−２から出力する。
これによりスタッフは、抽出画像ｖＥが適切な状態であるか否かを確認し易いものとなる。カメラ画像に基づく抽出画像ｖＥのみを表示させることで、例えば合成が想定通りできていない時に、どのような画像になっているために正しく動作していないのか確認でき、問題となる部分に対してなんらかの対処ができるようになる。
例えば図２０では、カーテン６４の一部が比較的大きく動くなどして、抽出画像ｖＥに表れてしまっている状態を示している。これは、マスクエリアの範囲が十分でなかったことによるものと理解できる。従ってスタッフは例えばこのような状態が生じないようにマスクエリアの再設定を行うなどの対処ができる。

＜５．物体認識を行う場合の処理例＞
ところで以上の処理例において、動体抽出に関しては、物体認識を組み合わせるような処理を行ってもよい。
図２１では例えば図１６のステップＳ２３０のマスク処理において物体認識を適用する処理例を示している。

図２１のステップＳ２３１で画像処理装置１は、図１６のステップＳ２２０で抽出された動体の範囲（動体とされた画像の画素範囲）とマスクエリアを比較する処理を行う。
ステップＳ２３２で画像処理装置１は、動体として抽出された被写体の一部又は全部がマスクエリア内となっているか否かを確認する。
特にマスクエリア内に、抽出された動体の画像が存在しなければ、そのままマスク処理を終了すればよい（図１６のステップＳ２４０に進む）。

抽出された動体の全部又は一部がマスクエリア内である場合、画像処理装置１はステップＳ２３３に進み、マスクエリア内の動体画像について、物体認識処理を行う。即ち、その動体とされた被写体が、例えば人物であるか、人物以外であるかなど、物体種別の認識処理を行う。この場合、顔認識処理、姿勢認識処理、瞳検出処理、特定物体のパターン認識処理など、既存の認識処理を用いればよい。また追尾処理を利用して、過去に認識した物体のフレーム毎の位置を確認してもよい。
例えば抽出すべき対象としての動体が人（演者６２）の場合、少なくとも人であるか人以外であるかが認識できればよい。

ステップＳ２３４で画像処理装置１は、マスクエリア内の動体画像が抽出対象の動体（例えば人）であるか否かを確認する。
もし、抽出対象の動体でなければ、画像処理装置１はステップＳ２３４からステップＳ２３６に進み、通常にマスク処理を行う。即ちマスクエリア内の動体画像が抽出画像ｖＥに加えられないようにマスクする処理を行う。

一方、マスクエリア内の動体画像が抽出対象の動体（例えば人）であった場合、画像処理装置１はステップＳ２３４からステップＳ２３５に進み、該当の動体の画素部分を一時的にマスクエリアから除外する。そしてステップＳ２３６に進み、マスク処理を行う。即ちマスクエリア内の動体画像が抽出画像ｖＥに加えられないようにマスクする処理を行うが、該当の動体部分のみは、マスクされないようにする。

以上のようにマスク処理で物体認識が行われるようにすることで、例えば撮影中に演者６２（例えば演者６２の身体全体や、手などの一部）がマスクエリアに入ってしまっても、演者６２の画像は、マスクされないようにすることができる。
この場合、物体認識処理を行うことで、単純なマスク処理よりは処理負担が増加する。但し画像全体での物体認識を行うわけではなく、マスクエリア内で抽出された動体画像についてのみ行うものである。従って全画面を対象として被写体の物体認識を行う場合に比べて処理負担の増加は小さい。

以上は、抽出すべき動体がマスクエリアに入った場合について述べたが、逆にマスクすべき物体がマスクエリア外に出た場合に対処するための物体認識を行うことも考えられる。
例えばステップＳ２３３で物体認識を行った結果、カーテン６４等の演者６２以外の物体が認識されたとする。
その場合に、当該カーテン６４等の画像がマスクエリアからはみ出している画素部分を特定し、その部分も一時的にマスクエリアに設定してマスク処理を行うというものである。このようにすることで、抽出したくない物体に想定以上の動きがあってマスクエリアをはみ出てしまっても、抽出画像ｖＥに含まれないように適切にマスクを行うことができる。
これもマスクエリアという限定的な範囲での物体認識処理であるため、全画面を対象として被写体の物体認識を行う場合に比べて軽い処理負担ですむ。

次に図２２により図１６のステップＳ２４０の絶対抽出エリアの画像抽出処理において物体認識を適用する例を説明する。
ステップＳ２４１で画像処理装置１は、絶対抽出エリア内の被写体について物体認識処理を行う。そしてステップＳ２４２で画像処理装置１は、主たる物体の範囲（画素範囲）を特定する。例えば演台６３の画素範囲を特定する。
ステップＳ２４４で画像処理装置１は特定した物体の範囲の画像を抽出する処理を行う。即ち、絶対抽出エリアに含まれる全画素を抽出するのではなく、絶対抽出エリア内の物体を切り出すように抽出する。例えば演台６３のみを切り出し、その周囲の演台６３以外の画像は抽出しないようにする。これにより、ある程度あいまいに絶対抽出エリアを設定しても、余分な物の画像などが抽出されないようにすることができる。
また、当該抽出したい物体の一部が絶対抽出エリアからはみ出してしまったような場合に、画像認識結果に基づいて当該物体を抽出することで、物体の一部が欠けたような画像が抽出される状態を防止できる。

以上のように絶対抽出エリアからの物体抽出に関しては、
・単純に、絶対抽出エリアの画素の全体を抽出する
・物体認識を行い、絶対抽出エリアの対象物体の画素部分を抽出する（認識した物体に沿って輪郭を抜き出す）
・物体認識を行い、該当物体の画像の一部が絶対抽出エリアからはみ出しても、対象の物体の画素については抽出する
という例が考えられる。

＜６．まとめ及び変形例＞
以上の実施の形態では次のような効果が得られる。
実施の形態の画像処理装置１は、動体抽出対象画像（例えばカメラ画像）について、合成に用いる画像が抽出されないエリアとして設定されたマスクエリア以外から動体の画像を抽出した抽出画像ｖＥを生成する動体抽出部２０と、動体抽出部２０による抽出画像ｖＥを、他の画像と合成する処理を行う画像合成部２１を備える（図１６参照）。
演者６２等の動体画像を目的とした動体抽出は、例えばフレーム差分などの手法により簡易的に動体を検出してその動体の範囲（輪郭部分）の画像を抽出することで、処理負担が少なく、一般的な処理能力の機器であっても十分に行うことができるが、その一方で、上述の例のカーテン６４のように不要な動きがあるものも動体として検出し、合成する画像として抽出してしまう。本実施の形態では、マスクエリアによって、動体として抽出されないようにしたいものが存在するエリアについては、合成する動体画像として抽出されないようにしているため、不要な動きがあった被写体画像が合成画像に現れないようにすることができる。
これによって例えば背景画像等に、演者６２などの目的の動体のみを適切に合成した品質の良い合成画像を提供できる。

実施の形態では、動体抽出部２０は、合成に用いる画像が抽出されるエリアとして設定された絶対抽出エリアの画像を、動体であるか否かにかかわらず画像合成部２１で合成される画像として抽出画像ｖＥに含めるようにしている（図１６参照）。
例えばカメラ画像の中に、合成に使いたい被写体があったとしても、静止物であるために抽出されず、このために所望の画像を制作できないことにもある。これに対して実施の形態の例では絶対抽出エリアを設定することで、例えば演台６３の画像は動体ではないが合成画像に現れることになる。
つまり単純な動体抽出だと、この演台６３のような静止物は抽出されないが、絶対抽出エリアを設定することで、動体でなくても抽出したい画像を抽出することができる。従って画像制作者にとって、より望ましい合成画像の制作が容易になる。

実施の形態の画像処理装置１は、画面上でマスクエリアの位置、形状又はサイズの設定を制御するＵＩ制御部２３を備える例を挙げた（図１２、図１３、図１４、図１５参照）。
例えば動体抽出対象画像や他の画像を表示させた画面上で、ユーザが操作によりマスクエリアの位置を決めたり、マスクエリアの形状やサイズを決めたりすることができるように設定画面５０を提供する。これによりマスクエリアを画像上の任意の位置に設定できる。またマスクエリアの形状としては、正方形、長方形、及びそれらのサイズなどを任意に設定できる。
なおマスクエリアの形状としては、正方形、長方形に限らず、三角形、五角形以上の多角形、円形、楕円形、不定形、物体の輪郭に沿った形など、各種の形状任意に設定できるようにすることが考えられる。

実施の形態では、ＵＩ制御部２３は、動体抽出対象画像としたカメラ画像と他の画像（例えば背景画像）を合成した画像を表示させた画面上でマスクエリアの位置、形状又はサイズの設定を制御する（図１３、図１４参照）。
これにより、例えばカメラから供給される入力画像の被写体配置や演者の位置などの都合や、合成したくない物体の選択などの合成画像制作方針等に応じて、ユーザが望みの範囲にマスクエリアを設定できる。特にユーザは合成画像内の物体等を確認しながらマスクエリアを設定できるため、容易にマスクエリアとしての適切な位置、形状、サイズの設定が可能となる。
また画像内に被写体以外の動体が存在しても無視できるマスクエリアを簡単に設定できるようになることで、画像品質の向上が実現できるとともに、カメラ設置の自由度が高くなり、撮影の準備が簡単になる。

実施の形態では、ＵＩ制御部２３は、画面上で絶対抽出エリアの位置、形状又はサイズの設定を制御する例を挙げた（図１２、図１３、図１４、図１５参照）。
例えば動体抽出対象画像や他の画像を表示させた画面上で、ユーザが操作により絶対抽出エリアの位置を決めたり、絶対抽出エリアの形状やサイズを決めたりすることができるようにする。
これにより絶対抽出エリアを画像上の任意の位置に設定できる。また絶対抽出エリアの形状としては、正方形、長方形、及びそれらのサイズなどを任意に設定できる。
なお絶対抽出エリアの形状としては、正方形、長方形に限らず、三角形、五角形以上の多角形、円形、楕円形、不定形、物体の輪郭に沿った形など、各種の形状任意に設定できるようにすることが考えられる。
そして絶対抽出エリアとして、必ず入力された画像を使用する領域を簡単に設定できるようにすることで、表現の自由度が上がり、撮影者のアイデアを実現しやすくなる。

実施の形態では、ＵＩ制御部２３は、動体抽出対象画像と他の画像を合成した画像を表示させた画面上で絶対抽出エリアの位置、形状又はサイズの設定を制御する（図１３、図１４参照）。
これにより、例えばカメラから供給される入力画像の被写体配置や演者の位置などの都合や、合成したい物体の選択などの合成画像制作方針等に応じて、ユーザが望みの範囲に絶対抽出エリアを設定できる。特にユーザは合成画像内の物体等を確認しながら絶対抽出エリアを設定できるため、容易に絶対抽出エリアとしての適切な位置、形状、サイズの設定が可能となる。
これにより所望の画像を撮影できるようにする準備が簡単にできるようになる。

実施の形態では、ＵＩ制御部２３は、動体抽出対象画像であるカメラ画像と他の画像（背景画像等）を合成した画像において、画像の合成比率を操作に応じて可変する例を挙げた（図１２，図１３，図１４参照）。
マスクエリアを設定するために表示する合成画像において、例えば背景画像に対し、カメラ画像の合成比率をユーザの透過率調整バー５４の操作に応じて可変できるようにする。例えばカメラ画像がはっきり現れたり、薄く現れたり、或いは見えなくなったりする表示状態が可変できる。
従ってユーザは、背景画像に対して、カメラ画像の透過率（合成比率）を変換させて被写体位置を確認できる。これによりユーザが好みの合成比率の状態で背景画像上でマスクエリアや絶対抽出エリアを設定する操作を行うことができる。
背景画像上でカメラ画像の透過率を変化させることで、背景を考慮しながら都合のよい箇所にマスクエリアや絶対抽出エリアを設定しやすい。
一方でカメラ画像を常に表示させたうえで背景画像やスクリーン画像の合成比率を可変設定させるようなことも考えられる。これにより、演者を含むリハーサル状況などの場合にカメラ画像を確認しやすい状態でマスクエリアや絶対抽出エリアの設定ができる。

実施の形態のＵＩ制御部２３は、画面上でマスクエリアを示す表示と、画面上で絶対抽出エリアを示す表示を、異なる表示態様とする例を挙げた。
即ち画面上でマスク枠や絶対抽出枠を表示させて、マスクエリアや絶対抽出エリアの範囲を提示する際に、マスク枠７０と絶対抽出枠７１の表示態様が異なるようにする。例えば枠の範囲の色、枠線の種別（実線、破線、波線、二重線、太線、細線など）、輝度、枠内の透明度などが異なるようにする。
これによりユーザは、マスク枠と絶対抽出枠を明確に識別して、抽出したくない範囲と動体でなくとも抽出したい範囲を適切に設定できることになる。

実施の形態では、ＵＩ制御部２３は、マスクエリアと絶対抽出エリアの重複が生じないように設定操作を制限する処理を行うことを述べた。例えば画面上でマスクエリアと絶対抽出エリアを、マスク枠７０や絶対抽出枠７１により表示させて任意に設定可能とするが、操作により重複が生じる場合は、その操作を制限する（図６のステップＳ１３６、図７のステップＳ１４６）。
マスクエリアと絶対抽出エリアが重複してしまうと、マスク処理と絶対抽出処理が適切に実行できなくなる場合が生ずる。そこでユーザの操作により重複が発生する場合は、重複が生じない範囲までに制限する。これによりユーザが特に意識しなくとも、重複が生じないようにすることができる。

実施の形態ではＵＩ制御部２３は、カメラ画像と合成する他の画像の設定を制御するようにしている。
上述の例ではセカンドレイヤー画像ｖＬ２として用いられる、カメラ画像からの抽出画像ｖＥに対して、ボトムレイヤー画像ｖＬ４としての背景画像、サードレイヤー画像ｖＬ３としてのスクリーン画像、トップレイヤー画像ｖＬ１としてのロゴ画像などの他の画像を合成する。これらの他の画像については、設定画面５０において選択できるようにしている。これにより画像制作者であるユーザは任意の絵作りを行うことができる。

実施の形態では、画像合成部２１は、動体抽出部２０による抽出画像ｖＥと他の画像との合成画像を出力するとともに、前記合成画像を左右反転した画像を出力することができる（図１９参照）。
左右反転させた画像は、演者６２が認識する左右方向と、モニター画面に映し出される左右方向が一致する。従って演者６２が演じながら確認するモニター画像として適切な画像を提供できることになる。

実施の形態では、画像合成部２１は、動体抽出部２０による抽出画像ｖＥと他の画像との合成画像を出力するとともに、動体抽出部２０で抽出された抽出画像ｖＥのみを出力することができる（図２０参照）。
抽出画像ｖＥを表示出力させることで、例えば確認用モニター１５をチェックしているスタッフが適切な動体抽出ができているか否かを確認しやすくなり、また適切な対処を行うことができるようになる。

実施の形態のＵＩ制御部２３は、出力モニター画面８０において合成画像を左右反転した画像の出力の制御を行う（図１９参照）。
ユーザは状況に応じて、左右反転チェックボックス８１により、例えば確認用モニター１６などに、左右反転画像を表示させることができる。例えば演者６２の要望などに応じて柔軟に対応できる。

実施の形態のＵＩ制御部２３は、出力モニター画面８０において動体抽出部による抽出画像ｖＥの出力の制御を行う（図２０参照）。
ユーザは状況に応じて、抽出画像チェックボックス８２により、例えば確認用モニター１５などに、動体抽出部２０で抽出された画像のみの表示を実行させることができる。例えば通常は確認用モニター１５で合成画像をチェックしながら、必要時に動体抽出部２０で抽出された画像のみを確認できる。

実施の形態では、動体抽出対象画像はカメラ１１による撮像画像であるとした。
従って撮像画像において、演者６２などの動体を抽出しつつ、マスクエリア内で動きがあった物体を抽出しないことや、絶対抽出エリア内では動きのない物体を抽出するといったことが適切に可能となり、撮像画像を背景画像等と合成する場合に適した動作が実現される。

実施の形態ではカメラ画像と合成される他の画像の１つは背景画像であるとした。
従って演者６２等の動体を所望の背景において演じさせるといった絵作りを行う場合に、不要な動体の除外や合成したい非動体の抽出などが可能となる。

実施の形態では、画像処理装置１に複数系統の画像入力が可能とされ、動体抽出対象画像は、一の系統で入力されるカメラ１１による撮像画像であり、他の画像の１つは、他の系統で入力されるＰＣ１２等からの入力画像であるとした。
例えば背景上にスクリーンエリア６１を用意し、ＰＣ１２から供給される画像をサードレイヤー画像ｖＬ３としてスクリーン画像を合成する例を挙げた。これにより、演者６２が説明や、演技や、プレゼンテーションなどに用いる画像を用意し、合成対象とすることができる。

実施の形態ではカメラ画像と合成される他の画像の１つはロゴ画像であるとした。
これにより画像権利者、制作者等を明確にした合成画像の制作が容易に可能となる。

なお実施の形態では、マスクエリアと絶対抽出エリアの両方が設定可能であるとしたが、マスクエリアの設定のみが可能であってもよいし、絶対抽出エリアの設定のみが可能であってもよい。当然図１６のような合成処理としては、設定に応じてステップＳ２３０，Ｓ２４０のいずれかが行われればよい。

実施の形態のプログラムは、図５，図６，図７の処理や図１６の処理、或いはこれらの変形例である図２１，図２２等の処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、動体抽出対象画像について、合成に用いる画像が抽出されないエリアとして設定されたマスクエリア以外で動体の画像を抽出した抽出画像ｖＥを生成する処理と、抽出画像ｖＥを、他の画像と合成する処理とを画像処理装置に実行させるプログラムである。
このようなプログラムにより、上述した画像処理装置を、例えば情報処理装置、携帯端末装置、画像編集機器、スイッチャー、撮像装置などの機器において実現できる。

このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＭＯ（Magneto Optical）ディスク、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ（Local Area Network）、インターネットなどのネットワークを介してダウンロードすることもできる。

またこのようなプログラムによれば、実施の形態の画像処理装置の広範な提供に適している。例えばパーソナルコンピュータ、スマートフォンやタブレット機器等の携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の画像処理装置として機能させることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

なお本技術は以下のような構成も採ることができる。
（１）
動体抽出対象画像について、合成に用いる画像が抽出されないエリアとして設定されたマスクエリア以外で動体の画像を抽出した抽出画像を生成する動体抽出部と、
前記抽出画像を他の画像と合成する処理を行う画像合成部と、を備えた
画像処理装置。
（２）
前記動体抽出部は、合成に用いる画像が抽出されるエリアとして設定された絶対抽出エリアの画像を、動体であるか否かにかかわらず前記動体抽出対象画像から抽出して前記抽出画像を生成する
上記（１）に記載の画像処理装置。
（３）
画面上で前記マスクエリアの位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備えた
上記（１）又は（２）に記載の画像処理装置。
（４）
前記ユーザインタフェース制御部は、前記動体抽出対象画像と前記他の画像を合成した画像を表示させた画面上で前記マスクエリアの位置、形状又はサイズの設定を制御する
上記（３）に記載の画像処理装置。
（５）
画面上で前記絶対抽出エリアの位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備えた
上記（２）に記載の画像処理装置。
（６）
前記ユーザインタフェース制御部は、前記動体抽出対象画像と前記他の画像を合成した画像を表示させた画面上で前記絶対抽出エリアの位置、形状又はサイズの設定を制御する
上記（５）に記載の画像処理装置。
（７）
前記ユーザインタフェース制御部は、前記動体抽出対象画像と前記他の画像を合成した画像において、画像の合成比率を操作に応じて可変する
上記（４）又は（６）に記載の画像処理装置。
（８）
画面上で前記マスクエリアと前記絶対抽出エリアの一方又は両方について、位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備え、
前記ユーザインタフェース制御部は、画面上で前記マスクエリアを示す表示と、画面上で前記絶対抽出エリアを示す表示を、異なる表示態様とする
上記（２）（５）（６）のいずれかに記載の画像処理装置。
（９）
画面上で前記マスクエリアと前記絶対抽出エリアの一方又は両方について、位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備え、
前記ユーザインタフェース制御部は、前記マスクエリアと前記絶対抽出エリアの重複が生じないように設定操作を制限する処理を行う
上記（２）（５）（６）のいずれかに記載の画像処理装置。
（１０）
前記ユーザインタフェース制御部は、前記他の画像の設定を制御する
上記（３）から（９）のいずれかに記載の画像処理装置。
（１１）
前記画像合成部は、前記抽出画像と前記他の画像との合成画像を出力するとともに、前記合成画像を左右反転した画像を出力することができる
上記（１）から（１０）のいずれかに記載の画像処理装置。
（１２）
前記画像合成部は、前記抽出画像と前記他の画像との合成画像を出力するとともに、前記抽出画像を出力することができる
上記（１）から（１１）のいずれかに記載の画像処理装置。
（１３）
前記合成画像を左右反転した画像の出力の制御を行うユーザインタフェース制御部を備える
上記（１１）に記載の画像処理装置。
（１４）
前記抽出画像の出力の制御を行うユーザインタフェース制御部を備える
上記（１２）に記載の画像処理装置。
（１５）
前記動体抽出対象画像は、カメラによる撮像画像である
上記（１）から（１４）のいずれかに記載の画像処理装置。
（１６）
前記他の画像の１つは背景画像である
上記（１）から（１５）のいずれかに記載の画像処理装置。
（１７）
複数系統の画像入力が可能とされ、
前記動体抽出対象画像は、一の系統で入力されるカメラによる撮像画像であり、
前記他の画像の１つは、他の系統で入力される入力画像である
上記（１）から（１６）のいずれかに記載の画像処理装置。
（１８）
前記他の画像の１つはロゴ画像である
上記（１）から（１５）のいずれかに記載の画像処理装置。
（１９）
動体抽出対象画像について、合成に用いる画像が抽出されないエリアとして設定されたマスクエリア以外で動体の画像を抽出した抽出画像を生成し、
前記抽出画像を、他の画像と合成する処理を行う
画像処理方法。
（２０）
動体抽出対象画像について、合成に用いる画像が抽出されないエリアとして設定されたマスクエリア以外で動体の画像を抽出した抽出画像を生成する処理と、
前記抽出画像を、他の画像と合成する処理とを
画像処理装置に実行させるプログラム。

１ 画像処理装置
２ ＣＰＵ
３ ＧＰＵ
４ フラッシュＲＯＭ
５ ＲＡＭ
６，６−１，６−２，６−ｎ 入力端子
７，７−１，７−２，７−ｍ 出力端子
８ ネットワーク通信部
２０ 動体抽出部
２１ 画像合成部
２２ 設定部
２３ ＵＩ制御部
５０ 設定画面
５４ 透過率調整バー
５５ プレビューエリア
６２ 演者
６３ 演台
６４ カーテン
６５ ロゴ
７０ マスク枠
７１ 絶対抽出枠

Claims (20)

1. 動体抽出対象画像について、合成に用いる画像が抽出されないエリアとして設定されたマスクエリア以外で動体の画像を抽出した抽出画像を生成する動体抽出部と、
   前記抽出画像を他の画像と合成する処理を行う画像合成部と、を備えた
   画像処理装置。
2. 前記動体抽出部は、合成に用いる画像が抽出されるエリアとして設定された絶対抽出エリアの画像を、動体であるか否かにかかわらず前記動体抽出対象画像から抽出して前記抽出画像を生成する
   請求項１に記載の画像処理装置。
3. 画面上で前記マスクエリアの位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備えた
   請求項１に記載の画像処理装置。
4. 前記ユーザインタフェース制御部は、前記動体抽出対象画像と前記他の画像を合成した画像を表示させた画面上で前記マスクエリアの位置、形状又はサイズの設定を制御する
   請求項３に記載の画像処理装置。
5. 画面上で前記絶対抽出エリアの位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備えた
   請求項２に記載の画像処理装置。
6. 前記ユーザインタフェース制御部は、前記動体抽出対象画像と前記他の画像を合成した画像を表示させた画面上で前記絶対抽出エリアの位置、形状又はサイズの設定を制御する
   請求項５に記載の画像処理装置。
7. 前記ユーザインタフェース制御部は、前記動体抽出対象画像と前記他の画像を合成した画像において、画像の合成比率を操作に応じて可変する
   請求項４に記載の画像処理装置。
8. 画面上で前記マスクエリアと前記絶対抽出エリアの一方又は両方について、位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備え、
   前記ユーザインタフェース制御部は、画面上で前記マスクエリアを示す表示と、画面上で前記絶対抽出エリアを示す表示を、異なる表示態様とする
   請求項２に記載の画像処理装置。
9. 画面上で前記マスクエリアと前記絶対抽出エリアの一方又は両方について、位置、形状又はサイズの設定を制御するユーザインタフェース制御部を備え、
   前記ユーザインタフェース制御部は、前記マスクエリアと前記絶対抽出エリアの重複が生じないように設定操作を制限する処理を行う
   請求項２に記載の画像処理装置。
10. 前記ユーザインタフェース制御部は、前記他の画像の設定を制御する
    請求項３に記載の画像処理装置。
11. 前記画像合成部は、前記抽出画像と前記他の画像との合成画像を出力するとともに、前記合成画像を左右反転した画像を出力することができる
    請求項１に記載の画像処理装置。
12. 前記画像合成部は、前記抽出画像と前記他の画像との合成画像を出力するとともに、前記抽出画像を出力することができる
    請求項１に記載の画像処理装置。
13. 前記合成画像を左右反転した画像の出力の制御を行うユーザインタフェース制御部を備える
    請求項１１に記載の画像処理装置。
14. 前記抽出画像の出力の制御を行うユーザインタフェース制御部を備える
    請求項１２に記載の画像処理装置。
15. 前記動体抽出対象画像は、カメラによる撮像画像である
    請求項１に記載の画像処理装置。
16. 前記他の画像の１つは背景画像である
    請求項１に記載の画像処理装置。
17. 複数系統の画像入力が可能とされ、
    前記動体抽出対象画像は、一の系統で入力されるカメラによる撮像画像であり、
    前記他の画像の１つは、他の系統で入力される入力画像である
    請求項１に記載の画像処理装置。
18. 前記他の画像の１つはロゴ画像である
    請求項１に記載の画像処理装置。
19. 動体抽出対象画像について、合成に用いる画像が抽出されないエリアとして設定されたマスクエリア以外で動体の画像を抽出した抽出画像を生成し、
    前記抽出画像を、他の画像と合成する処理を行う
    画像処理方法。
20. 動体抽出対象画像について、合成に用いる画像が抽出されないエリアとして設定されたマスクエリア以外で動体の画像を抽出した抽出画像を生成する処理と、
    前記抽出画像を、他の画像と合成する処理とを
    画像処理装置に実行させるプログラム。

Images