JP2006277303A

JP2006277303A - 撮影システム

Info

Publication number: JP2006277303A
Application number: JP2005095188A
Authority: JP
Inventors: Masahiro Kubo; 雅裕久保
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2005-03-29
Filing date: 2005-03-29
Publication date: 2006-10-12

Abstract

【課題】置換用の背景に被写体の影が写った背景置換画像を手軽に作成することができる撮影システムを提供する。
【解決手段】被写体を撮影して撮影画像を取得する主デジタルカメラ１１と、被写体に向けて閃光を発する４台の閃光発光装置１２ａ，…，１２ｄと、各閃光発光装置側から被写体を撮影する従デジタルカメラ１３ａ，…，１３ｄと、被写体を、被写体の後面および下面のそれぞれから互いに異なる光で照らす背景パネル１４０と、撮影画像の背景を別の背景に置換して背景置換画像を作成し、その背景置換画像における背景のうちで上記後面に相当する後領域と、上記下面に相当する下領域とを認識し、さらに後領域に写るべき影の形と下領域に写るべき影の形とを作成して相互に接合し、その接合した形の影を背景置換画像中の背景に融合させる背景置換装置として動作するパーソナルコンピュータ２０とを備えた。
【選択図】図１

Description

本発明は、被写体を撮影して撮影画像を取得し、その撮影画像中の背景を別の背景に置換して背景置換画像を作成する撮影システムに関する。

従来、写真館等では、背景幕を使った撮影が行なわれている。しかし、このような撮影は、十分に背景を作り出すために大きな背景幕が使われ、広い撮影スペースを必要とする。また、背景幕の交換等にも手間がかかり、結果的に撮影コストが高くなる。

そこで、もっと手軽に撮影を楽しむことができるように、従来のような大きな背景幕や広い撮影スペースが不要な、小型の撮影システムの開発が望まれている。このような小型の撮影システムでは、上記のような背景幕の替りに、何らかの仮の背景の前で撮影が行なわれることとなるため、撮影で得られた撮影画像に対して、撮影画像中の背景を、顧客が所望する背景と差替えて背景置換画像を作成するという背景置換処理を適用することが考えられる。

このような背景置換処理に関する技術の一例として、例えば、青色等に塗られた背景パネル等を被写体の背後に配置して撮影を行ない、その撮影で得られた撮影画像において、背景パネルの色と同色の部分と、異なる色の部分とを、それぞれ撮影画像中の背景と被写体として区別し、撮影画像中の背景に区別された部分を所望の背景に置換するクロマキー処理と呼ばれる処理が知られている。

ここで、現実の背景の前の被写体を撮影した場合、撮影画像中の背景に被写体の影が写ることは十分にあり得る。そこで、上記のクロマキー処理のような背景置換処理の際に、背景に写るべき影を作成して置換用の背景に合成することによって一層リアルな背景置換画像を作成するということが考えられる。

このような影の作成を考慮した背景置換処理に関する技術の一例として、例えば、予め背景置換画像における仮想の光源位置を設定しておき、背景の置換対象となる撮影画像中の被写体領域の画像を変形して、その仮想の光源位置からの光によって生ずべき影の画像を作成して背景置換画像中に合成するという技術が提案されている（例えば、特許文献１参照。）。また、この特許文献１には、背景の置換対象となる撮影画像を撮影する撮影装置の他に、上記の仮想の光源位置にもう一台の撮影装置を配置し、その仮想の光源位置の撮影装置で撮影された撮影画像中の被写体領域の画像を変形して、その仮想の光源位置からの光によって生ずべき影の画像を作成するという技術も提案されている。
特開平１１−２６１８８８号公報（第３−６頁、図４）

上記の特許文献１に示す技術では、置換用の背景としてコンピュータグラフィックス（ＣＧ）画像が想定されている。ＣＧ画像では、例えば家具や柱等といった、影の形状に影響を与える物体の３次元的な形状がデータ上で表現されており、このような背景中の物体の３次元的な形状に基づいて、リアルな形状の影が作られる。このように、特許文献１に示す技術では、置換用の背景に関する３次元的な情報が必要となる。

ところで、写真館において作成される背景置換画像に求められる背景は、主に従来の写真館での撮影に使われていた大きな背景幕等を模したものであり、地面と背面との２面からなる単純なものであることが多い。しかしながら、上記の特許文献１に示す技術では、このような単純な背景についても、背景の３次元的な情報が必要となり、準備に手間が掛る。また、例えば、上記の背景幕を予め撮影しておき、その撮影画像を置換用の背景として用いる等といった手軽な運用は困難である。

本発明は、上記事情に鑑み、置換用の背景に被写体の影が写った背景置換画像を手軽に作成することができる撮影システムを提供することを目的とする。

上記目的を達成する本発明の撮影システムは、被写体を撮影して撮影画像を取得する主撮影装置と、
上記被写体に向けて閃光を発する閃光発光装置と、
上記閃光発光装置側から上記被写体を撮影する従撮影装置と、
上記被写体を挟んで上記撮影装置とは反対側に位置する後面およびその被写体の下側に位置する下面のそれぞれから、互いに異なる光でその被写体を照らす背景パネルと、
上記閃光発光装置および上記背景パネルによって作られる複数の撮影光条件それぞれの下で上記主撮影装置によって共通の被写体が撮影されて得られた複数の撮影画像を取得し、その撮影画像に基づいて被写体と背景とを区別し、上記複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像の背景を別の背景に置換して背景置換画像を作成する背景置換部、
上記背景パネルの後面と下面における光の相違点に基づいて、上記背景置換画像における背景のうちで上記後面に相当する後領域と、その背景のうちで上記下面に相当する下領域とを認識する背景認識部、および、
上記従撮影装置によって得られた撮影画像を取得し、その撮影画像中の被写体を背景から区別し、その被写体の形と上記閃光発光装置および上記主撮影装置それぞれの位置とに基づき、上記背景置換画像中の上記後領域に写るべき影の形と上記下領域に写るべき影の形とを作成して相互に接合し、その接合した形の影をその背景置換画像中の背景に融合させる影作成部を有する背景置換装置とを備えたことを特徴とする。

本発明の撮影システムによれば、まず、上記背景置換画像の背景の上記後領域と上記下領域とが、上記背景パネルの後面と下面における光の相違点、即ち、撮影画像中の背景における光の相違点に基づいて容易に認識される。そして、後は、上記従撮影装置で得られた撮影画像中の被写体の形を適切に変形する等といった処理により、上記後領域と上記下領域とのそれぞれに写るべき影の形が作成される。このように、本発明の撮影システムでは、上記背景置換画像の背景についての３次元的な情報が撮影画像から容易に得られるので、例えば、置換用の背景を３次元的に表現したＣＧ画像の作成等といった手間の掛る準備が省かれ、置換用の背景に被写体の影が写った背景置換画像を手軽に作成することができる。また、本発明の撮影システムでは、上記のように、背景についての３次元的な情報は撮影画像から得られるので、例えば、従来の写真館での撮影に使われていた背景幕を撮影して得られた撮影画像等を置換用の背景として用いることができる。

ここで、本発明の撮影システムにおいて、「上記影作成部が、影を上記背景置換画像中の背景に融合させる際に、上記下領域側の影の濃さが上記後領域側の影の濃さよりも濃くなるようにその背景に融合させるものである」という形態は好ましい形態である。

この好ましい形態の撮影システムによれば、上記下領域側の影の濃さが上記後領域側の影の濃さよりも濃くなるように背景に融合させることにより、一層リアルな影を作成することができる。

また、本発明の撮影システムにおいて、「上記背景置換装置が、上記閃光発光装置の位置に対する修正位置を上記影作成部に与える修正部を有するものであり、
上記影作成部が、上記修正部から上記修正位置を与えられた場合には、上記閃光発光装置の位置に替えてその修正位置に基づいて上記影の形を作成するものである」という形態も好ましい形態である。

この好ましい形態の撮影システムによれば、一旦作成された影の形を、所望の形に容易に修正することができる。

また、本発明の撮影システムにおいて、「上記影作成部が、影を上記背景置換画像中の背景に融合させる際に、その影を所定程度ぼかしてその背景に融合させるものである」という形態も好ましい。

この好ましい形態の撮影システムによれば、影を所定程度ぼかして背景に融合させることにより、背景置換画像中の影のリアルさを向上させることができる。

以上、説明したように、本発明によれば、置換用の背景に被写体の影が写った背景置換画像を手軽に作成することができる。

以下図面を参照して本発明の実施の形態を説明する。

図１は、本発明の撮影システムの一実施形態を示す図である。

この図１に示す撮影システム１は、被写体を撮影して撮影画像を取得する撮影スタジオ１０と、撮影画像中の背景が所望の背景に置換されるとともに、その置換後の背景に被写体の影が合成された背景置換画像を作成する、本発明にいう背景置換装置の一例として動作するパーソナルコンピュータ２０と、プリンタ３０と、サーバ４０とを備えている。また、撮影スタジオ１０は、主デジタルカメラ１１と、４台の閃光発光装置１２ａ，１２ｂ，１２ｃ，１２ｄと、各閃光発光装置に１台づつ取り付けられた４台の従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄと、ＥＬ（エレクトロルミネセンス）パネル１４０と、このＥＬパネル用の電源１５を備えている。ここで、主デジタルカメラ１１、およびＥＬパネル１４０が、それぞれ本発明にいう撮影装置、および背景パネルの各一例に相当する。また、各閃光発光装置１２ａ，１２ｂ，１２ｃ，１２ｄは、それぞれが本発明にいう閃光発光装置の一例に相当し、各従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄは、それぞれが本発明にいう従撮影装置の一例に相当する。

主デジタルカメラ１１は、連写機能を有しており、撮影者がシャッタボタンを１回押すと、短時間の間に自動で被写体Ｐを２回撮影する。１回毎の撮影によって得られた撮影画像は主デジタルカメラ１１内のメモリに一時的に保管されるが、撮影システム１では、主デジタルカメラ１１がパーソナルコンピュータ２０に接続されており、２回の撮影が終了した時点で、この２回の撮影で得られた撮影画像は、このパーソナルコンピュータ２０に直ちに送られる。

また、主デジタルカメラ１１は４台の閃光発光装置１２ａ，１２ｂ，１２ｃ，１２ｄと、４台の従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄとにも接続されている。主デジタルカメラ１１は、各閃光発光装置に対しては、閃光を発するように指示する閃光指示信号を撮影の度に発信する。また、各従デジタルカメラに対しては、主デジタルカメラ１１の撮影に同期した撮影を指示する撮影指示信号を撮影の度に発信する。

各閃光発光装置１２ａ，１２ｂ，１２ｃ，１２ｄは、主デジタルカメラ１１から閃光指示信号を受けて被写体Ｐに向かって閃光を発する。ここで、各閃光発光装置は、１回発光する度に充電される必要があり、１回発光すると、次に発光できるようになるまで時間がかかる。主デジタルカメラ１１からは、上記の２回の撮影の際、撮影の度に上記の閃光指示信号が発信されるが、各閃光発光装置は１回目の撮影の時だけ閃光を発し、２回目の撮影時には、充電が間に合わないために消灯したままでいることとなる。また、各閃光発光装置が発する閃光は、発光の輝度がおよそ２０００ｃｄ／ｍ²という高輝度の光である。

４台の従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄは、主デジタルカメラ１１が連写を実行する際には、この主デジタルカメラ１１から撮影指示信号を受けて、連写時の２回の撮影に同期した２回の撮影を実行する。各従デジタルカメラにおいて、１回毎の撮影によって得られた撮影画像は各従デジタルカメラ内のメモリに一時的に保管されるが、撮影システム１では、各従デジタルカメラはパーソナルコンピュータ２０に接続されており、２回の撮影が終了した時点で、各従デジタルカメラで得られた撮影画像はパーソナルコンピュータ２０に直ちに送られる。ここで、各従デジタルカメラからパーソナルコンピュータ２０に送られる撮影画像のうち、パーソナルコンピュータ２０での処理で必要とされるのは、後述するように、２回目の撮影時に得られる、各閃光発光装置が消灯状態にあるときの撮影画像のみであるが、本実施形態では、システム構成を単純にするために、各従デジタルカメラでも撮影が２回実行されるようになっている。

ＥＬパネル１４０は、被写体Ｐが載る透明な下面１４１ａと被写体Ｐの背後の薄い青色に着色された後面１４１ｂとを有する筐体１４１、および、その筐体１４１内に収納された分散型ＥＬ素子１４２からなる。また、電源１５は、この分散型ＥＬ素子１４２に駆動電圧を印加する電源である。また、筐体１４１の後面１４１ｂおよび下面１４１ａそれぞれの四隅にはそれぞれの面の範囲を示す４つのマーカ１４１ｃが配置されている。これらのマーカ１４１ｃは、撮影の際に被写体Ｐとともに撮影画像に写り、後述するように、撮影画像から有効な画像領域を取り出すのに利用される。

分散型ＥＬ素子１４２は、蛍光体粉末が高誘電率のバインダー中に分散されたものが、可撓性のプラスチックを基板とした２枚のシート形状の電極の間に挟み込まれて構成されたシート状の面発光光源である。この分散型ＥＬ素子１４２は、それら２枚の電極間に、電源１５から交流電圧が印加されることにより発光する。

この分散型ＥＬ素子１４２は、厚みが数百μｍ〜１ｍｍという非常に薄くて軽い光源であり、筐体１４１の内部のように、厚みに余裕のない場所に容易に設置することができる。この他、分散型ＥＬ素子１４２には、発光時の発熱が２℃程度と軽微である、発光開始から最高輝度に達するまでの応答速度が速い、発光の寿命がほぼ一定しており計画的な交換が可能、局所発光が可能、衝撃や振動に強い、消費電力が５０Ｗ／ｍ²（周波数が５０Ｈｚの交流電力印加時）と小さい等、性能面での様々な利点がある。さらに、分散型ＥＬ素子１４２には、簡単な製造工程で製造することができるため製造コストが安いという経済面での利点もある。

また、一般的な分散型ＥＬ素子は、製造時に発光色の異なる複数の蛍光体粉末をさらに混合することで発光色を白色を含む様々な色に調整することが可能であるが、本実施形態における分散型ＥＬ素子１４２では、このような色調整のための蛍光体粉末は未混合である。この結果、この分散型ＥＬ素子１４２は、発光波長が４００ｎｍ〜５３０ｎｍの間に２つ以上の発光ピークを有する青緑色の光を発光する。ここで、上記のように、筐体１４１の後面１４１ｂは透明であるが、下面１４１ａは薄い青色に着色されている。このため、後面１４１ｂ越しに発せられる光は青緑色の光であり、下面１４１ａ越しに発せられる光は、色が青緑色から青側に偏った青色の光となる。これにより、ＥＬパネル１４０は、後面１４１ｂ下面１４１ａそれぞれから互いに異なる色の光で被写体Ｐを照らすこととなる。

電源１５は、分散型ＥＬ素子１４２に印加する交流電圧を、周波数について５０Ｈｚ〜１０ｋＨｚの間、大きさについて４０Ｖ〜３００Ｖの間で調整することができる。分散型ＥＬ素子１４２の発光の輝度は、印加される交流電圧の大きさにほぼ比例する。本実施形態の撮影スタジオ１０では、電源１５において、交流電圧が、周波数については１．２ｋＨｚ〜１．５ｋＨｚのうちのいずれかの周波数、大きさについては１３０Ｖ〜２００Ｖのうちのいずれかの大きさに調整されており、その結果、分散型ＥＬ素子１４２の発光の輝度が、５００ｃｄ／ｍ²〜６００ｃｄ／ｍ²のうちのいずれかの輝度に調整されている。

ここで、本実施形態の撮影スタジオ１０では、主デジタルカメラ１１および従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄによる撮影は、ＥＬパネル１４０が常時点灯した状態で行なわれる。また、上述したように、１回目の撮影は４台の閃光発光装置１２ａ，１２ｂ，１２ｃ，１２ｄが閃光を発した状態で行なわれ、２回目の撮影は４台の閃光発光装置１２ａ，１２ｂ，１２ｃ，１２ｄが消えた状態で行なわれる。この結果、１回目の撮影では、閃光による順光状態での撮影による、被写体Ｐがきれいに写った順光撮影画像が主デジタルカメラ１１および従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄそれぞれで取得される。また、この１回目の撮影に連続して行なわれる２回目の撮影では、ＥＬパネル１４０からの光のみが被写体Ｐを後方から照らすという逆光状態での撮影による、被写体Ｐの像がシャドウ側に偏り、背景パネル１４０の像がハイライト側に偏った逆光撮影画像が主デジタルカメラ１１および従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄそれぞれで取得される。

パーソナルコンピュータ２０は、上述したように本発明にいう背景置換装置の一例として動作するものである。このパーソナルコンピュータ２０は、主デジタルカメラ１１および従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄそれぞれから渡された上記の２つの撮影画像に対して、まず、撮影画像中で被写体と上記の背景パネル１４０の発光面のみからなる有効な画像領域を各撮影画像から取り出すという画像取出処理を施す。さらに、これらの有効な画像領域に基づいて、背景を別の背景に置換する背景置換処理を実行するとともに置換後の背景に被写体の影を合成するという処理を行なう。これらの処理については後述する。

このパーソナルコンピュータ２０は、外観構成上、フレキシブルディスク（以降、ＦＤと呼ぶ）やＣＤ−ＲＯＭの装填口を有し、その装填口に装填されたＦＤやＣＤ−ＲＯＭへのアクセス機能を有する本体装置２１０、その本体装置２１０からの指示に応じて表示画面２２０ａ上に画像を表示する画像表示装置２２０、本体装置２１０にキー操作に応じた各種の情報を入力するキーボード２３０、表示画面２２０ａ上の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス２４０、および、デジタルカメラ等で撮影画像の記憶に用いられる小型記憶メディアが装填され、その小型記憶メディアをアクセスするメディアドライブ２５０を備えている。

プリンタ３０は、パーソナルコンピュータ２０から送られてくる画像をプリントするものであり、撮影システム１では、パーソナルコンピュータ２０が背景置換処理によって作成した背景置換画像をプリントする役割を担っている。

サーバ４０には、パーソナルコンピュータ２０で実行される背景置換処理で使用される複数種類の背景が格納されている。このサーバ４０内の背景は、表示画面２２０ａ上に表示されることによって顧客に提示される。また、この撮影システム１では、サーバ４０内に格納されている背景以外にも、上記のＣＤ−ＲＯＭや上記の小型記憶メディア等といった何らかの入力用記憶媒体を介して提供される背景も、表示画面２２０ａを通じて顧客に提示される。顧客は、表示画面２２０ａ上に表示されたそれらの背景の中から所望の背景を選ぶ。

次に、この図１に示す撮影システム１で実行される作業の流れについて説明する。尚、以下の説明では、図１に示す要素については特に図番を断らずに図１中の符号を使って参照する。

図２は、図１の撮影システムで実行される作業の流れを示すフローチャートである。

この図２のフローチャートが示す作業は、撮影スタジオ１０において、被写体Ｐ、主デジタルカメラ１１、４台の閃光発光装置１２ａ，１２ｂ，１２ｃ，１２ｄ、および４台の従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄがそれぞれ適当な位置に配置されていることを前提として行なわれる。

まず、電源１５から分散型ＥＬ素子１４２に電圧が印加され、ＥＬパネル１４０が点灯する（ステップＳ１０１）。次に、撮影者が、ピントや露光の調節等を行なった後に主デジタルカメラ１１のシャッタボタンを押すと、被写体Ｐに対する主デジタルカメラ１１による撮影と４台の従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄそれぞれによる撮影とが互いに同期して２回連続して行なわれる。また、これら２回の撮影のうち、まず１回目の撮影では、主デジタルカメラ１１から発信される閃光指示信号に応じて４台の閃光発光装置１２ａ，１２ｂ，１２ｃ，１２ｄが閃光を発し、これらの閃光による順光状態で、主デジタルカメラ１１と４台の従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄそれぞれにおいて被写体Ｐが撮影される（ステップＳ１０２）。続いて、２回目の撮影が、４台の閃光発光装置１２ａ，１２ｂ，１２ｃ，１２ｄが消灯した状態、即ち、ＥＬパネル１４０のみの照明による逆光状態で行なわれる（ステップＳ１０３）。ステップＳ１０２およびステップＳ１０３の処理で各デジタルカメラでそれぞれ得られた、順光撮影画像と逆光撮影画像との２つの撮影画像は、各デジタルカメラ内のメモリに一時的に保管される。

以上に説明したステップＳ１０１〜ステップＳ１０３の処理は、撮影スタジオ１０において行なわれる、写真館の店員等といった人手による撮影処理である。

ステップＳ１０３の処理によって、主デジタルカメラ１１と４台の従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄそれぞれにおいて２回目の撮影が行なわれ、その撮影で得られた撮影画像の、各デジタルカメラ内のメモリへの保管が終了すると、各デジタルカメラに対応する撮影画像のペアが直ちにパーソナルコンピュータ２０に渡される。また、パーソナルコンピュータ２０に対する操作を受けて、顧客が所望する背景がサーバ４０あるいは何らかの入力用記憶媒体から読み出される。（ステップＳ１０４）。続いて、主デジタルカメラ１１から送られてきた２つの撮影画像と、４台の従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄそれぞれから送られてきた４つの逆光撮影画像について、撮影画像中で被写体と上記の背景パネル１４０の発光面のみからなる有効な画像領域を各撮影画像から取り出すという画像取出処理が施される（ステップＳ１０５）。ここで、本実施形態では、４台の従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄそれぞれから送られてきた４つの順光撮影画像は、以降の処理で使用しないため破棄される。

次に、まず、主デジタルカメラ１１から送られてきた２つの撮影画像それぞれにおける有効な画像領域に基づいて背景置換画像を作成するという背景置換処理が実行される（ステップＳ１０６）。

続いて、主デジタルカメラ１１から送られてきた順光撮影画像中の有効な画像領域に基づいて、背景置換画像における背景のうちで被写体の後側に位置する後領域と、被写体の下側に位置する下領域とを認識するという背景認識処理が実行される（ステップＳ１０７）。

さらに、４台の従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄそれぞれから送られてきた逆光撮影画像から取り出された有効な画像領域に基づいて、上記の後領域に写るべき影の形と上記の下領域に写るべき影の形とを作成するという影形状作成処理が実行される（ステップＳ１０８）。

ここで、本実施形態では、このステップＳ１０８の影形状作成処理において、４台の閃光発光装置１２ａ，１２ｂ，１２ｃ，１２ｄの中から、オペレータの操作によって１つ又は複数の閃光発光装置が選択され、その選択された閃光発光装置からの閃光で作られるべき影の形が作成される。また、選択された各閃光発光装置に対応する上記の２種類の影の形は、各閃光発光装置に取り付けられた従デジタルカメラから送られてきた逆光撮影画像から取り出された有効な画像領域に基づいて作成される。また、この影形状作成処理では、有効な画像領域の他に、撮影スタジオ１０内における各閃光発光装置および主デジタルカメラ１１それぞれのおおよその３次元的な位置が使われる。これらの位置は、影の形の作成に先立って、オペレータのキーボード２３０の操作によって、パーソナルコンピュータ２０に数値入力される。

次に、ステップＳ１０８の影形状作成処理で作成された、各閃光発光装置に対応する２種類の影の形について、修正するか否かがオペレータに対して問われる（ステップＳ１０９）。

この問いに対して、オペレータが影の形を修正する旨返答した場合（ステップＳ１０９におけるＹｅｓ判定）、修正の対象となる影に対応する閃光発光装置の３次元的な位置に対する修正位置が、オペレータのマウス２４０の操作によって入力される（ステップＳ１１０）。そして、上記のステップＳ１０８の影形状作成処理が、その修正値に基づいて再度実行される。

このステップＳ１０８の影形状作成処理と、ステップＳ１１０の修正値の入力が、ステップＳ１０９での問いに対してオペレータが全ての影の形についてもう修正しない旨返答するまで続けられる。

オペレータがもう修正しない旨返答した場合（ステップＳ１０９におけるＮｏ判定）、ステップＳ１０８の影形状作成処理で作成された、各閃光発光装置に対応する上記の後領域に写るべき影の形と上記の下領域に写るべき影の形とを接合し、その接合した形の影を背景置換画像の背景に融合させるという融合処理が実行される（ステップＳ１１１）。

以上に説明したステップＳ１１１までの処理で、影付きの背景置換画像が完成する。

尚、ステップＳ１０５の画像取出処理、ステップＳ１０６の背景置換処理、ステップＳ１０７の背景認識処理、ステップＳ１０８の影形状作成処理、ステップＳ１１０の修正値の入力、およびステップＳ１１１の融合処理の詳細についてはそれぞれ後述する。

次に、完成した影付きの背景置換画像を表わす画像データが、まず画像表示装置２２０に転送され、さらに、プリンタ３０と、顧客が希望する出力用記憶媒体とのうちの少なくとも１つに転送される（ステップＳ１１２）。続いて、画像表示装置２２０において、背景置換画像が、転送されてきた画像データに基づいて表示画面２２０ａ上に表示され（ステップＳ１１３）、さらに、画像データがプリンタ３０に転送された場合には、プリンタ３０において、その画像データに基づいて背景置換画像がプリントされる（ステップＳ１１４）。

ここで、ステップＳ１０４〜ステップＳ１１３の処理は、パーソナルコンピュータ２０において実行される処理であり、以下では、これらの処理を実行するパーソナルコンピュータ２０と、それらの処理の詳細に注目して説明する。

まず、このパーソナルコンピュータ２０の内部構成について説明する。

図３は、図１に示すパーソナルコンピュータのハードウェア構成図である。

この図３に示すように、本体装置２１０の内部には、各種プログラムを実行するＣＰＵ２１１、ハードディスク装置２１３に格納されたプログラムが読み出されＣＰＵ２１１での実行のために展開される主メモリ２１２、各種プログラムやデータ等が保存されたハードディスク装置２１３、ＦＤ５２０が装填され、その装填されたＦＤ５２０をアクセスするＦＤドライブ２１４、ＣＤ−ＲＯＭ５１０をアクセスするＣＤ−ＲＯＭドライブ２１５、図１のサーバ４０やデジタルカメラ１１と接続され、これらの機器から置換用の背景や撮影画像等を受け取る入力インタフェース２１６、および、図１のプリンタ３０と接続され、背景置換画像等を出力する出力インタフェース２１７が内蔵されており、これらの各種要素と、さらに図１にも示す画像表示装置２２０、キーボード２３０、マウス２４０、および、小型記憶メディア５３０をアクセスするメディアドライブ２５０は、バス２６０を介して相互に接続されている。

ここで、ＣＤ−ＲＯＭ５１０には、パーソナルコンピュータ２０を、本発明にいう背景置換装置の一例として動作させるための背景置換プログラムが記憶される。そして、その背景置換プログラムが記憶されたＣＤ−ＲＯＭ５１０がＣＤ−ＲＯＭドライブ２１５に装填されると、そのＣＤ−ＲＯＭ５１０に記憶された背景置換プログラムがこのパーソナルコンピュータ２０にアップロードされてハードディスク装置２１３に書き込まれる。これにより、パーソナルコンピュータ２０は背景置換装置として動作する。

次に、この背景置換プログラムについて説明する。

図４は、図１および図３に示すパーソナルコンピュータを、本発明にいう背景置換装置の一例として動作させるための背景置換プログラムが記憶されたＣＤ−ＲＯＭを示す概念図である。

図４に示すＣＤ−ＲＯＭ５１０には背景置換プログラム６００が記憶されている。

この背景置換プログラム６００は、画像取得部６１０、画像取出部６２０、置換処理部６３０、背景認識部６４０、影形状作成部６５０、修正部６６０、影融合部６７０、画像データ転送部６８０、および画像表示部６９０で構成されている。

この背景置換プログラム６００の各部の詳細については、本発明にいう背景置換装置の一例の各部の作用と併せて説明する。尚、以下の説明では、図１、図３、および図４に示す要素については特に図番を断らずに各図中の符号を使って参照する。

図５は、図４に示す背景置換プログラムが図１および図３に示すパーソナルコンピュータにインストールされ、このパーソナルコンピュータが本発明にいう背景置換装置の一例として動作するときの機能を表わす機能ブロック図である。また、この図５には、図１にも示す、主デジタルカメラ１１、４台の閃光発光装置１２ａ，１２ｂ，１２ｃ，１２ｄ、４台の従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄ、およびＥＬパネル１４０からなる撮影スタジオ１０と、プリンタ３０と、サーバ４０も示されている。

この図５に示す背景置換装置７００は、本発明にいう背景置換装置の一例に相当する。この背景置換装置７００は、上述したように、まず、主デジタルカメラ１１で得られた逆光撮影画像に基づいて、その主デジタルカメラ１１で得られた順光撮影画像における背景を所望の背景に置換して背景置換画像を作成する。そして、この背景置換装置７００は、４台の閃光発光装置１２ａ，１２ｂ，１２ｃ，１２ｄのうち所望の閃光発光装置からの光による影を、その所望の閃光発光装置に取り付けられた従デジタルカメラで得られた逆光撮影画像に基づいて作成し、上記の背景置換画像に融合させて影付きの背景置換画像を作成するという一連の処理を実行する。この背景置換装置７００は、画像取得部７１０、画像取出部７２０、置換処理部７３０、背景認識部７４０、影形状作成部７５０、修正部７６０、影融合部７７０、画像データ転送部７８０、および画像表示部７９０を備えている。ここで、画像取得部７１０と画像取出部７２０と置換処理部７３０とを合わせたものが本発明にいう背景置換部の一例に相当する。また、影形状作成部７５０と影融合部７７０とを合わせたものが本発明にいう影作成部の一例に相当する。さらに、背景認識部７４０および修正部７６０が、それぞれ本発明にいう背景認識部および修正部の各一例に相当する。

画像取得部７１０は、まず、主デジタルカメラ１１で撮影された順光撮影画像と逆光撮影画像との画像ペアを、その主デジタルカメラ１１から受け取る。また、この画像取得部７１０は、４台の従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄそれぞれで撮影された４つの画像ペアを、各従デジタルカメラから受け取る。さらに、この画像取得部７１０は、顧客が所望する背景を、サーバ４０から、あるいは、ＣＤ−ＲＯＭや小型記憶メディア等といった入力用記憶媒体５４０から読み出す。この画像取得部７１０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像取得部６１０に従って、入力インタフェース２１６、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。

画像取出部７２０は、主デジタルカメラ１１から送られてきた画像ペアと、４台の従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄそれぞれから送られてきた４つの画像ペアそれぞれにおける逆光撮影画像とについて、各撮影画像中の有効な画像領域を取り出すという画像取出処理を施す。この画像取出部７２０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像取出部６２０に従って動作することによって構成される。この画像取出部７２０が実行する画像取出処理の詳細については別図を参照して後述する。

置換処理部７３０は、画像取出部７２０での画像取出処理を経た、主デジタルカメラ１１からの画像ペアに基づいて背景置換画像を作成するという後述の背景置換処理を行なうものであり、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の置換処理部６３０に従って動作することによって構成される。この置換処理部７３０が実行する背景置換処理の詳細については別図を参照して後述する。

背景認識部７４０は、上記の背景置換画像の元となった、主デジタルカメラ１１からの、上記の画像取出処理済みの画像ペアに基づいて、背景置換画像における背景のうちで、図１に示す背景パネル１４０の下面１４１ａに相当する下領域と、その背景のうちで背景パネル１４０の後面１４１に相当する後領域とを認識する背景認識処理を実行する。さらに、背景認識部７４０は、認識した下領域の輝度を後領域の輝度よりも所定程度下げる処理も行なう。これにより、背景置換画像における背景に奥行き感が付与され、背景置換画像のリアルさが向上する。この背景認識部７４０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の背景認識部６４０に従って動作することによって構成される。この背景認識部７４０が実行する背景認識処理および上記の輝度の変更処理の詳細については別図を参照して後述する。

影形状作成部７５０は、４台の従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄそれぞれから送られてきた逆光撮影画像から画像取出部７２０によって取り出された有効な画像領域に基づいて、上記の後領域に写るべき影の形と上記の下領域に写るべき影の形とを作成するという影形状作成処理を実行する。ここで、この影形状作成部７５０では、まず、４台の閃光発光装置１２ａ，１２ｂ，１２ｃ，１２ｄの中から、オペレータの操作によって１つ又は複数の閃光発光装置が選択され、その選択された閃光発光装置からの閃光で作られるべき影の形が作成される。また、この影形状作成部７５０では、影形状作成処理に、撮影スタジオ１０内における各閃光発光装置および主デジタルカメラ１１それぞれのおおよその３次元的な位置が使われる。これらの位置は、影の形の作成に先立って、オペレータのキーボード２３０の操作によって数値入力される。この影形状作成部７５０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の影形状作成部６５０に従って動作することによって構成される。この影形状作成部７５０の詳細については影形状作成処理の詳細とともに別図を参照して後述する。

修正部７６０には、まず、修正の対象となる影に対応する閃光発光装置の３次元的な位置に対する修正位置が、オペレータのマウス２４０の操作によって入力される。そして、この修正部７６０は、影形状作成部７５０で一旦作成された影の形についての修正値として、この入力された修正位置を影形状作成部７５０に与える。この修正位置を与えられた影形状作成部７５０では、その修正位置に基づいて影形状作成処理を再度実行する。これにより、一旦作成された影の形が修正される。この修正部７６０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の修正部６６０に従って動作することによって構成される。この修正部７６０で実行される修正位置の入力処理の詳細については別図を参照して後述する。

影融合部７７０は、上記の影形状作成部７５０で作成され、さらに修正部７６０で入力された修正位置に基づいて修正された、選択された閃光発光装置からの閃光で作られるべき上記の２種類の影の形を接合し、その接合した形の影を背景置換画像中の背景に融合させるという融合処理を実行する。この融合処理によって影付きの背景置換画像が完成される。影融合部７７０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の影融合部６７０に従って動作することによって構成される。この影融合部７７０で実行される融合処理の詳細については別図を参照して後述する。

画像データ転送部７８０は、影融合部７７０で完成された影付きの背景置換画像を表わす画像データを、プリンタ３０および顧客が希望する出力用記憶媒体５５０のうちの少なくとも一方と、この背景置換装置７００の画像表示部７９０とに転送する。この画像データ転送部７８０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像データ転送部６８０に従って、出力インタフェース２１７、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。

画像表示部７９０は、画像データ転送部７８０から転送されてくる画像データに基づく影付きの背景置換画像を、表示画面２２０ａに表示する役割を果たすものであり、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像表示部６９０に従って画像表示装置２２０を制御することによって構成される。

また、上記の画像データ転送部７８０からプリンタ３０に影付きの背景置換画像を表わす画像データが出力された場合には、プリンタ３０において、この画像データに基づく影付きの背景置換画像がプリントされ、上記の画像データ転送部７８０から何らかの出力用記憶媒体５５０に影付の背景置換画像を表わす画像データが出力された場合には、この画像データがその出力用記憶媒体５５０に書き込まれる。そして、影付きの背景置換画像がプリントされたプリント紙と、影付きの背景置換画像を表わす画像データが書き込まれた出力用記憶媒体５５０との両方、あるいは一方が、顧客の希望に応じて提供される。

次に、図５において、それぞれ１つのブロックで示されている背景置換装置７００の各構成要素で実行される各処理の詳細について以下に説明する。尚、以下の説明では図１および図５に示す各構成要素については、特に図番を断らずに図中の符合を参照する。

まず、画像取出部７２０で実行される画像取出処理の詳細について図６〜図８を参照して説明する。

図６は、主デジタルカメラで撮影された順光撮影画像の一例を示す模式図であり、図７は、図６の順光撮影画像から取り出された有効な画像領域を示す模式図であり、図８は、主デジタルカメラで撮影された逆光撮影画像の一例から取り出された有効な画像領域を示す模式図である。

背景置換処理や影形状作成処理に供する撮影画像としては、被写体と背景との区別の容易さ等の点から、背景がＥＬパネル１３０における発光面のみであることが望ましい。しかしながら、本実施形態では、撮影スタジオ１０について省スペース化が図られていることから、ＥＬパネル１４０の大きさに限界があり、撮影画像には、図６に示すように、ＥＬパネル１４０の発光面以外の不要な部分が背景として写ってしまう。

画像取出部７２０は、撮影画像中に写っているＥＬパネル１４０上のマーカ１４１ｃで決まる有効範囲Ｅ１の外側の画像を削除し、図７に示すような有効な画像領域を作成する。このような画像取出処理により、撮影画像中の背景がＥＬパネル１３０における発光面のみに限定される。また、画像取出部７２０は、このような画像取出処理を、主デジタルカメラ１１で撮影された順光撮影画像の他にも、その主デジタルカメラ１１で撮影された逆光撮影画像にも施す。その結果、図８に示すような逆光撮影画像についての有効な画像領域も作成される。これら主デジタルカメラ１１からの２つの撮影画像に基づいて作成された２つの有効な画像領域は、後述の背景置換処理に供される。

また、画像取出部７２０は、４台の従デジタルカメラ１３ａ，１３ｂ，１３ｃ，１３ｄそれぞれで得られた２つの撮影画像のうち、逆光撮影画像について上記の画像取出処理を施し、４つの逆光撮影画像それぞれについての有効な画像領域を作成する。これら４つの逆光撮影画像それぞれについての有効な画像領域は、後述の影形状作成処理に供される。

尚、以下の説明では、説明を簡便にするため、画像取出部７２０における画像取出処理によって順光撮影画像から取り出された有効な画像領域のことを順光撮影画像と呼び、逆光撮影画像から取り出された有効な画像領域のことを逆光撮影画像と呼ぶ。

次に、置換処理部７３０で実行される背景置換処理の詳細について、上記の図８、および図９を参照して説明する。

図９は、図７に示す順光撮影画像の背景が別の背景に置換された背景置換画像の一例を示す模式図である。

置換処理部７３０は、まず、図８に示す逆光撮影画像に基づいて、撮影画像中において被写体で占められた領域を定義する被写体マスクを作成する。図８に示すように逆光撮影画像では被写体で占められた領域はシャドウ側に偏っている。置換処理部７３０は、この領域のシャドウ側への偏りを利用して、逆光撮影画像を構成する複数の画素のうち、輝度が所定の閾値以下となる画素からなる領域を初期被写体マスクに設定する。順光撮影画像と逆光撮影画像とは連写によって得られたものであるため、２つの撮影画像中の被写体の輪郭はほぼ一致する。そこで、置換処理部７３０は、逆光撮影画像に基づいて作成した被写体マスクをそのまま順光撮影画像に適用して、この順光撮影画像中の被写体と背景とを区別し、区別した背景を、顧客が所望する別の背景と置換して、図９に示す背景置換画像を作成する。

次に、背景認識部７４０で実行される背景認識処理の詳細について、上記の図８と図９を参照して説明する。

上述したようにＥＬパネル１４０の下面１４１ａと後面１４１ｂとは発光色が互いに異なっている。背景認識部７４０は、まず、図８に示す逆光撮影画像中の背景を、それぞれが背景パネル１４０の下面１４１ａと後面１４１ｂに相当する、互いに色が異なる２つの領域に区別し両者の境界線Ｌ１を求める。そして、求めた境界線Ｌ１を、図９に示す背景置換画像にそのまま適用し、その背景置換画像中で、境界線Ｌ１よりも下の領域を背景パネル１４０の下面１４１ａに相当する下領域ＬＡと認識し、境界線Ｌ１よりも上の領域を背景パネル１４０の後面１４１ａに相当する後領域ＢＡと認識する。

さらに、背景認識部７４０は、上記の下領域ＬＡと後領域ＢＡとの認識に基づいて、背景置換画像中の背景に次のように奥行き感を付与する。

図１０は、図９に示す背景置換画像中の下領域の輝度が後領域よりも所定程度下げられて、背景に奥行き感が付与された背景置換画像を示す模式図である。

この図１０に示すように、背景認識部７４０は、背景置換画像中の下領域ＬＡの輝度を後領域ＢＡよりも所定程度下げることにより、置換後の背景に奥行き感を付与する。

次に、影形状作成部７５０の詳細について説明する。

図１１は、図５に１つのブロックで示された影形状作成部を示すブロック図である。

この図１１に示すように、影形状作成部７５０は、位置設定部７５１と、元画像作成部７５２と、変形部７５３とを備えている。また、この図１１には、図５に示す修正部７６０も示されているが、この修正部７６０と影形状作成部７５０との関係については後述する。

位置設定部７５１では、まず、所定の設定画面に対するオペレータのキーボード２３０の操作によって、撮影スタジオ１０内の４台の閃光発光装置１２ａ，１２ｂ，１２ｃ，１２ｄの中から、背景置換画像の背景に融合させるべき影を生じさせる光源として、１つ又は複数の閃光発光装置が選択される。そして、選択された各閃光発光装置および主デジタルカメラ１１それぞれのおおよその３次元的な位置が数値入力される。入力された数値は、元画像作成部７５２に渡される。

元画像作成部７５２では、上記の選択された各閃光発光装置による影を作成する際の材料として、各閃光発光装置に取付けられた各従デジタルカメラに対応する各逆光撮影画像から次のように元画像が作成される。まず、各逆光撮影画像を構成する画素のうち、輝度が所定の閾値以下となる画素からなる領域が求められる。次に、求められた領域内の全画素に、黒色を表す画素値が割り当てられる。これにより、形状が各逆光撮影画像中の被写体の形状であって、内側が黒色で塗りつぶされた次のような元画像が作成される。

図１２は、図１に示す４台の従デジタルカメラそれぞれで撮影された４つの逆光撮影画像から作成される４つの元画像の一例を示す模式図である。

図１２のパート（ａ）に示す元画像ＳＧ１は、図１中で被写体Ｐの上に配置された閃光発光装置１２ｄに取付けられた従デジタルカメラ１３ｄに対応する元画像の一例であり、図１２のパート（ｂ）に示す元画像ＳＧ２は、被写体Ｐの正面に配置された閃光発光装置１２ａに取付けられた従デジタルカメラ１３ａに対応する元画像の一例であり、図１２のパート（ｃ）に示す元画像ＳＧ３は、被写体Ｐの右側に配置された閃光発光装置１２ｂに取付けられた従デジタルカメラ１３ｂに対応する元画像の一例であり、図１２のパート（ｄ）に示す元画像ＳＧ４は、被写体Ｐの左側に配置された閃光発光装置１２ｃに取付けられた従デジタルカメラ１３ｃに対応する元画像の一例である。

ここで、以下の説明では、上記の位置設定部７５１で、背景置換画像の背景に融合させるべき影を生じさせる光源として、被写体Ｐの左側に配置された閃光発光装置１２ｃが選択され、元画像作成部７５２で、図１２のパート（ｄ）に示す元画像ＳＧ４が作成されたことを前提として説明を続ける。

図１１に戻る。

元画像作成部７５２で元画像ＳＧ４が作成されると、次に、変形部７５３において、その元画像ＳＧ４が次のように変形されて、図１０に示す背景置換画像の下領域ＬＡに写るべき影の形と、後領域ＢＡに写るべき影の形とのそれぞれを表す形状画像が作成される。

まず、被写体Ｐの左側に配置された閃光発光装置１２ｃの位置から見て下領域ＬＡ上に射影された下側射影画像が、その閃光発光装置１２ｃの位置に基づいて、元画像ＳＧ４に対する射影変換によって求められる。また、元画像ＳＧ４は、そのまま、閃光発光装置１２ｃの位置から見て後領域ＢＡ上に射影された後側射影画像として用いられる。

図１３は、図１２のパート（ｄ）に示す元画像に基づく２つの射影画像を示す模式図である。

この図１３のパート（ａ）には上記の下側射影画像ＳＬが示され、図１３のパート（ｂ）には上記の後側射影画像ＳＢが示されている。

次に、変形部７５３では、図１３に示す２つの射影画像それぞれが、被写体Ｐの左側に配置された閃光発光装置１２ｃの位置と主デジタルカメラ１１の位置との相対的な位置関係に基づいて、主デジタルカメラ１１から見た形に変形される。本実施形態では、この変形部７５３での変形結果が、それぞれ背景置換画像の下領域ＬＡに写るべき影の形と、後領域ＢＡに写るべき影の形とのそれぞれを表す形状画像として扱われる。

図１４は、被写体Ｐの左側に配置された閃光発光装置からの閃光によって背景置換画像の下領域ＬＡに写るべき影の形と、後領域ＢＡに写るべき影の形とのそれぞれを表す形状画像を示す模式図である。

図１４のパート（ａ）には、図１３のパート（ａ）に示す下側射影画像ＳＬが主デジタルカメラ１１から見た形に変形されることにより作成された、背景置換画像の下領域ＬＡに写るべき影の形を表す下側形状画像ＦＬが示されている。また、図１４のパート（ｂ）には、図１３のパート（ｂ）に示す後側射影画像ＳＢが主デジタルカメラ１１から見た形に変形されることにより作成された、背景置換画像の後領域ＬＢに写るべき影の形を表す後側形状画像ＦＢが示されている。

以上、説明したように図５および図１１に示す影形状作成部７５０で上記のような２種類の形状画像が作成されると、次には、作成されたこれらの形状画像に対する修正処理が実行される。上述したように、この修正処理は、図５に示す修正部７６０において、オペレータの次のようなマウス２４０の操作によって、修正の対象となる影に対応する閃光発光装置（ここでの例では、上記の被写体Ｐの左側に配置された閃光発光装置）の３次元的な位置に対する修正位置が入力されることによって行われる。

以下、このマウス２４０の操作による修正位置の入力ついて図１５〜図１７を参照して説明する。

ここで、上記の修正位置の入力は、図１に示す撮影スタジオ１０における横方向と、上下方向と、奥行き方向との３方向について行われる。

図１５は、図１に示す撮影スタジオにおける横方向についての修正位置の入力画面の一例を示す図であり、図１６は、図１に示す撮影スタジオにおける上下方向についての修正位置の入力画面の一例を示す図であり、図１７は、図１に示す撮影スタジオにおける奥行き方向についての修正位置の入力画面の一例を示す図である。

図１５に示す横方向についての修正位置の入力画面には、横方向の修正位置入力用の横置きのスライドバーＳＬＢ１が備えられている。同様に、図１６に示す上下方向についての修正位置の入力画面には、上下方向の修正位置入力用の縦置きのスライドバーＳＬＢ２が備えられており、図１７に示す奥行き方向についての修正位置の入力画面には、奥行き方向の修正位置入力用の縦置きのスライドバーＳＬＢ３が備えられている。上記の修正部７６０において、これら３つのスライドバーに対する操作がなされることによって、修正の対象となる影に対応する閃光発光装置（ここでの例では、上記の被写体Ｐの左側に配置された閃光発光装置）の３次元的な位置に対する修正位置が入力される。ここで入力された修正位置は、図１１に示すように影形状作成部７５０の位置設定部７５１に渡される。そして、位置設定部７５１では、過去に設定された閃光発光装置の位置に替えて、修正部７６０から渡された修正位置が使われる。そして、変形部７５３において、この修正位置に基づく元画像ＳＧ４の変形が行われる。これにより、上記のような２種類の形状画像の修正がなされる。ここで、これら一連の修正処理は短時間で済むため、図１５〜図１７に示す各修正位置の入力画面では、各入力画面中に表示されている下側形状画像ＦＬと後側形状画像ＦＢとが、各スライドバーに対するマウス操作にほぼ連動して変形される。本実施形態では、オペレータは、この入力画面中で、下側形状画像ＦＬと後側形状画像ＦＢとの変形具合を確認しながらスライドバーを動かし、各形状画像が所望の形状となるように修正することとなる。

このような下側形状画像ＦＬと後側形状画像ＦＢとの修正処理が終了し、各形状画像が確定されると、図５に示す影融合部７７０において、次のような、背景置換画像の背景への影の融合処理が行われる。ここで、この影の融合処理は、上記の形状画像の接合とぼかし処理とからなる前半の処理と、最終的に背景置換画像中に影の画像を作りこむ後半の処理とからなる。

以下では、まず、影の融合処理の前半の処理について図１８を参照して説明する。

図１８は、図５に示す影融合部で実行される融合処理の前半の処理を説明する図である。

この図１８のパート（ａ）には、上記の修正処理を経た下側形状画像ＦＬと後側形状画像ＦＢとが互いに接合される様子が示されており、図１８のパート（ｂ）には、接合された２種類の形状画像にぼかし処理が施された様子が示されている。

まず、図１８のパート（ａ）を参照して、上記の２種類の形状画像の接合について説明する。

この図１８のパート（ａ）に示すように、まず、下側形状画像ＦＬが、背景置換画像中の被写体Ｐの足元に接触するように配置される。次に、下側形状画像ＦＬが、下領域ＬＡと後領域ＢＡとの境界線Ｌ１と交差する位置が求められ、さらに、この位置に対応する、後側形状画像ＦＢにおける位置が求められる。そして、下側形状画像ＦＬと後側形状画像ＦＢとで互いに対応するこれらの位置が一致するように、後側形状画像ＦＢが配置される。最後に、下側形状画像ＦＬの後領域側の部分ＦＬ１と、後側形状画像ＦＢの下領域側の部分ＦＢ１とがそれぞれ除去されて、両者の接合が完了する。

続いて、図１８のパート（ｂ）を参照して、ぼかし処理について説明する。

上記のように下側形状画像ＦＬと後側形状画像ＦＢとが接合されると、その接合された形状画像の輪郭が、ローパスフィルターを用いてぼかされ、図１８のパート（ｂ）に示すような輪郭がぼけた形状画像Ｆが作られる。ここで、図１８のパート（ｂ）に示す形状画像Ｆでは、ほとんどの部分の画素の画素値は黒色を表わす画素値となっており、輪郭がぼけた縁の部分の画素の画素値はぼけ具合に応じたグレー色を表わす画素値となっている。

ここまでの前半の処理で、背景の下領域ＬＡ上を延び、後領域ＢＡに至って立ち上がるという奥行き感があるとともに、輪郭がぼけているというリアルな影の形が作られる。

次に、このリアルな影の形に基づいて、最終的に背景置換画像中に影の画像を作りこむという、融合処理の後半の処理について説明する。

この後半の処理では、置換後の背景のうち、上記のリアルな影の形が重なる部分の輝度を以下に説明するように下げることにより、この置換後の背景中に影の画像が作りこまれる。

上記のように、図１８のパート（ｂ）に示すリアルな影の形を表わす形状画像Ｆを構成する画素は、ほとんどの部分が黒色で縁の部分が外へ向かうほど濃度が薄くなるモノクロ色を表わす画素値を有している。この後半の処理では、まず、この形状画像Ｆを構成する各画素に、色が濃い画素ほど輝度を強く下げるという輝度の下げ具合を示すパラメータが割り当てられる。そして、置換後の背景のうち、上記のリアルな影の形、即ち図１８のパート（ｂ）に示す形状画像Ｆが重なる部分の輝度を、その形状画像Ｆを構成する各画素に割り当てられたパラメータに従って下げることにより、リアルな影の画像が置換後の背景中に作りこまれる。

図１９は、最終的に、置換後の背景中に影の画像が作りこまれた背景置換画像を示す図である。

ここで、上述したように、背景置換画像の背景では、奥行き感を出すために、下領域ＬＡの輝度が、後領域ＢＡの輝度よりも若干下げられている。このため、この図１９に示すように、背景中に作りこまれた影の画像ＳＤは、下領域ＬＡの部分ＳＤ２の影の方が、後領域ＢＡの部分ＳＤ１の影よりも若干濃くなる。これにより、影の画像ＳＤの奥行き感が増すこととなる。

尚、ここまでの説明では、影の画像を作成する手順について、一つの光源からの影の画像を例に挙げて説明したが、本実施形態では、複数の光源からの影の画像を作成して背景置換画像に融合させることができる。

上述したように、本実施形態では、図１１に示す位置設定部７５１において、所定の設定画面に対するオペレータのキーボード２３０の操作によって、撮影スタジオ１０内の４台の閃光発光装置１２ａ，１２ｂ，１２ｃ，１２ｄの中から、背景置換画像の背景に融合させるべき影を生じさせる光源として、１つ又は複数の閃光発光装置が選択される。この選択操作において、オペレータが複数の閃光発光装置を光源として選択すると、上述したような影の画像を作成する手順が、各光源について実行され、次のような複数の影の画像が背景に融合された背景置換画像が作成される。

図２０は、複数の影の画像が背景に融合された背景置換画像の一例を示す模式図である。

この図２０には、上記の位置設定部７５１において、被写体Ｐの左右および上に配置された閃光発光装置が光源として選択されたときに作成される背景置換画像の一例が示されている。ここで、本実施形態では、上記の融合処理において、複数の影の画像が互いに重なり合う部分ＳＳについては、各影についての輝度の下げ具合を示す上記のパラメータが加算されて輝度が他の部分よりも強く下げられるので、図２０に示すように影が濃くなる。これにより、複数の光源による影が重なり合う様子がリアルに表現される。

以上、図１〜図２０を参照して説明したように、本実施形態の撮影システム１によれば、例えば、置換用の背景を３次元的に表現したＣＧ画像の作成等といった手間の掛る準備が省かれ、置換用の背景に被写体の影が写った背景置換画像を手軽に作成することができる。

尚、上記では、本発明にいう影作成部の一例として、上記の影融合部７７０と、従デジタルカメラで得られた逆光撮影画像に基づいて、形状が被写体の形状であって、内側が黒色で塗りつぶされた元画像を作成する元画像作成部７５２を備えた影形状作成部７５０と合わせたものを例示して説明したが、本発明はこれに限るものではない。本発明にいう影作成部は、例えば、従デジタルカメラで得られた順光撮影画像中の被写体領域をいわゆるクロマキー処理を用いて他の領域と区別することにより上記のような元画像を作成するもの等であっても良い。

また、本発明にいう影作成部の一例として、上記の影融合部７７０と、光源としての閃光発光装置および主デジタルカメラ１１それぞれのおおよその３次元的な位置が数値入力される位置設定部７５１を備えた影形状作成部７５０と合わせたものを例示して説明したが、本発明はこれに限るものではない。本発明にいう影作成部は、例えば、光源としての閃光発光装置および主デジタルカメラそれぞれのおおよその３次元的な位置が、撮影スタジオを模した３次元のＣＧ画像上においてオペレータが必要な位置をマウス操作等で指定することにより入力される等といったものであっても良い。

また、本発明にいう修正部の一例として、所定の入力画面中のスライドバーをオペレータがマウス操作等で動かすことにより、修正の対象となる影に対応する閃光発光装置の３次元的な位置に対する修正位置が入力される修正部７６０を例示して説明したが、本発明はこれに限るものではない。本発明にいう修正部は、例えば、上記の修正位置が数値入力されるものであっても良く、また、例えば、撮影スタジオを模した３次元のＣＧ画像上においてオペレータが必要な位置をマウス操作等で指定することにより上記の修正位置が入力されるものであっても良い。

本発明の撮影システムの一実施形態を示す図である。図１の撮影システムで実行される作業の流れを示すフローチャートである。図１に示すパーソナルコンピュータのハードウェア構成図である。図１および図３に示すパーソナルコンピュータを、本発明にいう背景置換装置の一例として動作させるための背景置換プログラムが記憶されたＣＤ−ＲＯＭを示す概念図である。図４に示す背景置換プログラムが図１および図３に示すパーソナルコンピュータにインストールされ、このパーソナルコンピュータが本発明にいう背景置換装置の一例として動作するときの機能を表わす機能ブロック図である。主デジタルカメラで撮影された順光撮影画像の一例を示す模式図である。図６の順光撮影画像から取り出された有効な画像領域を示す模式図である。主デジタルカメラで撮影された逆光撮影画像の一例から取り出された有効な画像領域を示す模式図である。図７に示す順光撮影画像の背景が別の背景に置換された背景置換画像の一例を示す模式図である。図９に示す背景置換画像中の下領域の輝度が後領域よりも所定程度下げられて、背景に奥行き感が付与された背景置換画像を示す模式図である。図５に１つのブロックで示された影形状作成部を示すブロック図である。図１に示す４台の従デジタルカメラそれぞれで撮影された４つの逆光撮影画像から作成される４つの元画像の一例を示す模式図である。図１２のパート（ｄ）に示す元画像に基づく２つの射影画像を示す模式図である。被写体Ｐの左側に配置された閃光発光装置からの閃光によって背景置換画像の下領域ＬＡに写るべき影の形と、後領域ＢＡに写るべき影の形とのそれぞれを表す形状画像を示す模式図である。図１に示す撮影スタジオにおける横方向についての修正位置の入力画面の一例を示す図である。図１に示す撮影スタジオにおける上下方向についての修正位置の入力画面の一例を示す図である。図１に示す撮影スタジオにおける奥行き方向についての修正位置の入力画面の一例を示す図である。図５に示す影融合部で実行される融合処理の前半の処理を説明する図である。最終的に、置換後の背景中に影の画像が作りこまれた背景置換画像を示す図である。複数の影の画像が背景に融合された背景置換画像の一例を示す模式図である。

符号の説明

１撮影システム
１０撮影スタジオ
１１主デジタルカメラ
１２ａ，１２ｂ，１２ｃ，１２ｄ閃光発光装置
１３ａ，１３ｂ，１３ｃ，１３ｄ従デジタルカメラ
１４０ＥＬパネル
１４１筐体
１４１ａ下面
１４１ｂ後面
１４１ｃマーカ
１５電源
２０パーソナルコンピュータ
２１０本体装置
２１１ＣＰＵ
２１２主メモリ
２１３ハードディスク装置
２１４ＦＤドライブ
２１５ＣＤ−ＲＯＭドライブ
２１６入力インタフェース
２１７出力インタフェース
２２０画像表示装置
２２０ａ表示画面
２３０キーボード
２４０マウス
２５０メディアドライブ
２６０バス
３０プリンタ
４０サーバ
５１０ＣＤ−ＲＯＭ
５２０ＦＤ
５３０小型記憶メディア
６００背景置換プログラム
６１０画像取得部
６２０画像取出部
６３０置換処理部
６４０背景認識部
６５０影形状作成部
６６０修正部
６７０影融合部
６８０画像データ転送部
６９０画像表示部
７００背景置換装置
７１０画像取得部
７２０画像取出部
７３０置換処理部
７４０背景認識部
７５０影形状作成部
７５１位置設定部
７５２元画像作成部
７５３変形部
７６０修正部
７７０影融合部
７８０画像データ転送部
７９０画像表示部

Claims

被写体を撮影して撮影画像を取得する主撮影装置と、
前記被写体に向けて閃光を発する閃光発光装置と、
前記閃光発光装置側から前記被写体を撮影する従撮影装置と、
前記被写体を挟んで前記撮影装置とは反対側に位置する後面および該被写体の下側に位置する下面のそれぞれから、互いに異なる光で該被写体を照らす背景パネルと、
前記閃光発光装置および前記背景パネルによって作られる複数の撮影光条件それぞれの下で前記主撮影装置によって共通の被写体が撮影されて得られた複数の撮影画像を取得し、該撮影画像に基づいて被写体と背景とを区別し、前記複数の撮影画像のうち所定の撮影条件下で撮影された撮影画像の背景を別の背景に置換して背景置換画像を作成する背景置換部、
前記背景パネルの後面と下面における光の相違点に基づいて、前記背景置換画像における背景のうちで前記後面に相当する後領域と、該背景のうちで前記下面に相当する下領域とを認識する背景認識部、および、
前記従撮影装置によって得られた撮影画像を取得し、該撮影画像中の被写体を背景から区別し、その被写体の形と前記閃光発光装置および前記主撮影装置それぞれの位置とに基づき、前記背景置換画像中の前記後領域に写るべき影の形と前記下領域に写るべき影の形とを作成して相互に接合し、その接合した形の影を該背景置換画像中の背景に融合させる影作成部を有する背景置換装置とを備えたことを特徴とする撮影システム。
前記影作成部が、影を前記背景置換画像中の背景に融合させる際に、前記下領域側の影の濃さが前記後領域側の影の濃さよりも濃くなるように該背景に融合させるものであることを特徴とする請求項１記載の撮影システム。
前記背景置換装置が、前記閃光発光装置の位置に対する修正位置を前記影作成部に与える修正部を有するものであり、
前記影作成部が、前記修正部から前記修正位置を与えられた場合には、前記閃光発光装置の位置に替えて該修正位置に基づいて前記影の形を作成するものであることを特徴とする請求項１記載の撮影システム。
前記影作成部が、影を前記背景置換画像中の背景に融合させる際に、該影を所定程度ぼかして該背景に融合させるものであることを特徴とする請求項１記載の撮影システム。