JP2003111094A - 合成撮影システム、合成画像生成法および画像合成装置 - Google Patents

Abstract

(57)【要約】 【課題】 カメラ、被写体、背景を直線的に配置しなく
ても背景の合成を可能とし、被写体活動を大きく制限し
ないシステムを提供することを課題とする。 【解決手段】 輝度差検出法は、光源７から被写体に向
けて白色光を照射するとともに撮影を行い、撮影データ
を得る。撮影データに対してコントラストを拡張した
後、低輝度部分をカットすることにより画像から背景を
カットする。色成分検出法は、光源７から被写体に向け
て黄色光を照射するとともに撮影を行い、撮影データを
得る。撮影データに対しては、黄色成分の除去フィルタ
ーを通過させることにより、黄色成分の強部である被写
体領域を得る。これらの方法を単独で、もしくは、複合
的に利用することにより、精度の高い合成画像を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、クロマキー合成の
撮影技術に関する。

【０００２】

【従来の技術および解決しようとする課題】観光地や、
遊園地などにある記念写真撮影装置において、利用者の
静止画または動画と好みの背景画像とを合成することに
より記念撮影を行なうサービスが存在する。背景画像の
合成は、ある程度の画質を要求される場合には、クロマ
キー合成装置が用いられる。

【０００３】一般的なクロマキー合成の撮影システムの
構成を図１７に示す。被写体１００の背景にはブルーバ
ック（青色シート）１０１が吊り下げられるとともに、
被写体１００を照らす照明１０２が設けられ、撮影カメ
ラ１０３は、被写体とその背景のブルーバックからなる
画像を取得する。

【０００４】撮影カメラ１０３が取得したブルーバック
画像は、クロマキー合成装置１０４に転送され、任意の
背景画像１０５と合成される。これにより、撮影画像の
青色成分の領域が背景画像１０５に置き換えられ合成画
像が生成される。

【０００５】簡易的には、このシステムからブルーバッ
クのセットや、照明などを簡略化することができるが、
その分、被写体切抜きの精度が落ち画質が低下するとい
う問題がある。

【０００６】クロマキー合成の原理は、被写体となる人
物と関係無い色調（普通青を用いる）を背景にした映像
から、その色調を光学的にあるいは電子的に抜き出し、
排除して、そこに他の映像を代替して合成することであ
る。

【０００７】図１７で示したクロマキー合成のシステム
では、大掛かりで非常に目立つ背景セット（ブルーバッ
ク・スタジオホリゾント）が必要なこと、照明の調整が
シビアであること、また、重要なことであるが、カメ
ラ、被写体と背景が直線上に並ぶことがほぼ必須の条件
となっている。

【０００８】これら条件が必要とされるため、前述した
観光地や遊園地などのサービスでは、専用スタジオなど
の施設を設けて、その中に利用者が入ってサービスを受
けなければならない。これは、たとえば、何かの行動を
しながら、歩きながら、遊びながら、という本来観光地
や遊園地で自然に行なうべき活動スタイルとはかけ離れ
ているため、利用者に不便を強いていることになる。

【０００９】また、類似の技術としてＨＯＬＯＳＥＴ法
と呼ばれる合成方法が存在する。図１８はＨＯＬＯＳＥ
Ｔ法による合成システムの概略図である。

【００１０】被写体１００の背景には、色成分補助光を
乱反射させる乱反射素材１１１（布に硝材をつけたもの
等）が吊り下げられている。また、撮影カメラ１０３の
近傍位置に配置された光源１１２からは補助光が照射さ
れる。そして、光源１１２から、たとえば青色光を発生
させる。青色光は背景の乱反射素材１１１で反射し、撮
影カメラ１０３で捉えられる。これにより撮影カメラ１
０３が取得する画像１１４は、背景が青色の画像とな
り、ブルーバックと同様の効果が得られるのである。

【００１１】このＨＯＬＯＳＥＴ法を用いる場合であっ
ても、乱反射素材１１１で背景を隠す必要があるため、
撮影システムが大掛かりとなる。このため、遊園地など
での利用には、やはり、制約が多くなる。また、撮影カ
メラ、被写体、乱反射素材が直線状に並ばなければなら
ないという制約も残っている。

【００１２】また、クロマキー合成を行うために多点測
距を利用する方法が同一出願人により、提案済みである
（特開２００１−１６７２７６公報）。

【００１３】多点測距法について図１９を参照しながら
説明する。多点測距法は、スチル（orビデオ）カメラな
どに内蔵されているＡＦ機構を用い、画面内の複数地点
を同時あるいは連続的に測距する。

【００１４】図に示すように、まず、任意の背景で被写
体１１５を撮影するとともに、多点測距素子により撮影
領域内における被写体および背景の距離情報を取得す
る。この距離情報をもとに等距離を結べば、等距離画像
１１６が得られる。さらに、距離がある閾値以下の領域
を抽出することにより、特定被写体画像１１７を得るこ
とができる。そして、被写体１１５を撮影した画像デー
タから、特定被写体画像１１７の領域のデータを抽出す
ることにより、被写体撮影画像１１８が得られるのであ
る。このようにして得られた被写体撮影画像１１８の抜
き取られた背景部分を別の背景画像で置き換えることに
より合成画像が生成されるのである。

【００１５】このように、多点測距法を利用することに
より、ブルーバックシステムやＨＯＬＯＳＥＴ法のよう
に、被写体の背景にシートを配置することなく、クロマ
キー合成を行うことが可能である。しかし、多点測距法
は、背景が暗所である場合には、距離を正確に測ること
ができないという問題がある。

【００１６】本発明においては、カメラ、被写体、背景
を直線的に配置しなくても背景の合成を可能とし、被写
体活動を大きく制限しないシステムを構築、また、様々
な背景条件に対しても精度の高い合成画像を生成する技
術、また、それを用いたサービスを実現することを目的
とする。

【００１７】

【課題を解決するための手段】上記課題を解決するた
め、請求項１記載の発明は、被写体画像と背景画像とを
組み合わせて合成画像を生成する合成撮影システムであ
って、a-1)被写体に対して白色光を照射する照射手段
と、a-2)前記照射手段により白色光を受けている被写体
を撮影する撮影装置と、a-3)前記撮影装置の撮影した被
写体画像のコントラストを拡張し、拡張輝度画像を生成
する手段と、a-4)前記拡張輝度画像の低輝度成分をカッ
トし、拡張高輝度画像を生成する手段と、a-5)コントラ
ストが拡張されている前記拡張高輝度画像を元のコント
ラストとなるよう逆補正し、高輝度画像を生成する手段
と、a-6)前記高輝度画像における高輝度成分以外の領域
を背景画像に置き換えることにより合成画像を生成する
合成手段と、を備えることを特徴とする。

【００１８】請求項２記載の発明は、請求項１に記載の
合成撮影システムにおいて、前記合成手段は、a-7)前記
高輝度画像における高輝度成分以外の領域を青色成分に
変換し、ブルーバック画像を生成する手段と、a-8)前記
ブルーバック画像と、背景画像とをクロマキー合成する
手段と、を備えることを特徴とする。

【００１９】請求項３記載の発明は、被写体画像と背景
画像とを組み合わせて合成画像を生成する合成撮影シス
テムであって、b-1)被写体に対して特定色の補助光を照
射する照射手段と、b-2)前記照射手段により補助光を受
けている被写体を撮影する撮影装置と、b-3)前記撮影装
置の撮影した被写体画像から、前記特定色の強度を低下
させることにより、特定色低減画像を生成する手段と、
b-4)前記特定色低減画像から前記特定色の強度が所定の
閾値以上である成分を抽出した特定色画像を生成する手
段と、b-5)前記特定色画像における特定色成分以外の領
域を背景画像に置き換えることにより合成画像を生成す
る合成手段と、を備えることを特徴とする。

【００２０】請求項４記載の発明は、請求項３に記載の
合成撮影システムにおいて、前記合成手段は、b-6)前記
特定色画像における特定色成分以外の領域を青色成分に
変換し、ブルーバック画像を生成する手段と、b-7)前記
ブルーバック画像と、背景画像とをクロマキー合成する
手段と、を備えることを特徴とする。

【００２１】請求項５記載の発明は、請求項３または請
求項４に記載の合成撮影システムにおいて、前記照射手
段は、黄色の補助光を照射する手段であることを特徴と
する。

【００２２】請求項６記載の発明は、請求項１に記載の
合成撮影システムであって、さらに、b-1)被写体に対し
て特定色の補助光を照射する照射手段と、b-2)前記照射
手段により補助光を受けている被写体を撮影する撮影装
置と、b-3)前記撮影装置の撮影した被写体画像から、前
記特定色の強度を低下させることにより、特定色低減画
像を生成する手段と、b-4)前記特定色低減画像から前記
特定色の強度が所定の閾値以上である成分を抽出した特
定色画像を生成する手段と、b-5)前記特定色画像におけ
る特定色成分以外の領域を背景画像に置き換えることに
より合成画像を生成する合成手段と、前記a-1)〜a-6)手
段を備えて実現されるa)輝度差検出手段と、前記b-1)〜
b-5)手段を備えて実現されるb)色成分検出手段と、を相
互に切り換えて合成画像を生成するよう制御する手段
と、を備えることを特徴とする。

【００２３】請求項７記載の発明は、請求項６に記載の
合成撮影システムにおいて、さらに、c-1)被写体の撮影
画像を取得するとともに、撮影領域内の複数点の距離情
報を取得する手段と、c-2)前記撮影画像中において、距
離がある閾値以下の領域を抽出して被写体領域を抽出す
る手段と、c-3)前記被写体領域以外の領域を背景画像に
置き換えることにより合成画像を生成する合成手段と、
前記a)輝度差検出手段と、前記b)色成分検出手段と、前
記c-1)〜c-2)手段を備えて実現されるc)多点測距手段
と、を相互に切り換えて合成画像を生成するよう制御す
る手段と、を備えることを特徴とする。

【００２４】請求項８記載の発明は、請求項７に記載の
合成撮影システムを利用して合成画像を生成する方法で
あって、連続的に移動する被写体を撮影しつつ、前記a)
輝度差検出手段と、前記b)色成分検出手段と、前記c)多
点測距手段と、を切り換え制御しながら合成画像を生成
することを特徴とする。

【００２５】請求項９記載の発明は、請求項７に記載の
合成撮影システムを利用して合成画像を生成する方法で
あって、１つの被写体に対して、複数の前記合成撮影シ
ステムを配置し、各合成撮影システムが、前記a)輝度差
検出手段、前記b)色成分検出手段、前記c)多点測距手
段、のいずれかの手段を用いて、同時に、異なる角度か
ら合成画像を生成することを特徴とする。

【００２６】請求項１０記載の発明は、被写体画像と背
景画像とを組み合わせて合成画像を生成する画像合成装
置であって、a-1)白色光を受けている被写体を撮影した
被写体画像を入力する手段と、a-2)前記被写体画像のコ
ントラストを拡張し、拡張輝度画像を生成する手段と、
a-3)前記拡張輝度画像の低輝度成分をカットし、拡張高
輝度画像を生成する手段と、a-4)コントラストが拡張さ
れている前記拡張高輝度画像を元のコントラストとなる
よう逆補正し、高輝度画像を生成する手段と、a-5)前記
高輝度画像における高輝度成分以外の領域を背景画像に
置き換えることにより合成画像を生成する合成手段と、
を備えることを特徴とする。

【００２７】請求項１１記載の発明は、請求項１０に記
載の画像合成装置において、前記合成手段は、a-6)前記
高輝度画像における高輝度成分以外の領域を青色成分に
変換し、ブルーバック画像を生成する手段と、a-7)前記
ブルーバック画像と、背景画像とをクロマキー合成する
手段と、を備えることを特徴とする。

【００２８】請求項１２記載の発明は、被写体画像と背
景画像とを組み合わせて合成画像を生成する画像合成装
置であって、b-1)特定色の補助光を受けている被写体画
像を入力する手段と、b-2)前記被写体画像から、前記特
定色の強度を低下させることにより、特定色低減画像を
生成する手段と、b-3)前記特定色低減画像から前記特定
色の強度が所定の閾値以上である成分を抽出した特定色
画像を生成する手段と、b-4)前記特定色画像における特
定色成分以外の領域を背景画像に置き換えることにより
合成画像を生成する合成手段と、を備えることを特徴と
する。

【００２９】請求項１３記載の発明は、請求項１２に記
載の画像合成装置において、前記合成手段は、b-5)前記
特定色画像における特定色成分以外の領域を青色成分に
変換し、ブルーバック画像を生成する手段と、b-6)前記
ブルーバック画像と、背景画像とをクロマキー合成する
手段と、を備えることを特徴とする。

【００３０】

【発明の実施の形態】以下、図面を参照しつつ本発明の
実施の形態について説明する。

【００３１】｛第１の実施の形態―輝度差検出法｝図１
は、第１の実施の形態にかかる合成撮影システムのブロ
ック構成図である。また、図２は、この合成撮影システ
ムを利用して合成画像を生成する処理の流れを示す図で
ある。当該システムは、光源５、撮影カメラ１０、クロ
マキー合成装置２０などを備えている。

【００３２】撮影カメラ１０では、レンズユニット１１
を介して取得した被写体像が撮像素子１２に結像され
る。撮像素子１２から出力された信号は、Ａ／Ｄ変換器
１３においてデジタル化されフレームメモリ１４に蓄積
され、フレームデータＡ１が通信ＩＦ１５を介してクロ
マキー合成装置２０に転送される。

【００３３】また、撮影カメラ１０の近傍位置（たとえ
ば、撮影カメラ１０の上部や側部に取り付けておけばよ
い）には、光源５が配置されており、光源５が発する白
色光が被写体を照射している。したがって、撮影カメラ
１０が撮影する画像は、白色光を受けた画像である。

【００３４】クロマキー合成装置２０は、通信ＩＦ２０
１を介してフレームデータＡ１を受信する。次に、クロ
マキー合成装置２０において画像処理が行われる。ま
ず、フレームデータＡ１は、コントラスト拡張部２１１
においてコントラストの強調処理が行われる。つまり、
フレームデータＡ１の高輝度領域については、より輝度
を上昇させるように、低輝度領域については、より輝度
を低下させることにより、輝度差を拡張する。このよう
にして得られる画像を拡張輝度画像Ａ２とする。

【００３５】フレームデータＡ１は、前述したように、
白色光を受けた被写体を含む画像データである。したが
って、被写体１と背景２との関係が、被写体部分の輝度
が大きくなるように撮影される環境である場合（たとえ
ば、被写体に比べて背景がずっと遠い場合、背景が暗い
場合など）には、拡張輝度画像Ａ２は、被写体部分の輝
度が強調され、背景部分との差が大きくなっている。

【００３６】拡張輝度画像Ａ２は、次に、低輝度域カッ
ト部２１２において処理され、設定された閾値以下の輝
度の情報を切り捨てる。この処理により、背景部分の情
報が切り取られ、被写体部分の輝度が拡張された拡張高
輝度画像Ａ３が生成される。

【００３７】拡張高輝度画像Ａ３は、次に、逆補正部２
１３によってコントラストの補正が行われる。逆補正部
２１３では、コントラスト拡張部２１１において拡張さ
れたコントラストが、元のコントラストに戻され、高輝
度画像Ａ４が生成される。したがって、被写体１が背景
２よりも輝度が大きく撮影される環境下では、高輝度画
像Ａ４は、背景が取り除かれた被写体を含む画像であ
る。

【００３８】以上の処理により生成された高輝度画像Ａ
４は、輝度補正部２１４において輝度補正が施された
後、ブルーバック処理部２０２においてブルーバック処
理がされる。つまり、被写体以外の領域がブルーバック
に置き換えられる。

【００３９】次に、ブルーバック画像は、Ｄ／Ａ変換器
２０３においてアナログ化され、クロマキー合成部２０
４において、背景画像データ２０９とクロマキー合成さ
れ、出力部２０５に出力される。このようにして、被写
体１に任意の背景を重ねた合成画像が生成されるのであ
る。

【００４０】このように、第１の実施の形態（輝度差検
出法）による合成撮影システムは、被写体１と背景２と
の明暗差がある場合、つまり、背景２が暗環境である場
合などに有効である。また、被写体１に比べて背景２が
遠方にある場合などにも有効である。このような環境下
であれば、ブルーバックシステムや、ＨＯＬＯＳＥＴ法
などのように、被写体の背後にブルーシートや乱反射素
材のシートを吊り下げるなどの必要がないので、自由な
環境下で合成撮影を実行することが可能である。

【００４１】なお、上記処理では、高輝度画像Ａ４をブ
ルーバック処理したうえでアナログ化し、その後、アナ
ログ処理でクロマキー合成を行うようにしているが、も
ちろん、高輝度画像Ａ４と背景画像とをデジタル処理
し、そのまま合成画像を生成するようにしてもよい。た
だし、上記処理の如く、アナログ処理でクロマキー合成
を行うようにすれば、既知のブルーバックシステムにお
けるクロマキー合成と処理を共通化させることができる
といったメリットがある。

【００４２】｛第２の実施の形態―色成分検出法｝図３
は、第２の実施の形態に係る合成撮影システムのブロッ
ク構成部である。ここで、図１を用いて説明した第１の
実施の形態と同様の構成については、説明を簡単にする
ため同一の番号を付している。また、図４は、この合成
撮影システムを利用して合成画像を生成する処理の流れ
を示す図である。当該システムは、光源６、撮影カメラ
１０、クロマキー合成装置２０などを備えている。

【００４３】レンズユニット１１を介して撮像素子１２
に結像された被写体象は、Ａ／Ｄ変換された後、フレー
ムメモリ１４に蓄積され、フレームデータＢ１が順次、
通信ＩＦ１５を介してクロマキー合成装置２０に転送さ
れる。

【００４４】光源６は、本実施の形態においては、黄色
光を発する光源である。ただし、光源６は、何色の光源
でもより。ただし、本実施の形態のように、肌色の類似
色として黄色を用いることがより好適である。

【００４５】黄色光を照射することにより、近距離にい
る被写体１からは、背景よりも多くの黄色成分を含んだ
反射光が帰ってくる。したがって、フレームデータＢ１
は、被写体部分が他の領域に比べて黄色味を帯びた画像
である。

【００４６】クロマキー合成装置２０では、通信ＩＦ２
０１を介してフレームデータＢ１を受信すると、次に、
画像処理を行う。まず、フレームデータＢ１を光源帯域
遮断フィルター２２１に通過させる。ここでは、光源帯
域遮断フィルター２２１は、フレームデータＢ１の画像
から黄色成分の強度を低下させる処理を行う。光源帯域
遮断フィルター２２１から出力される画像を特定色低減
画像Ｂ２とする。ここで、被写体１は、背景よりも多く
の黄色成分を含む画像として撮影されているので、特定
色低減画像Ｂ２は、被写体部分にのみ黄色成分が残り、
他の領域は、黄色成分が殆どない状態となる。

【００４７】次に、特定色低減画像Ｂ２を、特定色ＢＰ
Ｆ（バンドパスフィルター）２２２に通過させる。この
処理により、黄色成分の強度が設定された閾値以下の領
域については、情報が切り取られ、特定色画像Ｂ３が出
力される。このようにして、背景が取り除かれた被写体
部分のみの画像が生成される。

【００４８】この特定色画像Ｂ３に対して、黄色補正部
２１４において黄色成分の補正処理が行われ、さらに、
ブルーバック処理部２０２において被写体部以外の領域
がブルーバック化される。ブルーバック画像は、Ｄ／Ａ
変換されたのち、背景画像データ２０９とクロマキー合
成され出力される。

【００４９】このように、第２の実施の形態（色成分検
出法）による合成撮影システムは、被写体１と背景２と
の明暗差がある場合、つまり、背景２が暗環境である場
合などに有効である。また、被写体１に比べて背景２が
遠方にある場合などにも有効である。このような環境下
であれば、ブルーバックシステムや、ＨＯＬＯＳＥＴ法
などのように、被写体の背後にブルーシートや乱反射素
材のシートを吊り下げるなどの必要がないので、自由な
環境下で合成撮影を実行することが可能である。

【００５０】なお、上記処理では、特定色画像Ｂ３をブ
ルーバック処理したうえでアナログ化し、その後、アナ
ログ処理でクロマキー合成を行うようにしているが、も
ちろん、特定色画像Ｂ３と背景画像とをデジタル処理
し、そのまま合成画像を生成するようにしてもよい。た
だし、上記処理の如く、アナログ処理でクロマキー合成
を行うようにすれば、既知のブルーバックシステムにお
けるクロマキー合成と処理を共通化させることができる
といったメリットがある。

【００５１】｛第３の実施の形態―複合型｝ ＜システム構成および処理内容＞図５は、第３の実施の
形態に係る合成撮影システムのブロック構成図である。
本実施の形態の合成撮影システムは、第１の実施の形態
における輝度差検出法と第２の実施の形態における輝度
差検出法と、上述した多点測距法およびＨＯＬＯＳＥＴ
法の全ての画像合成方法を処理可能としている。

【００５２】図中、第１の実施の形態または第２の実施
の形態と同様の構成については、説明を簡単にするため
同一の番号を付している。

【００５３】撮影カメラ１０は、レンズユニット１１、
撮像素子１２、Ａ／Ｄ変換器１３、フレームメモリ１
４、通信ＩＦ１５を備え、撮影画像のフレームデータを
マクロキー合成装置２０に転送する。

【００５４】光源７は、白色光、青色光、黄色光を切り
換えて発する光源である。ただし、光源７は、白色光、
青色光に加えて、黄色以外の他の色成分の補助光を発す
るものであってもよい。

【００５５】撮影カメラ１０から転送されたフレームデ
ータは、クロマキー合成装置２０の通信ＩＦ２０１を介
して取り込まれ、画像処理部２００において、対応する
画像処理が行われる。

【００５６】図中、輝度差検出処理部２１０は、図１で
示したコントラスト拡張部２１１、低輝度域カット部２
１２、逆補正部２１３、輝度補正部２１４を含む処理部
全体を示している。また、色成分検出処理部２２０は、
図３で示した光源帯域遮断フィルター２２１、特定色Ｂ
ＰＦ２２２、黄色補正処理部２２３を含む処理部全体を
示している。また、画像処理部２００は、多点測距処理
部２３０を備えている。

【００５７】多点測距法について説明する。被写体１お
よび背景２を含む撮影領域の画像は、フレームデータと
してマクロキー合成装置２０に転送されるが、この際、
多点測距部１６は、撮影領域内の複数の点の距離データ
を取得する。そして、この距離データも通信ＩＦ１５，
２０１を介してマクロキー合成装置２０に転送される。

【００５８】転送されたフレームデータおよび距離デー
タは、多点測距処理部２３０において画像処理される。
つまり、図１９で示した処理と同様の処理が行われ、背
景画像が取り除かれた被写体部の画像が生成される。こ
の後の処理は、第１の実施の形態等と同様に、ブルーバ
ック処理、Ｄ／Ａ変換を経て、背景画像データ２０９と
の間でクロマキー合成されて出力される。

【００５９】このように、画像処理部２００には、輝度
差検出処理部２１０と色成分検出処理部２２０と、多点
測距処理部２３０とを備えており、これら各処理部の実
行は、合成方法切替部２０６によって切り替えられる。

【００６０】また、本実施の形態の合成撮影システム
は、ＨＯＬＯＳＥＴ法によるマクロキー合成を実行する
ことも可能である。撮像素子１２から出力された画像情
報は、アナログデータのまま通信ＩＦ１５，２０１を介
してマクロキー合成装置２０に転送される。ここで、通
信ＩＦ１５，２０１は、アナログポートも含んでいる。

【００６１】ここで、ＨＯＬＯＳＥＴ法による撮影時に
は、光源７から青色光が照射されており、また、被写体
１の後ろには、背景を隠すようにして乱反射素材のシー
ト３が吊り下げられる。したがって、撮影カメラ１０が
撮影する画像は、ブルーバック画像となっている。

【００６２】マクロキー合成装置２０は、ブルーバック
画像（アナログ）を受信すると、クロマキー合成部２０
４において、任意の背景画像とブルーバック画像とをク
ロマキー合成する。このようにして合成画像が生成され
出力部２０５に出力されるのである。

【００６３】このように第３の実施の形態においては、
輝度差検出法、色成分検出法、多点測距処理法、およ
び、ＨＯＬＯＳＥＴ法のそれぞれの画像合成を切り換え
て実行可能であるので、撮影環境、背景の状況、などに
応じて最適な方法を選択しながら、合成画像を生成する
ことが可能である。図６は、以上説明した処理の流れを
示す図である。

【００６４】ここで、輝度差検出法、色成分検出法、多
点測距処理法、および、ＨＯＬＯＳＥＴ法を切り換えて
利用する際に、参考となる基準をまとめておく。

【００６５】まず、輝度差検出法であるが、背景が暗所
である場合、背景と被写体の距離の差が大きい場合に有
効である。これに対して、背景が明るい場合、背景と被
写体の距離の差が小さい場合には効果が減少する。

【００６６】次に、色成分検出法であるが、背景が暗
所、背景が遠い場合に有効である。また、輝度差検出法
では、背景に様々な人工光源、自然光源などが含まれて
いる場合に効果が得難いのに対し、色成分検出法は、特
種な（限定された帯域の）光源を発し、その特種な光の
反射を測定するので、少なくとも、他の人工光（青色
光、赤色光）や自然光の影響は低減させることが可能で
ある。

【００６７】次に，多点測距法であるが、光源が不要で
あるという利点と、背景が明るくても効果が得られると
いう利点がある。また、ＡＦはある特定のピンポイント
を測定するので、距離測定精度は非常に高いという利点
がある。したがって、背景と被写体が１ｍも開いていれ
ば、背景がどんなに複雑な場合でも問題なく識別可能で
ある。一方、背景が暗所であると測距できないという問
題がある。アクティブ方ＡＦを利用することにより、こ
の問題を解決できるが、遠距離の測距ができないという
問題が残る。

【００６８】＜実施例＞このような合成撮影システムの
利用した実施例を図７に示す。図の矢印の方向に向かっ
て被写体１が移動する環境において、撮影カメラ１０と
光源７とからなる撮影システムを移動させながら、被写
体１を撮影する。撮影カメラ１０が撮影した画像は、無
線（or有線）によりマクロキー合成装置に転送される。

【００６９】そして、背景に応じて、図のように合成撮
影方法を切り替えるのである。たとえば、暗く、距離が
ある背景の場所においては、輝度差検出法による撮影を
行い。そして、被写体１が乱反射素材のシート３の前部
に移動した際には、ＨＯＬＯＳＥＴ法による合成撮影を
行い、次に、被写体１が暗所で平面でない背景の前に移
動した際には、色成分検出法による合成撮影を行い、さ
らに、被写体１が明所で、背景が複雑な場所に移動した
際には、多点測距法による合成撮影を行うのである。

【００７０】このように、背景の環境に応じて合成方法
を切り替えることにより、移動する被写体１に対して精
度の高い合成画像を生成することが可能である。

【００７１】上記実施例は、各合成方法を切替ながら使
用するものであるが、これら合成方法を同時に処理する
ようにしてもよい。図８に示すように、背景に明暗差が
あり、かつ、背景が遠く、複雑な形状である場合などに
おいては、いずれの合成方法を利用しても精度の高い合
成画像が得られない。このような場合には、複数の合成
方法を同時に処理する。そして、デジタル域で、被写体
データと背景データの低域成分の差異量や、コントラス
トの多寡を判定することにより、最適の１つの方法を自
動的に選択するようにする方法が考えられる。また、生
成された各合成画像を加算（平均化）する処理などが有
効である。もしくは、最適の方法を手動で選択するよう
にしてもよい。

【００７２】図９は、複数の合成撮影システムを用い
て、１つの被写体１を複数の角度から撮影する実施例を
示している。このように、複数の角度から合成撮影を行
う意義としては、精度向上とバリエーション化がある。

【００７３】第１に、複数の角度から合成撮影し、精度
の高いものを選択するものである。各合成撮影システム
では、背景に応じた合成処理が行われる。この際、それ
ぞれ背景２は異なるので、その合成画像の精度も異なっ
たものとなる。そこで、被写体１の撮影角度は異なるも
のの、各合成画像から合成の精度の高いものを選択する
ことにより、精度向上が図れるのである。

【００７４】第２に、複数の角度から撮影した合成画像
をそれぞれ利用するものである。たとえば、各角度から
撮影された画像には、異なる背景画像を合成するように
すれば、同一の動きをする被写体１に対して異なったス
トーリを表現することも可能である。

【００７５】図１０、図１１、図１２は、上述した実施
例を遊戯施設のアトラクションに応用した例である。投
影機（アトラクション制御機構）５４から投影された映
像がスクリーン５１に映し出される。利用者は、ライド
５２に乗って、あたかもスクリーン５１に映し出された
映像の中にいるような体験をすることができる。

【００７６】そして、別の角度に合成撮影システムをセ
ットし、バーチャルスクリーン５５を背景として合成撮
影を行う。つまり、上述した４つの合成方法を利用する
ことにより、ライド２に乗っている利用者には、実際に
スクリーン５１に映し出される背景以外に、合成処理に
よって生まれるバーチャルスクリーンが存在しているこ
とになるのである。４つの方法のいずれを採用するかは
自由であるが、スクリーン５１の映像に影響を与えない
ようにするためには、多点測距法、もしくは、輝度差検
出法が好ましい。ＨＯＬＯＳＥＴ法を用いてもよいが、
乱反射素材のシートが必要である。

【００７７】利用者は、スクリーン５１に映し出された
映像を見ながら実際に、映像の中の世界を体験した後、
さらに、別の背景が合成された映像を見ることができ
る。たとえば、この映像をビデオで提供するようにして
もよい。

【００７８】図１１で示した例は、２つのバーチャルス
クリーン５５Ａ，５５Ｂを利用するものである。この場
合、ライド５２に乗った利用者は、同じ動き（あるいは
演技）をしながら異なる複数のシーンに登場することに
なる。また、同時ではなく、順次並べられた撮影システ
ムで、撮影角度が異なる場面を自動的に順次撮影するこ
とも可能である。

【００７９】図１２で示した例は、移動するライドに乗
った利用者に対して、撮影システムを移動させながら追
尾し、合成撮影を行うものである。これにより、利用者
は、スピード感を実体験できるとともに、異なる背景を
合成した映像を楽しむことが可能である。

【００８０】｛第４の実施の形態―全周カメラの利用｝
図１３、図１４は、全周カメラを利用した合成撮影シス
テムの実施例である。図１３に示した撮影カメラ７０の
上部には、魚眼レンズ７１（もしくは、魚眼レンズアダ
プタ超広角レンズなど）が装着され、全周の画像を取得
可能としている。ただし、取得された画像は歪んでいる
ので、デジタル域で補正計算を行い、正方画像を得る。
図１４に示した撮影カメラ７２の上部には、全周ミラー
（放物線や双曲線からなる）アダプタ７３が装着され、
全周の画像を取得可能としている。この場合、カメラの
真上の映像は得られないので、円筒状の領域を撮影可能
である。また、周辺画像は歪んでいるので、デジタル域
で補正計算を行い、正方画像を得る。

【００８１】そして、図１５に示すように全周カメラ７
５および全方向に青色光を発する投射装置７６を配置
し、その周囲に円筒状に乱反射素材のシート７７を吊り
下げる。（図は、上方から見た図である。）なお、全周
カメラ７５は、図１３に示した撮影カメラ７０と魚眼レ
ンズ７１との組み合わせ、または、図１４に示したい撮
影カメラ７２と全周ミラー７３との組み合わせである。
また、全周カメラ７５は、撮影した映像をクロマキー合
成装置（図示省略）に転送し、クロマキー合成装置にお
いてクロマキー合成処理が行われる。

【００８２】このような撮影システムを構成することに
より、被写体１がシート７７の内部を３６０度自由に動
き回っても、全周カメラ７５は被写体１を捉えることが
可能である。そして、投射装置７６から照射された青色
光により、ブルーバック画像が得られるので、シート７
７内を自由に動き回る被写体１に任意の背景を合成する
ことが可能である。

【００８３】図１６は、この撮影システムを遊戯施設の
アトラクションに応用させた実施例である。全周カメラ
７５、青色光を投射する投射装置７６を中心として円筒
状のシート（乱反射素材）７７が配置され、このシート
７７内の空間をライド５２が自由に動きまわるのであ
る。利用者は、ライド５２に乗ってアトラクションを体
感した後、別の背景を合成した映像を楽しむことが可能
である。

【００８４】

【発明の効果】以上説明したように、請求項１記載の発
明では、撮影領域に白色光を照射し、輝度差を利用して
被写体を検出するので、ブルーバック用のシートを用い
ることなくクロマキー合成を行うことができる。これに
より、背景の雰囲気をこわすことなく、合成撮影が可能
である。

【００８５】請求項２記載の発明では、ブルーバック処
理をすることにより、既知のクロマキー合成処理と処理
の共通化を図ることが可能である。

【００８６】請求項３記載の発明では、撮影領域に特定
色の光を照射し、色成分の強度差を利用して被写体を検
出するので、ブルーバック用のシートを用いることなく
クロマキー合成を行うことができる。これにより、背景
の雰囲気をこわすことなく、合成撮影が可能である。

【００８７】請求項４記載の発明では、ブルーバック処
理をすることにより、既知のクロマキー合成処理と処理
の共通化を図ることが可能である。

【００８８】請求項５記載の発明では、黄色光を特定色
として使用することにより、被写体（人間）の検出精度
を上げることが可能である。

【００８９】請求項６記載の発明では、輝度差検出法と
色成分検出法とを切り換えて使用するので、背景の環境
に応じて、より精度の高い合成画像を得ることが可能で
ある。

【００９０】請求項７記載の発明では、輝度差検出法と
色成分検出法に加え、さらに、多点測距法を使用するの
で、より適応度の高いシステム構成となる。

【００９１】請求項８記載の発明では、連続移動する被
写体の合成画像を取得可能となるので、被写体は動きの
制限を受けることはなく、自由な環境で合成画像が得ら
れる。

【００９２】請求項９記載の発明では、異なる角度から
複数の合成処理法を用いて撮影するので、多様なサービ
スを提供可能となる。

【００９３】請求項１０および請求項１１記載の発明
は、合成装置の発明であり、画像中の輝度差を利用して
被写体画像と任意の背景画像とを合成可能である。

【００９４】請求項１２および請求項１３記載の発明
は、合成装置の発明であり、画像中の特定色の強度差を
利用して被写体画像と任意の背景画像とを合成可能であ
る。

【図面の簡単な説明】

【図１】第１の実施の形態に係る合成撮影システムのブ
ロック構成図である。

【図２】第１の実施の形態に係る合成撮影の処理の流れ
を示す図である。

【図３】第２の実施の形態に係る合成撮影システムのブ
ロック構成図である。

【図４】第２の実施の形態に係る合成撮影の処理の流れ
を示す図である。

【図５】第３の実施の形態に係る合成撮影システムのブ
ロック構成図である。

【図６】第３の実施の形態に係る合成撮影の処理の流れ
を示す図である。

【図７】合成撮影方法を背景に応じて切り換えた状態を
示す図である。

【図８】合成撮影方法を複合して利用する方法を示す図
である。

【図９】複数の撮影場所から合成撮影を行う状態を示す
図である。

【図１０】アトラクションに応用した実施例を示す図で
ある。

【図１１】アトラクションに応用した別に実施例を示す
図である。

【図１２】アトラクションに応用した別の実施例を示す
図である。

【図１３】全周撮影装置を示す図である。

【図１４】別の全周撮影装置を示す図である。

【図１５】全周撮影装置とＨＯＬＯＳＥＴ法を利用した
合成撮影システムを示す図である。

【図１６】アトラクションに応用した実施例を示す図で
ある。

【図１７】一般的なクロマキー合成の撮影システムを示
す図である。

【図１８】ＨＯＬＯＳＥＴ法を用いた合成撮影システム
を示す図である。

【図１９】多点測距法により被写体を抽出する処理の流
れを示す図である。

【符号の説明】

１ 被写体 ２ 背景 ５，６，７ 補助光光源 １０ 撮影カメラ １１ レンズユニット １２ 撮像素子 ２０ クロマキー合成装置 ２００ 画像処理部 ２０２ ブルーバック処理部 ２１０ 輝度差検出処理部 ２１１ コントラスト拡張部 ２１２ 低輝度域カット部 ２１３ 逆補正部 ２２０ 色成分検出処理部 ２２１ 特定色除去フィルター ２２２ 特定色ＢＰＦ ２３０ 多点測距処理部

フロントページの続き Ｆターム(参考） 5C023 AA17 AA38 BA11 CA01 CA08 DA04 5C066 AA01 AA12 EA07 ED02 KE07 KM01 KM11

Claims (13)

【特許請求の範囲】
1. 【請求項１】 被写体画像と背景画像とを組み合わせて
   合成画像を生成する合成撮影システムであって、 a-1)被写体に対して白色光を照射する照射手段と、 a-2)前記照射手段により白色光を受けている被写体を撮
   影する撮影装置と、 a-3)前記撮影装置の撮影した被写体画像のコントラスト
   を拡張し、拡張輝度画像を生成する手段と、 a-4)前記拡張輝度画像の低輝度成分をカットし、拡張高
   輝度画像を生成する手段と、 a-5)コントラストが拡張されている前記拡張高輝度画像
   を元のコントラストとなるよう逆補正し、高輝度画像を
   生成する手段と、 a-6)前記高輝度画像における高輝度成分以外の領域を背
   景画像に置き換えることにより合成画像を生成する合成
   手段と、を備えることを特徴とする合成撮影システム。
2. 【請求項２】 請求項１に記載の合成撮影システムにお
   いて、 前記合成手段は、 a-7)前記高輝度画像における高輝度成分以外の領域を青
   色成分に変換し、ブルーバック画像を生成する手段と、 a-8)前記ブルーバック画像と、背景画像とをクロマキー
   合成する手段と、を備えることを特徴とする合成撮影シ
   ステム。
3. 【請求項３】 被写体画像と背景画像とを組み合わせて
   合成画像を生成する合成撮影システムであって、 b-1)被写体に対して特定色の補助光を照射する照射手段
   と、 b-2)前記照射手段により補助光を受けている被写体を撮
   影する撮影装置と、 b-3)前記撮影装置の撮影した被写体画像から、前記特定
   色の強度を低下させることにより、特定色低減画像を生
   成する手段と、 b-4)前記特定色低減画像から前記特定色の強度が所定の
   閾値以上である成分を抽出した特定色画像を生成する手
   段と、 b-5)前記特定色画像における特定色成分以外の領域を背
   景画像に置き換えることにより合成画像を生成する合成
   手段と、を備えることを特徴とする合成撮影システム。
4. 【請求項４】 請求項３に記載の合成撮影システムにお
   いて、 前記合成手段は、 b-6)前記特定色画像における特定色成分以外の領域を青
   色成分に変換し、ブルーバック画像を生成する手段と、 b-7)前記ブルーバック画像と、背景画像とをクロマキー
   合成する手段と、を備えることを特徴とする合成撮影シ
   ステム。
5. 【請求項５】 請求項３または請求項４に記載の合成撮
   影システムにおいて、 前記照射手段は、黄色の補助光を照射する手段であるこ
   とを特徴とする合成撮影システム。
6. 【請求項６】 請求項１に記載の合成撮影システムであ
   って、さらに、 b-1)被写体に対して特定色の補助光を照射する照射手段
   と、 b-2)前記照射手段により補助光を受けている被写体を撮
   影する撮影装置と、 b-3)前記撮影装置の撮影した被写体画像から、前記特定
   色の強度を低下させることにより、特定色低減画像を生
   成する手段と、 b-4)前記特定色低減画像から前記特定色の強度が所定の
   閾値以上である成分を抽出した特定色画像を生成する手
   段と、 b-5)前記特定色画像における特定色成分以外の領域を背
   景画像に置き換えることにより合成画像を生成する合成
   手段と、 前記a-1)〜a-6)手段を備えて実現されるa)輝度差検出手
   段と、前記b-1)〜b-5)手段を備えて実現されるb)色成分
   検出手段と、を相互に切り換えて合成画像を生成するよ
   う制御する手段と、を備えることを特徴とする合成撮影
   システム。
7. 【請求項７】 請求項６に記載の合成撮影システムにお
   いて、さらに、 c-1)被写体の撮影画像を取得するとともに、撮影領域内
   の複数点の距離情報を取得する手段と、 c-2)前記撮影画像中において、距離がある閾値以下の領
   域を抽出して被写体領域を抽出する手段と、 c-3)前記被写体領域以外の領域を背景画像に置き換える
   ことにより合成画像を生成する合成手段と、 前記a)輝度差検出手段と、前記b)色成分検出手段と、前
   記c-1)〜c-2)手段を備えて実現されるc)多点測距手段
   と、を相互に切り換えて合成画像を生成するよう制御す
   る手段と、を備えることを特徴とする合成撮影システ
   ム。
8. 【請求項８】 請求項７に記載の合成撮影システムを利
   用して合成画像を生成する方法であって、 連続的に移動する被写体を撮影しつつ、前記a)輝度差検
   出手段と、前記b)色成分検出手段と、前記c)多点測距手
   段と、を切り換え制御しながら合成画像を生成すること
   を特徴とする合成画像生成法。
9. 【請求項９】 請求項７に記載の合成撮影システムを利
   用して合成画像を生成する方法であって、 １つの被写体に対して、複数の前記合成撮影システムを
   配置し、各合成撮影システムが、前記a)輝度差検出手
   段、前記b)色成分検出手段、前記c)多点測距手段、のい
   ずれかの手段を用いて、同時に、異なる角度から合成画
   像を生成することを特徴とする合成画像生成法。
10. 【請求項１０】 被写体画像と背景画像とを組み合わせ
    て合成画像を生成する画像合成装置であって、 a-1)白色光を受けている被写体を撮影した被写体画像を
    入力する手段と、 a-2)前記被写体画像のコントラストを拡張し、拡張輝度
    画像を生成する手段と、 a-3)前記拡張輝度画像の低輝度成分をカットし、拡張高
    輝度画像を生成する手段と、 a-4)コントラストが拡張されている前記拡張高輝度画像
    を元のコントラストとなるよう逆補正し、高輝度画像を
    生成する手段と、 a-5)前記高輝度画像における高輝度成分以外の領域を背
    景画像に置き換えることにより合成画像を生成する合成
    手段と、を備えることを特徴とする画像合成装置。
11. 【請求項１１】 請求項１０に記載の画像合成装置にお
    いて、 前記合成手段は、 a-6)前記高輝度画像における高輝度成分以外の領域を青
    色成分に変換し、ブルーバック画像を生成する手段と、 a-7)前記ブルーバック画像と、背景画像とをクロマキー
    合成する手段と、を備えることを特徴とする画像合成装
    置。
12. 【請求項１２】 被写体画像と背景画像とを組み合わせ
    て合成画像を生成する画像合成装置であって、 b-1)特定色の補助光を受けている被写体画像を入力する
    手段と、 b-2)前記被写体画像から、前記特定色の強度を低下させ
    ることにより、特定色低減画像を生成する手段と、 b-3)前記特定色低減画像から前記特定色の強度が所定の
    閾値以上である成分を抽出した特定色画像を生成する手
    段と、 b-4)前記特定色画像における特定色成分以外の領域を背
    景画像に置き換えることにより合成画像を生成する合成
    手段と、を備えることを特徴とする画像合成装置。
13. 【請求項１３】 請求項１２に記載の画像合成装置にお
    いて、 前記合成手段は、 b-5)前記特定色画像における特定色成分以外の領域を青
    色成分に変換し、ブルーバック画像を生成する手段と、 b-6)前記ブルーバック画像と、背景画像とをクロマキー
    合成する手段と、を備えることを特徴とする画像合成装
    置。