JP2003179811A - 画像合成装置 - Google Patents

Abstract

(57)【要約】 【課題】 撮影時にブルーの背景を用意する必要がな
く、背景に関わらず動いているもの、後に追加された被
写体を主画像と認識することにより、この主画像と別の
背景画像とを画像合成することができる画像合成装置を
提供すること。 【解決手段】 動作画素認識部１２２は、画像判断部１
２１が変化ありと判断した画像データの所定座標領域情
報に該当する主画像データのみを動作画素として認識を
行う。動作画素抽出部１２３は、動作画素認識部１２２
による認識に基づいて、主画像データのみ抽出し、背景
画素除去部１２４がこの抽出された主画像データ以外の
背景画像データを画像入力部１１で入力された画像デー
タから除去する。画像合成部１３２は、合成用背景画像
生成部１３１によって合成用に生成された合成用背景画
像データと、背景画素除去部１２４によって背景画像デ
ータが除去された主画像データとの画像合成を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人間、機械などの
動きのある被写体を主画像として認識し、この主画像
と、主画像を撮影した際の背景とは別の背景データであ
る静止画とを合成することができる画像合成装置に関す
る。

【０００２】

【従来の技術】従来から、テレビ番組や映画などを制作
する際、別々に撮影された画像を合成し、１つの画像の
ように見せることができるクロマキー技法という画像合
成方法が利用されている。このクロマキー技法による画
像合成法は、例えば、青色の背景（クロマキーバックと
いう）の前に主画像となる人物を立たせ、この人物を主
画像として撮影し、この主画像データから青色の背景部
分のデータ（クロマキーデータという）だけを抽出す
る。そして、このクロマキーデータの部分を背景となる
別の画像データに置き換えることにより、合成画像を作
成するものである。また、近年では、撮影装置で撮影さ
れた主画像データとコンピュータグラフィックスによっ
て作成された背景画像データとをクロマキー技法で画像
合成する方法も利用されてきている。

【０００３】

【発明が解決しようとする課題】しかしながら、上述の
ようなクロマキー技法による画像合成方法では、主画像
となる被写体をクロマキーバックの前で撮影しなければ
ならず、青色の背景を用意する必要があった。また、ク
ロマキー技法では主画像を撮影する際、主画像の背景部
分として明るい青色をクロマキーバックとして利用する
ため、クロマキーバックの前の被写体の色に配慮する必
要が生じる。例えば、クロマキーバックの前の主画像と
なる被写体に青成分の多い紫や青緑などの色がある場
合、クロマキーデータの切り抜き（抽出）が不安定とな
ってしまうことがある。

【０００４】一方、主画像データとコンピュータグラフ
ィックスによって作成された背景画像データとをクロマ
キー技法で画像合成する場合、コンピュータグラフィッ
クスによる背景画像データが３次元データではないた
め、まず３次元データに変換する必要が生じ、コストと
労力を要してしまうことになる。そこで、本発明は、撮
影時にブルーの背景を用意する必要がなく、背景に関わ
らず動いているもの、後に追加された被写体を主画像と
認識することにより、この主画像と別の背景画像とを画
像合成することができる画像合成装置を提供することを
目的とする。

【０００５】

【課題を解決するための手段】本発明の画像合成装置に
よると、所定の背景において撮影される撮影画像を所定
画面領域内の画像として受領する画像受領手段と、前記
画像受領手段によって受領される画像の各画素を前記所
定画面領域における座標位置で表した画素位置情報とし
て順次取得する画素位置情報取得手段と、前記画像受領
手段によって受領される画像から前記画素位置情報取得
手段が順次取得した画素位置情報に対して、同じ座標位
置にある画素位置情報同士を比較し、当該画素位置情報
に変化が生じたか否かを判断する画素位置情報判断手段
と、前記画素位置情報判断手段によって変化が生じたと
判断された画素位置情報に該当する画像部分を前記所定
画面領域から抽出する画像抽出手段と、前記画像抽出手
段によって抽出された画像と、所定の背景画像とを画像
合成する画像合成手段と、前記画像合成手段によって画
像合成された合成画像を出力する画像出力手段と、を備
えたことにより、動いている画像（主画像データ）のみ
を抽出することができる。本発明の画像合成装置による
と、前記所定画面領域の画像のうち、前記画像抽出手段
によって抽出される画像以外の画像位置情報に該当する
部分を所定色として識別する画素位置情報識別手段をさ
らに備え、前記画像合成手段は、前記画素位置情報識別
手段によって所定色として識別された画像位置情報に基
づき、前記所定の背景画像と前記画像抽出手段によって
抽出された画像との画像合成を行うので、合成用背景画
像の作成が容易となり、背景画像に関係なく画像合成を
効率的に行うことができる。

【０００６】本発明の画像合成装置によると、前記画素
位置情報取得手段によって最初に取得された前記所定画
面領域における画素位置情報を格納する画素位置情報格
納手段をさらに備え、前記画素位置情報判断手段は、前
記画素位置情報格納手段に格納されている最初の画素位
置情報と比較することにより前記同じ座標位置の画素位
置情報の変化を判断するので、画像変化の判断時間を短
縮することができる。本発明の画像合成装置において、
前記画素位置情報判断手段による前記同じ座標位置であ
る画素位置情報の判断を順次ではなく所定時間経過ごと
に行うように切り替える切替手段をさらに備えたことに
より、所定時間ごとに合成画像を表示させるなどの画像
操作者固有の設定を行うことができる。本発明の画像合
成装置によると、前記画素位置情報識別手段によって識
別された所定色を背景色として有し、前記画像合成手段
によって画像合成された合成画像上に合成する画像を格
納する前面画像格納手段をさらに備え、前記画像合成手
段は、前記前面画像格納手段に格納されている画像を前
記合成画像に合成する際に、前記背景色を透明なものと
して画像合成を行うので、背景画像に関係なくさらに臨
場感ある合成画像を行うことができる。

【０００７】

【発明の実施の形態】以下、本発明の好適な実施の形態
について、図１ないし図９を参照して詳細に説明する。
図１は、第１の実施形態の画像合成装置の概略構成を示
した図である。図１に示されるように本実施の形態に係
る画像合成装置１００は、撮影用カメラ３と接続されて
いる画像入力部１１、画像処理部１２、記憶部１６、画
像編集部１３、モニタ４などの表示装置に接続されてい
る画像出力部１４、制御部コントロールユニット１５、
操作入力部１７およびプログラムＲＯＭ（リード・オン
リ・メモリ）１８を備えている。撮影用カメラ３は、所
定の背景の前の被写体を撮影するものであり、撮影され
た背景画像データは画像入力部１１に入力されるように
なっている。画像入力部１１には、撮影用カメラ３によ
って撮影された画像データ（ここでは、主画像データお
よび背景画像データの両方をいう）が入力される。な
お、本実施の形態では、画像入力部１１と撮影用カメラ
３を別とし、画像入力部１１は撮影用カメラ３によって
撮影された画像データを入力する部分として説明する
が、これに限られるものではなく、画像入力部１１が撮
影用カメラ３の機能も果たすようにしてもよい。画像入
力部１１は、撮影用カメラ３が撮影した画面内の画像デ
ータを所定の座標領域内の画素位置情報として判断し、
この座標領域として判断した各画素位置情報としての画
像データを記憶部１６に記憶したり、画像判断部１２１
（図２参照）に入力したりするようになっている。

【０００８】画像処理部１２は、制御部コントロールユ
ニット１５からの制御に従って、画像入力部１１が入力
した画像データに所定の画像処理を施すようになってい
る。ここで、画像処理部１２の構成について説明する。
図２は、画像処理部１２の概略構成を示したブロック図
である。画像処理部１２は、図２に示すように内部にタ
イムカウンタ１２１１を有する画像判断部１２１、動作
画素認識部１２２、動作画素抽出部１２３、背景画素除
去部１２４を備えている。画像判断部１２１は、画像入
力部１１から入力された画像データに変化が生じたかど
うかを判断する。動作画素認識部１２２は、画像判断部
１２１が変化ありと判断した場合、この変化として判断
された画像データから動きのある動作画素のみを認識す
る。動作画素抽出部１２３は、動作画素認識部１２２に
よる認識に基づいて、画像データを背景画像データと主
画像データ（動きのある動作画素）とに分け、このうち
主画像データのみを抽出する。背景画素除去部１２４
は、動作画素抽出部１２３によって抽出される主画像デ
ータ以外の背景画像データを画像入力部１１から入力さ
れた画像データから除去し、当該背景画像データが除去
されて主画像データのみとなった座標位置情報の画像デ
ータを画像編集部１３に入力する。

【０００９】画像編集部１３は、制御部コントロールユ
ニット１５または操作入力部１７において入力された指
示に従って、画像処理部１２によって所定の処理が施さ
れた画像データの画素情報に対して画像編集を行う。こ
こで、画像編集部１３の構成について説明する。図３
は、画像編集部１３の概略構成を示したブロック図であ
る。図３に示すように、画像編集部１３は、合成用背景
画像生成部１３１と画像合成部１３２を備えている。合
成用背景画像生成部１３１は、記憶部１６に記憶されて
いる合成用背景画像データを取得し、画像処理部１２の
動作画素抽出部１２３によって抽出された主画像データ
と合成できるように合成用背景画像データの生成処理を
施す。画像合成部１３２は、合成用背景画像生成部１３
１によって合成用に生成された合成用背景画像データ
と、背景画素除去部１２３によって背景画像データが除
去された主画像データとの画像合成を行う。画像出力部
１４は、画像合成部１３２によって画像合成された合成
画像データをモニタ４に出力する。

【００１０】制御部コントロールユニット１５は、操作
入力部１７からの入力、またはプログラムＲＯＭ１８に
格納されているプログラムに従って、画像入力部１１、
画像処理部１２、画像編集部１３、画像出力部１４の各
部における動作処理を制御する。プログラムＲＯＭ１８
には、画像判断プログラム、動作画素認識プログラム、
動作画素抽出プログラム、画像合成プログラム、その他
の画像処理プログラムが格納されている。記憶部１６に
は、画像入力部１１に入力された画像データ、動作画素
として認識され、抽出された動作画素である主画像デー
タ、青色データとして認識された背景画像データ、抽出
された主画像データと画像合成する合成用背景画像デー
タ、その他の画像データなどの各画素情報が記憶されて
いる。また、記憶部１６は、画像処理部１２、画像編集
部１３、画像出力部１４からの画像データ送信要求に応
じて所定の画像データを各部に送信するようになってい
る。操作入力部１７は、液晶パネルなどの表示部と、キ
ーボード、ポインタなどの操作入力部とを備えており、
画像操作者による所定の画像編集指示を入力することが
できるようになっている。

【００１１】次に、本実施の形態に係る画像合成装置の
動作について説明する。図４は、画像合成装置によるリ
アルタイム画像合成の処理手順を示したフローチャート
である。撮影用カメラ３によって所定の背景の撮影が開
始されると（ステップ４０１）、画像入力部１１には撮
影用カメラ３によって撮影された所定画面内の画像デー
タが入力される。画像入力部１１は、撮影用カメラ３が
撮影した画面内の画像データを所定の座標領域内の画素
位置情報として判断し、この座標領域として判断した各
画素位置情報としての画像データを記憶部１６に記憶す
る（ステップ４０２）。そして、各画素位置情報として
の画像データを画像処理部１２の画像判断部１２１に入
力する。画像データが入力された画像判断部１２１で
は、画像入力部１１から入力された画像データに変化が
生じたかどうかを判断する（ステップ４０３）。

【００１２】ここで、画像判断部１２１が判断する画像
データの変化について説明する。例えば、撮影用カメラ
３が最初に図１で一例として示したような背景（森林と
池）２を撮影していたとする。所定時間経過後に少年１
がこの背景２内に入ってきた場合、画像入力部１１には
背景２の背景画像データと、被写体である少年１の主画
像データとが入力される。画像判断部１２１は、入力さ
れた所定画面内の画像データのうち、画像データ内で動
きのある画像を被写体の主画像データと判断し、この動
きのある主画像データが付加されていることを画像デー
タに変化が生じたとして判断する。画像入力部１１によ
って入力された各座標位置情報としての画像データを画
像判断部１２１に一時的にバッファ（一時記憶）してお
き、次に入力されてくる各座標位置情報とこのバッファ
しておいた画像データとを比較することにより判断す
る。

【００１３】なお、画像判断部１２１による画像データ
の変化に関する判断方法には、前述のように動きがある
画像データがあるかどうかにより判断する方法、記憶部
１６に事前に背景画像データとして記憶しておいた背景
画像データと画像入力部１１に入力された背景画像デー
タとを比較することにより判断する方法、記憶部１６に
あらかじめ所定の被写体の姿形を主画像データとして記
憶させておき、当該記憶しておいた主画像データに動き
などの変化が生じたか否かに基づいて判断する方法など
が挙げられる。また、画像判断部１２１による判断は、
タイムカウンタ１２１１が所定時間計測する度に行うよ
うにしてもよいし（所定時間経過ごとに関しては後述の
図５において詳細を説明する）、画像入力部１１からの
画像入力と同時に、直前に入力された画像データとの比
較を行うことにより、リアルタイムで判断するようにし
てもよい。なお、図４のフローチャートで示した処理手
順では、リアルタイムで画像データの変化を判断する場
合について説明している。

【００１４】画像判断部１２１が画像入力部１１によっ
て入力された画像データに変化が生じたと判断した場合
（ステップ４０３；Ｙ）、当該判断された画像データ
は、動作画素認識部１２２に入力される。動作画素認識
部１２２は、この画像判断部１２１が変化ありと判断し
た画像データの所定座標領域情報に該当する画素ごとに
順次、その画素が少年１の主画像データであるか、背景
画像２の背景画像データのいずれの画素であるかを判別
し、主画像データのみを動作画素として認識を行う（ス
テップ４０４）。このときの少年１の主画像データと背
景画像２の背景画像データとの識別には、少年１と背景
画像との色の違いを認識することにより判別する方法
や、画像入力部１１に入力される画像データの信号レベ
ルを比較することにより判別する方法などが挙げられ
る。

【００１５】動作画素抽出部１２３は、動作画素認識部
１２２による認識に基づいて、画像データを背景画像デ
ータと主画像データ（動きのある動作画素）とに分け、
このうちの主画像データのみ抽出する（ステップ４０
５）。この動作画素抽出部１２３による主画像データの
抽出処理は、動作画素認識部１２２による認識処理結果
に応じて順次行われるようになっている。また、動作画
素抽出部１２２は、変化ありと判断された画像データの
うち動作画素認識部１２２によって主画像データと認識
された動作画素以外、すなわち背景画像データ部分であ
る座標位置情報の全ての画素を青色データに変更するよ
うになっている。このようにして動作画素抽出部１２３
によって主画像データとして抽出された座標位置情報
は、記憶部１６に記憶される。

【００１６】背景画素除去部１２４は、動作画素抽出部
１２３によって抽出される主画像データ以外の背景画像
データを画像入力部１１で入力された画像データから除
去する（ステップ４０６）。また、背景画素除去部１２
４は、動作画素抽出部１２３において青色データに変更
された背景画像データ部分の座標位置情報を記憶部１６
に記憶する。そして、この背景画像データが除去され、
主画像データのみの座標位置情報である画像データを画
像編集部１３に入力する。操作入力部１７において、画
像合成の操作指示が設定されている場合（ステップ４０
７；Ｙ）、画像編集部１３の合成用背景画像生成部１３
１は、記憶部１６に記憶されている合成用背景画像デー
タを取得する。そして、画像処理部１２の動作画素抽出
部１２３によって抽出され、背景画素除去部１２４によ
って背景画像データが除去された主画像データと合成す
ることができるように、取得した合成用背景画像データ
に対して所定の生成処理を行う。

【００１７】ここで、合成用背景画像データの生成処理
について説明する。合成用背景画像生成部１３１は、背
景画素除去部１２４によって背景画像データが除去され
た主画像データを受け取ると、記憶部１６に記憶されて
いる動作画素抽出部１２３が青色データの背景画像デー
タとして座標位置情報を変更した画素情報を取得する。
この取得した青色データとしての座標位置情報に基づい
て、合成用背景画像データの所定画素領域内において、
当該青色データとして取得された画素部分と同様の形状
部分に対応する合成用背景画像データの画素を残し、そ
れ以外の合成用動作画素部分を排除する。すなわち、主
画像データである座標位置情報の画素情報に該当する部
分が排除された合成用背景画像データが生成されること
になる。なお、合成用背景画像生成部１３１による記憶
部１６からの合成用背景画像データの取得は、操作入力
部１７において入力された指示に従って記憶部１６から
選択されるようにしてもよいし、あらかじめ抽出された
主画像データと合成するものとして設定されている合成
用背景画像データを取得するようにしてもよい。

【００１８】次に、画像合成部１３２は、合成用背景画
像生成部１３１によって合成用に生成された合成用背景
画像データと、背景画素除去部１２４によって背景画像
データが除去された主画像データとの画像合成を行う
（ステップ４０８）。そして、画像合成部１３２によっ
て合成された合成画像データは、画像出力部１４に入力
される。画像出力部１４は、画像合成部１３２によって
画像合成された合成画像データをモニタ４に出力する
（ステップ４１０）。一方、操作入力部１７において、
画像合成の操作指示が設定されていない場合（ステップ
４０７；Ｎ）、モニタ４には動作画素抽出部１２３によ
って動作画素として抽出された主画像データのみが表示
される（ステップ４０９）。このようにモニタ４には操
作入力部１７からの操作入力に従って、合成画像データ
を表示するだけではなく、背景画素除去部１２４によっ
て背景画像データが除去された主画像データのみが表示
されるようになっている。このような場合、主画像デー
タの背景は、動作画素抽出部１２３によって青色データ
に変更した状態で表示するようにしてもよいし、操作入
力部１７において背景の色データを選択することができ
るようにしてもよい。

【００１９】次に、第１の実施形態の画像合成装置の変
形例について説明する。図５は、所定時間経過ごとに画
像データの変化を判断する場合の画像合成装置による画
像合成の処理手順を示したフローチャートである。撮影
用カメラ３によって所定の背景の撮影が開始されると
（ステップ５０１）、画像入力部１１には撮影用カメラ
３によって撮影された所定画面内の画像データが入力さ
れる。画像入力部１１は、撮影用カメラ３が撮影した画
面内の画像データを所定の座標領域内の画素位置情報と
して判断し、この座標領域として判断した各画素位置情
報としての画像データを記憶部１６に記憶する（ステッ
プ５０２）。画像データを記憶部１６に記憶する際に画
像入力部１１は、入力された画像データを所定の座標領
域とし、各画素を座標位置情報として所定領域ごとに分
割し、領域ごとに画素情報を記憶するようにしておく。
なお、ここで画像入力部１１によって記憶部１６に記憶
された被写体がいない最初の背景画像データは、画像判
断部１２１が画像データに変化が生じたかどうかを判断
する際の基準となる。そして、この背景画像データは、
各画素位置情報として画像処理部１２の画像判断部１２
１に入力される。

【００２０】画像判断部１２１内のタイムカウンタ１２
１１は、最初に画像データが入力された時間から所定の
時間間隔（以下、本実施の形態では一例として時間間隔
を１分間とする）の計測を開始する。このタイムカウン
タ１２１１によって計測される所定時間は、例えば、１
分間というようにデフォルト値として設定されているも
のとしてもよいし、操作入力部１７において画像操作者
が所望の時間間隔を設定することができるようにしても
よい。タイムカウンタ１２１１が１分間を計測すると
（ステップ５０３；Ｙ）、画像判断部１２１は画像デー
タの変化の判断として、記憶部１６にあらかじめ記憶さ
れている最初の背景画像データの座標位置情報と、１分
間経過後に画像入力部１１から入力された画像データの
座標位置情報との比較を行う（ステップ５０４）。画像
判断部１２１は、画像入力部１１から入力される座標情
報としての各画素と、記憶部１６にあらかじめ記憶され
ている所定座標領域ごとの各画素とを比較することによ
り、画像データのどの座標領域に変化が生じたかを判断
するようになっている。

【００２１】比較の結果として、画像判断部１２１が画
像入力部１１によって入力された画像データに変化が生
じたと判断した場合（ステップ５０５；Ｙ）、当該判断
された画像データは、動作画素認識部１２２に入力され
る。動作画素認識部１２２は、この画像判断部１２１が
変化ありと判断した画像データの所定座標領域情報に該
当する画素ごとに順次、その画素が少年１の主画像デー
タであるか、背景画像２の背景画像データのいずれの画
素であるかを判別し、変化のある画像データのみを主画
像データ（動作画素）として認識を行う（ステップ５０
６）。このときの少年１の主画像データと背景画像２の
背景画像データとの識別には、上述と同様に少年１と背
景画像との色の違いを認識することにより判別する方法
や、画像入力部１１に入力される画像データの信号レベ
ルを比較することにより判別する方法などが挙げられ
る。

【００２２】動作画素抽出部１２３は、動作画素認識部
１２２による認識に基づいて、画像データを背景画像デ
ータと主画像データ（動きのある動作画素）とに分け、
このうちの変化のある画像データを主画像データとして
抽出する（ステップ５０７）。この動作画素抽出部１２
３による主画像データの抽出処理は、動作画素認識部１
２２による認識処理結果に応じて行われるようになって
いる。また、動作画素抽出部１２３は、変化ありと判断
された画像データのうち動作画素認識部１２２によって
主画像データと認識された動作画素以外、すなわち背景
画像データ部分である座標位置情報の全ての画素を青色
データに変更するようになっている。このようにして動
作画素抽出部１２３によって主画像データとして抽出さ
れた座標位置情報は、記憶部１６に記憶される。

【００２３】背景画素除去部１２４は、動作画素抽出部
１２３によって抽出される主画像データ以外の背景画像
データを画像入力部１１で入力された画像データから除
去する（ステップ５０８）。また、背景画素除去部１２
４は、動作画素抽出部１２３において青色データに変更
された背景画像データ部分の座標位置情報を記憶部１６
に記憶する。そして、この背景画像データが除去され、
主画像データのみの座標位置情報である画像データを画
像編集部１３に入力する。操作入力部１７において、画
像合成の操作指示が設定されている場合（ステップ５０
９；Ｙ）、画像編集部１３の合成用背景画像生成部１３
１は、記憶部１６に記憶されている合成用背景画像デー
タを取得する。そして、画像処理部１２の動作画素抽出
部１２３によって抽出され、背景画素除去部１２４によ
って背景画像データが除去された主画像データと合成す
ることができるように、取得した合成用背景画像データ
に対して所定の生成処理を行う。なお、合成用背景画像
データの生成処理については、図４と同様であるので説
明を省略する。また、図４と同様に、合成用背景画像生
成部１３１による記憶部１６からの合成用背景画像デー
タの取得は、操作入力部１７において入力された指示に
従って記憶部１６から選択されるようにしてもよいし、
あらかじめ抽出された主画像データと合成するものとし
て設定されている合成用背景画像データを取得するよう
にしてもよい。

【００２４】画像合成部１３２は、合成用背景画像生成
部１３１によって合成用に生成された合成用背景画像デ
ータと、背景画素除去部１２４によって背景画像データ
が除去された主画像データとの画像合成を行う（ステッ
プ５１０）。そして、画像合成部１３２によって合成さ
れた合成画像データは、画像出力部１４に入力される。
画像出力部１４は、画像合成部１３によって画像合成さ
れた合成画像データをモニタ４に出力する（ステップ５
１１）。一方、操作入力部１７において、画像合成の操
作指示が設定されていない場合（ステップ５０９；
Ｎ）、モニタ４には動作画素抽出部１２３によって動作
画素として抽出された主画像データのみが表示される
（ステップ５１２）。図４と同様に、モニタ４には操作
入力部１７からの操作入力に従って、合成画像データを
表示するだけではなく、背景画素除去部１２４によって
背景画像データが除去された主画像データのみが表示さ
れるようになっている。このような場合、主画像データ
の背景は、動作画素抽出部１２３によって青色データに
変更した状態で表示するようにしてもよいし、操作入力
部１７において背景の色データを選択することができる
ようにしてもよい。

【００２５】図６は、抽出された動作画素データおよび
画像合成された合成画像データの一例を示した図であ
る。図６（ａ）は、モニタ４に動作画素抽出部１２３に
よって抽出された動作画素である主画像データのみを表
示した場合を示した図である。図６（ｂ）は、モニタ４
に合成画像データを表示した場合を示した図である。図
６（ａ）の主画像データ以外の部分は、図４または図５
で説明したように、青色データとして表示してもよい
し、別の背景の色データで表示するようにしてもよい。
また、図６（ｂ）では、動きのある主画像データが動画
に画像合成されている場合が示されている。このように
合成用背景画像データが動画である場合にも、図４また
は図５のような処理手順によって画像合成することがで
きるようになっている。

【００２６】次に、図５で説明した画像合成処理手順に
よる合成画像について説明する。図７は、画像合成処理
手順により抽出される動作画素データおよび画像合成さ
れる合成画像データの一例を示した図である。撮影用カ
メラ３によって撮影される所定画面内の中に例えば、図
７で示したような時計があるとする。まず、画像判断部
１２１が画像データの変化を判断する基準となる背景画
像データまたは判断基準画像データとして、所定画面内
の時計の画像データの座標位置情報を記憶部１６に記憶
させておく。画像判断部１２１のタイムカウンタ１２１
１によって所定時間計測後、画像判断部１２１は、この
記憶部１６に記憶されている時計の座標位置情報と、所
定時間経過時に入力された画像データの時計の座標位置
情報とを比較する。これにより、画像判断部１２１は、
あらかじめ設定された所定の画像データの座標位置情報
のみを比較するので、撮影用カメラ３によって撮影され
る所定画面内の画像データ全ての変化を判断する必要が
なく、判断時間を短縮することができる。

【００２７】画像判断部１２１による比較の結果、画像
判断部１２１が時計の座標位置情報に変化が生じたと判
断した場合（例えば、時計が長針、短針、秒針を有する
アナログ時計であった場合、時間経過とともに時計の長
針、短針、秒針が進むことによる変化が生じたことにな
る）、動作画素認識部１２２、動作画素抽出部１２３は
時計の画像データの座標位置情報を動作画素として認
識、抽出する。操作入力部１７において、画像合成の操
作指示が設定されている場合、背景画素除去部１２４に
よって背景画像データが除去された時計の画像データを
画像合成する。例えば、操作入力部１７において所定時
間ごとにある背景画像データ（動画でも静止画でもよい
とする）に、動作画像として認識された時計の画像デー
タを合成するようにしてもよい。図７（ｂ）に示したよ
うに、トーク番組中に所定時間になると時計の画像デー
タが合成され、視聴者に時間を認識させることができる
ようにして利用することができる。

【００２８】なお、本実施の形態では、画像判断部１２
１による画像データ変化の判断に基づいて、動作画素認
識部１２２が動作画素を認識し、動作画素抽出部１２３
は、動作画素を抽出するというように判断、認識、抽出
の各処理を別々の処理部で行うものとして説明したが、
これに限られるものではなく、動作画素抽出部１２３に
おいて、画像判断部１２１による判断と動作画素認識部
１２２による動作画素の認識を行うようにしてもよい。
また、本実施の形態では一例として、合成用背景画像生
成部１３１は、動作画素抽出部１２３が青色データを背
景画像データとして、主画像データの座標位置情報部分
を削除した画素情報に基づき合成用背景画像データを生
成するものとして説明したが、記憶部１６に記憶されて
いる主画像データに関する座標位置情報に基づいて、合
成用背景画像データのうち当該主画像データ部分を排除
することにより生成するようにしてもよい。

【００２９】本実施の形態の画像合成装置によると、画
像データを各座標位置情報の画素として入力し、この座
標位置情報の画素ごとに判断や所定の処理を実行するの
で、画像入力部によって撮影している所定画面内で動い
ていない画像（背景画像データ）を青などの他の一色の
データとして認識し、動いている画像（主画像データ）
のみを抽出することができる。また、本実施の形態の画
像合成装置によると、画像入力部１１は最初に所定画面
を背景画面として撮影して記憶しておき、この所定画面
内において人物が入った場合、記憶しておいた背景画面
と、人物が入った際に画像入力部１１によって撮影され
た画面を比較し、記憶しておいた背景画面と異なるもの
の画像、すなわち最初からあったもの以外の画像（人物
画像）のみを抽出することができる。さらに、本実施の
形態の画像合成装置によると、画像入力部１１が最初に
読み取った画像を背景画面として記憶しておき、例え
ば、この背景画面内に人物が入った場合、記憶していた
背景画面と、人物が入ったときに画像入力部が読み取っ
た画像とを比較し、記憶されている背景画面に最初から
ある画像部分は、クロマキーによって青色画像とし、後
から入ってきた画像部分（人物画像）のみが浮き出てく
るようにすることもできる。

【００３０】また、本実施の形態の画像合成装置による
と、例えば、画像入力部１１が時計のような常時動いて
いるものを所定時間ごとに新たな画像として読み取った
際、以前に背景画面として記憶していた画像と比較し
て、被写体の時計だけが青色と認識されずに浮き出てく
るようにすることもできる。これにより、動いてないも
の、最初からあったものとして青色と認識された背景画
面部分を切り取った後、浮き出てきた時計画像などの動
きのある画像に切り抜いた部分として他の静止画や動画
を合成することができる。また、動いてないもの、最初
からあったものとして青色と認識された画像部分以外を
抽出し、この抽出した画像を他の静止画や動画に重ね合
わせて合成することもできる。

【００３１】次に、第２の実施形態の画像合成装置につ
いて説明する。図８は、第２の実施形態の画像合成装置
の概略構成を示した図である。なお、第１の実施形態と
同様の構成部分については、同一の番号を付し、説明を
省略する。図８に示されるように本実施の形態に係る画
像合成装置１０１は、撮影用カメラ３と接続されている
画像入力部１１、映像制御ゲートアレイ１５１、背景部
映像データベース（ＨＤＤ（ハード・ディスク・ドライ
ブ））１６１、前面部映像データベース（ＲＡＭ（ラン
ダム・アクセス・メモリ））１６２、モニタ４などの表
示装置に接続されているＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐ
ｈｉｃｓ Ａｒｒａｙ）ボード１４１、制御部コントロ
ールユニット１５、操作入力部１７およびプログラムＲ
ＯＭ（リード・オンリ・メモリ）１８を備えている。こ
のように第２の実施形態の画像合成装置１０１は、画像
処理部１２および画像編集部１３として映像制御ゲート
アレイ１５１を、画像合成する合成用データとして、背
景部映像データベース１６１および前面部映像データー
ベース１６２を備えている点が第１の実施形態と異な
る。

【００３２】背景部映像データベース１６１には、通常
の背景部画像が格納されており、この背景部画像と、撮
影用カメラ３から取り込まれた被写体の主画像データと
がクロマキー合成されるようになっている。前面部映像
データベース１６２には、すでに背景部がブルーになっ
ている画像データが前面部画像として格納されている。
この前面部画像は、背景映像と撮影用カメラ３からの主
画像データとがクロマキー合成された合成画像に、さら
にクロマキー合成されるようになっている。映像制御ゲ
ートアレイ１５１は、撮影用カメラ３によって撮影され
た主画像データと、背景部映像データベース１６１から
の背景部画像をクロマキー合成する。また、背景画像が
クロマキー合成された合成画像にさらに、前面部映像デ
ータベース１６２からの前面部画像をクロマキー合成す
る。

【００３３】次に、第２の実施形態の画像合成装置によ
る画像合成動作について説明する。背景部と撮影用カメ
ラ３による被写体のクロマキー合成については従来の技
術と同様であるので、説明を省略する。また、第２の実
施形態では、被写体である少年１の背景は、一例として
ブルースクリーン２１として説明するが、これに限られ
るものではなく、第１の実施形態で説明したように別の
色のスクリーンまたは図１に示すような背景画像でもよ
いものとする。撮影用カメラ３によってブルースクリー
ン２１の前の被写体である少年１の撮影が開始される
と、画像入力部１１には撮影用カメラ３によって撮影さ
れた所定画面内の主画像データが入力される。映像制御
ゲートアレイ１５１は、この画像入力部１１に入力され
たブルーバックの主画像データと、背景部映像データベ
ース１６１の背景部画像とをクロマキー合成する。次
に、映像制御ゲートアレイ１５１は、少年１の前に投影
される画像データ（映像）である前面部画像の作成を行
う。

【００３４】被写体の前面に投影される前面部画像は、
少年１が撮影された場合の主画像データと同じ背景色を
有している。この前面部画像が背景部画像が合成された
合成画像にさらにクロマキー合成される場合、前面部画
像の背景色部分は透明化されるようになっている。そし
て、映像制御ゲートアレイ１５１は、背景色部分が透明
化された前面部画像が被写体の前面に投影することによ
り、その透明部に主画像データ（被写体である少年１）
および背景部画像（後面）の映像を浮き出すことができ
るようになっている。映像制御ゲートアレイ１５１によ
って背景部画像および前面部画像が合成された主画像デ
ータは、ＶＧＡボード１４１を介してモニタ４に出力表
示される。なお、被写体である少年１の背景がブルース
クリーンでない場合には、映像制御ゲートアレイ１５１
は、少年１の主画像データ以外の画像データ部分を第１
の実施形態で説明した方法で青色として認識するように
なっている。

【００３５】このようにしてクロマキー合成された合成
画像における背景部画像、被写体および前面部画像の各
画像の位置関係は、視聴者の視点において図９に示した
ようになっている。図９は、視聴者の視点から見た合成
画像を示した図である。例えば、カラオケボックスなど
のステージにおいて被写体である少年１が歌っている場
合、少年１の前面にある前面部画像の幕が上がることに
より、動いて歌っている少年１本人のみが抽出され、こ
の少年１の主画像データの背景には背景部画像としてオ
ーケストラが合成されているようにしてもよい。また、
アニメーション技法を利用するようにしてもよい。この
場合には、被写体である少年１を撮影した主画像データ
の最前面に幕となる画像データを出力（投影）してお
き、この最前面に出力されている幕を開けた部分を青色
に設定する。この幕が開くことにより、撮影用カメラ３
による少年１に主画像データおよび最後部となる背景部
画像が幕が開いた部分に出力されるようにすることもで
きる。以上のように、本実施の形態の画像合成装置によ
ると、特定色を透過指定することにより前面部画像の所
定の背景部を透明化し、この透明化した前面部画像をさ
らに背景部画像が合成された合成画像に合成することが
できる。また、本実施の形態の画像合成装置によると、
アニメーション技法を利用することにより、複数の合成
画像を次々とページをめくるように表示することができ
る。

【００３６】

【発明の効果】本発明の画像合成装置によれば、動きの
ある被写体を主画像として抽出する、すなわち動きのな
いもの、最初からその背景としてあったものを背景画像
のブルーとして認識することにより、撮影時にブルーの
背景を用意する必要がなく、背景に関わらず主画像と、
別の背景画像とを画像合成することができ、コストと背
景を用意する手間とを削減することができる。また、本
発明の画像合成装置によれば、背景画像と画像合成され
た主画像データの前面部にさらに別の画像を投影するこ
とができる。

【図面の簡単な説明】

【図１】第１の実施形態の画像合成装置の概略構成を示
した図である。

【図２】画像処理部の概略構成を示したブロック図であ
る。

【図３】画像編集部の概略構成を示したブロック図であ
る。

【図４】画像合成装置によるリアルタイム画像合成の処
理手順を示したフローチャートである。

【図５】所定時間経過ごとに画像データの変化を判断す
る場合の画像合成装置による画像合成の処理手順を示し
たフローチャートである。

【図６】抽出された動作画素データおよび画像合成され
た合成画像データの一例を示した図である。

【図７】画像合成処理手順により抽出される動作画素デ
ータおよび画像合成される合成画像データの一例を示し
た図である。

【図８】第２の実施形態の画像合成装置の概略構成を示
した図である。

【図９】視聴者の視点から見た合成画像を示した図であ
る。

【符号の説明】

１ 少年 ２ 背景 ３ 撮影用カメラ ４ モニタ １１ 画像入力部 １２ 画像処理部 １３ 画像編集部 １４ 画像出力部 １５ 制御部コントロールユニット １６ 記憶部 １７ 操作入力部 １８ プログラムＲＯＭ

フロントページの続き Ｆターム(参考） 5B057 AA20 CA01 CA12 CA16 CB01 CB12 CB16 CE08 CE16 CH01 CH11 CH18 DA06 DA16 DB06 DC25 DC33 5C023 AA16 BA02 BA03 BA04 BA12 CA02 DA02 DA04 EA03 5L096 BA20 CA02 DA01 FA15 GA08 HA03 LA05 LA11

Claims (5)

【特許請求の範囲】
1. 【請求項１】 所定の背景において撮影される撮影画像
   を所定画面領域内の画像として受領する画像受領手段
   と、 前記画像受領手段によって受領される画像の各画素を前
   記所定画面領域における座標位置で表した画素位置情報
   として順次取得する画素位置情報取得手段と、 前記画像受領手段によって受領される画像から前記画素
   位置情報取得手段が順次取得した画素位置情報に対し
   て、同じ座標位置にある画素位置情報同士を比較し、当
   該画素位置情報に変化が生じたか否かを判断する画素位
   置情報判断手段と、 前記画素位置情報判断手段によって変化が生じたと判断
   された画素位置情報に該当する画像部分を前記所定画面
   領域から抽出する画像抽出手段と、 前記画像抽出手段によって抽出された画像と、所定の背
   景画像とを画像合成する画像合成手段と、 前記画像合成手段によって画像合成された合成画像を出
   力する画像出力手段と、を備えたことを特徴とする画像
   合成装置。
2. 【請求項２】 前記所定画面領域の画像のうち、前記画
   像抽出手段によって抽出される画像以外の画素位置情報
   に該当する部分を所定色として識別する画素位置情報識
   別手段をさらに備え、 前記画像合成手段は、前記画素位置情報識別手段によっ
   て所定色として識別された画素位置情報に基づき、前記
   所定の背景画像と前記画像抽出手段によって抽出された
   画像との画像合成を行うことを特徴とする請求項１記載
   の画像合成装置。
3. 【請求項３】 前記画素位置情報取得手段によって最初
   に取得された前記所定画面領域における画素位置情報を
   格納する画素位置情報格納手段をさらに備え、 前記画素位置情報判断手段は、前記画素位置情報格納手
   段に格納されている最初の画素位置情報と比較すること
   により、前記同じ座標位置の画素位置情報の変化を判断
   することを特徴とする請求項１または請求項２記載の画
   像合成装置。
4. 【請求項４】 前記画素位置情報判断手段による前記同
   じ座標位置にある画素位置情報の判断を順次ではなく所
   定時間経過ごとに行うように切り替える切替手段をさら
   に備えたことを特徴とする請求項１、請求項２、請求項
   ３のうちいずれか１に記載の画像合成装置。
5. 【請求項５】 前記画素位置情報識別手段によって識別
   された所定色を背景色として有し、前記画像合成手段に
   よって画像合成された合成画像上に合成する画像を格納
   する前面画像格納手段をさらに備え、 前記画像合成手段は、前記前面画像格納手段に格納され
   ている画像を前記合成画像に合成する際に、前記背景色
   を透明なものとして画像合成を行うことを特徴とする請
   求項１、請求項２、請求項３、請求項４のうちいずれか
   １に記載の画像合成装置。