JP2003338977A - 撮像装置及び画像合成方法 - Google Patents

Abstract

(57)【要約】 【課題】被写体の配置や形状等に制限されず、自然な画
像合成を行なう。 【解決手段】被写体を背景と共に撮影する一方で、上記
背景を被写体なしで撮影してそれぞれ画像データを得る
レンズ光学系12、ＣＣＤ13、サンプルホールド回路16、
Ａ／Ｄ変換器17及びカラープロセス回路18と、得た画像
データを記憶するＤＭＡコントローラ19、ＤＲＡＭイン
タフェース20及びＤＲＡＭ21と、ＤＲＡＭ21に記憶した
被写体と背景の画像データと背景のみの画像データとに
より被写体の画像部分のみを抽出し、抽出した被写体の
画像部分のみをＤＲＡＭ21に記憶した他の画像データに
重畳して合成させる制御部22とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の撮影画像を
部分的に合成して１枚の画像を生成可能な撮像装置及び
画像合成方法に関する。

【０００２】

【従来の技術】従来、同一アングルで２枚の画像を撮影
し、得た２枚の画像中の左右分割点を設定することで、
その分割点を境に１枚の画像の左側ともう１枚の画像の
右側とを合成して新たな１枚分の画像を生成する画像合
成機能を有したデジタルカメラがある。

【０００３】

【発明が解決しようとする課題】しかしながら、上述し
た画像合成機能では、画像中に設定した分割点を境に２
枚の画像の一方の左側と他方の右側を単純に合成するだ
けであり、合成画像の左右の継ぎ目は直線である。

【０００４】そのため、例えば合成によって本体が消え
てしまった被写体の手だけが画像中に残ってしまった
り、あるいは被写体の体の一部が途中から消えてしまう
など、撮影の仕方によってはきわめて不自然な画像が生
成されてしまうという不具合があった。

【０００５】本発明は上記のような実情に鑑みてなされ
たもので、その目的とするところは、被写体の配置や形
状等に制限されず、容易に自然な画像合成を行なうこと
が可能な撮像装置及び画像合成方法を提供することにあ
る。

【０００６】

【課題を解決するための手段】請求項１記載の発明は、
被写体を撮影して画像データを得る撮影手段と、この撮
影手段で得た画像データを記憶する記憶手段と、この記
憶手段に記憶した第１の画像データと第２の画像データ
との比較を行ない上記第１の画像データと上記第２の画
像データとで相違する画像部分のみを抽出する比較抽出
手段と、この比較抽出手段で得た被写体の画像部分のみ
を他の画像データに重畳して合成する画像合成手段とを
具備したことを特徴とする。

【０００７】このような構成とすれば、被写体の配置や
形状等に制限されず、容易に自然な画像合成を行なうこ
とが可能となる。

【０００８】請求項２記載の発明は、上記請求項１記載
の発明において、上記撮影手段は、さらに第３の画像デ
ータを得るための撮影を行ない、上記画像合成手段は、
上記撮像手段で得た第３の画像データを上記他の画像デ
ータとして使用することを特徴とする。

【０００９】このような構成とすれば、上記請求項１記
載の発明の作用に加えて、元の画像データが同一の背景
で撮影したものであるため、画像中の光の当り具合など
合成後の画像もより自然な描写となる。

【００１０】請求項３記載の発明は、上記請求項１記載
の発明において、上記比較抽出手段で得た被写体の画像
部分のみを登録する登録手段をさらに具備し、上記画像
合成手段は、この登録手段に登録した被写体の画像部分
のみを読出して他の画像データに重畳することを特徴と
する。

【００１１】このような構成とすれば、上記請求項１記
載の発明の作用に加えて、被写体の画像部分のみをライ
ブラリ化して登録しておき、これを任意に読出して他の
画像データに重畳して画像合成を実行するため、よりバ
リエーションに富んだ合成画像を作成することができ
る。

【００１２】請求項４記載の発明は、上記請求項１記載
理の発明において、上記撮影手段は、１枚目の撮影で得
た画像データを、撮影のモニタ表示を行なう画面上に重
畳して半透過表示することで２枚目以降の背景の位置を
指示することを特徴とする。

【００１３】このような構成とすれば、上記請求項１記
載の発明の作用に加えて、簡易な表示手法ながら、２枚
目以降の撮影を１枚目の撮影範囲を一致させることで、
より正確な被写体の抽出及び画像合成を実現できる。

【００１４】請求項５記載の発明は、上記請求項１記載
の発明において、上記比較抽出手段は、各画像データ中
の構成画素値の比較により背景が一致する位置を算出す
ることを特徴とする。

【００１５】このような構成とすれば、上記請求項１記
載の発明に作用に加えて、各画像データの背景の位置が
ずれていてもそのずれを演算により算出して補正するこ
とができる。

【００１６】請求項６記載の発明は、被写体を背景と共
に撮影する一方で、上記背景を被写体なしで撮影して第
１及び第２の画像データを得る撮影工程と、この撮影工
程で得た上記第１及び第２の画像データを記憶する記憶
工程と、この記憶工程で記憶した上記第１の画像データ
と上記第２の画像データとを比較し上記第１及び第２の
画像データで異なる画像部分のみを抽出する比較抽出工
程と、この抽出工程で得た被写体の画像部分のみを他の
画像データに重畳して合成する画像合成工程とを有した
ことを特徴とする。

【００１７】このような方法とすれば、被写体の配置や
形状等に制限されず、容易に自然な画像合成を行なわせ
ることが可能となる。

【００１８】

【発明の実施の形態】（第１の実施の形態）以下本発明
をデジタルスチルカメラ（以下「デジタルカメラ」と略
称する）に適用した場合の第１の実施の形態について図
面を参照して説明する。

【００１９】図１はその回路構成を示すもので、１０が
デジタルカメラである。このデジタルカメラ１０は、基
本モードとして記録モードと再生モードとを切換えて設
定可能であり、記録モードでのモニタリング状態におい
ては、モータ１１の駆動により合焦位置が移動されるフ
ォーカスレンズ１２を含むレンズ光学系の撮影光軸後方
に配置された撮像素子であるＣＣＤ１３が、タイミング
発生器（ＴＧ）１４、垂直ドライバ１５によって走査駆
動され、一定周期毎に結像した光像に対応する光電変換
出力を１画面分出力する。

【００２０】この光電変換出力は、アナログ値の信号の
状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後
に、サンプルホールド回路（Ｓ／Ｈ）１６でサンプルホ
ールドされ、Ａ／Ｄ変換器１７でデジタルデータに変換
され、カラープロセス回路１８で画素補間処理及びγ補
正処理を含むカラープロセス処理が行なわれて、デジタ
ル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが生成され、
ＤＭＡ（ＤｉｒｅｃｔＭｅｍｏｒｙ Ａｃｃｅｓｓ）コ
ントローラ１９に出力される。

【００２１】ＤＭＡコントローラ１９は、カラープロセ
ス回路１８の出力する輝度信号Ｙ及び色差信号Ｃｂ，Ｃ
ｒを、同じくカラープロセス回路１８からの複合同期信
号、メモリ書込みイネーブル信号、及びクロック信号を
用いて一度ＤＭＡコントローラ１９内部のバッファに書
込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）２０を介して
バッファメモリとして使用されるＤＲＡＭ２１にＤＭＡ
転送を行なう。

【００２２】なお、本実施の形態では、必要により例え
ばＤＲＡＭ２１に最大４枚分の画像データを書込むこと
ができるものとし、各バッファエリアＡ〜Ｄに１枚分ず
つ順次画像データを振り分けることができるものとす
る。

【００２３】制御部２２は、上記輝度及び色差信号のＤ
ＲＡＭ２１へのＤＭＡ転送終了後に、この輝度及び色差
信号をＤＲＡＭインタフェース２０を介してＤＲＡＭ２
１より読出し、ＶＲＡＭコントローラ２３を介してＶＲ
ＡＭ２４に書込む。

【００２４】デジタルビデオエンコーダ２５は、上記輝
度及び色差信号をＶＲＡＭコントローラ２３を介してＶ
ＲＡＭ２４より定期的に読出し、これらのデータを元に
ビデオ信号を発生して表示部２６に出力する。

【００２５】この表示部２６は、例えばバックライト付
のカラー液晶表示パネルとその駆動回路とで構成され、
デジタルカメラ１０の背面側に配設されて、記録モード
時にはモニタ表示部として機能するもので、デジタルビ
デオエンコーダ２５からのビデオ信号に基づいた表示を
行なうことで、その時点でＶＲＡＭコントローラ２３か
ら取込んでいる画像情報に基づく画像を表示することと
なる。

【００２６】このように表示部２６にその時点での画像
がモニタ画像としてリアルタイムに表示されている状態
で、静止画撮影を行ないたいタイミングでキー入力部２
７を構成する複数のキー中のシャッタキーを操作する
と、トリガ信号を発生する。

【００２７】制御部２２は、このトリガ信号に応じてそ
の時点でＣＣＤ１３から取込んでいる１画面分の輝度及
び色差信号のＤＲＡＭ２１へのＤＭＡ転送の終了後、直
ちにＣＣＤ１３からのＤＲＡＭ２１への経路を停止し、
記録保存の状態に遷移する。

【００２８】この記録保存の状態では、制御部２２がＤ
ＲＡＭ２１に書込まれている１フレーム分の輝度及び色
差信号をＤＲＡＭインタフェース２０を介してＹ，Ｃ
ｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の
基本ブロックと呼称される単位で読出してＪＰＥＧ回路
２８に書込み、このＪＰＥＧ回路２８でＡＤＣＴ（Ａｄ
ａｐｔｉｖｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒ
ａｎｓｆｏｒｍ：適応離散コサイン変換）、エントロピ
符号化方式であるハフマン符号化等の処理によりデータ
圧縮する。

【００２９】そして、得た符号データを１画像のデータ
ファイルとして該ＪＰＥＧ回路２８から読出し、このデ
ジタルカメラ１０の記録媒体として着脱自在に装着され
る、不揮発性メモリであるフラッシュメモリを封入した
メモリカード２９に書込む。

【００３０】そして、１フレーム分の輝度及び色差信号
の圧縮処理及びメモリカード２９への全圧縮データの書
込み終了に伴なって、制御部２２は再度ＣＣＤ１３から
ＤＲＡＭ２１への経路を再び起動する。

【００３１】なお、上記キー入力部２７は、上述したシ
ャッタキーの他に、基本モードである記録（ＲＥＣ）モ
ードと再生（ＰＬＡＹ）モードとを切換える録／再モー
ド切換えキー、各種メニュー項目を表示させる「メニュ
ー」キー、画像や各種モードの選択、メニュー選択項目
の指定等のために上下左右各方向を指示するための十字
キー、この十字キーの中央部に配置され、その時点で選
択されている内容を指示設定する「セット」キー等から
構成され、それらのキー操作に伴なう信号は直接制御部
２２へ送出される。

【００３２】次に上記実施の形態の動作について説明す
る。図２は、記録モード下で「仮想ツーショットモー
ド」を指定した状態での処理内容を示す。当該モードを
指定し、このデジタルカメラ１０のユーザがキー入力部
２７のシャッタキーを操作すると、ＡＥ（自動露光）、
ＡＦ（自動合焦）の各値をロックした状態となり、まず
合成画像の土台となる、被写体Ａと背景とを含んだ第１
の画像の撮影を行なう（ステップＡ０１）。

【００３３】図３（１）は、表示部２６にも表示され
た、この被写体Ａと背景とからなる第１の画像を示すも
のであり、撮影により得られた画像データはバッファメ
モリであるＤＲＡＭ２１のバッファエリアＡに格納保持
される（ステップＡ０２）。

【００３４】次いで、上記ＡＥ，ＡＦの各値をロックし
た状態のまま、２回目のシャッタキーの操作により、被
写体Ｂと背景とを含んだ第２の画像の撮影を行なう（ス
テップＡ０３）。

【００３５】図３（２）は、表示部２６にも表示され
た、この被写体Ｂと背景とからなる第２の画像を示すも
のであり、撮影により得られた画像データはバッファメ
モリであるＤＲＡＭ２１のバッファエリアＢに格納保持
される（ステップＡ０４）。

【００３６】なお、この第２の画像の撮影時において
は、上記ＤＲＡＭ２１のバッファエリアＡに保持してい
る第１の画像の輝度信号の各画素値を１／２に減少して
作成した半透過画像を表示部２６にてその時点で撮像系
で得られるモニタ画像に重畳表示するものとする。

【００３７】したがって、モニタ表示される画像と半透
過表示される第１の画像とが合致するように撮影アング
ルを決定した上でシャッタキーを操作することにより、
簡単な手法ながら正確な位置合せが可能となり、第１の
画像とほぼ同一の背景を含んだ第２の画像が撮影される
こととなる。

【００３８】その後、さらに上記ＡＥ，ＡＦの各値をロ
ックした状態のまま３回目のシャッタキーの操作によ
り、被写体Ａ，Ｂを共に含まない背景のみの第３の画像
の撮影を行なう（ステップＡ０５）。

【００３９】図３（３）は、表示部２６にも表示され
た、この背景のみからなる第３の画像を示すものであ
り、撮影により得られた画像データはバッファメモリで
あるＤＲＡＭ２１のバッファエリアＣに格納保持される
（ステップＡ０６）。

【００４０】なお、この第３の画像の撮影時において
も、上記第２の画像の撮影時と同様にして上記ＤＲＡＭ
２１のバッファエリアＡに保持している第１の画像の輝
度信号の各画素値を１／２に減少して作成した半透過画
像を表示部２６にてその時点で撮像系で得られるモニタ
画像に重畳表示するものとする。

【００４１】以上で第１乃至第３の画像の撮影を終える
と、ＤＲＡＭ２１のバッファエリアＢに保持した第２の
画像データと同バッファエリアＣに保持した第３の画像
データの同一構成画素位置の画素値を比較して、内容が
同じか、あるいはある閾値より小さく、ほぼ等しい範囲
にあるか否かを判断する（ステップＡ０７）。

【００４２】ここで上記閾値を越えて大きく異なってい
ると判断した場合にのみ、バッファエリアＢに保持した
第２の画像データの当該画素値を同バッファエリアＡに
保持している第１の画像データ中の当該画素位置に上書
きする（ステップＡ０８）。

【００４３】同様の処理をＤＲＡＭ２１のバッファエリ
アＢに保持した第２の画像データと同バッファエリアＣ
に保持した第３の画像データのすべての画素位置に関し
て終了したと判断するまで（ステップＡ０９）、繰返し
実行する。

【００４４】しかして、すべての画素位置での比較とそ
の比較結果に基づく上書き処理が終了した時点で、図４
（１）に示すように第２の画像データ中に含まれている
被写体Ｂの画像部分のみが、それぞれ第３の画像データ
の画素値とは異なると判断されることですべて抽出さ
れ、図４（２）に示すように被写体Ａと背景とを含んだ
第１の画像データに対して上書きされることとなるもの
で、その結果、被写体Ｂが被写体Ａと共に背景の画像上
に並んで写った、所謂「ツーショット」の画像が仮想的
に得られることとなる。

【００４５】上書き処理を終了すると、こうして得られ
た画像データを記録するべく、ＤＲＡＭ２１のバッファ
エリアＡに保持される画像データがＪＰＥＧ回路２８に
よりデータ圧縮された後にメモリカード２９に記録保存
されて（ステップＡ１０）、以上で「仮想ツーショット
モード」の一連の処理を終了する。

【００４６】上記のような動作にあっては、被写体の画
像中における配置位置や形状等に制限されることなく、
きわめて容易に自然な画像合成を行なうことが可能とな
る。

【００４７】また、特に露光や合焦条件をロックした状
態下での一連の連続した撮影動作により、複数の被写体
を個々に同一の背景と共に撮影し、抽出した被写体の部
分画像を他の画像データに合成するものとした。

【００４８】そのため、画像中のピントや光の当り具合
などが同一条件で得られるので、合成後の画像もより自
然な描写となる。

【００４９】さらに、第１の画像データを用いた半透過
画像を表示部２６でのモニタ画像に重畳して表示するも
のとしたため、簡易な表示手法ながら、２枚目以降の撮
影範囲を１枚目の撮影範囲を一致させることで、より正
確な被写体の抽出及び画像合成を実現でき、さらには第
２の画像で撮影する被写体Ｂの画像中の位置を第１の画
像中の被写体Ａとより自然な位置関係となるように調整
指示することも可能となる。

【００５０】なお、上記実施の形態では、２つの被写体
Ａ，Ｂを個々に同一の背景にて撮影した後に、その背景
のみを撮影するものとしたが、それらの撮影順序は予め
設定しておくことで任意に可変できる。

【００５１】また、ＤＲＡＭ２１のバッファエリアＢと
バッファエリアＣとの保持内容の一致比較により得た被
写体Ｂの部分的な画像データを抽出して、画素毎にバッ
ファエリアＡに保持している被写体Ａと背景を含んだ画
像データに対して直接上書きするものとして説明した
が、上記図４（１）でも示した被写体Ｂの部分的な画像
データを一旦ＤＲＡＭ２１のバッファエリアＤに保持さ
せた上で、あらためて同バッファエリアＡに保持した画
像データに上書きするものとしてもよい。

【００５２】（第２の実施の形態）以下本発明をデジタ
ルカメラに適用した場合の第２の実施の形態について図
面を参照して説明する。

【００５３】なお、その回路構成については上記図１で
示した内容と基本的に同様であるので、同一部分には同
一符号を付してその図示及び説明は省略するものとす
る。

【００５４】また、メモリカード２９には、撮影により
得た画像データのみならず、ライブラリ登録エリアと称
する、画像合成用に生成した画像データをライブラリと
して登録するためのエリアを設けるものとする。

【００５５】次に上記実施の形態の動作について説明す
る。まず、図５により記録モード下で「ライブラリ登録
モード」を指定した状態での処理内容を説明する。

【００５６】この「ライブラリ登録モード」は、後に他
の画像データに合成する被写体をライブラリとして予め
登録しておくためのモードであり、その処理当初に当該
モードを指定し、このデジタルカメラ１０のユーザがキ
ー入力部２７のシャッタキーを操作すると、ＡＥ（自動
露光）、ＡＦ（自動合焦）の各値をロックした状態とな
り、まず合成する側の画像となる、被写体Ａと第１の背
景とを含んだ第１の画像の撮影を行なう（ステップＢ０
１）。

【００５７】図７（１）は、表示部２６にも表示され
る、この被写体Ａと第１の背景とからなる第１の画像を
示すものであり、撮影により得られた画像データはバッ
ファメモリであるＤＲＡＭ２１のバッファエリアＡに格
納保持される（ステップＢ０２）。

【００５８】次いで、上記ＡＥ，ＡＦの各値をロックし
た状態のまま、２回目のシャッタキーの操作により、第
１の背景のみによる第２の画像の撮影を行なう（ステッ
プＢ０３）。

【００５９】図７（２）は、表示部２６にも表示され
た、この第１の背景のみからなる第２の画像を示すもの
であり、撮影により得られた画像データはバッファメモ
リであるＤＲＡＭ２１のバッファエリアＢに格納保持さ
れる（ステップＢ０４）。

【００６０】なお、この第２の画像の撮影時において
は、上記ＤＲＡＭ２１のバッファエリアＡに保持してい
る第１の画像の輝度信号の各画素値を１／２に減少して
作成した半透過画像を表示部２６にてその時点で撮像系
で得られるモニタ画像に重畳表示するものとする。

【００６１】したがって、モニタ表示される画像と半透
過表示される第１の画像とが合致するように撮影アング
ルを決定した上でシャッタキーを操作することにより、
簡単な手法ながら正確な位置合せが可能となり、第１の
画像とほぼ同一の撮影範囲の第２の画像が撮影されるこ
ととなる。

【００６２】こうして第１及び第２の画像の撮影を終え
ると、ＤＲＡＭ２１のバッファエリアＡに保持した第１
の画像データと同バッファエリアＢに保持した第２の画
像データの同一構成画素位置の画素値を比較して、内容
が同じであるか否か、あるいはある閾値より小さく、ほ
ぼ等しい範囲にあるか否かを判断する（ステップＢ０
５）。

【００６３】ここで、内容が同じか、ほぼ等しい範囲に
あると判断した場合には、その画素値に代えて「透明」
を意味する画素値コード「０ｘＦＦＦＦ」をＤＲＡＭ２
１のバッファエリアＣのその画素位置に対応させて書込
む（ステップＢ０７）。

【００６４】一方、２つの画素値が上記閾値を越えて大
きく異なると判断した場合には、バッファエリアＡに保
持されている側の画素値を上記被写体Ａを構成するもの
であるものとして読出し、同バッファエリアＣのその画
素位置に対応させて書込む（ステップＢ０６）。

【００６５】上記ステップＢ０６またはＢ０７の処理
後、すべての画素位置に関して同様の処理を実行したか
否かを判断し（ステップＢ０８）、まだ処理していない
画素位置があると判断すると上記ステップＢ０５からの
処理に戻る。

【００６６】こうして同様の処理を繰返し実行し、最終
的にステップＢ０８でＤＲＡＭ２１のバッファエリアＡ
に保持した第１の画像データと同バッファエリアＢに保
持した第２の画像データのすべての画素位置に関して終
了したと判断すると、その時点で図７（３）に示すよう
に第１の画像データ中に含まれている被写体Ａの画像部
分のみが抽出され、その他の画素位置がすべて透明の画
素値に書換えられた画像データがＤＲＡＭ２１のバッフ
ァエリアＣに生成されているので、これを後の画像合成
用の画像データとして登録するべくＪＰＥＧ回路２８に
読出してデータ圧縮した後にメモリカード２９のライブ
ラリ登録エリアに記録保存し（ステップＢ０９）、以上
で「ライブラリ登録モード」の一連の処理を終了する。

【００６７】次に、上記「ライブラリ登録モード」から
後の別の機会に実行される「画像合成モード」での内容
について図６により説明する。

【００６８】そのモード当初には、メモリカード２９に
記録されている画像データ中から任意のものをベース画
像として選択して読出し、これを展開してＤＲＡＭ２１
のバッファエリアＤに保持する（ステップＣ０１）。

【００６９】図８（１）は、表示部２６で表示出力され
る、選択されたベース画像を例示するものであり、ここ
では被写体Ｂと第２の背景とからなる第２の画像を選択
したものとする。

【００７０】次いで、このベース画像中にライブラリ画
像を合成すべき（中央の）位置を、例えばキー入力部２
７の十字キーを操作して表示部２６画面上のカーソル位
置を移動させることで選択し、該十字キーの中央の「セ
ット」キーを操作することで決定する（ステップＣ０
２）。

【００７１】その後、メモリカード２９内のライブラリ
登録エリアに登録されているライブラリ画像の中から任
意のものを選択すると（ステップＣ０３）、選択したラ
イブラリ画像を展開し、上記ステップＣ０２での位置指
定に従って座標位置を移動操作した状態でＤＲＡＭ２１
の例えばバッファエリアＣに保持する。

【００７２】こうしてベース画像とライブラリ画像の選
択読出しとＤＲＡＭ２１のバッファエリアＤ，Ｃへの保
持が終えた状態で、あらためてＤＲＡＭ２１のバッファ
エリアＣに保持したライブラリ画像データのある画素位
置の画素値が「透明」を意味する画素値コード「０ｘＦ
ＦＦＦ」であるか否かを判断する（ステップＣ０４）。

【００７３】ここで、「透明」を意味する画素値コード
「０ｘＦＦＦＦ」ではないと判断した場合にのみ、その
バッファエリアＣに保持されているライブラリ画像の側
の画素値を読出し、同バッファエリアＤのベース画像上
の同一画素位置に上書き記憶する（ステップＣ０５）。

【００７４】こうして必要によりライブラリ画像の画素
値をベース画像に上書き記憶した後、すべての画素位置
に関して同様の処理を実行したか否かを判断し（ステッ
プＣ０６）、まだ処理していない画素位置があると判断
すると上記ステップＣ０４からの処理に戻る。

【００７５】こうして同様の処理を繰返し実行し、最終
的にステップＣ０６でＤＲＡＭ２１のバッファエリアＣ
に保持したライブラリ画像データの全画素の画素値に対
する判断と必要に応じた同バッファエリアＤに保持した
ベース画像データへの上書き処理とを終了したと判断す
ると、その時点で図８（２）に示すように被写体Ｂと第
２の背景とよりなるベース画像に被写体Ａのライブラリ
画像データが合成された画像データがＤＲＡＭ２１のバ
ッファエリアＤに生成されているので、これを画像合成
した画像データとしてＪＰＥＧ回路２８に読出してデー
タ圧縮し、その後にメモリカード２９に記録保存して
（ステップＣ０７）、以上で「画像合成モード」の一連
の処理を終了する。

【００７６】上記のような動作にあっては、被写体の画
像中における配置位置や形状等に制限されることなく、
きわめて容易に自然な画像合成を行なうことが可能とな
る。

【００７７】また、特にメモリカード２９のライブラリ
登録エリアに予め抽出して得た被写体の画像部分のみを
ライブラリ化して登録しておき、これを任意に読出して
他の画像データに重畳して画像合成を実行するようにし
た。

【００７８】そのため、その場で合成するライブラリ画
像と合成されるベース画像とを定めて画像合成を行なう
必要がなく、後日の任意のタイミングで自由にベース画
像を選択して画像合成を実行できるので、よりバリエー
ションに富んだ合成画像を作成することができる。

【００７９】なお、上記第１及び第２の実施の形態で
は、いずれも被写体の画像部分のみを抽出するための撮
影時に、始めに撮影した画像の半透過画像をモニタ画面
上に合せて表示させることで、２枚目以降の画像の撮影
範囲がずれないようにするものとして説明した。

【００８０】しかしながら、本発明はこれに限ることな
く、例えば図９に示すように共に既に撮影した画像デー
タの一方（Ａ画像）をＸ座標方向及びＹ座標方向にそれ
ぞれ種々移動させて、他方の画像（Ｂ画像）との間で対
応する位置の画素値同士の相関度を算出し、最も相関度
が高い（＝対応画素毎の画素値の差の総和が最も小さ
い）状態を算出してその状態が背景の位置が一致してい
るものとして、画像の撮影範囲の位置補正を行なうもの
としてもよい。

【００８１】その場合、各画像データの背景の位置がず
れていてもそのずれを演算により容易に算出して補正で
きるため、撮影位置の厳密な位置合せを行なわずとも画
像合成を行なうことができ、より気軽に合成画像を得る
ことができる。

【００８２】なお、上記第１及び第２の実施の形態は、
いずれも本発明をデジタルスチルカメラに適用した場合
について説明したものであるが、本発明はこれに限ら
ず、静止画像も撮影可能なデジタルビデオカメラ、静止
画像の撮影機能を有した携帯電話機やＰＤＡ（Ｐｅｒｓ
ｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：携帯
情報端末）等にも適用可能となる。

【００８３】その他、本発明は上記実施の形態に限ら
ず、その要旨を逸脱しない範囲内で種々変形して実施す
ることが可能であるものとする。

【００８４】さらに、上記実施の形態には種々の段階の
発明が含まれており、開示される複数の構成要件におけ
る適宜な組合わせにより種々の発明が抽出され得る。例
えば、実施の形態に示される全構成要件からいくつかの
構成要件が削除されても、発明が解決しようとする課題
の欄で述べた課題の少なくとも１つが解決でき、発明の
効果の欄で述べられている効果の少なくとも１つが得ら
れる場合には、この構成要件が削除された構成が発明と
して抽出され得る。

【００８５】

【発明の効果】請求項１記載の発明によれば、被写体の
配置や形状等に制限されず、容易に自然な画像合成を行
なうことが可能となる。

【００８６】請求項２記載の発明によれば、上記請求項
１記載の発明の効果に加えて、元の画像データが同一の
背景で撮影したものであるため、画像中の光の当り具合
など合成後の画像もより自然な描写となる。

【００８７】請求項３記載の発明によれば、上記請求項
１記載の発明の効果に加えて、被写体の画像部分のみを
ライブラリ化して登録しておき、これを任意に読出して
他の画像データに重畳して画像合成を実行するため、よ
りバリエーションに富んだ合成画像を作成することがで
きる。

【００８８】請求項４記載の発明によれば、上記請求項
１記載の発明の効果に加えて、簡易な表示手法ながら、
２枚目以降の撮影を１枚目の撮影範囲を一致させること
で、より正確な被写体の抽出及び画像合成を実現でき
る。

【００８９】請求項５記載の発明によれば、上記請求項
１記載の発明に効果に加えて、各画像データの背景の位
置がずれていてもそのずれを演算により算出して補正す
ることができる。

【００９０】請求項６記載の発明によれば、被写体の配
置や形状等に制限されず、容易に自然な画像合成を行な
わせることが可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係るデジタルカメ
ラの回路構成を示すブロック図。

【図２】同実施の形態に係る「仮想ツーショットモー
ド」での処理内容を示すフローチャート。

【図３】同実施の形態に係る画像撮影のプロセスを例示
する図。

【図４】同実施の形態に係る抽出画像及びこの抽出画像
に基づいた合成画像を得るプロセスを例示する図。

【図５】本発明の第２の実施の形態に係る「ライブラリ
登録モード」での処理内容を示すフローチャート。

【図６】同実施の形態に係る画像合成時の処理内容を示
すフローチャート。

【図７】同実施の形態に係るライブラリ画像を得るプロ
セスを例示する図。

【図８】同実施の形態に係る画像合成のプロセスを例示
する図。

【図９】本発明に係る画像の撮影位置のずれを補正する
概念を示す図。

【符号の説明】

１０…デジタルカメラ １１…モータ １２…フォーカスレンズ １３…ＣＣＤ １４…タイミング発生器（ＴＧ） １５…垂直ドライバ １６…サンプルホールド回路（Ｓ／Ｈ） １７…Ａ／Ｄ変換器 １８…カラープロセス回路 １９…ＤＭＡコントローラ ２０…ＤＲＡＭインタフェース（Ｉ／Ｆ） ２１…ＤＲＡＭ ２２…制御部 ２３…ＶＲＡＭコントローラ ２４…ＶＲＡＭ ２５…デジタルビデオエンコーダ ２６…表示部 ２７…キー入力部 ２８…ＪＰＥＧ回路 ２９…メモリカード

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/232 Ｈ０４Ｎ 5/232 Ｚ 5/265 5/265 // Ｈ０４Ｎ 101:00 101:00 Ｆターム(参考） 5B050 AA09 BA06 BA10 BA15 CA07 EA06 EA13 EA19 FA02 FA19 5B057 BA02 BA24 CA12 CA16 CB12 CB16 CE08 DA07 DA08 DA16 DB02 DC32 DC36 5C022 AA13 AB68 AC01 5C023 AA06 AA11 AA16 AA31 AA37 BA11 CA02 DA04 EA03 EA05 5C076 AA02 AA12 AA13 BA06

Claims (6)

【特許請求の範囲】
1. 【請求項１】被写体を撮影して画像データを得る撮影手
   段と、 この撮影手段で得た画像データを記憶する記憶手段と、 この記憶手段に記憶した第１の画像データと第２の画像
   データとの比較を行ない上記第１の画像データと上記第
   ２の画像データとで相違する画像部分のみを抽出する比
   較抽出手段と、 この比較抽出手段で得た被写体の画像部分のみを他の画
   像データに重畳して合成する画像合成手段とを具備した
   ことを特徴とする撮像装置。
2. 【請求項２】上記撮影手段は、さらに第３の画像データ
   を得るための撮影を行ない、 上記画像合成手段は、上記撮像手段で得た第３の画像デ
   ータを上記他の画像データとして使用することを特徴と
   する請求項１記載の撮像装置。
3. 【請求項３】上記比較抽出手段で得た被写体の画像部分
   のみを登録する登録手段をさらに具備し、 上記画像合成手段は、この登録手段に登録した被写体の
   画像部分のみを読出して他の画像データに重畳すること
   を特徴とする請求項１記載の撮像装置。
4. 【請求項４】上記撮影手段は、１枚目の撮影で得た画像
   データを、撮影のモニタ表示を行なう画面上に重畳して
   半透過表示することで２枚目以降の背景の位置を指示す
   ることを特徴とする請求項１記載の撮像装置。
5. 【請求項５】上記比較抽出手段は、各画像データ中の構
   成画素値の比較により背景が一致する位置を算出するこ
   とを特徴とする請求項１記載の撮像装置。
6. 【請求項６】被写体を背景と共に撮影する一方で、上記
   背景を被写体なしで撮影して第１及び第２の画像データ
   を得る撮影工程と、 この撮影工程で得た上記第１及び第２の画像データを記
   憶する記憶工程と、 この記憶工程で記憶した上記第１の画像データと上記第
   ２の画像データとを比較し上記第１及び第２の画像デー
   タで異なる画像部分のみを抽出する比較抽出工程と、 この抽出工程で得た被写体の画像部分のみを他の画像デ
   ータに重畳して合成する画像合成工程とを有したことを
   特徴とする画像合成方法。