JP2013081136A - 画像処理装置および制御プログラム - Google Patents

Abstract

【課題】多重露光撮影において、被写体の移動速度が遅い場合、あるいは撮影間隔が短い場合に、被写体同士が重なり合って煩雑な絵柄となり、被写体の輪郭も不明確となることがあった。この場合、観察者は、主要被写体を認識しづらく、視線が定まらずに不愉快な思いをすることもあった。
【解決手段】上記課題を解決するために、画像処理装置は、画像データを複数枚取得する取得部と、複数枚の画像データから、予め定められた条件に基づいて自動的に１枚の選択画像データを選択する選択部と、選択画像データと他の画像データの透明度を異ならせて１枚の合成画像データを生成する生成部とを備える。
【選択図】図５

Description

本発明は、画像処理装置および制御プログラムに関する。

被写体に対して複数回の撮影を行い、取得された複数枚の撮影画像データを重ね合せて一枚の合成画像データを生成する多重露光撮影が可能な撮像装置が知られている。移動する被写体が存在する場合、合成画像データの観察者は、その軌跡を視認できる。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００７−３１１８６９号公報

しかし、被写体の移動速度が遅い場合、あるいは撮影間隔が短い場合に、被写体同士が重なり合って煩雑な絵柄となり、被写体の輪郭も不明確となることがあった。この場合、観察者は、主要被写体を認識しづらく、視線が定まらずに不愉快な思いをすることもあった。

上記課題を解決するために、本発明の第１の態様における画像処理装置は、画像データを複数枚取得する取得部と、複数枚の画像データから、予め定められた条件に基づいて自動的に１枚の選択画像データを選択する選択部と、選択画像データと他の画像データの透明度を異ならせて１枚の合成画像データを生成する生成部とを備える。

上記課題を解決するために、本発明の第２の態様における制御プログラムは、画像データを複数枚取得する取得ステップと、複数枚の画像データから、予め定められた条件に基づいて自動的に１枚の選択画像データを選択する選択ステップと、選択画像データと他の画像データの透明度を異ならせて１枚の合成画像データを生成する生成ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係るカメラのシステム構成図である。 本実施形態に係るカメラの背面図である。 被写体の連続した動きを説明する図である。 連続撮影された各画像データと半透過処理を説明する図である。 合成画像データの評価を説明する図である。 連続撮影により画像データを取得する処理を説明するフロー図である。 合成画像データ生成の処理を説明するフロー図である。 変形例における、連続撮影された各画像データと半透過処理を説明する図である。 変形例における、合成画像の評価を説明する図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係るカメラのシステム構成図である。カメラ１０は、システム制御部１１を備え、カメラ１０を構成する各要素を直接的または間接的に制御する。システム制御部１１は、システムメモリ１２と通信する。システムメモリ１２は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ（登録商標）等により構成される。システムメモリ１２は、カメラ１０の動作時に必要な定数、変数、設定値、プログラム等を、カメラ１０の非動作時にも失われないように記録している。

カメラ１０は、光学系２０を備える。光学系２０は、主にズームレンズ、フォーカスレンズ、手振れ補正レンズを含むレンズ群２１、および、レンズシャッタ２２により構成される。被写体像は光軸に沿って光学系２０に入射し、撮像素子３１の結像面に結像する。

撮像素子３１は、光学系２０を透過して入射する被写体像である光学像を光電変換する素子であり、例えば、ＣＣＤセンサ、ＣＭＯＳセンサが用いられる。撮像素子３１で光電変換された被写体像は、Ａ／Ｄ変換器３２でアナログ信号からデジタル信号に変換される。

デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器３２によりデジタル信号に変換された画像データは、一旦内部メモリ３３に記憶される。内部メモリ３３は、高速で読み書きのできるランダムアクセスメモリであり、例えばＤＲＡＭ、ＳＲＡＭなどが用いられる。内部メモリ３３は、連写撮影、動画撮影において高速に連続して画像データが生成される場合に、画像処理の順番を待つバッファメモリとしての役割を担う。

また、画像処理部３４が行う画像処理、圧縮処理において、ワークメモリとしての役割も担うと共に、目的に即して加工処理された画像データを一時的に保管する役割も担う。更に、システムメモリ１２に記録されている定数、変数、設定値、プログラム等が適宜展開されて、カメラ１０の制御に利用される。したがって、内部メモリ３３は、これらの役割を担うに相当する十分なメモリ容量を備える。システム制御部１１は、メモリ制御部としての役割を担い、いかなる作業にどれくらいのメモリ容量を内部メモリ３３に割り当てるかを制御する。

画像処理部３４は、設定されている撮影モード、ユーザからの指示に則して、画像データを特定の画像フォーマットに従った画像ファイルに変換する。例えば、静止画像としてＪＰＥＧファイルを生成する場合、色変換処理、ガンマ処理、ホワイトバランス処理等の画像処理を行った後に適応離散コサイン変換等を施して圧縮処理を行う。また、動画像としてＭＰＥＧファイルを生成する場合、所定の画素数に縮小されて生成された連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化を施して圧縮処理を行う。

画像処理部３４によって処理された静止画像ファイル、動画像ファイルは、内部メモリ３３から記録媒体ＩＦ３８を介して、記録媒体５０に記録される。記録媒体５０は、フラッシュメモリ等により構成される、カメラ１０に対して着脱可能な不揮発性メモリである。ただし、記録媒体５０は、着脱式に限らず、カメラ１０に内蔵される例えばＳＳＤなどの記録媒体であっても良い。このとき、記録媒体５０に記録された静止画像ファイル、動画像ファイルは、有線によるＵＳＢ、無線によるＬＡＮ等により外部へ出力される。

画像処理部３４は、後述する顔領域の評価、半透過処理、合成処理、クロップ処理、マッチング処理等の、画像処理全般に関わる処理を実行する。また、画像処理部３４は、記録用に処理する画像データに並行して、あるいは先行して、表示用画像データを生成する。通常の表示用画像データは、撮像素子から送られてくる画像データをコピーして間引き処理された、画素数の少ない画像データである。

表示部３７は、例えばＬＣＤパネルにより構成される液晶ディスプレイユニットである。表示部３７は、表示制御部３６が出力するＲＧＢ信号および輝度調整信号を受け取り、表示用画像データをユーザに視認されるように表示する。

記録の有無に関わらず、画像処理部３４が撮像素子３１の出力に従って逐次表示用画像データを生成して表示部３７へ出力すれば、スルー画としてのライブビュー表示を実現することができる。したがって、表示部３７は、静止画および動画撮影後の再生表示、撮影前および動画撮影中のライブビュー表示を実現することができる。

また、表示制御部３６は、表示する画像データに付随する情報、および、システムメモリ１２に記録されたメニュー画面等も、表示部３７に単独で、あるいは表示画像に重畳して表示させることもできる。

顔認識部３５は、画像処理部３４が生成した画像データに対して、顔認識処理を実行する。例えば、ライブビュー表示に用いられる表示用画像データを画像処理部３４から受け取り、被写体として写る人物の顔領域を認識して、その結果をシステム制御部１１へ返す。システム制御部１１は、認識された顔領域に対して焦点調節を実行するよう、レンズ制御部４１を駆動する。また、顔認識部３５は、表示用画像データに対する顔認識処理だけでなく、すでに記録用画像ファイルとして記録された画像データに対しても顔認識処理を行うことができる。

顔認識部３５による顔認識処理は、公知の顔認識技術に拠るが、顔領域を抽出する認識レベルを変更できるように構成されている。例えば、目、鼻、ほお骨、あご等の特徴的なパーツの形状を抽出して、標準的なパターンと比較することにより顔領域を認識する場合、抽出した形状と標準パターンとの許容誤差量を変化させることにより、顔領域を抽出する認識レベルを変更できる。あるいは、特徴的なパーツの形状を抽出する画像処理において、エッジ強調、補間処理等を施すが、元画像に対してどれくらいの前処理を許容するかによっても認識レベルを変更できる。例えば、元画像に対する前処理を抑制すれば、パーツの形状を抽出できなくなるので、結果的に顔領域を抽出できなくなる。すなわち、認識レベルとしては、低くなる。このように、顔認識部３５は、システム制御部１１からの設定により、認識レベルの設定を変更し得る。

カメラ１０は、ユーザからの操作を受け付ける操作部材３９を複数備えているが、システム制御部１１は、これら操作部材３９が操作されたことを検知し、操作に応じた動作を実行する。また、カメラ１０は操作部材３９の類としてレリーズスイッチ４０を備える。ユーザは、レリーズスイッチ４０を操作することにより、システム制御部１１に撮影準備動作および撮影動作を実行させる。

ズームレンズ、フォーカスレンズ、手振れ補正レンズはレンズ制御部４１により制御されて、被写体像の画角を変更し、被写体像の特定領域を撮像素子３１の受光面上で合焦させ、手ぶれを打ち消して撮像素子３１の受光面上で安定した結像状態を維持する。レンズシャッタ２２は、露光制御部４２により制御されて、設定された絞り値およびシャッタ速度を実現する。絞り値、シャッタ速度およびＩＳＯ感度を含む露出値は、予備取得された画像データの輝度分布と予め設定されたプログラム線図により、システム制御部１１により算出される。

図２は、本実施形態に係るカメラの背面図である。カメラ１０の背面には、カメラ１０の背面には、表示部３７の他に、操作部材３９としての、ズームを指示するシーソースイッチ５１、メニュー項目を選択する十字キー５２、選択した項目を確定させる確定ボタン５３、モードを切替えるモード切替えボタン５４、表示部３７における表示のＯＮ／ＯＦＦを切替えるディスプレイボタン５５、メニュー項目を表示させるメニューボタン５６、カメラ１０の電源ＯＮ／ＯＦＦを切替える電源ボタン５７が配設されている。

シーソースイッチ５１は、ズーム指示の他に、表示された画像の拡大、縮小の指示にも利用される。また、十字キー５２は、拡大された画像表示に対して、上下左右の表示移動にも利用される。これにより、ユーザは、表示部３７が比較的小さなパネルであっても、生成された画像データを詳細に確認できる。また、メニューボタン５６の操作により、顔認識部３５の認識レベル変更設定が呼び出された場合には、続いて行われる十字キー５２と確定ボタンの操作により、変更した設定が確定される。ユーザは、モード切替えボタン５４を操作することにより、撮影モードと再生モードを切り替えることができる。さらに、撮影モードとして、一回の撮影動作に対して一枚の撮影画像データを記録する通常の静止画撮影モード、動画像データを記録する動画撮影モード、および、複数回の撮影動作に対して合成処理された一枚の撮影画像を記録する多重露光撮影モードを切り替えることができる。

なお、図において表示部３７には、被写体像を表示するライブビュー表示の様子が示されている。特に、ユーザによってレリーズスイッチ４０が操作され、顔認識部３５によって認識された顔領域に対して矩形枠がスーパーインポーズされた様子を示す。

カメラ１０の多重露光撮影モードについて説明する。図３は、被写体の連続した動きを説明する図である。ここでは、被写体である人物１００が徐々に位置を変えながら反対方向を向くまでの動作を、カメラ１０で撮影する場合を想定する。図示するように、人物１００は、時刻ｔ＝ｔ_１からｔ＝ｔ_７へ経過するに従って、それぞれ約３０度の角度で頭部を回転させている。カメラ１０は、人物１００の頭部を時刻ｔ＝ｔ_ｋ（ｋは１から７の整数）において撮影する。ただし、この時のカメラ１０の画角は、時刻ｔ＝ｔ_１からｔ＝ｔ_７までの全期間におけるそれぞれの頭部が包含される固定画角である。

図示するように、時刻ｔ＝ｔ４において、人物１００の顔がカメラ１０に対して、ほぼ正対する。なおここでは、いずれのタイミングにおいても、カメラ１０の顔認識部３５は人物１００の顔領域を認識でき、システム制御部１１は、認識される顔領域に対して焦点が合うように、レンズ制御部４１にフォーカスレンズを駆動させる。

図４は、連続撮影された各画像データと半透過処理を説明する図である。図において左列に並ぶ画像データは、カメラ１０が時刻ｔ＝ｔ_ｋにおいて撮影したオリジナルの撮影画像データである。各画像データは、上から順にｔ＝ｔ_１において撮影された撮影画像データＩｍｇ１_ｏ、ｔ＝ｔ_２において撮影された撮影画像データＩｍｇ２_ｏ…、ｔ＝ｔ_７において撮影された撮影画像データＩｍｇ７_ｏである。オリジナル撮影画像データは、通常の静止画撮影で得られる記録用の撮影画像データと同等である。したがって、それぞれのオリジナル撮影画像データは、上述のように、互いに独立して画像処理部３４で静止画像データとして生成される。具体的な処理フローについては後述する。

また、図は、各オリジナル撮影画像データに対して、顔認識部３５が認識処理を実行して人物１００の顔領域を定義した様子を矩形枠で示している。画像処理部３４は、この矩形枠で囲まれたそれぞれの顔領域を互いに比較して、代表画像としてふさわしいオリジナル画像データを選択する。ここでは、顔認識部３５の認識処理を利用して、人物１００の顔がカメラ１０に対して正対する撮影画像データＩｍｇ４_ｏを選択画像データとして選択する。

なお、選択画像データとして選択する条件は、人物１００の顔がカメラ１０に正対していること以外にも、様々に設定し得る。例えば、顔認識部３５が、瞬き認識機能を有する場合であれば、瞬きしていないことを条件とすることができる。笑顔認識機能を有する場合であれば、笑顔であることを条件とすることができる。被写体として複数の人物が存在する場合には、より多人数が瞬きしていないこと、笑顔であることを条件としても良い。

さらには、顔認識部３５の認識処理を利用しない場合であっても良い。例えば、単純に最初に撮影した画像データを選択画像データとすることもできるし、ＡＦ情報を利用して、人物１００がカメラ１０に最も近づいた時の画像データを選択画像データとすることもできる。このように、システム制御部１１は、予め定められた条件に従って、複数のオリジナル撮影画像データから１枚の選択画像データを自動的に選択する。なお、ユーザが、表示部３７に表示されたオリジナル画像データを視認し、操作部材３９を操作して任意の一枚を選択することにより、選択画像データを決定しても良い。

次に、これらのオリジナル画像データを重ね合せて一枚の合成画像データを生成する中間処理として、それぞれのオリジナル画像データに対応する半透過画像データを生成する。本実施形態において、最終的に生成したい合成画像データは、はっきりと視認できる選択画像データの被写体像に対して、わずかに視認できる程度の他の画像データの被写体像が重ね合わされた画像データである。したがって、選択画像データに対しては低い透明度を適用して半透過画像データを生成し、他のオリジナル画像データに対しては高い透明度を適用して半透過画像データを生成する。

画像処理部３４は、図示するように、選択画像データである撮影画像データＩｍｇ４_ｏに対して、透明度ａ％を適用して、半透過画像データである撮影画像データＩｍｇ４_Ｔを生成する。同様に、画像処理部３４は、他のオリジナル画像データである撮影画像データＩｍｇ１_ｏ〜Ｉｍｇ３_ｏ、Ｉｍｇ５_ｏ〜Ｉｍｇ７_ｏに対して、透明度ｂ％を適用して、半透過画像データである撮影画像データＩｍｇ１_Ｔ〜Ｉｍｇ３_Ｔ、Ｉｍｇ５_Ｔ〜Ｉｍｇ７_Ｔを生成する。ここで他のオリジナル画像データは６枚であるので、ｂ＝（１００−ａ）／６とすれば、合成後の輝度値を適正に保つことができる。また、上述の透明度の関係から、ａ＜ｂである。すなわち、透明度ａ％が適用された撮影画像データＩｍｇ４_Ｔは、比較的はっきりと視認できる画像データであるのに対し、他の撮影画像データＩｍｇ１_Ｔ〜Ｉｍｇ３_Ｔ、Ｉｍｇ５_Ｔ〜Ｉｍｇ７_Ｔは、かなり薄い画像データとなる。

画像処理部３４は、これら半透過画像データを重ね合せて合成画像データを生成する。図５は、合成画像データの評価を説明する図である。図５（ａ）は、画像処理部３４が生成した合成画像データを表す。合成画像データにおいては、図には表していないが、移動する人物１００の頭部の像以外の静止した周辺物体の像は、あたかも１枚の静止画撮影を行ったかのように、透けることなく写っている。一方、移動する人物１００の頭部については、カメラ１０に正対する顔が若干透けた状態で写り、他の方向を向く顔は、良く見れば認識できる程度に透けた状態で写っている。

本実施形態において最終的な出力目標とする合成画像データは、選択画像データに写る主要被写体像を観察者にはっきり認識させ、他のオリジナル画像データに写る被写体像が主要被写体像に対する観察を邪魔しない。それでいて、他のオリジナル画像データに写る被写体像が重ね合わされていることにより、観察者に対して被写体像の動きを印象付ける。このような合成画像データを生成すべく、画像処理部３４は、半透過画像データを生成するときの透明度を調節しつつ、合成処理の試行を繰り返す。

本実施形態において具体的には、システム制御部１１は、合成画像データに対して、顔認識部３５の顔認識処理を実行する。そして、図５（ｂ）に示すように、顔認識部３５が、選択画像データに対応する、カメラ１０に正対する顔のみを認識した場合に、システム制御部１１は、出力すべき合成画像データが完成したと判断する。一方、図５（ｃ）に示すように、顔認識部３５が、選択画像データに対応する顔以外の顔も認識した場合には、システム制御部１１は、不完全な合成画像データであると判断する。不完全な合成画像データにおいては、選択画像データに対応する顔以外の顔もはっきりと現れているので、顔認識部３５が顔領域であると認識してしまう。

つまり、システム制御部１１は、選択画像データに対する顔認識処理の認識結果と、合成画像データに対する顔認識処理の認識結果が一致すれば、生成された合成画像データを合格と判断し、一致しなければ不合格と判断する。画像処理部３４は、生成した合成画像データが合格と判断されるまで、透明度を調節して合成処理を繰り返す。換言すれば、画像処理部３４は、選択画像データに対する顔認識処理の認識結果と、合成画像データに対する顔認識処理の認識結果が一致するように、透過画像データを生成するときの透明度を調節する。

具体的な処理フローについて、画像データを取得する処理と合成画像データを生成する処理に分けて説明する。

図６は、連続撮影により画像データを取得する処理を説明するフロー図である。フローは、電源ボタン５７の操作によりカメラ１０の電源がＯＮにされ、モード切替えボタン５４の操作により多重露光撮影モードに切り替えられた時点から開始される。

カメラシステム制御部１１は、ステップＳ１０１において、ユーザからレリーズスイッチ４０が操作されてレリーズＯＮにされるのを待つ。ユーザによりレリーズＯＮにされたら、システム制御部１１は、ステップＳ１０２で、表示用画像データなどの直前に撮影された予備撮影画像データを顔認識部３５へ送り、顔認識処理を行わせる。連続撮影中であれば、直前の撮影画像データを用いても良いし、さらに、連続撮影の時間間隔が短いような場合には、ステップＳ１０２をスキップしても良い。

顔認識処理により、被写体人物の顔領域を認識したら、システム制御部１１は、ステップＳ１０３で、その領域に対してＡＦ処理を実行する。ＡＦ処理は、例えば、認識した顔領域の空間周波数が最も高くなるようにフォーカスレンズを駆動する、いわゆる山登りＡＦを実行する。また、システム制御部１１は、顔認識処理を行った画像データを用いて、ＡＥ処理を実行する。システム制御部１１は、ＡＥ処理により、露出値を決定する。なお、連続撮影の時間間隔が短いような場合には、ステップＳ１０３をスキップしても良い。ステップＳ１０３をスキップする場合は、一枚目のＡＦ処理、ＡＥ処理の結果を継続して利用する。

ＡＦ処理、ＡＥ処理が完了したら、システム制御部１１は、ステップＳ１０４へ進み、撮影動作処理を実行する。具体的には、露光制御部４２がレンズシャッタ２２を動作させ、決定されたシャッタースピード、絞り値に従って被写体光学像を撮像素子３１の受光面上に結像させる。撮像素子３１は、光電変換した画像信号をＡ／Ｄ変換器３２へ送り、Ａ／Ｄ変換器３２は、決定されたＩＳＯ感度に従って増幅した画像信号を画像処理部３４へ引き渡す。

システム制御部１１は、ステップＳ１０５へ進み、画像処理部３４に色変換処理、ガンマ処理、ホワイトバランス処理等の画像処理を行わせ、予め設定されたファイルフォーマットに従った画像ファイルを生成させる。なお、ここでは、後に半透過処理、合成処理を予定しているので、ファイルフォーマットは、ＲＡＷファイル、ＴＩＦＦファイルなどの可逆圧縮方式または非圧縮方式が好ましい。また、半透過処理、合成処理を連続して実行する場合は、ファイル形式に変換することなく、内部メモリ３３上に展開された画像データの状態で留めても良い。

続いてシステム制御部１１は、ステップＳ１０６へ進み、生成した画像ファイルを記録媒体５０へ記録する。このとき、システム制御部１１は、画像ファイルの付加情報として、画像データの特徴量を例えばＥＸＩＦ情報に加える。画像データの特徴量は、例えば、露出値、焦点調節領域、輝度値、ホワイトバランスを含む。特徴量の利用については後述する。また、連続して撮影された画像データに対しては、その旨のフラグが付加情報に付与される。なお、半透過処理、合成処理を連続して実行する場合は、記録媒体５０へ記録することなく、引き続き内部メモリ３３上に展開した状態を維持する。

システム制御部１１は、ステップＳ１０７へ進み、ユーザによりレリーズＯＮが継続されているか否かを判断する。ＯＮが継続されていたらステップＳ１０２へ戻り、２枚目、３枚目…の画像データ取得を続ける。ＯＦＦにされていたら、一連の画像データ取得処理を終了する。

図７は、合成画像データ生成の処理を説明するフロー図である。フローは、ユーザにより合成画像データの生成が指示された場合、多重露光撮影モードとして画像データの取得から連続的に合成画像データを生成する場合に開始される。本実施形態においては、合成画像データの生成処理をカメラ１０内で実行するが、オリジナル画像データが記録済みであれば、当該オリジナル画像データを取り込んで、例えば、ＰＣ等の外部装置であっても合成画像データの生成処理を実行できる。この場合、ＰＣ等の外部装置は、合成画像データを生成する画像処理装置として機能する。この意味において、カメラ１０内で合成画像データを生成する場合、カメラ１０は、画像処理装置を含むと言える。以下、カメラ１０の画像処理装置としての、合成画像データ生成処理を順次説明する。

システム制御部１１は、ステップＳ１０１で、対象画像ファイルの読み出しを行う。具体的には、システム制御部１１は、合成処理を実行する対象のオリジナル画像データとして、連続して撮影された関連画像データであることを示す同一フラグが付加情報に記録された画像ファイルを、記録媒体５０から読み出す。

ステップＳ１０２へ進み、システム制御部１１は、図４を用いて説明したように、顔認識部３５を用いてそれぞれのオリジナル画像データに対して顔領域を特定し、画像処理部３４を用いて特定された顔領域の評価を行う。例えば、それぞれの顔領域における顔がどれだけ正面を向くかを評価基準として選択画像データを決定する。

そして、ステップＳ２０３では、システム制御部１１は、対象となるオリジナル画像データの枚数を勘案して、透明度を決定する。初期値とする透明度は、例えばａ＝２０％などに設定する。この値は後述するように適宜変更され得る。

透明度を決定したら、システム制御部１１は、ステップＳ２０４で、画像処理部３４を用いて選択画像データおよび他のオリジナル画像データのそれぞれに半透過処理を施す。続いて、システム制御部１１は、ステップＳ２０５で、画像処理部３４を用いてこれらの半透過画像データを重ね合せて合成画像データを生成する。

ステップＳ２０６へ進み、システム制御部１１は、生成された合成画像データを顔認識部３５へ送り、顔認識処理を行って認識結果を得る。なお、後述するように、ここでの顔認識処理の顔認識レベルは、オリジナル画像データに付加されている画像データの特徴量を、システムメモリ１２に記録されている学習テーブルに当てはめて得られる値が、システム制御部１１により自動的に設定される。

そして、ステップＳ２０７で、システム制御部１１は、図５を用いて説明したように、選択画像に対する顔認識処理の認識結果と合成画像に対する顔認識処理の認識結果が一致するか否かを判断する。例えば、選択画像の顔領域に対応する領域以外においても顔があるとの結果を得たり、選択画像の顔領域に対応する領域にも顔が無いとの結果を得た場合には、結果不一致としてステップＳ２０３へ戻る。再び戻ったステップＳ２０３では、ステップＳ２０７の判断結果に応じて、透明度ａの値を変更する。具体的には、ステップＳ２０７で選択画像の顔領域に対応する領域以外にも顔があるとの結果を得た場合には、透明度ｂを大きくして他のオリジナル画像データに対応する顔を薄くすべく、透明度ａを小さく設定する。また、選択画像の顔領域に対応する領域にも顔が無いとの結果を得た場合には、選択画像データに対応する顔を濃くすべく、透明度ａを小さく設定する。

ステップＳ２０７において一致すると判断した場合は、ステップＳ２０８へ進み、システム制御部１１は、表示制御部３６を用いて、表示部３７へ合成画像データを表示する。ユーザは、表示部３７に表示された合成画像データを視認して、希望通りの画像であるかを確認する。ステップＳ２０９では、システム制御部はユーザによる操作部材３９の操作を受け付ける。ユーザは、希望通りの画像であると判断すれば、例えば確定ボタン５３を押下げて承認する。希望に合わない画像であると判断した場合は、例えばシーソースイッチ５１を操作して、顔認識処理における認識レベルを増減する指示を与える。ユーザは、例えば、他のオリジナル画像データに対応する顔の写り込みをより濃くしたい場合には、多少濃くても顔認識されないように、認識レベルを下げる。逆に、薄くしたい場合には、より厳密に顔認識されるよう、認識レベルを上げる。

ステップＳ２１０では、システム制御部１１は、ユーザの操作を受け付けた結果、ユーザから承認を受けたと判断した場合にはステップＳ２１１へ進み、選択画像データの濃さ調整を受けたと判断した場合にはステップＳ２０３へ戻る。ステップＳ２０３へ戻った場合には、その後実行されるステップＳ２０６において、顔認識部３５は、ユーザによって変更された認識レベルにより顔認識処理を実行する。

ステップＳ２１１に進み、システム制御部１１は、画像処理部３４を用いて承認された合成画像データを画像ファイル化して、記録媒体５０へ記録する。また、システム制御部１１は、ステップＳ２１２では、ステップＳ２０９で受けたユーザからの調整指示に対する顔認識レベルと対象となるオリジナル画像データの特徴量を対応づけて、システムメモリ１２に記録されている学習テーブルへ追記する。

ここで、顔認識処理における認識レベルの自動調整について説明する。観察者が受ける合成画像データにおける顔領域の印象は、画面全体の明暗、色温度、被写界深度、画角等の要素によって変化し得る。例えば、選択画像に対応する顔領域の透明度が一定であってもこれらの要素が異なれば、観察者は、ある時には満足し、ある時には不満を感じる。そこで、システム制御部１１は、これらの要素を規定付ける、画像データの輝度値およびホワイトバランス、あるいは、絞り値、撮影レンズの焦点距離等の撮影条件情報などを画像データの特徴量として、抽出する。特徴量は、画像データから算出され、あるいは、画像ファイルの付加情報として記述されている。

そして、観察者としてのユーザが指示した顔認識レベルを、対象となる画像データの特徴量と共に記録し蓄積すれば、さまざまな条件におけるユーザの好みをデータベース化できる。このようにして蓄積されたデータベースが、学習テーブルとしてルックアップテーブル化される。したがって、システム制御部１１は、これから顔認識部３５に認識処理を実行させる対象画像データの特徴量を取得し、システムメモリ１２に記録された学習テーブルを参照すれば、その対象画像データにふさわしい、つまりユーザの好みに合致する顔認識レベルを顔認識部３５に設定できる。

システム制御部１１は、ステップＳ２１２で学習テーブルへの追記を終了したら、一連の合成処理を終了する。

次に、上記の実施形態についての変形例を説明する。図８は、変形例における、連続撮影された各画像データと半透過処理を説明する図である。図において左列に並ぶ画像データは、カメラ１０が時刻ｔ＝ｔ_ｋにおいて撮影したオリジナルの撮影画像データである。各画像データは、上から順にｔ＝ｔ_１において撮影された撮影画像データＩｍｇ１_ｏ、ｔ＝ｔ_２において撮影された撮影画像データＩｍｇ２_ｏ…、ｔ＝ｔ_４において撮影された撮影画像データＩｍｇ４_ｏである。図示するように、各画像データは、バッターがボールを打ち返す瞬間を連続的に撮影して取得されている。

本変形例におけるカメラ１０は、レリーズＯＮの前から連続的に撮影動作を続けており、予め定められた枚数分の画像データが常に更新されている。そして、ユーザからレリーズスイッチ４０が押されたことを検出したら、その時点から遡って４枚の画像がオリジナル画像データの対象となる。すなわち、ユーザがレリーズスイッチ４０をＯＮするタイミングは、最適なタイミングに対して往々にして遅延するので、その遅延量を見込んで遡った数枚の画像データを、オリジナル画像データとする。遡る枚数は、固定枚数であっても良いし、ユーザからの指定を受け付けて、遅延量を学習しつつ動的に変更しても良い。

ここでは、システム制御部１１は、レリーズＯＮとなった時の撮影画像データＩｍｇ４_ｏから遅延量を見込んで遡った撮影画像データＩｍｇ１_ｏを、選択画像データとして決定する。

そして、画像処理部３４が、半透過処理を実行する。ここで、半透過処理は、図４を用いて説明したように、画像全体に対して施してもよいが、ここでは、部分領域を指定して、その領域に対してのみ半透過処理を実行する。具体的には、このようなシーンにおいて被写体に動きが生じる領域は部分的であるので、例えば、画像間の動きベクトルを算出して、閾値以上の動きのある領域のみを抽出して部分領域を指定する。例えば、図４の右列に示すように、動きのある領域として、人物の腕、バット、ボールを含む矩形領域を部分領域とする。

画像処理部３４は、選択画像データについては、部分領域に透明度ａ％を適用し、他の領域に透明度０％を適用して、半透過画像データである画像データＩｍｇ１_Ｔを生成する。さらに画像処理部３４は、他のオリジナル画像データに対しては、部分領域に透明度ｂ％を適用し、他の領域に透明度１００％を適用して、半透過画像データであるＩｍｇ２_Ｔ、Ｉｍｇ３_Ｔ、Ｉｍｇ４_Ｔを生成する。

図９は、変形例における、合成画像の評価を説明する図である。図９（ａ）は、画像処理部３４が生成した合成画像データを表す。本変形例においても、最終的な出力目標とする合成画像データは、選択画像データに写る主要被写体像を観察者にはっきり認識させ、他のオリジナル画像データに写る被写体像が主要被写体像に対する観察を邪魔しない。それでいて、他のオリジナル画像データに写る被写体像が重ね合わされていることにより、観察者に対して被写体像の動きを印象付ける。図９の例においては、他のオリジナル画像データに写るバットの軌跡が僅かに視認できる程度が好ましい。

そこで、本変形例においては、画像処理部３４は、選択画像データにおける部分領域と、これに対応する合成画像の部分領域の間で、マッチング処理を実行する。そして、システム制御部１１は、マッチング処理により予め設定された比較レベル以上と判断した場合に、生成された合成画像データを合格と判断し、未満と判断した場合に不合格と判断する。画像処理部３４は、生成した合成画像データが合格と判断されるまで、透明度を調節して合成処理を繰り返す。換言すれば、画像処理部３４は、マッチング処理において、選択画像データの部分領域と合成画像データの部分領域が同一の画像データであるとの比較結果を得るように、透明度を調節する。このような合成画像データを生成すべく、画像処理部３４は、半透過画像データを生成するときの透明度を調節しつつ、合成処理の試行を繰り返す。

なお、本変形例においても、顔認識レベルの調整と同様に、ユーザからパターンマッチングにおける比較レベルの調整を受け付けても良い。また、対象画像データの特徴量と調整された比較レベルを対応づけて蓄積することにより、学習テーブルを構築することもできる。このとき、特徴量として、画像データの輝度値およびホワイトバランス、あるいは、絞り値、撮影レンズの焦点距離等の撮影条件情報などの少なくともいずれかを採用することができる。

以上説明した変形例を含む実施形態においては、選択画像データ以外の他のオリジナル画像データに適用する透明度を一律にｂ％としたが、他のオリジナル画像データに適用する透明度は一律に限らない。例えば、撮影順序が隣接する他のオリジナル画像データにおいて、選択画像データの撮影順序に近い方の画像データに適用する透明度を小さくすることができる。図４の例においては、例えば、Ｉｍｇ２_Ｏに適用する透明度より、Ｉｍｇ３_Ｏに適用する透明度の方が小さく、Ｉｍｇ７_Ｏに適用する透明度より、Ｉｍｇ６_Ｏに適用する透明度の方が小さい。隣接する画像データに適用する透明度は等しくしても良い。このように透明度を設定すれば、より連続的な軌跡として動きを認識可能な合成画像データを生成できる。

以上の実施形態においては、コンパクトデジタルカメラであるカメラ１０を例に説明したが、撮像装置としてはコンパクトデジタルカメラに限らない。上述のように一眼レフカメラ、カメラ付き携帯端末においても多大な効果を発揮する。また、光学ファインダーを備えないミラーレスカメラ、動画撮影を主とするビデオカメラ等にも適用することができる。また、上述のように、撮像部を備えないＰＣ等の外部機器であっても、合成画像データを生成する画像処理装置として機能させることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ カメラ、１１ システム制御部、１２ システムメモリ、２０ 光学系、２１ レンズ群、２２ レンズシャッタ、３１ 撮像素子、３２ Ａ／Ｄ変換器、３３ 内部メモリ、３４ 画像処理部、３５ 顔認識部、３６ 表示制御部、３７ 表示部、３８ 記録媒体ＩＦ、３９ 操作部材、４０ レリーズスイッチ、４１ レンズ制御部、４２ 露光制御部、５０ 記録媒体、５１ シーソースイッチ、５２ 十字キー、５３ 確定ボタン、５４ モード切替えボタン、５５ ディスプレイボタン、５６ メニューボタン、５７ 電源ボタン、１００ 人物

Claims (15)

1. 画像データを複数枚取得する取得部と、
   複数枚の前記画像データから、予め定められた条件に基づいて自動的に１枚の選択画像データを選択する選択部と、
   前記選択画像データと他の前記画像データの透明度を異ならせて１枚の合成画像データを生成する生成部と
   を備える画像処理装置。
2. 前記画像データから特定の被写体を認識する画像認識部を備え、
   前記生成部は、前記画像認識部による認識処理において、前記選択画像データに対する認識結果と前記合成画像データに対する認識結果とが一致するように、前記透明度を調節する請求項１に記載の画像処理装置。
3. 前記画像認識部における認識レベルの調整を使用者から受け付ける受付部を備える請求項２に記載の画像処理装置。
4. 前記画像認識部は、前記受付部により前記調整を受け付けたときの前記認識レベルと、対象となる前記画像データの特徴量とを対応づけて蓄積する学習機能に基づいて、前記認識レベルを自動的に設定する請求項３に記載の画像処理装置。
5. 前記特徴量は、前記画像データの撮影条件情報、輝度値およびホワイトバランスの少なくもいずれかひとつを含む請求項４に記載の画像処理装置。
6. 前記選択部は、前記画像認識部による前記認識処理を用いて前記選択画像データを選択する請求項２から５のいずれか１項に記載の画像処理装置。
7. 前記画像認識部は、前記特定の被写体として顔を認識する請求項２から６のいずれか１項に記載の画像処理装置。
8. ２枚の画像データを比較する画像比較部を備え、
   前記生成部は、前記画像比較部による比較処理において、前記選択画像データと前記合成画像データは同一画像データであるとの比較結果を得るように、前記透明度を調節する請求項１に記載の画像処理装置。
9. 前記画像比較部における比較レベルの調整を使用者から受け付ける受付部を備える請求項８に記載の画像処理装置。
10. 前記画像比較部は、前記受付部により前記調整を受け付けたときの前記比較レベルと、対象となる前記画像データの特徴量とを対応づけて蓄積する学習機能に基づいて、前記比較レベルを自動的に設定する請求項９に記載の画像処理装置。
11. 前記特徴量は、前記画像データの撮影条件情報、輝度値およびホワイトバランスの少なくもいずれかひとつを含む請求項１０に記載の画像処理装置。
12. 前記画像比較部は、前記選択画像データにおける焦点調節領域を含む部分領域と、これに対応する前記合成画像データの対応領域とを比較する請求項８から１１のいずれか１項に記載の画像処理装置。
13. 前記取得部は、被写体を撮像して前記画像データを取得する撮像部である請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記生成部は、前記撮像部による撮像順序が隣接する前記画像データにおいて、互いに前記透明度を等しくするか、前記選択画像データの前記撮像順序に近い前記画像データの前記透明度を小さくする請求項１３に記載の画像処理装置。
15. 画像データを複数枚取得する取得ステップと、
    複数枚の前記画像データから、予め定められた条件に基づいて自動的に１枚の選択画像データを選択する選択ステップと、
    前記選択画像データと他の前記画像データの透明度を異ならせて１枚の合成画像データを生成する生成ステップと
    をコンピュータに実行させる制御プログラム。

Images