JP2013132082A - 画像合成装置、及びプログラム - Google Patents

Abstract

【課題】ムラのある画像を取得しても合成画像にその影響が出ないようにする。
【解決手段】図３（Ｃ）に示す、予期せぬストロボフラッシュにより部分的に明るくされた連写画像ＰＣの領域Ｃ２に関しては加算合成に採用せず、領域Ｃ１、Ｃ３は加算合成に採用して、連写された複数枚の画像をノイズ低減し加算合成する。これにより、連写された複数枚の画像において連写画像ＰＣの領域Ｃ２は採用されていない「（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ」が生成されることとなる。そして、生成した「（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ」を用いて、動体判定マップＭをαマップとして、
（２）ノイズ低減処理後の基準画像のＹＵＶ画像データ
（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ
を合成する。これにより、図３（Ｅ）に示す領域Ｅ１，Ｅ２，Ｅ３が同一の明るさであり、明るさにムラのない合成画像ＰＥを得ることができる。
【選択図】図３

Description

本発明は、画像合成装置、及びプログラムに関する。

従来より、連写された画像を画素加算合成することにより、夜景等、光量の少ない撮影環境であっても、記録するのに十分な明るさを有する画像を生成する技術が知られている。
また、特許文献１に記載されるように、カメラをユーザが手に持って撮影する手持ち撮影の際、撮像画角のブレを補正し合成する画像合成技術も知られている。

特開２００６−１４８５５０号公報

ところで、ローリングシャッター方式で画像信号を読み出す機能を有するカメラの場合、露光や読出しを行なっている期間に予期しないストロボフラッシュが炊かれ、これにより一時的な撮影環境上の明るさの変化があると、明るさにムラのある画像を取得してしまうことがある。

そしてこのような画像を例えば連写及びこれによる加算合成に使用すると、明るさの変化を残したまま合成されるので結果的に明るさにムラの生じた合成画像が生成されることになる。

本願発明はこのような問題点に鑑みて成されたものであり、予期せず明るさにムラのある画像を取得しても合成画像にその影響が出ないようにすることを目的とするものである。

前記課題を解決するために本発明は、時間的に連続する複数の画像を取得する画像取得手段と、この画像取得手段によって取得された複数の画像から、合成の基準となる基準画像を選択する選択手段と、この選択手段によって選択された基準画像と前記画像取得手段によって取得された他の画像とを比較し、この比較の結果、差分の値が所定の閾値を越える領域を部分的に含む画像を検出する検出手段と、前記基準画像と前記他の複数の画像とを合成するに際し、前記検出手段によって検出された画像における前記領域が合成後の画像に影響しないよう合成して一つの画像を生成する画像生成手段と、を備えることを特徴とする。

本発明によれば、ムラのある画像を取得しても合成画像にその影響が出ないようにすることができる。

本発明の一実施の形態を適用した撮像装置の回路ブロック図である。 同撮像装置における処理手順を示すフローチャートである。 同処理手順における画像例を示す図である。

以下、本発明の一実施の形態を図に従って説明する。図１は、本発明の一実施の形態に係る画像処理装置を備える撮像装置の回路構成図である。この撮像装置は、ローリングシャッター方式で画像信号を読み出す機能を有するものであり、駆動制御部２、ＣＤＳ／ＡＤＣ３、キー入力部４、表示部５、画像記録部６、プログラムメモリ７、ＲＡＭ８、制御部９、画像処理部１０を有している。これらは、バスラインを介して接続されている。キー入力部４は撮影者の記録指示を検出するためのシャッターキー４１を備え、画像処理部１０は合成部１１を備える。

同図において撮像部１は、ＣＭＯＳ等のイメージセンサ、このイメージセンサ上に設けられたＲＧＢのカラーフィルタ、及び、駆動制御部２からの制御により、光の強度を電荷の蓄積として一定時間保持し、ＣＤＳ／ＡＤＣ３にアナログの撮像信号としてこれらを出力するドライバを内蔵する。そして、シャッターキー４１、制御部９、駆動制御部２を経由した撮影者の撮影指示を検出することで、複数の画像（カラー画像）を取得する。

ＣＤＳ／ＡＤＣ３は、撮像部１から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路であって、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤＣ）等から構成される。なお、ゲイン調整アンプの調整に関わる制御についても、駆動制御部２からの指示に基づき行われる。このため、露光条件（シャッタースピード、若しくは絞り値）を同じくして複数枚の画像を取得しても、ＲＧＢのゲイン調整アンプや画像の色味を順次変えることによる条件の異なる複数の画像を生成することができる。

尚、本実施の形態においては、駆動制御部２がゲイン調整アンプに関わる制御を行なうようにしたが、これに限らない。例えば上記の制御は制御部９で行なうようにしてもよい。

キー入力部４は、上述のシャッターキー４１の他、本発明に係る画像の取得・記録を目的とする撮影モードへの切り換え、表示の切り換え等を検出するための各種キーを備える。

表示部５は、合成された画像を表示する機能を有する。画像記録部６は、本発明に係る合成処理が実行された後、ＪＰＥＧ方式で符号化された画像データ（画像ファイル）を記憶・格納する。プログラムメモリ７は、制御部９、画像処理部１０にて実行されるプログラムを記憶し、このプログラムは必要に応じて制御部９が読み出す。ＲＡＭ８は、各処理により発生する処理中のデータを一時的に保持する機能を有する。制御部９は、この撮像装置全体の処理動作を制御する。画像処理部１０は、画像データの符号化／復号化処理の他、本発明の特徴的構成に対応する合成部１１を備える。

すなわち合成部１１は、連写画像から選択された１枚の基準画像と、連写画像を加算合成した合成画像との合成を実行するとともに、この合成画像について後述する動体判定マップを差分領域に対応する透過強度マップ（αマップ）として用いて動体による残像を少なくさせるものである。

次に、本実施の形態の動作について説明する。ユーザがキー入力部４に設けられているモードボタンを操作して、本実施形態に係る撮影モードを設定すると、制御部９がプログラムメモリ７からプログラムを読み出して、図２のフローチャートに示すように、処理を開始する。

すなわち、制御部９はシャッターキー４１の押下が検出されたか否かを判断する（ステップＳ１０１）。シャッターキー４１の押下が検出されたならば、駆動制御部２に指示してＮ枚の連写を実行させる（ステップＳ１０２）。引き続き、連写により得られた画像データに基づき、輝度色差の色空間情報で表現されたＹＵＶ画像からなる連写画像を生成してＲＡＭ８に保存する（ステップＳ１０３）。

したがって、連写枚数Ｎが例えば６枚であったとすると、ＹＵＶ画像からなる６枚の連写画像Ｐ１〜Ｐ６がＲＡＭ８に保存される。なお、これら連写画像Ｐ１〜Ｐ６の連写に際しては、手ブレによる画像のブレは公知の技術（ＣＣＤシフトやレンズシフトによる画角補正技術）により補正されているものとする。

次に、これら連写画像から基準画像を選択する（ステップＳ１０４）。この基準画像の選択に際しては、ユーザーによる外部操作に基づいて選択する。例えば、連写画像Ｐ１〜Ｐ６を表示部５に一覧表示させ、これら一覧表示された連写画像Ｐ１〜Ｐ６からユーザー操作により選択された画像を基準画像とする。本実施例においては連写画像Ｐ３を基準画像として選択したものと仮定する。

しかる後に、この選択した基準画像の画像データをＬＰＦ（ローパスフィルタ）にて透過処理する等により、ノイズ低減処理する（ステップＳ１０５）。そして、このノイズ低減処理した基準画像のＹＵＶ画像データをＲＡＭ８に一旦保存する（ステップＳ１０６）。したがって、このステップＳ１０５及びステップＳ１０６での処理により、本例においては、連写画像Ｐ３の画像データがノイズ低減処理されて、そのＹＵＶ画像データがＲＡＭ８に保存されることとなる。

また、連写された複数枚の画像に関しては、ノイズ低減し合成する（ステップＳ１０７）。つまり、複数枚の連写画像のＹＵＶ画像データを画素毎に加算平均すれば、ノイズ低減しつつ合成を行うことができる。複数枚Ｎの連写画像のＹＵＶ画像データ加算平均の式［１］〜［３］を下記に示す。尚、Y_result、 U_result、 及び、V_resultは、画素の輝度色差パラメータ夫々の合成後の情報を示すものである。
Y_result = (Y[0] + Y[1] + ・・・ + Y [N]) / N ・・・式［１］
U_result = (U[0] + U[1] + ・・・ + U [N]) / N ・・・式［２］
V_result = (V[0] + V[1] + ・・・ + V [N]) / N ・・・式［３］

無論、複数枚の連写画像を用いたノイズ低減効果のある合成方法であれば、加算平均に限らず他の処理方法であってもよい。そして、このノイズ低減した全連写画像の合成画像のＹＵＶ画像データをＲＡＭ８に一旦保存する（ステップＳ１０８）。

したがって、このステップＳ１０８の処理を終了した時点において、ＲＡＭ８には下記の画像データが一旦保存されることとなる。
（１）各連写画像のＹＵＶ画像データ
（２）ノイズ低減処理後の基準画像のＹＵＶ画像データ
（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ

次に、前記ステップＳ１０４で選択した基準画像から評価基準画像を生成する（ステップＳ１０９）。ここで、評価基準画像とは、前記基準画像を例えば３２×３２画素に縮小した縮小画像である。次いで、前記ステップＳ１０４で選択した基準画像以外の他の連写画像から評価対象画像を生成する（ステップＳ１１０）。ここで、評価基準画像とは、前記基準画像を例えば３２×３２画素に縮小した縮小画像である。

そして、次のステップＳ１１１からＳ１１５の処理で、前記評価基準画像と各連写画像との比較、評価を行う。その際に、先ず未だ比較、評価を行っていない評価対象画像（連写画像）があるか否かを判断する（ステップＳ１１１）。未だ比較、評価を行っていない評価対象画像（連写画像）があるならば、評価基準画像と、未だ比較、評価を行っていない評価対象画像とを比較する（ステップＳ１１２）。

しかる比較の後に、評価対象画像と評価基準画像との差分が閾値以上であるか否かを判断する（ステップＳ１１３）。つまり、制御部９はノイズ低減処理後の評価基準画像のＹＵＶ画像データ（２）と、評価対象画像（縮小画像からなる各連写画像）のＹＵＶ画像データ（１）との差分絶対値を、下記式［４］〜［６］に示すように、各連写画像のＹＵＶ画像データ（１）の画素毎に求める。
つまり、以下の式において、
Y_Base_Nr, U_Base_Nr, V_Base_Nr ：上記（２）のノイズ低減後基準画像デー
タのＹＵＶ各パラメータ
Y[n], U[n], V[n] ：n枚目の画像データのＹＵＶ各パラメー
タ
N ：合成枚数
fMax() ：最大値算出関数
fLpf() ：平滑化関数
fEmphasis() ：マップ強調関数
とすると、
Diff_Y[n] = |Y_base_Nr −Y[n]| ・・・式［４］ // Yの差分絶対値
Diff_U[n] = |U_base_Nr −U[n]| ・・・式［５］ // Uの差分絶対値
Diff_V[n] = |V_base_Nr −V[n]| ・・・式［６］ // Vの差分絶対値
を各連写画像の画素毎に求める。

そして、前記差分絶対値が所定の閾値以上であるか否かを判断する。このステップＳ１１３での判断の結果、差分が閾値以上でない場合には、この評価対象画像は部分的に明るい画像領域のない画像と判断し、インクリメント処理を実行し（ステップＳ１１５）、次の評価対象画像に対してステップＳ１１２からの処理を繰り返す。また、ステップＳ１１３での判断の結果、差分が閾値以上である場合には、予期せぬタイミングで発光した、外部からのストロボフラッシュにより部分的に明るくされている画像領域が存在するものと判断し、この評価対象画像にフラグをセットする（ステップＳ１１４）。

すなわち、前述のように本実施の形態に係る撮像装置は、ローリングシャッター方式で画像信号を読み出す機能を有するものである。したがって、連写の最中に一時的な撮影環境上の明るさの変化があると、図３（Ａ）に示す明るさにムラのない画像のみならず、同図（Ｂ）に示す明るさにムラのある画像を取得してしまうことがある。同図（Ｂ）の画像は、予期せぬタイミングで発光した外部からのストロボフラッシュにより領域Ｂ２の明るさのみが領域Ｂ１、Ｂ３よりも部分的に明るい画像である。したがって、図３（Ａ）の画像を比較基準画像ＰＡとし、同図（Ｂ）の画像を比較対象画像ＰＢとすると、ステップＳ１１２の判断がＹＥＳとなって、比較対象画像ＰＢにフラグがセットされることとなる。

このようにして、ステップＳ１１１からステップＳ１１５の処理が連写枚数分繰り返されると、比較対象の評価対象画像が無くなりステップＳ１１１の判断がＮＯとなる。したがって、制御部９はステップＳ１１１からＳ１１６に処理を進めて、前記ステップＳ１１４の処理が実行されてフラグがセットされた評価対象画像（連写画像）が有ったか否かを判断する。フラグセットされた評価対象画像がない場合には、ステップＳ１１７の処理を実行することなく、ステップＳ１１８に処理を進めて、動体判定マップをαマップとして用いて、合成を行う。

すなわち、前記式［４］〜［６］において、差分が大きいほど、部分的に明るい画像領域であるといえるから、下記式［７］に示すように差分が最大のもの（連写画像の対応する画素毎に差分が最大のもの）を選択する。
Diff[n] = fMax(Diff_Y[n], Diff_U[n], Diff_V[n]) ・・・式［７］

次に、下記式［８］で示すように、基準画像を除く各連写画像の最大差分を平均化する処理を実行する。
Ave_Diff = (Diff[0] + Diff[1] + ・・・ + Diff[N]) / N-1 ・・・式［８］

更に、下記式［９］で示すように、平滑化処理を実行する。
Ave_Diff_Lpf = fLpf(Ave_Diff) ・・・式［９］
この平滑化処理により、動体判定マップＭが生成されることとなる。この動体判定マップＭは、α＝０であって全透過させる領域と、α＝２５５であって不透過とで構成される。

引き続き、下記式［１０］で示すように、強調処理を行って前記動体判定マップＭのコントラストをアップさせる。
Map_Move = fEmphasis (Ave_Diff_Lpf) ・・・式［１０］
この強調処理により、動体判定マップＭにおいて動体の像が重なる領域のコントラストがアップされる。

そして、最終的にこの動体判定マップＭ（(Map_ Move [0 ~ 255]： 0＝動体なし)をαマップとして用いて、前述した
（２）ノイズ低減処理後の基準画像のＹＵＶ画像データ
（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ
を合成する（ステップＳ１１８）。
合成された各画素のＹＵＶの各パラメータ（Ｙ＿ｒｅｓｕｌｔ，Ｕ＿ｒｅｓｕｌｔ，Ｖ＿ｒｅｓｕｌｔ）は下記式［１１］〜［１３］で表現される。
Y_result = (Y_Nr_Mix ×(255−Map_Move) + Y_Base_Nr × Map_ Move) / 255
・・・式［１１］
U_result = (U_Nr_Mix ×(255−Map_Move) + U _Base_Nr × Map_ Move) / 255
・・・式［１２］
V_result = (V_Nr_Mix ×(255−Map_Move) + V _Base_Nr × Map_ Move) / 255
・・・式［１３］
これにより、合成画像を表すＹＵＶ画像データが生成されることとなる。

しかし、ステップＳ１１６での判断の結果、フラグセットされた評価対象画像があった場合には、フラグセットされた評価対象画像に対応する連写画像のαブレンド率を修正し（ステップＳ１１７）、しかる後に前述のステップＳ１１８の処理を実行する。

すなわち、図３（Ｂ）に示した比較対象画像ＰＢにあっては、予期せぬタイミングで発光した外部からのストロボフラッシュにより領域Ｂ２の明るさのみが領域Ｂ１、Ｂ３よりも部分的に明るい画像であり、前記ステップＳ１１４の処理でフラグセットされる。したがって、フラグセットされた比較対象画像ＰＢがあることになり、ステップＳ１１６からステップＳ１１７に進み、評価対象画像ＰＢに対応する連写画像のαブレンド率を修正する（ステップＳ１１７）。

つまり、図３（Ｃ）に示す画像が評価対象画像ＰＢに対応する連写画像ＰＣであるとすると、この連写画像ＰＣは、前記評価対象画像ＰＢの領域Ｂ２に対応する領域Ｃ２のみが、予期せぬタイミングで発光した外部からのストロボフラッシュにより、領域Ｂ１及びＢ３に対応するＣ１及びＣ２よりも部分的に明るい。一方、前述したようにステップＳ１０７での処理により、連写された複数枚（Ｎ枚）の画像がノイズ低減処理されて合成され、ステップＳ１０８での処理により、このノイズ低減処理された全連写画像の合成画像のＹＵＶ画像データがＲＡＭ８に保存されている。

したがって、このノイズ低減処理された全連写画像の合成画像（（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ）には、領域Ｃ２のみがフラッシュの影響により明るい連写画像ＰＣが合成されている。したがって、この合成画像をそのまま用いて、動体判定マップＭをαマップとして、
（２）ノイズ低減処理後の基準画像のＹＵＶ画像データ
（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ
を合成すると、「（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ」に領域Ｃ２の明るさ成分が含まれているので、図３（Ｄ）に示すように、連写画像ＰＣの領域Ｃ２に対応する領域Ｄ２のみが、領域Ｃ１及びＣ３に対応するＤ１及びＤ２よりも部分的に明るい合成画像ＰＤが生成されてしまう。

そこで、本実施の形態においてはステップＳ１１７において、フラグセットされた評価対象画像に対応する連写画像のαブレンド率を修正する。より具体的には、連写画像ＰＣの領域Ｃ２に関しては採用せず、領域Ｃ１、Ｃ３は採用して、ステップＳ１０７と同様の処理を実行し、連写された複数枚の画像をノイズ低減し合成する。これにより、連写された複数枚の画像において連写画像ＰＣの領域Ｃ２は採用されていない「（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ」が生成されることとなる。

そして、ステップＳ１１７の処理で新たに生成した「（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ」を用いて、ステップＳ１１８で動体判定マップＭをαマップとして、
（２）ノイズ低減処理後の基準画像のＹＵＶ画像データ
（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ
を合成する。

このとき、ステップＳ１１８での合成に用いられる「（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ」には、連写画像ＰＣの領域Ｃ２に対応する成分は含まれていない。このため、図３（Ｅ）に示すように、領域Ｅ１，Ｅ２，Ｅ３が同一の明るさであり、明るさにムラのない合成画像ＰＥを得ることができる。

しかも、前述のように、本実施の形態においては平滑化処理を行うことから、合成による動体と背景との境界線をより自然なものにすることができる。また、マップＭのコントラストを上げる処理を実行したことから、合成処理における被写体ブレの残像（ゴースト）を減少させることもできる。

なお、本実施の形態においては、ＹＵＶ画像データを用いた場合を示したが、ＲＧＢ画像データを用いるようにしてもよい。この場合、ＲＧＢそれぞれについて、同様に差分二乗を算出する。

以上、この発明の実施形態について説明したが、この発明はこれらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。

以下に、本出願の特許請求の範囲に記載された発明を付記する。

＜請求項１＞
時間的に連続する複数の画像を取得する画像取得手段と、
この画像取得手段によって取得された複数の画像から、合成の基準となる基準画像を選択する選択手段と、
この選択手段によって選択された基準画像と前記画像取得手段によって取得された他の画像とを比較し、この比較の結果、差分の値が所定の閾値を越える画像を検出する検出手段と、
この検出手段によって検出された画像について、画像領域毎に透過強度を設定する設定手段と、
この設定手段によって設定された透過強度を用いて前記検出された画像を含む画像取得手段によって取得された複数の画像を加算合成して一つの画像を生成する画像生成手段と、
を備えることを特徴とする画像合成装置。

＜請求項２＞
前記検出手段は、前記選択された基準画像における画素の平均値と前記画像取得手段によって取得された他の画像における画素の平均値とを比較することを特徴とする請求項１記載の画像合成装置。

＜請求項３＞
前記画像取得手段は、撮像手段を含むことを特徴とする請求項１又は２記載の画像合成装置。

＜請求項４＞
前記設定手段は、前記撮像手段が画像信号を撮り込んだ瞬間の光の照射具合と前記撮像手段が撮り込む画像信号のタイミングに基づいて発生する明暗差に基づいて、画像領域毎に透過強度を設定することを特徴とする請求項３記載の画像合成装置。

＜請求項５＞
装置が有するコンピュータを、
時間的に連続する複数の画像を取得する画像取得手段、
この画像取得手段によって取得された複数の画像から、合成の基準となる基準画像を選択する選択手段、
この選択手段によって選択された基準画像と前記画像取得手段によって取得された他の画像とを比較し、この比較の結果、差分の値が所定の閾値を越える画像を検出する検出手段、
この検出手段によって検出された画像について、画像領域毎に透過強度を設定する設定手段、
この設定手段によって設定された透過強度を用いて前記検出された画像を含む画像取得手段によって取得された複数の画像を加算合成して一つの画像を生成する画像生成手段、
として機能させることを特徴とするプログラム。

１ 撮像部
２ 駆動制御部
３ ＣＤＳ／ＡＤＣ
４ キー入力部
５ 表示部
６ 画像記録部
７ プログラムメモリ
８ RAM
９ 制御部
１０ 画像処理部
１１ 合成部
４１ シャッターキー

Claims (6)

1. 時間的に連続する複数の画像を取得する画像取得手段と、
   この画像取得手段によって取得された複数の画像から、合成の基準となる基準画像を選択する選択手段と、
   この選択手段によって選択された基準画像と前記画像取得手段によって取得された他の画像とを比較し、この比較の結果、差分の値が所定の閾値を越える領域を部分的に含む画像を検出する検出手段と、
   前記基準画像と前記他の複数の画像とを合成するに際し、前記検出手段によって検出された画像における前記領域が合成後の画像に影響しないよう合成して一つの画像を生成する画像生成手段と、
   を備えることを特徴とする画像合成装置。
2. 前記検出手段が検出する画像とは、前記撮像手段が画像信号を撮り込んだ瞬間の光の照射具合と前記撮像手段が撮り込む画像信号のタイミングに基づいて発生する明暗差を有する画像であることを特徴とする請求項１記載の画像合成装置。
3. 前記画像生成手段は前記他の連写画像の透過強度を設定して前記基準画像に合成する合成手段を含み、
   前記透過強度は、前記検出手段による画像の検出の有無に基づいて設定されることを特徴とする請求項１又は２記載の画像合成装置。
4. 前記画像生成手段は、前記検出手段によって前記領域を部分的に含む画像を検出した場合、この領域の透過強度を修正することで前記領域が合成後の画像に影響しない画像を生成することを特徴とする請求項３記載の画像合成装置。
5. 前記撮像手段は、ローリングシャッター方式で画像信号を読み出すことを特徴とする請求項１乃至４の何れか記載の画像合成装置。
6. 装置が有するコンピュータを、
   時間的に連続する複数の画像を取得する画像取得手段、
   この画像取得手段によって取得された複数の画像から、合成の基準となる基準画像を選択する選択手段、
   この選択手段によって選択された基準画像と前記画像取得手段によって取得された他の画像とを比較し、この比較の結果、差分の値が所定の閾値を越える領域を部分的に含む画像を検出する検出手段、
   前記基準画像と前記他の連写画像とを合成するに際し、前記検出手段によって検出された画像における前記領域が合成後の画像に影響しないよう合成して一つの画像を生成する画像生成手段、
   として機能させることを特徴とするプログラム。

Images