JP2007036743A - 複数画像合成方法及び撮像装置 - Google Patents

Abstract

【課題】少ない演算量で精度の高い動きベクトルを求めることができる複数画像合成処理方法及び複数画像合成装置を提供することにある。
【解決手段】画像合成手段５は、画像上の１以上の画素からなる処理単位毎に、取得画像と個々の動きベクトルの候補にて位置補正された保存画像との類似性を求めることで動きベクトルの候補を評価し、何れの動きベクトルの候補の評価も所定の条件を満たさなかった場合には前記処理単位では何れか取得画像画像の画素値による合成を実施し、所定の条件を満たした場合には取得画像の画素値と最も評価の高い動きベクトルの候補により位置補正された保存画像の画素値による合成を行う。
【選択図】図１

Description

本発明は、時系列的に連続撮像された画像の合成を行う複数画像合成方法及び撮像装置に関するものである。

平滑化フィルタを施すことで信号に含まれるランダムノイズ成分が減衰することに着目し、動画を構成する各々の静止画像を時間軸方向に積算して、ＳＮ比を改善し、実質的に撮像感度を向上させる画像合成方法が従来から提供されている。またこの方法には、出力画像を画像合成処理の一方の入力画像とし、新規に取得した画像を他方の入力画像とし、両入力画像を平均処理する処理方法が効率的であるため用いられている。この方法は数学的には無限インパルス応答関数としてよく知られている処理方法である。そしてこの処理方法による高感度化手法と、動作を構成する静止画像を二次元的に拡大して望遠効果を得る手法を、共通の記憶手段を切替え利用することで実現した映像信号処理装置が提供されている（例えば特許文献１）。

また露光量の異なる複数の画像を連続取得して、暗い部分の再現に適した画像と明るい部分の再現に適した画像とを組み合わせることで見掛け上のダイナミックレンジの拡大を実現する合成処理方法もあり、この見掛け上のダイナミックレンジの拡大を実現する方法と撮像装置の変位による画像間の動きを補正する方法を併用して画像合成を行う撮像画面合成装置が提供されている（例えば特許文献２）。

更に特許文献１に開示されている方法と同じ原理により、ノイズ低減処理を、画像を複数のブロックに分割してブロックごとに動きベクトルを算出して位置補正を行うことで実施している映像信号処理装置も提供されている（例えば特許文献３）。
特許第２７８１９３６号公報（段落００８４，００８５） 特許第３１１０７９７号公報（段落００１９〜００２２） 特開２０００−１３６４３号公報（段落００４３，００４４）

ところで、上述の無限インパルス応答関数では、過去の情報が減衰しながらも残るので、この無限インパルス応答関数を用いる画像合成を特許文献１に開示されている映像信号処理装置のように行うと、画枠に対して動いている被写体には尾を引くような残像が発生する。このような例に限らず、時系列的に得られる複数の画像を用いて合成して新たな画像を生成する際には、被写体の動きにより何らかの不具合が生じるというところで、上述の無限インパルス応答関数では、過去の情報が減衰しながらも残るので、この無限インパルス応答関数を用いる画像合成を特許文献１に開示されている映像信号処理装置のように行うと、画枠に対して動いている被写体には尾を引くような残像が発生する。このような例に限らず、時系列的に得られる複数の画像を用いて合成して新たな画像を生成する際には、被写体の動きにより何らかの不具合が生じるという課題があった。

また特許文献２に開示されている撮像画面合成装置では、画面全体を代表する一つの動きベクトルにより動き補正を行っているので、背景と異なる動きの撮像対象物に対しては不適当となる可能性が高いという課題があった。

また特許文献３に開示されている映像信号処理装置のように、動きベクトルを求める点を細かく増やしていくと、画像上の各画素の動きベクトルを求めることができるものの、処理時間の増大や局所的な精度低下という課題があった。

本発明は、上述の点に鑑みて為されたもので、少ない演算量で精度の高い動きベクトルを求めることができる複数画像合成処理方法及び複数画像合成装置を提供することにある。

上述の目的を達成するために、請求項１の複数画像合成方法の発明では、時系列的に連続撮像された同一の被写体を含む複数の画像の間での動きベクトルを用いて画像の合成を行う複数画像合成方法において、対象被写体を検知して画像上で対象被写体の領域を設定し、該領域の位置と大きさとを参照して複数の動きベクトル測定点を設定し、これら動きベクトル測定点での動きベクトル測定値を組み合わせて画像の動き補正を行うことを特徴とする。

請求項１の複数画像合成方法の発明によれば、画像上の対象被写体の領域に合わせて配置した複数の測定点で動きベクトルを測定し、その動きベクトル測定値を組合わせ動き補正を行うことにより、少ない演算量で精度の高い動きベクトルを求めることができる。

請求項２の複数画像合成方法の発明では、請求項１の発明において、前記複数の画像が動画を構成する静止画像であって、前記動き補正を伴って前記複数の静止画像を合成することを特徴とする。

請求項２の複数画像合成方法の発明によれば、動きのある被写体の画像を合成する場合に、対応する。

請求項３の複数画像合成方法の発明では、請求項１又は２の発明において、前記対象被写体が人であって、前記対象被写体の領域を顔検知により設定し、動きベクトル測定点は、顔の特徴点に略一致させて設定することを特徴とする。

請求項３の複数画像合成方法の発明によれば、人の顔の動きに対して動きベクトルの測定を行うことができる。

請求項４の複数画像合成方法の発明では、請求項１又は２の発明において、前記対象被写体の領域を動体検知により設定し、動きベクトル測定点は、前記領域の略上半分に重点的に設定することを特徴とする。

請求項４の複数画像合成方法の発明によれば、手足などに部分的な移動や変形が伴う人の動きに対応した動きベクトルの測定を行うことができる。

請求項５の複数画像合成方法の発明では、請求項１乃至４の何れかの発明において、動きベクトル測定点での動きベクトル測定値を組み合わせにより前記対象被写体の領域全体の動きベクトルの分布を求め、この分布で画像の動きを補正を行うことを特徴とする。

請求項５の発明によれば、対象被写体の動きを動きベクトル分布として扱うことで、演算量を減らすことができる。

請求項６の複数画像合成方法の発明では、請求項１乃至４の何れかの発明において、動きベクトル測定点での動きベクトル測定値を組み合わせにより前記対象被写体の領域全体の動きベクトルの代表値を求め、この代表値で画像の動きを補正を行うことを特徴とする。

請求項６の発明によれば、人の動きを一つの動きベクトル測定で扱うことで、品来世委が高くなる。

請求項７の複数画像合成装置の発明では、撮像カメラと、該撮像手段で時系列的に連続撮像された同一の被写体を含む複数の画像の間での動きベクトルを用いて画像の合成を行う画像合成処理部とを備え、該画像合成処理部には、対象被写体を検知して画像上で対象被写体の領域を設定し、該領域の位置と大きさとを参照して複数の動きベクトル測定点を設定し、これら動きベクトル測定点での動きベクトル測定値を組み合わせて画像の動き補正を行う手段を備えていることを特徴とする。

請求項７の複数画像合成装置の発明によれば、画像上の対象被写体の領域に合わせて配置した複数の測定点で動きベクトルを測定し、その動きベクトル測定値を組合わせ動き補正を行うことにより、少ない演算量で精度の高い動きベクトルを求めることができる複数画像合成装置を提供することができる。

請求項８の複数画像合成装置の発明では、請求項７の発明において、少なくとも前記撮像カメラを建築物に固定する構造を備えていることを特徴とする。

請求項８の発明によれば、撮像手段の変位を考慮しなくても良いため演算量を減らすことができる。

本発明の複数画像合成方法及び複数画像合成装置は、画像上の対象被写体の領域に合わせて配置した複数の測定点で動きベクトルを測定し、その動きベクトル測定値を組合わせ動き補正を行うことにより、少ない演算量で精度の高い動きベクトルを求めることができるという効果がある。

以下本発明を実施形態により説明する。
（実施形態１）
本実施形態の撮像装置は図１（ｂ）に示すように建築物の天井等に取り付けられ、被写体Ｍｎを含む所定撮影領域を時系列的に連続撮像する撮像手段１と、この撮像手段１で撮像された動画を取り込んで画像合成を行う画像合成処理部２とで構成され、画像合成処理部２からの出力画像を表示する画像表示手段３が接続される。

画像合成処理部２は、図１（ａ）に示すように出力画像を保存する画像記憶手段４と、画像記憶手段４で保存している保存画像（第一の画像）と撮像手段１で得られる動画を構成する複数の静止画像の内最も最新の取得画像（第二の画像）との画像合成を行う画像合成手段５と、撮像手段１の姿勢を制御する姿勢制御手段６と、撮像手段１の撮像条件を制御する撮像条件制御手段７と、姿勢制御手段６からの撮像手段１の姿勢情報と撮像条件制御手段７からの条件情報とから画像での動きベクトルに換算する画像動き換算手段８と、画像上の対象被写体領域を参照して動きベクトル測定点を設定し、取得画像と保存画像との間で動きベクトルを算出する画像動き算出手段９と、対象被写体領域を設定するための動体検出手段１０及び顔検出手段１１とで構成される。

ここで画像合成処理部２を構成する各手段は、マイクロコンピュータにおいてプログラムを実行することで実現される機能で構成しても良く、またハードウェア構成により個々に独立する形で構成しても良い。また画像合成処理部２は図１（ｂ）に示すように撮像手段１とは別体となっているが、撮像手段１と一体となって撮像装置を構成しても良い。更に画像表示手段３をも一体に組み込んで撮像装置を構成しても良い。

次に画像合成処理部２の各手段の動作について説明する。

まず動体検出手段１０は、例えば取得画像と合成対象となる保存画像との差分画像を作成して変化領域を抽出し、この変化領域を２値化して近接距離の変化領域同士を一つにまとめる外接矩形を生成して統合領域とし、この統合領域毎に、取得画像と保存画像間の濃淡パターンマッチングを行い、類似度が低い統合領域を動体候補として図２（ａ）のように抽出して画像動き算出手段９に被写体領域情報として与えるものである。

一方顔検出手段１１は、例えば画像データから生成したカラーヒストグラムと、予め作成している顔部分のテンプレートヒストグラムとを比較して顔の部分の領域を決定する方法等公知の技術を用いて顔領域を抽出するもので、この顔領域情報を画像動き算出手段９に与える。

画像動き算出手段９は、動体検出手段１０により検出された動体（対象被写体領域）に対して動きベクトル測定点を複数設定するのである。ここで、被写体Ｍｎが物品の場合は、撮像画像の枠内で移動したとしても変形を伴うことはないが、被写体Ｍｎが人の場合は手足等に部分的な移動や変形を伴うことがあり、これらの影響を避けて人の全体的な動きを測定するためには、顔や胴体の動きを測定する必要があるので、画像動き算出手段９は動体として設定された領域（図２（ａ）において破線で示す外接矩形の領域）の上半分に密となるように動きベクトル測定点（図２（ａ）において□で示す）を設定し、各動きベクトル測定点における動きベクトルをブロックマッチング法により図２（ｂ）の「→」で示すように求める。

更にこれら求めた複数の情報たる動きベクトルから代表値を選択する。この代表値の選択は、例えば求めた動きベクトルにおいて過半数以上等しい動きベクトルを代表値の動きベクトルＭ１とするのである。

尚本実施形態では後述するように複数の動きベクトルを扱うので、代表値を唯一のものと限定せず、複数の動作ベクトル測定値を画像合成手段５へ出力するようにしても良い。

画像動き算出手段９は、この顔領域（図２（ｃ）の破線で示す矩形内）に対して目、耳、鼻など陰影のある各部位に対応するように図示するように動きベクトル測定点（図２（ｃ）において□で示す）を設定し、各動きベクトル測定点の動きベクトルをブロックマッチング法により図２（ｄ）に「→」で示すように測定する。この場合口周辺は言葉を発生する際に変形するので、口周辺の動きベクトル測定点は密に設定する必要があるが、顔全体の変位を求める場合には口周辺は重要ではないので、口周辺には動きベクトル測定点を設定しなくても良い。各動きベクトル測定点においては、顔領域の抽出の手法により目、耳、鼻などの顔部品を認識することで正確な位置を求めることができる。要求される設定位置精度次第では予め顔形状の統計情報から顔輪郭に対する各顔部品の相対位置を求めておき、それを顔輪郭となる矩形に幾何的に適用しても良い。

図２（ｄ）は、対象被写体領域（顔領域）に設定した各動きベクトル測定点で離散的に求めた動きベクトルの分布Ｍ２（ｘ、ｙ）＜以下動きベクトルＭ２という＞を示しており、口の変形部分を除いて顔を変形のない剛体と仮定すると、取得画像と、保存画像との顔の動きは、一次変換で近似することができる。しかし図示するように口の周辺で動きが一様でない状態に対応するためにはデータをマッピングする等の処理が必要となる。

撮像手段１は図３に示すようにモータのような駆動手段（図示せず）が姿勢制御手段６により制御されることで、水平方向（パン）Ｈと垂直方向（チルト）Ｖの姿勢が制御されるが、画像動き換算手段８は姿勢制御手段６から撮像手段１の姿勢情報を取り込み、画像合成に使用される各画像の取得時の相対的な振れ角θを測定する。勿論撮像カメラの姿勢制御が為されない場合には姿勢情報として変位ゼロが採用される。画像動き換算手段８は上述のように求めた振れ角θを、撮像条件制御手段７から得る撮像手段１の光学系の焦点距離ｌからなる条件情報を用いて動きベクトルに換算する。図４（ａ）、（ｂ）は換算例を示しており、この図では事象を判り易くするために、画像における中心からの座標をｘのみで表し、上述の振れ角θと、上述の焦点距離ｌとを用いて取得画像と保存画像との撮影時刻のずれによる結像面α上での像の移動量Δｘを、Δｘ＝［（ｌ^２＋ｘ^２）／ｌ]ｔａｎθと定義し、必要に応じて姿勢制御手段６からの歪曲情報も加えて動きベクトル分布Ｍ３（ｘ，ｙ）＜動きベクトルＭ３という＞を設定する。

画像合成手段５は、取得画像と保存画像との間で画像上同一座標の画素値をｍ：ｎの重み付け平均を求め、この平均した画素値による画像を合成画像として出力し、この出力した合成画像を画像記憶手段２に記憶させ、撮影手段１から取得する新たな画像と処理する際に新たな保存画像として用いる。この一連の処理は図５に示す無限長インパルス応答IIRフィルタとして示すことができ、このフィルタが平滑化フィルタとして作用してノイズの低減が図れる。ところで、時系列的に取得された個々の画像の、最新の合成画像における加算割合は図６に示すようになり、動く被写体では過去の情報が尾を引くように残るため、ぶれが生じる。尚図６中左端の棒グラフが新規に撮影した取得画像を、その右隣りから右方向に過去に遡る形で取得された画像のバーを示し、この画像のバーの長さが最新の合成画像、つまり保存画像における加算割合を示す。

そこで画像合成手段５は、画像動き算出手段９からの動きベクトルＭ１，動きベクトルＭ２と、画像動き換算手段８からの動きベクトルＭ３とを動きベクトル候補として用いて動き補正を行う。

図７は動き補正の原理を示す図であって、図７（ａ）に示す保存画像と、図７（ｂ）の取得画像とでは時間経過により撮像された被写体Ｍｎには動きがある。ここで図８（ｄ）に示すように取得画像上に１以上の画素からなる処理単位（図８（ｄ）で示す□）を設定し、被写体Ｍｎが人であって、移動する人の胴体に対応する処理単位では取得画像（図８（ｄ））から動体検出によって求めた動きベクトルＭ１により動きを補正した保存画像において取得画像との類似性が高いので、動きベクトルＭ１が適用される（図８（ｃ））。また移動する人の顔に対応する処理単位では顔検出により求められた動きベクトルＭ２により動き補正された保存画像において取得画像との類似性が高いので動きベクトルＭ２が適用される（図８（ｂ））。更に背景に対応する処理単位では撮像手段１の変位により求められた動きベクトルＭ３により動き補正された保存画像において、取得画像との類似性が高いので、動きベクトルＭ３による動き補正が適用される。

次に画像合成手段５は画像合成する前に上述のように動き補正後の補正画像と取得画像の類似性を評価する処理を行う。

この場合に補正画像と取得画像との間の画素値の差の絶対値を上述の処理単位内若しくはその処理単位の近傍において積算してブロックマッチングエラーを求めて評価するか、或いは空間差分画像において同様にブロックマッチングエラーを求めて評価する。この場合ブロックマッチングエラーでは、値が大きくなる程類似性が低くなる。

このようにして類似性を評価する処理を経て、その評価結果に基づいて合成時における保存画像と取得画像の画素値の加算割合を決定して、画像合成を行うのである。ここで加算値の割合の決定は、例えば動きベクトルＭ１によって動き補正を行った保存画像に対する類似性の評価値と、動きベクトルＭ２によって動き補正を行った保存画像に対する類似性の評価値とを比較し、動きベクトルＭ１側の類似性が高い場合には取得画像と動きベクトルＭ１で補正した保存画像とを１：３の割合で重み付き平均をとる（図９の（Ｉ）参照）。また動きベクトルＭ２側の類似性が高い場合には取得画像と動きベクトルＭ２で動き補正した保存画像とを１：３の割合で重み付き平均をとる（図９の(II)参照））。また何れの評価値も予め設定している所定の閾値を超えなかった場合には保存画像の画素値は使用せず、取得画像の画素値がそのまま適用される(図９の（III)参照)。
（実施形態２）
図１０（ａ）は本実施形態における、評価の結果と画像の加算割合の関係を表す図である。実施形態１では閾値を境にして保存画像の画素値の割合がゼロと３／４と二者から択一するようになっていたが、本実施形態では類似性の評価値に応じて保存画像の画素値の割合を段階的に変更する。尚図１０（ａ）の各画像の割合の区分は、図１０（ｂ）に示す動き補正無しの保存画像（ｉ）、動き補正有りの保存画像(ii)、新規の取得画像(iii）に基づく。

尚本実施形態は図１における画像合成手段で５の画素値の演算方法が異なる他は、実施形態１と同じである。これにより、隣接する処理単位の処理の違いにより処理単位の境界が目立ったり、突発的なノイズにより部分的に誤った選択が為された場合の孤立した処理単位での違和感が生じたりする不具合を低減できる。

尚図１０（ａ）では加算割合を段階的に設定しているが、画素値の計算方法によっては連続的な値を設定しても良い。

また保存画像、取得画像の各々に設定した輝度レベル測定領域における画素値を参照して輝度レベル補正を行い、この輝度レベル補正後、動きベクトルの候補を評価するようにしても良い。
（実施形態３）
本実施形態の撮影装置は、図１１（ｂ）に示すように撮像手段１及び画像処理部２を可搬型の筐体１２に一体的に組み込んで構成されたもので、筐体１２を使用者Ｕが手に持って任意の方向に向けられる構成となっており、撮像手段１の姿勢を変化させる姿勢制御手段は有しないが、図１１（ａ）に示すように姿勢制御手段の代わりに．撮像手段１の変位測定手段１３が備えられている以外は図２にある実施形態１と同じである。変位測定手段１３は角速度センサ（図示せず））により合成に使用される画像の取得時点での光学系光軸の角度を測定するもので、必要であれば加速度センサを設け同じく相対位置を測定する。建造物や三脚などに固定されていて向きの変わらない撮像装置では変位測定手段１３は不要で、変位測定手段１３の出力に代わる情報として変位ゼロが採用される。

この変位情報の利用方法は実施形態１における姿勢制御手段６から出力される撮像手段１の変位情報と同じである。

尚その他の構成は実施形態１と同じであるので同じ構成要素に同じ符号を付して説明は省略する。

（ａ）は実施形態１の回路構成図、（ｂ）は実施形態１の使用例図である。 （ａ）は実施形態１の対象被写体領域の動きベクトル測定点の設定例図、（ｂ）は実施形態１の対象被写体領域の各動きベクトル測定点の測定結果図、（ｃ）は実施形態１の顔領域の動きベクトル測定点の設定例図、（ｄ）は実施形態１の顔領域の各動きベクトル測定点の測定結果図である。 実施形態１に用いる撮像手段の姿勢制御の説明図である。 実施形態１に用いる撮像手段の動きベクトル換算例の説明図である。 実施形態１の画像合成手段の処理動作に対応した無限長インパルス応答IIRフィルタの等価回路図である。 実施形態１における合成画像の保存画像と取得画像の加算割合の説明図である。 実施形態１における動き補正の原理説明図である。 実施形態１における動き補正と各動きベクトルとの関係説明図である。 実施形態２の動きベクトルによる補正の類似性と合成画像における保存画像と取得画像の割合の説明図である。 実施形態２の動きベクトルによる補正の類似性と合成画像における保存画像と取得画像の割合の説明図である。 （ａ）は実施形態３の使用例図、（ｂ）は実施形態３の回路構成図である。

符号の説明

１ 撮像カメラ
２ 画像合成処理部
３ 画像表示手段
４ 画像記憶手段
５ 画像合成手段
６ 姿勢制御手段
７ 撮像条件制御手段
８ 画像動き換算手段
９ 画像動き算出手段
１０ 動体検出手段
１１ 顔検出手段
Ｍｎ 被写体

Claims (8)

1. 時系列的に連続撮像された同一の被写体を含む複数の画像の間での動きベクトルを用いて画像の合成を行う複数画像合成方法において、
   対象被写体を検知して画像上で対象被写体の領域を設定し、該領域の位置と大きさとを参照して複数の動きベクトル測定点を設定し、これら動きベクトル測定点での動きベクトル測定値を組み合わせて画像の動き補正を行うことを特徴とする複数画像合成方法。
2. 前記複数の画像が動画を構成する静止画像であって、前記動き補正を伴って前記複数の静止画像を合成することを特徴とする請求項1記載の複数画像合成方法。
3. 前記対象被写体が人であって、前記対象被写体の領域を顔検知により設定し、動きベクトル測定点は、顔の特徴点に略一致させて設定することを特徴とする請求項１又は２記載の複数画像合成方法。
4. 前記対象被写体の領域を動体検知により設定し、動きベクトル測定点は、前記領域の略上半分に重点的に設定することを特徴とする請求項１又は２記載の複数画像合成方法。
5. 動きベクトル測定点での動きベクトル測定値を組み合わせにより前記対象被写体の領域全体の動きベクトルの分布を求め、この分布で画像の動きを補正を行うことを特徴とする請求項１乃至４の何れか記載の複数画像合成方法。
6. 動きベクトル測定点での動きベクトル測定値を組み合わせにより前記対象被写体の領域全体の動きベクトルの代表値を求め、この代表値で画像の動きを補正を行うことを特徴とする請求項１乃至４の何れか記載の複数画像合成方法。
7. 撮像カメラと、該撮像手段で時系列的に連続撮像された同一の被写体を含む複数の画像の間での動きベクトルを用いて画像の合成を行う画像合成処理部とを備え、該画像合成処理部には、対象被写体を検知して画像上で対象被写体の領域を設定し、該領域の位置と大きさとを参照して複数の動きベクトル測定点を設定し、これら動きベクトル測定点での動きベクトル測定値を組み合わせて画像の動き補正を行う手段を備えていることを特徴とする撮像装置。
8. 少なくとも前記撮像カメラを建築物に固定する構造を備えていることを特徴とする請求項７記載の撮像装置。

Images