JP2011176776A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】合成時にボケや不快なアーティファクトが生じない高品質な画像を生成することを目的とする。
【解決手段】複数の画像間の位置合わせを行う位置合わせ手段と、位置合わせされた前記複数の画像を合成して合成画像を生成する画像合成手段とを備えた画像処理装置であって、位置合わせ手段は、複数の画像のうち何れか１つを基準画像とし、他の画像を参照画像とした場合に、基準画像を所定の境界線によって区切ることにより複数の領域に分割する領域分割手段と、位置合わせの対象となる参照画像間で領域がそれぞれ異なるように境界線を移動させて基準画像の領域を変更する領域変更手段と、を備え、領域毎に基準画像に対して位置合わせ対象の参照画像の位置合わせを行う。
【選択図】図４

Description

本発明は、画像処理装置及び画像処理方法に関し、特に、時系列に撮影した複数枚の画像の位置合わせ処理や合成処理を行う画像処理装置及び画像処理方法に関するものである。

デジタルカメラやデジタルビデオカメラ等の撮像装置において画像を撮影する際に、手振れによって撮像装置に動きが生じると、撮影された画像にぶれが生じ不鮮明になるという問題がある。このため、撮像装置では、時間的に連続する複数枚の画像を撮像し、該複数の画像間の相関を取ることで画像間の動きを動きベクトルとして検出し、この動きベクトルに基づいて、複数の画像間の対応する点を一致させて合成することにより手振れによる画像劣化を改善する、いわゆる電子手ブレ補正処理が知られている。このような手ブレ補正処理の一例として、特許文献１には、手ブレが起こらないような短い露光時間で複数枚の画像を取得し、手ブレの軌跡をキャンセルするように画像の相対位置をずらしながら合成することにより、適正露光でブレのない画像を得る技術が開示されている。

また、特許文献２には、画像間において複数の領域からパターンマッチングを行うことにより得られた複数の動きベクトルから、最も確からしい一つの動きベクトル（グローバル動きベクトル）を特定して位置合わせを行う技術が開示されている。さらに、特許文献３には、グローバル動きベクトルを特定せずに領域ごとに求めた動きを、該当する領域ごとに適用し位置合わせを行う技術が開示されている。

特開平９−２６１５２６号公報 特開２００８−００５０８４号公報 特開平８−１１０９３９号公報

しかしながら、上記した特許文献２に開示された技術によれば、平行移動のブレ成分に加えて回転移動のブレ成分も考慮した高精度なブレ補正を行うことができるが、画像全域で一つのグローバル動きベクトルを適用することにより補正を行うため、例えば、平行移動・回転移動以外の自由度を持つ手ブレが発生した場合や、被写体に動きがある場合に正しく位置合わせを行うことができない。従って、位置合わせした画像を合成する際に、画像上でグローバル動きベクトルに適合しない動きを持つ領域にボケが発生し、解像度が著しく損なわれるという問題がある。

また、特許文献３に開示された技術によれば、画像を領域分割し、分割領域毎に求めた動きベクトルを用いて位置合わせを行うため、個々の分割領域内の画質は大きく改善されるが、隣接する分割領域の動きベクトルがわずかでも異なる場合、領域境界の不整合によるブロックノイズが大きく目立ち、画像全体での画質が著しく低下するという問題がある。

本発明は、上記問題を解決するためになされたもので、合成時にボケや不快なアーティファクトが生じない高品質な画像を生成することが可能な画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、複数数の画像間の位置合わせを行う位置合わせ手段と、位置合わせされた前記複数の画像を合成して合成画像を生成する画像合成手段とを備えた画像処理装置であって、前記位置合わせ手段は、前記複数の画像のうち何れか１つを基準画像とし、他の画像を参照画像とした場合に、前記基準画像を所定の境界線によって区切ることにより複数の領域に分割する領域分割手段と、位置合わせの対象となる前記参照画像間で前記領域がそれぞれ異なるように前記境界線を移動させて前記基準画像の領域を変更する領域変更手段と、を備え、前記領域毎に前記基準画像に対して前記位置合わせ対象の参照画像の位置合わせを行うことを特徴とする画像処理装置を提供する。
また、上記した画像処理装置において、前記領域分割手段は、前記領域を矩形領域とすることが好ましい。
さらに、前記領域変更手段は、前記境界線を平行移動させることにより前記領域を変更することが好ましい。
さらにまた、本発明は、複数の画像間の位置合わせを行い、位置合わせされた前記複数の画像を合成して合成画像を生成する画像処理方法であって、前記位置合わせに際して、前記複数の画像のうち何れか１つを基準画像とし、他の画像を参照画像とした場合に、前記基準画像を所定の境界線によって区切ることにより複数の領域に分割するステップと、位置合わせの対象となる前記参照画像間で前記領域がそれぞれ異なるように前記境界線を移動させて前記基準画像の領域を変更するステップと、を備え、前記領域毎に前記基準画像に対して前記位置合わせ対象の参照画像の位置合わせを行うことを特徴とする画像処理方法を提供する。

このように、本発明によれば、合成時にボケや不快なアーティファクトが生じない高品質な画像を生成することが可能となる。

本発明の第１の実施形態にかかる画像処理装置を適用した場合のデジタルカメラの概略構成を示すブロック図である。 本発明の第１の実施形態にかかる画像処理装置におけるフレームメモリに画像が展開された場合の一例を示す説明図である。 本発明の第１の実施形態にかかる画像処理装置におけるフレームメモリに画像が展開された場合の一例を示す説明図である。 本発明の第１の実施形態にかかる画像処理装置の画像位置合わせ部の概略構成を示すブロック図である。 本発明の第１の実施形態にかかる画像処理装置において、基準画像に対する領域分割の手順を示す説明図である。 本発明の第１の実施形態にかかる画像処理装置において、領域分割された基準画像と参照画像とのブロックマッチングの様子を示す説明図である。 本発明の第１の実施形態にかかる画像処理装置の画像合成部の概略構成を示すブロック図である。 本発明の第１の実施形態にかかる画像処理装置において、領域分割されブロックマッチングされた基準画像と参照画像とが順次合成される場合の、領域の境界線の位置を示す説明図である。 本発明の第１の実施形態にかかる画像処理装置において、領域分割されブロックマッチングされた基準画像と参照画像とがそれぞれ合成される様子を示す説明図である。 本発明の第１の実施形態にかかる画像処理装置にかかる画像処理の過程を示すフローチャートである。 本発明の第２の実施形態にかかる画像処理装置おけるフレームメモリに画像が展開された場合の一例を示す説明図である。 本発明の第２の実施形態にかかる画像処理装置の画像位置合わせ部の概略構成を示すブロック図である。 本発明の第２の実施形態にかかる画像処理装置において、基準画像に対する領域分割の手順を示す説明図である。 本発明の第２の実施形態にかかる画像処理装置において、合成画像のレンジ調整と合成枚数との関係を示す説明図である。 本発明の第２の実施形態にかかる画像処理装置の画像合成部の概略構成を示すブロック図である。 本発明の第２の実施形態にかかる画像処理装置において、合成画像のレンジ調整と合成枚数との関係を示す説明図である。 本発明の第２の実施形態にかかる画像処理装置において、領域分割されブロックマッチングされた基準画像と参照画像とが順次合成される場合の、領域の境界線の位置を示す説明図である。 本発明の第２の実施形態にかかる画像処理装置にかかる画像処理の過程を示すフローチャートである。 本発明の第３の実施形態にかかる画像処理装置の画像位置合わせ部の概略構成を示すブロック図である。 本発明の第３の実施形態にかかる画像処理装置の画像合成部の概略構成を示すブロック図である。 本発明の第３の実施形態にかかる画像処理装置にかかる画像処理の過程を示すフローチャートである。

以下に、本発明に係る画像処理装置の実施形態について、図面を参照して説明する。

〔第１の実施形態〕
図１は、本実施形態に係る画像処理装置を備えたデジタルカメラの概略構成を示すブロック図である。本実施形態にかかる画像処理装置は、図１に示すように、例えば、デジタルカメラに適用することができる。すなわち、デジタルカメラにおいて、撮像素子により時系列に連続した複数の画像に対して所定の画像処理を施した後に、本実施形態にかかる画像処理装置が、複数の画像間の位置合わせ処理を行い、これら複数の画像を合成して合成画像を生成する。

図１に示すように、本実施形態で述べるデジタルカメラは、撮像部１００、Ａ／Ｄ変換部１０１、画像処理部１０２、フレームメモリ１０３、画像位置合わせ部１０４、画像合成部１０５、セレクタ１０６、画像表示部１０７及び画像圧縮部１０８を備えている。

撮像部１００は、光学レンズ部と撮像素子とを備えている。光学レンズ部は、被写体より放射もしくは反射される光を撮像素子上に結像させるものであり、必要に応じて絞り、光学ローパスフィルタ、及びメカニカルシャッター等を組み合わせて構成することもできる。撮像素子は、二次元平面上に配置された複数の光電変換素子上に結像した画像を電気信号に変換するものであり、例えばＣＣＤ(Charge Coupled Device)撮像素子やＣＭＯＳ(Complementary Metal Oxide Semiconductor)撮像素子等を使用することができる。また、撮像素子上に所定のカラーフィルタアレイを設置すると光電変換素子毎に異なる色情報を取得することができ、後述する画像処理部１０２にてカラー画像を形成することが可能となる。

Ａ／Ｄ(Analog/Digital)変換部１０１は、撮像部１００により電圧信号に変換されたアナログ画像信号を、デジタル画像信号に変換する。画像処理部１０２は、Ａ／Ｄ変換部１０２から供給される画像信号を加工し、最適化された１枚の画像データを生成する。ここでは、例えばノイズ抑制処理、エッジ強調処理、スケーリング処理、等が含まれる。また、前述のようなカラーフィルタアレイを適用した場合は、デモザイキング処理により多チャンネルのカラー信号を得ることもできる。カラー画像を扱う場合は、前述のデモザイキング処理のほかに、ホワイトバランス調整処理、ＹＣ分離処理、等も必要となる。撮像部１００による画像の撮影、Ａ／Ｄ変換部１０１による画像信号のＡ／Ｄ変換及び画像処理部１０２による所定の画像処理を複数回数繰り返えすことで、複数枚の画像を取得し、取得した画像をフレームメモリ１０３に格納する。

フレームメモリ１０３は、上述したように画像処理部１０２により所定の処理がなされた画像データを格納する。具体的には、フレームメモリ１０３には、図２のように画像データが書き込まれる。図２の例では、取得画像枚数をｎ枚とすると、１枚の基準画像とｎ−１枚の参照画像とがフレームメモリ上に展開される。本実施形態では、ユーザーがシャッターボタンを押下した直後に取得した画像を基準画像、それ以降に取得した画像を参照画像とし、参照画像は基準画像に位置合わせされるものとする。なお、基準画像は及び参照画像は任意に定めることができる。換言すると、位置合わせの基準となる基準画像は取得した複数枚画像のいずれでもよく、ユーザーが指示できるようにしても良い。

また、フレームメモリ１０３には、後述するように基準画像と参照画像とが合成されることにより生成される合成画像データも格納する。参照画像が複数ある場合には、後述する画像合成部１０５での画像合成処理が繰り返され、その結果生成された合成画像が、合成画像の格納領域に格納される。すなわち、その参照画像が１枚目の参照画像である場合には、基準画像と参照画像とを合成した合成画像が格納され、参照画像が２枚目以降の参照画像である場合には、先に合成された合成画像を基準画像として、この合成画像と参照画像とを合成した合成画像を順次格納していく。このため、フレームメモリ１０３には、図３のように合成画像データが書き込まれる。フレームメモリ１０３としては、ＤＲＡＭ(Dynamic Random Access Memory)もしくはＳＤＲＡＭ(Synchronous DRAM)等を用いることができるが、画像データとなる情報を一時的に記憶できる機構であればこれに限るものではない。

画像位置合わせ部１０４は、フレームメモリ１０３に格納された複数枚の画像のうち、何れか一枚を基準画像とし、基準画像以外の画像を参照画像と定めた場合に、基準画像と何れかの参照画像とを比較して、基準画像に対して参照画像の位置合わせを行う。このため、位置合わせ部１０４は、図４に示すように、領域設定部１１０、領域分割変更部１１１、動き推定部１１２及び動き情報保持部１１３を備えている。なお、図４中の太線は画像信号を示し、細線は画像信号以外の制御信号を示すものとする。

位置合わせを行うに際して、まず、領域分割設定部１１０は、フレームメモリ１０３に格納された複数枚の画像から基準画像を読み出して、基準画像を所定の境界線によって区切ることにより複数の領域に分割する。ここで、分割される領域の形状は問わないが、矩形のブロック分割を行うことが回路規模削減及び高速化の観点から望ましい。

領域分割変更部１１１は、領域分割設定部１１０により領域分割された画像に対して、参照画像に応じてその領域の境界の位置を変更する。換言すると、領域分割変更部１１１は、位置合わせの対象となる参照画像間で領域がそれぞれ異なるように境界線を移動させて基準画像の領域を変更する。すなわち、領域分割設定部１１０により領域分割された基準画像に対して、比較対象となる参照領域毎にその領域の境界を構成する境界線を平行移動させるなどして領域の境界を変更することにより、分割される領域を変更する。具体的には、例えば、水平方向のブロックサイズをBx、垂直方向のブロックサイズをBy、画像の使用枚数をnとすると、ｉ枚目の参照画像に対する水平方向の移動量Sx(i)及び垂直方向の移動量Sy(i)は以下の式のようになる。

Sx(i) = int( Bx × (i-１) / (n-１) )
Sy(i) = int( By × (i-１) / (n-１) ) （i=１,２,・・・n-１）
ここで、int()は括弧内の数値の整数形を返す関数である。

例えば、画像の使用枚数が４枚である場合、すなわち、フレームメモリ１０３に格納された画像が４枚ある場合には、まず、領域分割変更部１１１は、図５に示すように、領域分割部１１０により１枚目（ｉ＝１）の参照画像に対して分割された基準画像の領域の境界線を移動させ、２枚目（ｉ＝２）の参照画像に対応させて基準画像の領域を変更する。続いて、３枚目（ｉ＝３）の参照画像に対応させて基準画像の領域を変更する。なお、領域の変更は、例えば、境界線のピッチを変更することによって領域の大きさを変更することも可能である。

動き推定部１１２は、領域分割部１１０で領域分割された基準画像とこれに対応する参照画像とを比較するとともに、領域分割変更部１１１により領域が変更された基準画像とこれに対応する参照画像とを比較し、それぞれ領域毎に基準画像と比較した参照画像の動きを推定する。動き推定方法としては、ブロックマッチング法が適用できる。図６はその様子を概念的に示したものである。推定された動きベクトル（Mvx,Mvy）は、基準画像の各領域に対する参照画像の動き情報として動き情報保持部１１３に格納され、動き情報１１４として画像合成処理時に画像合成部１０５へ出力される。なお、本実施形態では推定する動きを平行移動成分のみとしているが、それに回転角を加えても良いし、更に自由度の高いアフィン変換パラメータを領域ごとに推定しても良い。

画像合成部１０５は、フレームメモリ１０３に格納された複数枚の画像のうち基準画像と何れかの参照画像と、これらに同期して画像位置合わせ部１０４より供給される基準画像に対する参照画像の動き情報に基づいて、基準画像に対して参照画像の合成を行う。また、基準画像と参照画像とが合成された合成画像が既にフレームメモリ１０３に格納されている場合には、この合成画像を基準として、合成画像に対して参照画像を合成する。

このため、画像合成部１０５は、図７に示すように、セレクタ１２０、座標変換部１２１及び加算器１２２を備えている。セレクタ１２０は、フレームメモリ１０３に格納された画像のうち、何れの画像を読み出すかを選択する。すなわち、画像合成部１０５では、まず、フレームメモリ１０３より参照画像が読み出されるが、この参照画像が１枚目の参照画像である場合、つまり最初の合成を行う場合には、参照画像に同期してフレームメモリ１０３より基準画像を読み出し、合成が２回目以降である場合には、基準画像の代わりに合成画像を読み出す。

座標変換部１２１には、参照画像に同期して画像位置合わせ部１０４の動き情報保持部１１３から動き情報１１４が供給され、座標変換部１２１は、参照画像に対してこの動き情報に基づいて座標変換を行う。本実施形態では、位置合わせのための動きの成分を平行移動のみとしているため、動きベクトル（Mvx,Mvy）に基づいて参照画像を平行移動させることとなる。すなわち、座標変換部１２１では、動きベクトルに基づいて参照画像を平行移動させることで、参照画像が基準画像に位置合わせされる。加算器１２２は、座標変換され位置合わせされた参照画像を基準画像又は合成画像に加算することで合成画像を生成する。生成された合成画像は、フレームメモリ１０３の合成画像格納領域に記憶される。

図８に、例えば、画像の使用枚数が４枚である場合、すなわち、フレームメモリ１０３に格納された画像が４枚である場合の合成画像上での領域境界を示す。図８に示すように、参照画像毎に位置合わせの際の領域境界がずれているので、合成枚数が増えるほど領域の境目が目立たなくなる。更に、図６において説明したブロックマッチング法による位置合わせに対して、合成画像が更新されていく様子を表した概念図を図９に示す。

図１に戻り、セレクタ１０６は、図示しない制御機構からの制御信号によって、画像位置合わせ部１０４および画像合成部１０６による合成画像と、画像処理部１０２による非合成画像とを切り替える。画像表示部１０７は、例えばＬＣＤ(Liquid Crystal Display)等により構成され、撮像時にユーザーが構図を確認したり、撮像済みの画像を再生したりすることが出来る（再生時のパスは図示せず）。画像圧縮部１０８は、撮像した画像データを圧縮したコードを生成する。静止画に対する圧縮方式としてはＪＰＥＧ(Joint Photographic Experts Group)方式が今日では一般的である。動画も扱う場合はＭＰＥＧ(Moving Picture Experts Group)方式、もしくはＩＴＵ-Ｔ（国際電気通信連合電気通信標準化部門）勧告によるH.264方式なども使用することができる。圧縮符号化された画像データは図示しない外部記憶装置に格納される。

次に、このように構成された本実施形態にかかる画像処理装置における画像処理について図１０のフローチャートを用いて説明する。
図１０に示すように、ステップＳ１００で撮像部１００により画像が撮像され、ステップＳ１０１でＡ／Ｄ変換部１０１にてデジタル信号に変換される。ここで取得する画像は手ブレが発生しないようにシャッター速度が十分に高速であることが望ましい。ステップＳ１０２では、画像処理部１０２において、ステップＳ１００及びステップＳ１０１で撮像されてＡ／Ｄ変換された画像に対して、例えば、ノイズ抑制処理、エッジ強調処理、スケーリング処理などの所定の画像処理を行い、ステップＳ１０３で、処理後の画像データをフレームメモリ１０３に格納する。以上の処理は予め定められた画像の必要枚数分繰り返される。この処理を繰り返すことで、フレームメモリ１０３には、図２のように画像データが書き込まれる。

ステップＳ１０４では、上記した処理が予め定められた必要枚数分終了したか否かを判定する。必要枚数分の処理が終了していない場合には、ステップＳ１００に戻り、上記処理を繰り返し、必要枚数分の処理が終了した場合には、ステップＳ１０５に進む。

次のステップＳ１０５では、画像位置合わせ部１０４により、フレームメモリ１０３から基準画像を読み出し、ステップＳ１０６で同様にフレームメモリ１０３から参照画像を読み出す。ステップＳ１０７では、読み出された基準画像に対して参照画像の位置合わせを行う。位置合わせは、上述したように、画像位置合わせ部１０４により、基準画像を参照画像に対応させて複数の領域に分割し、領域ごとにパターンマッチングを行い、基準画像と参照画像との間の動きを推定する。

次のステップＳ１０８では、画像合成部１０５により、１枚目の参照画像か２枚目以降の参照画像かの判定を行い、１枚目の参照画像である場合には、基準画像に対して参照画像の位置合わせを行ったうえで合成画像を生成し、ステップＳ１０９に進む。ステップＳ１０９では、生成された合成画像を新たにフレームメモリ１０３上の合成画像を格納する領域に書き込む。ステップＳ１０８における判定の結果、２枚目以降の参照画像である場合には、ステップＳ１１０に進み、前フレームまでの合成画像を読み出す。ステップＳ１１１では、読み出された合成画像に対して参照画像を位置合わせした上で合成画像を生成し、生成された合成画像は、フレームメモリ１０３の合成画像領域に格納される。以上の処理によりフレームメモリ１０３には図３のようなデータが書き込まれる。

ステップＳ１１２では、最後の参照画像についての合成処理が終了したか否かの判定を行い、先の合成処理の対象が参照画像でなければ、ステップＳ１０５に戻り、次の参照画像に対して上記した処理を繰り返す。ステップＳ１１２における判定の結果、合成処理の対象が最後の参照画像である場合には、すなわち、全取得枚数分の合成処理が終了したと判定された場合には、ステップＳ１１３に進み、合成画像を使用枚数で除算し最終的な出力画像を生成し、本ルーチンを終了する。なお、画像の取得枚数を２の冪数に限定すると、ステップＳ１１３における除算が単純なビットシフトのみで実現できるので、回路規模削減及び高速化の観点より望ましい。

ここで、本明細書と同日付けで提出した参考図１に、従来方法による生成画像を示す。すなわち、参照画像を予め定めた複数の領域に分割し、分割された複数の領域に対してパターンマッチングを行うことにより得られた複数の動きベクトルから、最も確からしい一つの動きベクトル（グローバル動きベクトル）を特定して基準画像との位置合わせを行ったものである。参考図１（ａ）はこのような従来の方法により位置合わせを行い、合成された画像であり、参考図１（ｂ）は参考図１（ａ）の画像上での分割領域の境界を示すものである。参考図１（ｂ）中、破線A１００は参考図１（ａ）に示した画像の範囲を示し、実線A１０１は位置合わせ時の分割領域の境界を示す。参考図１（ａ）の画像を見ると、参考図１（ｂ）に示した実線A１０１の位置に領域境界の不整合によるブロックアーティファクトが生じていることが分かる。

一方、参考図２に本実施形態の画像処理方法により生成された合成画像を示す。参考情報２（ａ）は本発明の第１の実施形態による位置合わせで合成された画像である。参考図２（ｂ）は参考図２（ａ）の画像上での分割領域の境界を示すものであり、破線A１０２は参考図２（ａ）に示した画像の範囲を示す。参考図２（ａ）は、５枚の画像を合成した例であり、参考図２（ｂ）の黒実線A１０３は基準画像と１枚目の参照画像とを位置合わせした際の分割領域境界であって、参考図１（ｂ）のA１０１と同一の位置にある。また、参考図２（ｂ）の赤実線A１０４、青実線Ａ１０５、緑実線Ａ１０６は、それぞれ基準画像と２枚目、３枚目、４枚目の参照画像の位置合わせを行った際の分割領域境界を示す。参考図２（ａ）のに示すように、参考図１（ａ）の画像と比較して領域境界の不整合によるブロックアーティファクトが大幅に軽減されており、画質が向上していることが分かる。

このように、本実施形態に係る画像処理装置によると、複数枚の画像の位置合わせを行う際に、基準画像に対して分割する領域の境界を参照画像毎に異ならせているので、画像合成時に領域の境界が目立たなくなり高品質な画像を得ることができる。

〔第２の実施形態〕
次に、本発明の第２の実施形態にかかる画像処理装置について図面を参照して説明する。本実施形態にかかる画像処理装置は、動画像撮影モードを有するデジタルカメラシステムに適用することができ、逐次入力される画像と過去の画像又は合成画像を位置合わせして合成していくことにより、ノイズを抑制することができる画像処理装置である。このため、本実施形態の画像処理装置は、画像位置合わせ部１０４及び画像合成部１０５の構成が、上述した第１の実施形態の画像処理装置と異なっている。すなわち、本実施形態の画像位置合わせ部１０４は乗算器２１５及び合成リセット判定部２１４を更に備え、また画像合成部１０５は２つの乗算器２２２，２２４をさらに備え、逐次入力される参照画像と基準画像または過去の合成画像を位置合わせして合成画像を生成する。

また、本実施形態にかかる画像処理装置においては、位置合わせの対象が動画であることから、画像が逐次入力される。このため、画像が入力されると、フレームメモリ１０３には、この画像が基準画像として基準画像格納領域に格納され、既に格納されている合成画像に対してこの画像を合成することにより生成した合成画像が合成画像格納領域に上書きすることで格納される。従って、フレームメモリ１０３には、図１１に示すように基準画像と合成画像とが展開されることとなり、この点が第１の実施形態と異なる。以下、第１の実施形態と共通する構成については同一の符号を付すとともにその説明を省略し、異なる構成について主に説明する。

図１２は、本実施形態の画像処理装置における画像位置合わせ部１０４の概略構成を示すブロック図である。図１２に示すように、画像位置合わせ部１０４は、領域分割設定部２１０、領域分割変更部２１１、動き推定部２１２、動き情報保持部２１３、合成リセット判定部２１４及び乗算器２１５を備えている。領域分割設定部２１０は、フレームメモリ１０３から基準画像と合成画像を読み出し、読み出した基準画像を複数の領域に分割する。領域分割変更部２１１は、複数の領域に分割された基準画像に対して、合成画像に応じてその領域境界を変更する。このとき、画像の合成枚数が定まっていないため、領域分割変更部２１１における領域境界の移動量は、画像合成時にできるだけ領域境界が疎になるように変更する。

従って、例えば、
１枚目：Sx(１)=０, Sy(１)=０
２枚目：Sx(２)=int(Bx/２), Sy(２)=int(By/２)
３枚目：Sx(３)=int(Bx/４), Sy(３)=int(By/４)
４枚目：Sx(４)=int(３Bx/４), Sy(４)=int(３By/４)
５枚目：Sx(５)=int(Bx/８), Sy(５)=int(By/８)
６枚目：Sx(６)=int(５Bx/８), Sy(６)=int(５By/８)
７枚目：Sx(７)=int(３Bx/８), Sy(７)=int(３By/８)
８枚目：Sx(８)=int(７Bx/８), Sy(８)=int(７By/８)
９枚目：Sx(９)=int(Bx/１６), Sy(９)=int(By/１６)
とする。上記設定に基づき画像合成リセット後４枚目までの領域分割を示すと図１３のようになる。

動き推定部２１２及び動き情報保持部２１３は、第１の実施形態における動き推定部１１２及び動き情報保持部２１３と同様に、領域分割部２１０で分割された領域毎の動きを推定し、推定された動きベクトル（Ｍｖｘ，Ｍｖｙ）は、基準画像の各領域に対する合成画像の動き情報として動き情報保持部２１３に格納され、動き情報２１６として合成リセット判定部２１４及び画像合成部１０５へ出力される。

合成リセット判定部２１４は、動き情報保持部２１３に格納された動き情報から、画像合成を行うか行わないかを判定し、合成リセット信号２１７として画像合成部１０５へ出力する。判定アルゴリズムについては、例えば、推定した動きが領域毎に大きく異なる場合、または多数のブロックにおいてサーチ範囲を超える大きな動きを検出した場合に、”真”信号を出力するようにする。

乗算器２１５は、動き推定部２１２でのブロックマッチング処理を最適に行うために、レベル調整、すなわち、合成画像のレンジを基準画像のレンジに合致させる処理を行う。このため、乗算器２１５では、読み出された合成画像に対して係数Ａ１を乗じる。ここで、合成リセット後から蓄積された枚数をｎとすると、係数Ａ１は次式で表される。
Ａ１=１／ｎ
例として、８枚の画像の合成を行う場合の係数Ａ１を図１４に示す。

本実施形態における画像合成部１０５は、図１５に示すように、座標変換部２２０、加算器２２１、乗算器２２２，２２４及びセレクタ２２３を備えている。座標変換部２２０では、フレームメモリ１０３から読み出された合成画像に対して、画像位置合わせ部の動き情報保持部２１３から供給される動き情報２１６に基づいて、座標変換処理を行う。本実施形態では動きの成分を平行移動のみとしているので、動きベクトル（Ｍｖｘ，Ｍｖｙ）に基づいて合成画像を平行移動することになる。この座標変換部２２０により合成画像は基準画像に位置合わせされる。そして、加算器２２１により、合成画像が基準画像に合成される。

乗算器２２２では、加算器２２１によって合成された合成画像を予め設定した合成画像のレンジに合致させる処理を行う。これは、基準画像が加算された合成画像は、例えば２枚加算した場合は基準画像に対してレンジが２倍となるので、元の基準画像のレンジに調整する必要があるためである。このため、乗算器２２２は、加算器２２１によって合成された合成画像に対して係数Ａ２を乗ずる。ここで、ｎ枚相当の合成を行うとした場合、合成リセット後から蓄積された枚数をｍとすると、係数Ａ２は次式で表される。

Ａ２=１ ...ｍ＜ｎ
ｎ／（ｎ＋１） ...ｍ≧ｎ

例として、８枚分の合成を行う場合の係数Ａ２を図１６に示す。リセット後の合成枚数が８枚以上の時はA２=８／９、それ以外の時は１である。

セレクタ２２３は、画像位置合わせ部１０４から供給される合成リセット信号２１７が偽の時は、乗算器２２２の出力をフレームメモリ１０３に書き戻し、真の時は基準画像をそのまま合成画像として書き戻す。セレクタ２２３で選択した画像は乗算器２２４によって係数Ａ１が乗ぜられ（基準画像のレンジに合わせられ）、出力画像として画像表示部１０７もしくは画像圧縮部１０８へと出力される。

図１７は、例として図１３に示した領域分割に基づいて画像合成を行った場合の合成画像上での領域境界を示したものである。第１の実施形態と同様に、逐次入力される基準画像毎に位置合わせの際の領域境界がずれているので、合成枚数が増えるほど領域の境目が目立たなくなる。

次に、このように構成された本実施形態にかかる画像処理装置における画像処理について図１８のフローチャートを用いて説明する。
図１８に示すように、ステップＳ２００で撮像部１００により画像が撮像され、ステップＳ２０１でＡ／Ｄ変換部１０１にてデジタル信号に変換される。ステップＳ２０２では、画像処理部１０２において、ステップＳ２００及びステップＳ２０１で撮像されてＡ／Ｄ変換された画像に対して、例えば、ノイズ抑制処理、エッジ強調処理、スケーリング処理などの所定の画像処理を行い、ステップＳ２０３で、処理後の画像データを基準画像としてフレームメモリ１０３に格納する。本実施形態では撮像素子にて取得した最新の画像を基準画像とする。

次に、ステップＳ２０４で、先のステップＳ２０３でフレームメモリ１０３に格納された基準画像が最初に得たものであるか否かを判断する。この判断の結果、基準画像が最初に得たものであれば、ステップＳ２１０に進み、そのまま新たにフレームメモリ１０３上の合成画像を格納する領域に書き移す。ステップＳ２０４の判断の結果、この基準画像が、２枚目以降の画像であると判断された場合は、ステップＳ２０５に進み、直前に格納された合成画像を読み出す。

次のステップＳ２０６では、画像位置合わせ部１０４の乗算器２１５により、読み出された合成画像に対して、基準画像のレンジに合致させるようレベル調整を行う。レベル調整の後、ステップＳ２０７では、画像位置合わせ部１０４により、基準画像と合成画像の位置あわせを行う。位置合わせ方法は第１の実施形態と同様に、基準画像を領域分割し領域ごとにパターンマッチングを行うことにより行う。

次のステップＳ２０８では、位置合わせがなされた合成画像に対して、合成を行うか行わないかの判定を行う。この判定は、例えばシーンチェンジ、照明の変化、ユーザーの操作による急激なパンニング、等によりフレーム間の相関が取れなくなった場合に画像合成をキャンセルするためのものである。合成を行うと判定された場合は、ステップＳ２０９に進み、基準画像と合成画像との位置を合わせながら、新たに合成画像を生成し、生成された新たな合成画像をフレームメモリ１０３の合成画像領域に上書きすることで格納する。合成を行わないと判定された場合は、ステップＳ２１０に進み、基準画像をそのまま合成画像領域に格納する。

ステップＳ２１１では、基準画像が加算された合成画像を、元の基準画像のレンジに調整し、この合成画像をそのフレームの出力画像とする。ステップＳ２１２では、撮影が終了したか否か、換言すると、上記した一連の処理に対してユーザーによる撮影終了の指示があったか否かを判定する。判定の結果、撮影が終了していないと判定された場合には、上記した一連の処理を繰り返し、撮影が終了したと判定された場合は、本ルーチンを終了する。

本実施形態では、画像の合成枚数は決まっておらず、ステップＳ２０８にて合成がリセットされるまで、逐次入力される画像を合成し続けることとなる。しかしながら、それではユーザーが静止した同一被写体を撮像し続けている場合などでは、合成画像がオーバーフローしてしまうこととなる。このため、これを防ぐために、予め何枚相当の合成を行うかを定めておき、合成画像のbit長をそれに合わせて拡張することが望ましい。例えば、基準画像のbit長が１０bitで合成枚数を８枚相当とすると、合成画像のビット長は１３bitとなる。式で示すと以下のようになる。

BITWIDTHMIX = BITWIDTHBASE + roundup(log_２(FRAMENUM))
BITWIDTHMIX：合成画像のbit長
BITWIDTHBASE：基準画像のbit長
FRAMENUM：合成枚数

ここで、roundup()は括弧内の数値を切り上げた整数を返す関数とする。フレームメモリ１０３を有効に使用するためには合成枚数を２の冪数とすることが望ましい。なお、上記では便宜上合成枚数という言葉を使用したが、本実施形態では画像の合成枚数は決まっておらずユーザーの撮像操作に一任されるため、「合成枚数を８枚相当とする」とはつまり「８枚相当の情報量を保持できるメモリを確保する」という事を意味する。
本実施形態では、フレームメモリ１０３上に展開される画像データは図１１に示すように基準画像と合成画像のみとなるが、基準画像に比べて合成画像の方がbit長が大きいため、その分メモリ上の領域も大きくなる。

以上に示したように、本発明の第２の実施形態に係る画像処理装置によると、動画像撮影モードを有するデジタルカメラシステムにおいて、過去のフレームの画像を最新のフレームの位置に合わせながら累積合成し、かつ位置合わせを行う際の領域境界を画像毎に変えているので、画像合成時に領域の境界が目立たなくなりノイズの少ない高品質な画像を得ることができる。

〔第３の実施形態〕
次に、本発明の第３の実施形態にかかる画像処理装置について図面を参照して説明する。本実施形態にかかる画像処理装置は、上述した第２の実施形態と同様に、動画像撮影モードを有するデジタルカメラシステムに適用することができ、第２の実施形態の画像処理装置に、動画手ブレ補正機能を加えたものである。このため、本実施形態の画像処理装置は、画像位置合わせ部１０４及び画像合成部１０５の構成が、上述した第２の実施形態の画像処理装置と異なっている。以下、第２の実施形態と共通する構成については同一の符号を付すとともにその説明を省略し、異なる構成について主に説明する。

図１９は、本実施形態における画像位置合わせ部１０４の概略構成示すブロック図である。図１９に示すように、本実施形態における画像位置合わせ部１０４は、上述した第２の実施形態における画像位置合わせ部１０４に、更に動画手ブレ検出部３１０が加えられた構成となっている。

動画手ブレ検出部３１０は、動き情報保持部２１３から読み出した領域毎の動き情報に基づいて、グローバルベクトルを検出する。検出されたグローバルベクトルは、グローバル動き情報３１１として画像合成部１０５へ出力する。また、動画手ブレ検出部３１０は、動画手ブレ補正を行うか行わないかを判定し、手ブレ補正信号３１２として同じく画像合成部１０５へ出力する。

図２０は、本実施形態における画像合成部１０５の概略構成を示すブロック図である。図２０に示すように、座標変換部３２１はグローバル動き情報３１１に基づいて基準画像の座標変換を行う。減算器３２０は、座標変換部３２１における処理に同期して、動き情報２１６で示される領域毎の動きベクトルから、グローバル動き情報３１１で示されるグローバルベクトルを減算する。この二つの処理はセレクタ３２２及びセレクタ３２３にて切り替えられるようになっており、手ブレ補正信号３１２が真であるときに行われる。この処理は、まずグローバルベクトルで基準画像全体を合成画像側に移動することによって、画角全体の動きである手ブレをキャンセルした後、領域毎の動きベクトルとグローバルベクトルの残差を用いて被写体の動きを考慮した位置あわせを行うものである。手ブレ補正信号３１２が偽である時は、上記の処理は行わず図１５に示した第２の実施形態における位置合わせ処理と同様の処理を行う。

次に、このように構成された本実施形態にかかる画像処理装置における画像処理について図２１のフローチャートを用いて説明する。図２１中、ステップＳ２００〜ステップＳ２０６及びステップＳ２１０〜ステップＳ２１２は、上述した第２の実施形態と同様の処理を行うため、同一の符号を付し、その説明を省略する。

まず、ステップＳ３００にて、領域毎に合成画像に対する基準画像の動きを推定し、ステップＳ３０１にて、推定した動き情報より合成リセット条件が成立したか否かを判定する。合成リセット条件が成立した場合はステップＳ２１０に進み、成立しなかった場合は、ステップＳ３０２に進む。ここで、合成リセット条件は第２の実施形態にて例示したものを利用することができる。

合成リセット条件が成立しなかった場合、すなわち、合成を行うと判定された場合は、ステップＳ３０２で、領域毎に推定した動き情報よりグローバルベクトルを検出する。グローバルベクトルを算出するアルゴリズムとしては、例えば以下のようなものがある。
(１) 領域毎に検出した動きを統計し、最も頻度の高い動きをグローバルベクトルとする。最頻度となる領域の個数が所定値に達しない場合はグローバルベクトル算出不可能とする。
(２) 画像の四隅（右上、右下、左上、左下）付近の動きを平均したものをグローバルベクトルとする。画像四隅の動きが明らかに異なる場合はグローバルベクトル算出不可能とする。

次のステップＳ３０３では、算出したグローバルベクトルが手ブレであるかどうかの判定を行う。手ブレ判定としては、例えば、検出したグローバルベクトルが所定値よりも小さく、かつ直前のフレームで検出したグローバルベクトルとは異なる方向を持っている場合に手ブレと判定することができる。なお、上記のグローバルベクトル検出アルゴリズム及び手ブレ判定アルゴリズムは一例であり、これに限るものではない。また、グローバルベクトルの検出には撮像装置内部に動きセンサー等の機構を設置し、その出力を用いても良い。その場合は上記の手ブレ判定を行う必要が無く、グローバルベクトル検出もその計算処理を行う必要が無くなるため、処理が大幅に簡略化される。

ステップＳ３０３において、手ブレがあると判定された場合は、ステップＳ３０４に進み、手ブレがないと判定された場合は、ステップＳ３０６に進む。ステップＳ３０４では、グローバルベクトルにより基準画像を移動させる。次のステップＳ３０５で、領域毎の動きベクトルからグローバルベクトルを減算する。ステップＳ３０６では、ステップＳ３０３で手ブレがないと判定された合成画像又はステップＳ３０３を出てブレがあると判定されてステップＳ３０４及びステップＳ３０５において所定の処理がなされた合成画像を領域毎に基準画像に位置あわせして合成し、合成画像メモリに格納する。

以上に示したように、本発明の第３の実施形態に係る画像処理装置によると、動画像撮影モードを有するデジタルカメラシステムにおいて、第２の実施形態を適用した時の効果に加えて、手ブレによる不快な画像の揺れを抑制することができる。

なお、本発明にかかる画像処理装置は、上述したようにデジタルカメラ、デジタルビデオカメラ等の撮像装置に適用できるだけでなく、汎用又は専用のコンピュータ及びこのコンピュータ上で動作するプログラムを利用して実現することができる。このようなコンピュータは、ＣＰＵ（中央演算装置）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えており、ＣＰＵ等により、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体に記録されているプログラムを読み出して、プログラムをＲＯＭやＲＡＭなどに展開し、情報の加工・演算処理を実行することにより、上述の機械装置の性能評価処理を実現させる。

したがって、上記した各処理部は、いずれもＣＰＵが所定のＲＯＭに格納された処理プログラムをＲＡＭに展開し、展開したプログラムを実行することによって実現される。ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

以上に示したように、本発明に係る画像処理装置によれば、複数枚の画像の位置合わせを画像内の分割領域毎に行う際に、参照画像毎に領域境界を移動させることにより領域の境界を目立たなくすることができる。また、位置合わせした画像を合成することによりノイズを抑制することができる。この発明を電子手ブレ補正に適用すると、特に動きのある被写体に対して堅牢な位置合わせを行うことが可能となり、かつブロックアーティファクトによる画質低下を軽減することができる。

１００ 撮像部
１０１ Ａ／Ｄ変換部
１０２ 画像処理部
１０３ フレームメモリ
１０４ 画像位置合わせ部
１０５ 画像合成部
１０６ セレクタ
１０７ 画像表示部
１０８ 画像圧縮部
１１０ 領域分割設定部
１１１ 領域分割変更部
１１２ 動き推定部
１１３ 動き情報保持部
１１４ 動き情報
１２０ セレクタ
１２１ 座標変換部
１２２ 加算器
２１０ 領域分割設定部
２１１ 領域分割変更部
２１２ 動き推定部
２１３ 動き情報保持部
２１４ 合成リセット判定部
２１５ 乗算器
２１６ 動き情報
２１７ 合成リセット信号
２２０ 座標変換部
２２１ 加算器
２２２，２２４ 乗算器
２２３ セレクタ
３１０ 動画手ブレ検出部
３１１ グローバル動き情報
３１２ 手ブレ補正信号
３２０ 減算器
３２１ 座標変換部
３２２，３２３ セレクタ

Claims (4)

1. 複数の画像間の位置合わせを行う位置合わせ手段と、位置合わせされた前記複数の画像を合成して合成画像を生成する画像合成手段とを備えた画像処理装置であって、
   前記位置合わせ手段は、
   前記複数の画像のうち何れか１つを基準画像とし、他の画像を参照画像とした場合に、前記基準画像を所定の境界線によって区切ることにより複数の領域に分割する領域分割手段と、
   位置合わせの対象となる前記参照画像間で前記領域がそれぞれ異なるように前記境界線を移動させて前記基準画像の領域を変更する領域変更手段と、を備え、
   前記領域毎に前記基準画像に対して前記位置合わせ対象の参照画像の位置合わせを行うことを特徴とする画像処理装置。
2. 前記領域分割手段は、前記領域を矩形領域とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記領域変更手段は、前記境界線を平行移動させることにより前記領域を変更することを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 複数の画像間の位置合わせを行い、位置合わせされた前記複数の画像を合成して合成画像を生成する画像処理方法であって、
   前記位置合わせに際して、
   前記複数の画像のうち何れか１つを基準画像とし、他の画像を参照画像とした場合に、前記基準画像を所定の境界線によって区切ることにより複数の領域に分割するステップと、
   位置合わせの対象となる前記参照画像間で前記領域がそれぞれ異なるように前記境界線を移動させて前記基準画像の領域を変更するステップと、を備え、
   前記領域毎に前記基準画像に対して前記位置合わせ対象の参照画像の位置合わせを行うことを特徴とする画像処理方法。

Images