JP2003143484A - 画像合成装置 - Google Patents

Abstract

(57)【要約】 【課題】 手ぶれと被写体ぶれの検出及び補正を適応的
に実施し、良好な広ダイナミックレンジの合成画像が得
られるようにした画像合成装置を提供する。 【解決手段】 露光量の異なる複数の画像ａ，ｂ間の画
像のぶれが、被写体ぶれによるものか手ぶれによるもの
かを検出するぶれ検出部61と、被写体ぶれを補正して露
光量の異なる複数の画像を合成する被写体ぶれ補正処理
部63と、手ぶれを補正して露光量の異なる複数の画像を
合成する手ぶれ補正処理部62と、前記ぶれ検出部からの
ぶれ検出信号に応じて前記被写体ぶれ補正処理部と手ぶ
れ補正処理部とを切り換える切換手段64-1，64-2とで、
広ダイナミックレンジの合成画像を生成する画像合成装
置を構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、露光量の異なる
複数の画像を合成して、ダイナミックレンジを拡大して
出力するぶれ補正機能を備えた画像合成装置に関する。

【０００２】

【従来の技術】従来、複数の露光量の異なる画像を合成
し、ダイナミックレンジの広い画像を得る画像合成装置
が知られているが、その概略構成を図21に示し、またそ
の動作のタイミングチャートを図22に示す。これらの図
に示すように、ＣＣＤ，ＣＭＯＳセンサ等の撮像素子20
1 は露光量の異なる複数の画像を撮像し、順次出力して
Ａ／Ｄ変換器202 でＡ／Ｄ変換する。ここでは露光量の
多い画像を画像ａ，露光量の少ない画像を画像ｂとす
る。そして、図22のタイミングチャートに示すように両
画像ａ，ｂのタイミングを一致させるため、フレームメ
モリ203 により遅延させている。また、両画像を単純に
合成した場合に、その切り換わり部分が不自然となるた
め、第１及び第２のレベル変換回路204 ，205 により所
定のレベル変換を行ない、両画像ａ，ｂのレベルを合わ
せた後、合成回路206 により合成を行なうようになって
いる。タイミングチャートでは、例えば第ｎフレームの
画像を(n) で表している。ｎフレーム目の画像合成は、
１フレーム遅延させた画像ａ(n) と画像ｂ(n) から合成
を行ない、合成画像(n) を得ている。

【０００３】図23は画像合成の例を示す概念図である。
図23の（１）は、露光量の多い画像ａである。この場
合、人物に露出が合っているため、背景が白くとんでし
まっている。図23の（２）は、露光量の少ない画像ｂで
ある。この場合は、背景に露出が合っているため、人物
が黒くつぶれている。合成時には、所定の閾値により
ａ，ｂどちらの画像を採用するかを選択する。図23の
（３）には、画像ａにおいて閾値以下となった部分を網
掛け処理した二値画像を示す。また、図23の（４）に
は、画像ｂにおいて閾値以上となった部分を網掛け処理
した二値画像を示す。網掛け処理した二値画像のそれぞ
れを合成した画像を図23の（５）に示す。このように、
画像ａ，画像ｂから合成することで、白とび、黒つぶれ
のない、ダイナミックレンジの広い画像を得ている。

【０００４】上記のように、順次撮像した複数画像を合
成する場合、ぶれ等があった場合には、それぞれの画像
で被写体の位置が異なり、合成時に被写体がずれてしま
う。このような位置ずれに対するぶれ補正装置が、特許
３１１０７９７号に提案されている。次に、特許３１１
０７９７号提案の画面ぶれ及び画像合成の概念を図24に
示す。この例では、手ぶれにより、画像ａと画像ｂがず
れて撮像されている場合を示している。図24の（Ａ）
は、同一の点が合致するように画像ａ，ｂをそれぞれず
らして合成した態様を示している。図24の（Ａ）に示す
点ｐは、図24の（Ｂ），（Ｃ）に示すように、画像ａと
画像ｂそれぞれの画像においては、Ｐa ，Ｐb の座標に
なっている。

【０００５】図25は、上記特許で開示されている画像合
成装置の構成を示すブロック図である。Ａ／Ｄ変換器30
1 でＡ／Ｄ変換された入力画像に対し動き検出回路306
により動きベクトルを検出し、画像ａ，画像ｂの共通部
分をメモリ制御回路305 によってフィールドメモリ304a
より読み出す。共通部分は本来の撮像エリアより小さく
なるため、拡大補間回路302aにより拡大補間処理を行な
い元のサイズへ戻したのち、フィールドメモリ304bから
出力される前フィールドの画像と合成部302bにより合成
し、Ｄ／Ａ変換器303 でＤ／Ａ変換されて、ぶれを補正
した画像が出力するように構成されている。

【０００６】

【発明が解決しようとする課題】上記のように、提案の
補正技術においては、画面全体を動きベクトルに従って
移動させ、共通エリアを得て合成を行なっている。しか
し、画像のぶれには画面全体が移動する手ぶれだけでは
なく、一部の被写体が移動する被写体ぶれがある。図26
に、その被写体ぶれの概念を示す。この例では、画像
ａ，ｂにおいて、背景についてはぶれが発生していない
が、人物に関しては被写体ぶれが発生している。この場
合、背景に着目してぶれ補正を行なわない場合には、合
成画像（１）に示すように人物が二重に写ってしまい、
また、人物に着目してぶれ補正（座標移動）を行なう
と、合成画像（２）に示すように画面全体の移動によ
り、背景が二重に写ってしまう。従来提案の技術では、
このような観点について考慮がなされていない。

【０００７】本発明は、この観点に着目してなされたも
のであり、手ぶれと被写体ぶれの検出及び補正を実施
し、画質の良好なダイナミックレンジの広い画像を得る
ことの可能な画像合成装置を提供することを目的とする
ものである。

【０００８】

【課題を解決するための手段】上記問題点を解決するた
め、請求項１に係る発明は、露光量の異なる複数の画像
を合成し、ダイナミックレンジの広い画像を得る画像合
成装置において、前記複数の画像間の画像のぶれが被写
体ぶれによるものか手ぶれによるものかを検出するぶれ
検出手段と、被写体ぶれを補正して露光量の異なる複数
の画像を合成する第１の画像合成手段と、手ぶれを補正
して露光量の異なる複数の画像を合成する第２の画像合
成手段と、前記ぶれ検出手段からのぶれ検出信号に応じ
て、前記第１の画像合成手段と前記第２の画像合成手段
とを切り換える切換手段とを備えていることを特徴とす
るものである。

【０００９】この請求項１に係る発明の構成には、図１
及び図２に示す実施の形態の構成が対応する。そして、
この発明の構成要件のぶれ検出手段には、図２のＣＰＵ
６におけるぶれ検出部61が対応し、また第１の画像合成
手段と第２の画像合成手段には、手ぶれ補正処理部62及
び被写体ぶれ補正処理部63が対応する。

【００１０】この構成の画像合成装置においては、ぶれ
検出部61は、合成される露光量の異なる画像から、画面
全体が動く手ぶれか一部が動く被写体ぶれかを判定す
る。手ぶれ発生時には、画像が平行移動するため座標変
換により補正することが望ましい。また、被写体ぶれ発
生時には画像の一部のみが動くため、合成時に画像が二
重になる不一致部に対しローパスをかけることにより補
正することが望ましい。よって、手ぶれ補正処理部62及
び被写体ぶれ補正処理部63はぶれ判定結果に従い、それ
ぞれに対応した補正処理を行う。

【００１１】したがって、請求項１に係る発明によれ
ば、上記のように適応的に補正を行なうことにより、手
ぶれが発生した場合にも、被写体ぶれが発生した場合に
も、良好な広ダイナミックレンジの合成画像を得ること
が可能となる。

【００１２】請求項２に係る発明は、請求項１に係る画
像合成装置において、前記複数の画像の一方の画像と他
方の画像より、画像の合成の対象となる合成対象領域を
検出する合成対象領域検出手段と、前記合成対象領域を
所定のグループに分けるグループ化手段とを更に有し、
前記ぶれ検出手段は前記合成対象領域のグループ毎に被
写体ぶれか手ぶれかを検出し、前記切換手段は、前記ぶ
れ検出手段からのぶれ検出信号に基づいて、前記合成対
象領域のグループ毎に前記第１の画像合成手段と前記第
２の画像合成手段とを切り換えるように構成されている
ことを特徴とするものである。

【００１３】この請求項２に係る発明の構成には、図１
及び図２に示す実施の形態の構成が対応する。そして、
この発明の構成要件の合成対象領域検出手段には、図２
の画像処理回路３における合成対象領域検出部31が、グ
ループ化手段にはラベリング部32が対応する。また、ぶ
れ検出手段にはぶれ検出部61が、第１の画像合成手段と
第２の画像合成手段には、手ぶれ補正処理部62及び被写
体ぶれ補正処理部63が対応する。

【００１４】この構成の画像合成装置においては、例え
ば図８の（１），（２）に示すように、合成が３つの被
写体について行われ、それぞれ手ぶれ及び被写体ぶれが
発生している場合には、まず合成対象領域検出部31は、
画像ａ，ｂにおいて合成の対象となる領域を検出する。
図８の（３）に示す領域が、画像ａ，ｂから合成される
合成対象領域である。次に、ラベリング部32は、合成対
象領域についてラベリング処理、すなわちラベル付けを
行う。この例では、被写体毎にラベル１〜３が割り当て
られる。ぶれ検出部61によるぶれ検出は、ラベル毎にぶ
れ検出を行う。すなわち、この例では平行移動であるラ
ベル１，２の領域は手ぶれと判定され、ラベル３の領域
は被写体ぶれと判定される。次に、画像合成を行なう
が、各ラベル毎に判定結果に基づき、手ぶれと判定され
たラベルには、座標変換により補正を行ない、被写体ぶ
れと判定されたラベルでは、ローパスフィルタをかける
ことにより補正を行なう。この補正処理の結果が図８の
（４）に示す合成画像である。

【００１５】このように請求項２に係る発明によれば、
各グループ毎に適応的に補正を行なうことにより、手ぶ
れと被写体ぶれが同時に発生した場合にも、良好な広ダ
イナミックレンジの合成画像を得ることが可能となる。

【００１６】請求項３に係る発明は、請求項２に係る画
像合成装置において、前記複数の画像間の画像のぶれを
検出する対象となるぶれ検出対象領域を設定するぶれ検
出対象領域設定手段を更に備え、前記ぶれ検出手段は、
前記ぶれ検出対象領域内でのみぶれを検出するように構
成されていることを特徴とするものである。

【００１７】この請求項３に係る発明の構成には、図１
及び図２に示す実施の形態の構成が対応する。そして、
この発明の構成要件のぶれ検出対象領域設定手段には、
図２の画像処理回路３におけるぶれ検出対象領域設定部
33が対応し、ぶれ検出手段12には同様にぶれ検出部61が
対応する。

【００１８】この構成の画像合成装置においては、ぶれ
検出対象領域設定部33は、ぶれ検出の対象を画像の一部
に限定し、ぶれ検出部61はこの一部に対してのみ処理を
行っている。これにより、本発明においては、ぶれ検出
の処理が軽減され、高速に処理を行うことが可能とな
る。

【００１９】請求項４に係る発明は、請求項３に係る画
像合成装置において、前記一方の画像と前記他方の画像
を各々所定の閾値で二値化し二値画像を出力する二値化
手段を更に備え、前記ぶれ検出対象領域設定手段は、前
記一方の二値画像と前記他方の二値画像との比較を行
い、不一致領域を前記ぶれ検出対象領域として出力する
比較手段を備えていることを特徴とするものである。

【００２０】この請求項４に係る発明の構成には、図３
に示す実施の形態の画像処理回路の構成が対応する。そ
して、この発明の構成要件の二値化手段には、図３にお
ける二値化回路35が、比較手段にはＸＯＲ回路33-1が対
応する。

【００２１】この構成の画像合成装置においては、二値
化回路35により、入力画像ａ，ｂの二値化を行い、単純
に合成した場合に二重になってしまう領域を、画像ａ，
ｂの二値画像からＸＯＲ回路33-1により検出する。図７
の（２）に、ぶれ検出対象領域の一例を示す。このよう
に、本発明によれば、簡易な回路により、ぶれが発生し
ている領域を検出することが可能となる。

【００２２】請求項５に係る発明は、請求項４に係る画
像合成装置において、前記比較手段は、前記一方の二値
画像と前記他方の二値画像とを所定の方向に走査して両
画像間の比較を行い、その比較結果が一定数連続して不
一致となった場合に限り、ぶれ検出対象領域を示す信号
を出力するように構成されていることを特徴とするもの
である。

【００２３】この請求項５に係る発明の構成には、図３
に示す実施の形態の画像処理回路の構成が対応する。そ
して、この発明の構成要件の比較手段には、図３におけ
るＸＯＲ回路33-1と連続検出回路33-2が対応する。

【００２４】この構成の画像合成装置においては、ＸＯ
Ｒ回路33-1により画像間のずれを検出する場合、ノイズ
等の影響により二値画像には微小なずれが発生する。こ
れに対し、連続検出回路33-2は、所定の値以上連続した
場合のみ出力を変化させることにより、微小なずれによ
る影響を除去している。このように、本発明によれば、
画像間のぶれ検出の際に微小な不一致領域を除去するた
め、ノイズ等によりぶれ検出領域が大量に検出され、演
算時間が増大することを防止することが可能となる。

【００２５】請求項６に係る発明は、請求項４に係る画
像合成装置において、前記合成対象領域検出手段は、前
記比較手段により不一致領域とされた領域と、前記一方
の二値画像と前記他方の二値画像とのいずれか一方の画
像において前記閾値以上であるとされた領域とを含めた
領域を、前記合成対象領域として出力することを特徴と
するものである。

【００２６】この請求項６に係る発明の構成には、図３
に示す実施の形態の画像処理回路の構成が対応する。こ
の発明の構成要件の合成対象領域検出手段には、図３に
おけるＯＲ回路31-1が対応する。

【００２７】この構成の画像合成装置においては、合成
対象領域は画像ａ及び画像ｂにおいてぶれを含む、合成
対象となる領域全てである。図７の（３）に合成対象領
域の一例を示す。不一致領域は、ずれの発生した領域の
みであり、合成対象領域は、この領域に画像ａ，ｂの共
通領域を付加したものである。このように、画像ａと不
一致領域とのＯＲ処理を行ったものが、合成対象領域と
なる。このように、本発明によれば、簡易な回路により
合成対象領域を検出することが可能となる。

【００２８】請求項７に係る発明は、請求項４に係る画
像合成装置において、前記二値化手段は、前記一方の画
像を二値化する閾値と前記他方の画像を二値化する閾値
を、それぞれの画像の露光量に比例した値とすることを
特徴とするものである。

【００２９】この請求項７に係る発明の構成には、図４
に示す実施の形態の二値化回路の構成が対応する。

【００３０】この構成の画像合成装置においては、画像
ａ，ｂは、それぞれ比較回路ａ35-1，比較回路ｂ35-2に
より閾値と比較され、二値化される。本実施の形態で
は、画像ａの閾値は、除算回路35-3により求められた露
光量の比Ｅａ／Ｅｂと、画像ｂの閾値を乗算回路35-4に
より演算することにより求めている。図５の（１），
（２）に示すように、画像ａの輝度値の波形は、画像ｂ
を高さ方向に露光比倍したものとなる。この輝度値の波
形に対し、画像ａに対して露光比倍した閾値を与える
と、画像ｂの閾値に対応するレベルでの二値化を行うこ
とが可能となる。これにより、本発明によれば、簡易な
回路により両画像の二値化を行うことが可能となる。

【００３１】請求項８に係る発明は、請求項２に係る画
像合成装置において、前記グループ化手段は、前記合成
対象領域の連結態様を検出し、連結している領域毎にラ
ベルを付与することによりグループ分けを行なうように
構成されていることを特徴とするものであ。

【００３２】この請求項８に係る発明の構成には、図９
の（１）のラベリングのフローチャートに示す動作を行
うラベリング部32の構成が対応する。

【００３３】この構成の画像合成装置において、図９の
（１）のフローチャートに示す動作は、図９の（３）に
示すように左から右へ画素毎の走査を行い、また、更に
上から下へ走査を行う場合のラベリングの動作である。
このように、注目画素に対し、図９の（２）において
Ａ，Ｂで示す周辺画素との連結を検査し、連結している
場合には同一のラベルを付与する。図10の（１）にラベ
リング画像の様子を示す。このように合成対象領域の一
つの塊があった場合、順次ラベルを与え、最終的に同一
のラベルを与えている。このように、本発明によれば、
合成対象領域の塊毎に、ぶれの検出及び合成を行うた
め、良好な合成画像を得ることが可能となる。

【００３４】請求項９に係る発明は、請求項３に係る画
像合成装置において、前記ぶれ検出手段は、前記ぶれ検
出対象領域内からぶれ検出を実施する領域を特定する特
定領域設定手段と、前記一方の画像内における前記特定
領域に基準ブロックを設定し、該基準ブロックと前記他
方の画像における前記特定領域及びその周辺領域からな
る探索領域内の複数の参照ブロックとの類似度を演算
し、最も類似度が大きい参照ブロックを検出する第１の
ブロックマッチング手段と、前記第１のブロックマッチ
ング手段における前記一方の画像と前記他方の画像とを
入れ替えて、前記第１のブロックマッチング手段と同様
の処理を行う第２のブロックマッチング手段と、前記第
１のブロックマッチング手段からの出力と、前記第２の
ブロックマッチング手段からの出力とに基づいて、手ぶ
れと被写体ぶれを判定するぶれ判定手段を有することを
特徴とするものである。

【００３５】この請求項９に係る発明の構成には、図12
に示す実施の形態のぶれ検出部61の構成が対応する。こ
の発明の構成要件の特定領域設定手段には、特定領域設
定部61-1が、第１のブロックマッチング手段と第２のブ
ロックマッチング手段には、それぞれブロックマッチン
グ算出部(1)61-2 とブロックマッチング算出部(2)61-3
が、ぶれ判定手段にはぶれ判定部61-5が対応する。

【００３６】この実施の形態のぶれ検出部61において
は、特定領域設定部61-1は、ブロックマッチングの対象
となるブロックの選定を行う。ブロックマッチング算出
部(1)61-2 ，(2)61-3 は、それぞれ画像ａ，画像ｂを基
準とし、他方の画像に対し、類似したブロックの探索を
行うものである。ぶれ判定部61-5は、ブロックマッチン
グ算出部(1)61-2 ，(2)61-3 の結果より、手ぶれか被写
体ぶれの判定を行う。図17の（１）は被写体ぶれが起き
ている画像の一例である。左側は画像ｂを基準とした場
合で、右側が画像ａを基準とした場合である。左側の例
では、探索により類似のブロックが検出されるが、右側
の場合には、被写体ぶれにより、背景の一部が被写体に
より隠れているため、類似ブロックの検出はできない。
以上のようにブロックマッチングの結果よりぶれ判定を
行う。このように、本発明によれば、ブロックマッチン
グを相互に行うことにより、確実にぶれ判定を行うこと
が可能となる。

【００３７】請求項10に係る発明は、請求項９に係る画
像合成装置において、前記ぶれ判定手段は、前記基準ブ
ロックに対する類似度が最大となる参照ブロックへのベ
クトルを動きベクトルとして演算するベクトル演算手段
を有し、前記一方の画像の前記特定領域を基準ブロック
とした場合の動きベクトルと、前記他方の画像の前記特
定領域を基準ブロックとした場合の動きベクトルとを加
算した結果が所定の値以下である場合には手ぶれと判定
し、そうでない場合には被写体ぶれと判定することを特
徴とするものである。

【００３８】この請求項10に係る発明の構成には、図13
のぶれ検出部のフローチャートに示す動作を行う構成が
対応する。そして、請求項10の構成要件のぶれ判定手段
には図12におけるぶれ判定部61-5が対応し、ベクトル演
算手段には、図13のステップＳ104 のベクトル演算を行
う手段が対応し、また、ベクトルの差の演算及びぶれの
判定はステップＳ105 で行われる。

【００３９】このように構成されているぶれ判定部61-5
においては、ベクトル演算を行うステップＳ105 ではブ
ロックマッチングの結果より演算を行い、画像ａ，ｂの
それぞれを基準とした場合の動きベクトルを算出する。
ベクトル差はベクトル同士を加算することにより、それ
ぞれのベクトルが逆方向で且つ同じ大きさであるかどう
かを所定の誤差範囲をもって判定している。手ぶれが発
生している場合には基本的にベクトルは逆方向となる
が、被写体ぶれが起きている画像では、ベクトルが一致
しない。このように、請求項10に係る発明によれば、両
画像それぞれを基準としたベクトルに対し、簡単な演算
を行うことにより、ぶれ判定を行うことが可能となる。

【００４０】請求項11に係る発明は、請求項９に係る画
像合成装置において、前記ぶれ判定手段は、前記一方の
画像の特定領域を基準ブロックとした場合の類似度の最
大値と、前記他方の画像の特定領域を基準ブロックとし
た場合の最大値とが、共に所定の値以上である場合には
手ぶれと判定し、そうでない場合には被写体ぶれと判定
することを特徴とするものである。

【００４１】この請求項11に係る発明の構成には、図13
のぶれ検出部のフローチャートのステップＳ103 で示す
動作を行う構成が対応する。この実施の形態では、類似
度の検出はブロック間の輝度値の差分の総和により行っ
ているため、類似度の最大値は差分の総和の最小値であ
るＭin差分値となる。

【００４２】上記フローチャートのステップＳ103 で示
す動作では、ブロックの差分の総和の最小値（Ｍin差分
値）が所定の閾値より大きい場合、すなわち探索範囲に
類似している画像がないことを検出する。図17の（１）
の右側に示す例では、背景の木と類似した画像を探索す
るが、他方の画像では存在しないため、差分値は所定の
値より大きくなる。このように、請求項11に係る発明に
よれば、両画像それぞれを基準としたベクトルに対し、
簡単な演算を行うことにより、確実にぶれ判定を行うこ
とが可能となる。

【００４３】請求項12に係る発明は、請求項９に係る画
像合成装置において、前記特定領域設定手段は、前記合
成対象領域の各グループ毎に複数の特定領域を設定し、
前記ぶれ検出部は、前記複数の特定領域に対し類似度の
検出を行ない、この結果より手ぶれか被写体ぶれかを判
定することを特徴とするものである。

【００４４】この請求項12に係る発明の構成には、図13
のぶれ検出のフローチャートで示す動作を行う構成が対
応する。このフローチャートでは、ステップＳ101 で示
すように、ぶれ検出領域に対してブロックマッチングを
実施し、ステップＳ106 に示すようにラベル毎に判定を
行う。

【００４５】上記フローチャートのステップＳ106 に示
す動作では、ラベルすなわちグループ毎に、該当ラベル
上の全領域に関して判定を実施する。ここでは、同一ラ
ベル上で１箇所被写体ぶれがあった場合には、該当ラベ
ルを被写体ぶれと判定する。このように、請求項12に係
る発明によれば、複数箇所でぶれ判定を行うことによ
り、その確度を上げることが可能となる。

【００４６】請求項13に係る発明は、請求項９に係る画
像合成装置において、前記ぶれ検出手段は、前記第１及
び２のブロックマッチング手段により求められた前記類
似度及び前記参照ブロックに係る情報を、前記ぶれ判定
手段に入力するか否かを判定する有効判定手段を有する
ことを特徴とするものである。

【００４７】この請求項13に係る発明の構成には、図12
に示すぶれ検出部の構成、図13のぶれ検出のフローチャ
ートのステップＳ102 で示す動作を行う構成、及び図16
に示す有効性判定のフローチャートで示す動作を行う構
成が対応する。

【００４８】上記フローチャートのステップＳ102 で示
す動作は、ブロックマッチングの結果、入力画像等から
有効性の判定を行い、有効でない場合にはぶれ検出を実
施しないものである。このように、請求項13に係る発明
によれば、有効性の有るブロックの結果のみでぶれ判定
を行うため、ぶれ判定の誤検出を防止することが可能と
なる。

【００４９】請求項14に係る発明は、請求項13に係る画
像合成装置において、前記有効判定手段は、前記複数画
像の前記特定領域の輝度値が所定の値より小さく黒に近
いことを検出する黒レベル検出手段と、前記複数画像の
前記特定領域の輝度値が所定の値より大きく白に近いこ
とを検出する白レベル検出手段と、前記複数画像の前記
特定領域の各画素間の輝度値差が所定の値より小さいこ
とを検出する輝度差検出手段とを備え、前記黒レベル検
出又は白レベル検出又は輝度差検出がいずれも検出され
なかった場合には、前記第１及び２のブロックマッチン
グ手段により求められた前記類似度及び前記参照ブロッ
クに係る情報を前記ぶれ判定手段に入力させることを特
徴とするものである。

【００５０】この請求項14に係る発明の構成には、図13
のぶれ検出のフローチャートのステップＳ102 で示す動
作を行う構成と、図16の有効性判定のフローチャートの
ステップＳ111 とＳ113 で示す動作を行う構成が対応す
る。

【００５１】上記図16のフローチャートのステップＳ11
1 とＳ113 で示す動作では、画像ａ，ｂそれぞれの探索
範囲について、白とび、黒つぶれ、及びブロックマッチ
ングの判定を行いうる所定の輝度の変化が領域内にある
かどうかのチェックを行い、何れかが発生した場合に、
有効フラグをリセットする。図13のフローチャートのス
テップＳ102 では、有効でない場合にはぶれ判定を実施
しない。このように、請求項14に係る発明によれば、簡
単な画素の演算により有効性を判定することが可能とな
る。

【００５２】請求項15に係る発明は、請求項13に係る画
像合成装置において、前記有効判定手段は、前記第１及
び２のブロックマッチング手段により求められた前記類
似度の最大値と最小値の差が所定の範囲以上であった場
合に、前記第１及び２のブロックマッチング手段により
求められた前記類似度及び前記参照ブロックに係る情報
を、前記ぶれ判定手段に入力させることを特徴とするも
のである。

【００５３】この請求項15に係る発明の構成には、図12
に示すぶれ検出部の構成と、図13のぶれ検出のフローチ
ャートのステップＳ102 で示す動作を行う構成と、図16
に示す有効性判定のフローチャートのステップＳ112 と
Ｓ114 で示す動作を行う構成が対応する。

【００５４】上記図16のフローチャートのステップＳ11
2 とＳ114 で示す動作では、画像ａ，ｂそれぞれを基準
としたブロックマッチングを行った結果により、有効性
の判定を行う。すなわち、ブロックマッチングにおいて
求められたブロックの差分値（類似度）の最大値と最小
値に差がない場合には、類似したブロックが複数あり、
ブロックマッチング結果の有効性が低いと判定し、有効
フラグをリセットする。図13のフローチャートのステッ
プＳ102 では、有効でない場合にはぶれ判定を実施しな
い。このように、請求項15に係る発明によれば、ブロッ
クマッチングの結果を用いて簡易に有効性を判定するこ
と可能となる。

【００５５】請求項16に係る発明は、請求項２に係る画
像合成装置において、前記第１の画像合成手段は、前記
一方の画像と前記他方の画像を合成して得られる画像に
対して、前記合成対象領域に対応する画像信号にローパ
スフィルタ処理を施すことを特徴とするものである。

【００５６】この請求項16に係る発明の構成には、図18
の合成切換のフローチャートのステップＳ122 で示す動
作を行う構成が対応する。

【００５７】上記図18のフローチャートのステップＳ12
2 に示すように、被写体ぶれが発生している場合には、
その被写体に関わる合成対象領域にローパスフィルタを
かけ、画像をぼけさせる。図20にその画像の一例を示
す。このように、請求項16に係る発明によれば、簡単な
処理により、違和感のない画像を得ることが可能とな
る。

【００５８】請求項17に係る発明は、請求項２に係る画
像合成装置において、前記第２の画像合成手段は、前記
手ぶれに係る量を基に前記一方の画像を水平及び垂直方
向に座標をずらした画像と、前記他方の画像とを合成す
ることを特徴とするものである。

【００５９】この請求項17に係る発明の構成には、図18
の合成切換のフローチャートのステップＳ121 で示す動
作を行う構成が対応する。

【００６０】上記図18のフローチャートに示すように、
手ぶれが発生している場合には、その被写体に関わる合
成領域の座標をずらし、ずれのない合成画像を得る。図
19にその合成画像の一例を示す。このように、請求項17
に係る発明によれば、手ぶれの発生した被写体に関して
ぶれのない画像を得ることが可能となる。

【００６１】請求項18に係る発明は、請求項９に係る画
像合成装置において、前記第２の画像合成手段は、前記
基準ブロックと類似度が最大となる参照ブロックより動
きベクトルを検出し、動きベクトルを基に前記一方の画
像を水平及び垂直方向に座標をずらした画像と、前記他
方の画像とを合成することを特徴とするものである。

【００６２】この請求項18に係る発明の構成には、図18
の合成切換のフローチャートのステップＳ121 で示す動
作を行う構成、及び図13のぶれ検出のフローチャートの
ステップＳ104 で示す動作を行う構成が対応する。

【００６３】上記図13のぶれ検出のフローチャートで
は、各ラベル毎に動きベクトルを演算し、ラベルテーブ
ルに格納する。図18のステップＳ121 のフローチャート
に示すように、手ぶれが発生している場合には、動きベ
クトルを読み出し被写体に関わる合成領域の座標をずら
し、ずれのない合成画像を得る。このように、請求項18
に係る発明によれば、手ぶれの発生した被写体に関して
簡易にぶれのない画像を得ることが可能となる。

【００６４】

【発明の実施の形態】次に、本発明に係る、複数の露光
量の異なる画像からダイナミックレンジの広い合成画像
を得るぶれ補正機能を有する画像合成装置の実施の形態
について説明する。図１は、本発明に係る画像合成装置
の実施の形態の全体構成を示す概略ブロック構成図であ
る。この実施の形態に係る画像合成装置は、画像を撮像
するための撮像素子１，画像信号をデジタル信号に変換
するためのＡ／Ｄ変換器２，前段の画像処理を行うため
の画像処理回路３，処理結果をメモリ４に格納するため
のメモリコントローラ５，後段の処理を行うためのＣＰ
Ｕ６から構成されている。

【００６５】次に、図１に示した実施の形態における主
要部の概略構成と、その概略動作を、図２に示す主要部
の概略構成を示す概念図に基づいて説明する。図２にお
いて、画像ａと画像ｂは、露光量の異なる二枚の画像で
ある。この画像ａ，ｂについて、画像処理回路３では、
合成対象領域検出部31，ラベリング部32，ぶれ検出対象
領域設定部33により、ぶれを検出する領域の検出とその
領域のグループ分け（ラベリング）を行う。これらのラ
ベリング等の処理結果と画像は一旦メモリ４に蓄えら
れ、メモリ４上の画像に対しＣＰＵ６が、ぶれ検出部61
により各ラベル毎にぶれ検出、すなわち被写体ぶれか、
手ぶれかの検出を行い、その検出に基づくぶれ判定フラ
グにより、手ぶれ補正処理部62と被写体ぶれ補正処理部
63とそれらの切換手段64-1，64-2を含む合成処理部65に
より、各ラベル毎にそれぞれのぶれ補正を含む合成処理
を行う。このように適応的な補正を行なうことにより、
手ぶれが発生した場合にも、被写体ぶれが発生した場合
にも良好な合成画像を得ることが可能となる。

【００６６】次に、各部の詳細な構成と動作について説
明する。図３は、前段の画像処理回路３の構成を示すブ
ロック図である。画像処理回路３は、画像ａ，ｂから後
段のぶれ検出等で使用するぶれ検出や合成の対象となる
領域の検出、及び合成の対象となる領域のラベリングを
行っている。

【００６７】本実施の形態では、画像信号として、従来
例と同様に図22に示すように順次露光の異なる画像ａ，
ｂが入力される。このため、図３に示すようにフレーム
メモリ34を設け、画像ａと画像ｂのタイミングを合わせ
ている。次に、画像入力時の諸パラメータ（露出、被写
体までの距離等）及び画像ａ，ｂの諸パラメータ（輝度
値の平均、ＭＩＮ，ＭＡＸ値等）から、図示しない上位
のコントローラにより算出され、与えられる閾値により
二値化回路35で画像ａ，ｂの二値化を行なう。

【００６８】次に、二値化回路の構成を図４に示すブロ
ック図で説明する。基本的に二値化回路は、入力画像
ａ，ｂが閾値と大小の比較を行うことにより二値化を行
なう。この構成例では、比較回路ａ35-1と比較回路ｂ35
-2により行われる。本構成例では、閾値は画像ｂに対す
るもののみ与えられている。除算回路35-3により画像ｂ
の露光量Ｅｂに対する画像ａの露光量Ｅａの比を求め、
乗算回路35-4を介して画像ｂの閾値から画像ａの閾値を
算出している。

【００６９】図５に、両画像間でずれが発生していない
場合の画像と閾値の関係を示す。画像ａに対して画像ｂ
は、図５の（２）に示すように輝度値方向に露光比に比
例した値だけ圧縮された信号となる。すなわち、前述の
ように閾値を露光比に比例して変更することにより他方
の画像に対応する閾値を得ることができる。

【００７０】次に、得られた二値画像より、ぶれ検出対
象領域設定部33と合成対象領域検出部31によって、ぶれ
検出対象領域と合成対象領域を検出する。ぶれ検出対象
領域とは、両画像間にぶれが発生していた場合に、ぶれ
を検出するための領域である。具体的には合成画像のず
れ、すなわち二値画像の不一致領域となる。図３におけ
るＸＯＲ回路33-1による両二値画像の排他的論理和によ
り、不一致領域を検出している。また、ノイズ等の影響
による誤検出を防止するため、連続検出回路33-2により
一定以上連続した場合にのみ、不一致領域として検出す
る。このぶれ検出対象領域設定部33を説明するためのタ
イミングチャートを図６に示す。なお、本実施の形態で
は、前記連続の検出を一次元的に行っているが、上下や
斜め方向の連続を検出するなど各種変形が可能である。
また、図６には、二値画像とＸＯＲ回路33-1の出力のＯ
Ｒ回路31-1を介して得られる合成対象領域のタイミング
も合わせて示している。

【００７１】ずれ（ぶれ）が発生していた画像に対し、
ぶれ補正をしない場合の合成画像を図７の（１）に示
す。このように画像がずれているため、被写体と背景で
一致しない部分 がある。それぞれの二値画像を比較し
た場合には、この部分は図７の（２）に示すように不一
致部として検出することができる。この領域に対しての
みぶれの検出を行うことにより、確度の高いぶれ検出を
効率よく行うことが可能である。

【００７２】合成対象領域は、画像ａ，ｂ間の合成の対
象となる領域である。図７の（３）に合成対象領域の一
例を示す。このように合成対象領域は、ぶれを含んだ合
成の対象（被写体）を検出する。この領域は、次段のラ
ベリング部32によるラベリング処理により塊毎に分けら
れ、ラベルが付与される。ぶれ検出及び合成は、この塊
毎に行うことにより、それぞれのラベル毎に最適なぶれ
補正を行うことが可能である。

【００７３】図８に、ラベリング処理によるぶれ補正を
行う、画像の一例を示す。図８の（１）に示す画像ａと
図８の（２）に示す画像ｂ間には、手ぶれと被写体ぶれ
が発生している。この図示例では、領域Ａが手ぶれと判
定される。また、領域ＢとＣは被写体ぶれであるが、領
域Ｂについては手ぶれと同様の平行移動であるため、手
ぶれと判定される。図８の（３）は合成対象領域の検出
とラベリングが行われた例を示している。領域Ａ，Ｂ，
Ｃの塊毎に、それぞれ１，２，３のラベルが付与されて
いる。図８の（４）は、合成画像を示している。合成時
には、このようにそれぞれのラベル毎に個別の処理が行
われるため、ラベル１，２は手ぶれとして、ラベル３の
領域は被写体ぶれとして補正される。

【００７４】次に、ラベリング部32におけるラベリング
処理のフローチャートを図９の（１）に示す。ラベリン
グ処理は、周辺画素との連結を検出し、同一のラベルを
付与する処理である。ここでは、４連結すなわち上下左
右との連結を検出する例を示している。この例では、図
９の（３）に示すように、注目画素を一画素ずつ左から
右に走査し、また、ライン終了後１ライン下を走査する
ようにしている。図９の（２）に示すように注目画素に
対しＡ，Ｂの画素との連結をチェックし、連結していれ
ば前ライン又は前画素のラベルを注目画素のラベルとし
て付与し、連結がない場合には新しいラベルを付与する
ようにしている。

【００７５】次に、図10に基づいて具体的なラベリング
処理について説明する。ラベリング処理は、1 画素ずつ
チェックを行い、ラベル値を付与する。図10の（１）が
ラベリング画像の例であり、図10の（２）はラベル情報
の格納例である。この例では、画像メモリの下位に画像
データを格納し、上位にラベル値を格納している。更に
ラベルテーブル例を図10の（３）に示す。これは、各ラ
ベル毎のぶれ情報等のパラメータを格納するテーブルも
かねている。ラベル互換とは、異なるラベルが与えられ
た画素同士の連結が検出された場合に、その接続を示す
ものである。この例では、ラベリング中に４個のラベル
が一つの塊に与えられているが、全画面のラベリングが
終了した後、ラベルテーブルのラベル互換の情報を基に
一つの塊に一つのラベルとなるように整理される。以上
により、一つの塊を検出することが可能になる。本実施
の形態では、左から右へ、及び上から下への走査を行っ
ているが、これらの逆方向及び斜め方向等に走査するな
ど各種の変形が可能である。

【００７６】以上のようにして得られたラベル情報、合
成対象領域情報、ぶれ検出対象領域情報、ぶれ検出結果
等は、図２に示すように一旦メモリ４に蓄えられる。以
後、メモリ４上の画像データ及びラベル情報、合成対象
領域情報、ぶれ検出対象領域情報、ぶれ検出結果等を用
いて、ＣＰＵ６が後段の処理を行う。

【００７７】図11に、ＣＰＵ６で行われる概略動作のフ
ローチャートを示す。ＣＰＵ６は、まず所定の初期化動
作を行い、画像の入力及び前段の画像処理回路３の処理
完了を待つ。この後、ぶれ検出部61でぶれ検出処理を行
い、その後、合成処理部65で画像合成処理を行う。な
お、これらのぶれ検出部61及び合成処理部65は、この実
施の形態では全てＣＰＵ６内において、ソフト的に構成
されているものである。ぶれ検出処理部61における動作
に関して概略のデータフローを図12に示す。ぶれ検出部
61の処理は、図12に示すように画像ａ，ｂからぶれを検
出する領域を選ぶ特定領域設定部61-1，該特定領域設定
部61-1で選択されたぶれ検出領域においてぶれを判定す
るためのパラメータを算出するブロックマッチング算出
部(1)61-2及びブロックマッチング算出部(2)61-3 ，ブ
ロックマッチングを行った領域が有効かどうかを検出し
て有効か無効かのパラメータを出力する有効検出部61-
4，及びブロックマッチング算出部(1)61-2 とブロック
マッチング算出部(2)61-3 と有効検出部61-4からのパラ
メータを基に手ぶれか被写体ぶれかを判定するぶれ判定
部61-5で行われる。

【００７８】次に、ぶれ検出部61におけるぶれ判定動作
の詳細について、図13に示すぶれ検出のフローチャート
に基づいて説明する。このフローチャートに示す動作で
は、全画素又は所定の間引きを行った画素に注目し、処
理を行う。まず、ステップＳ101 で示すように、画素を
読み出し、その画素がぶれ検出領域かどうかを判断す
る。ぶれ検出領域でない場合にはぶれ検出を行わない。
ぶれ検出である場合には、特定領域としてその周辺デー
タの読み込みを行う。次に、この特定領域に対してブロ
ックマッチングを行う。ブロックマッチングとは、基準
ブロックを設定し、同サイズのブロックを他方の画像の
周辺領域に設定し、各画素毎の差分を演算しその総和を
とり、総和がもっとも小さいブロックを類似ブロックと
して検出するものである。

【００７９】ブロックマッチングの処理動作を説明する
ためのフローチャートを図14に示す。まず、検出すべき
差分の総和の最大・最小値を格納するレジスタをクリア
する。次に基準ブロック座標（Ｘs ，Ｙs ）をセットす
る。更に探索範囲の参照ブロックの開始座標（Ｘr ，Ｙ
r ）をセットする。次に、実際のブロックマッチング動
作を行う。まず、画像ａ上の基準ブロックと画像ｂ上の
参照ブロックに関して、それぞれの輝度の差分をとり、
その総和を求める。この総和が最小値であるかを判定
し、最小値の場合には基準ブロックと参照ブロックの座
標を格納する。また、同時に最大値も判定し、最大値を
格納する。これらについて、画像ａを基準画像とした場
合と画像ｂを基準とした場合で演算を行い、探索範囲内
（この場合はＸＹとも注目画素を中心として±20画素）
に関して順次比較を行う。最終的に、各画像を基準とし
た、差分の総和の最大値と最小値と、最小値が算出され
た座標が得られる。

【００８０】図15に、具体的なブロックマッチングの一
例を示す。図15の（１）が基準ブロック、図15の（２）
が探索範囲を示している。図15の（３）は、参照ブロッ
クで、それぞれＸ軸方向に一画素ずつずらしたブロック
を示している。図15の（４）は、参照ブロックと基準ブ
ロックの差分をとった態様を示しており、図示のよう
に、その絶対値の和は145 ，95，45となる。この場合、
最も差分の小さいベクトル（１，０）に関する参照ブロ
ックが、類似度の高いブロックである。なお、ブロック
マッチングに関して、この具体例はその一例を示してい
るものであり、ブロックサイズ、類似度の算出方法、探
索範囲等は当然各種変形が可能である。

【００８１】ブロックマッチングを行った後、図13でス
テップＳ102 で示すように有効判定処理を行う。有効判
定は、ブロックマッチングを行った領域が、ブロックマ
ッチングを行うにふさわしいかどうかを判定し、ふさわ
しくない場合には、ブロックマッチングの結果について
判定は行わない。

【００８２】図16に、有効検出部61-4における有効判定
動作を説明するためのフローチャートを示す。有効判定
動作は、画像ａ，ｂのそれぞれの探索範囲について、ス
テップＳ111 ，Ｓ113 で示すように白とび、黒つぶれ、
及び画像のない領域であるかどうかの判定を行う。ま
た、ステップＳ112 ，Ｓ114 で示すようにブロックマッ
チング時に求めた、差分の総和の最大値と最小値の差が
所定の閾値以下、すなわち探索範囲内においてほぼ同程
度の差分値しか得られなかった場合も、有効性なしと判
定している。

【００８３】図13に示すぶれ判定のフローチャートに戻
り、ステップＳ102 の有効判定処理ステップで有効であ
ると判定したのち、ステップＳ103 で示すように、それ
ぞれのラベル毎に、まず、差分の総和の最小値より被写
体ぶれと手ぶれの判定を行う。それぞれの画像を基準ブ
ロックとした場合の最小値のどちらかが所定の閾値より
も大きい場合、どちらかの類似度が低い場合には、該当
するブロックが相手側にないと判断し、被写体ぶれと判
定し、該当ラベルが被写体ぶれである旨のフラグを立て
る。この状態は、例えば図17の（１）に示す場合であ
り、この例では左側は被写体の移動により背景の隠され
てしまうため該当するブロックが発見できない場合であ
る。

【００８４】ステップＳ103 のぶれ判定処理で、被写体
ぶれと判断されなかった場合、ステップＳ104 及びステ
ップＳ105 に進み、ブロックマッチングの結果の基準ブ
ロックと参照ブロックの座標より、画像ａを基準とした
場合の動きベクトルａ＿ｂと、画像ｂを基準とした動き
ベクトルｂ＿ａを演算し、両ベクトルを加算してベクト
ル差として閾値と比較し、ぶれ判定を行う。

【００８５】例えば、図17の（２）に示すように画像ａ
を基準とした場合の動きベクトルと画像ｂを基準とした
動きベクトルを比較した場合に、手ぶれで有れば同一値
で逆方向になるのでベクトル差は閾値を下回るが、被写
体ぶれであれば、閾値を上回る。

【００８６】本実施の形態では、一つのラベルに対して
複数箇所の検出を行い、複数箇所の検出において一箇所
でも被写体ぶれが検出された場合には、これを優先す
る。図13に示すぶれ判定のフローチャートにおいて、ス
テップＳ106 では、ラベル毎に、該当ラベル上のぶれ検
出対象領域の全領域に関してぶれ判定を実施する。ま
ず、該当ラベルのぶれ判定情報がすでに被写体ぶれと判
定されていた場合には、手ぶれ判定への更新や以後のぶ
れ判定を行わない。次に、該当ラベルのラベルテーブル
に格納されている、すでに算出された動きベクトルを読
み出し、この動きベクトルと今回のラベルにおいて算出
された動きベクトルの比較を行ない、異なる場合には該
当ラベルが平行移動以外の動作である被写体ぶれが発生
していると判定し、該当ラベルを被写体ぶれと判定す
る。このように、複数箇所における判定及び複数箇所間
の動きベクトルの比較を行うことにより、判定の確度を
上げている。

【００８７】以上の処理動作により、ぶれ検出を実施
し、その判定結果の格納を行う。ぶれ検出が終了した
後、合成処理部65において合成処理を行う。合成処理部
65の処理動作を、図18に示すフローチャートに基づいて
説明する。合成処理は、このフローチャートに示すよう
に画素毎に行う。まず、該当する画素が合成対象領域で
あるかどうかを判定し、合成対象領域でない場合には処
理を行わない。合成対象領域である場合には、ラベル値
と、ラベルテーブルからそのラベル値に格納されている
ぶれ判定情報を読み出す。その判定情報より、それぞれ
のぶれに対応した合成処理を行う。手ぶれの場合には、
ステップＳ121 に示すように、更に画像ｂの合成領域か
どうかの判定を行う。画像ｂの合成領域である場合に
は、画像ｂの画素を画像ａの対応画素に合成を行うが、
このときにラベルテーブルより動きベクトルを読み出
し、これにより画像ｂの座標の移動を行う。しかる後に
移動後の座標の画像ａにおける対応画素に対し合成を行
うことにより、ずれのない合成画像を得る。図19に座標
移動による合成処理の例を示す。

【００８８】ぶれの判定情報が被写体ぶれの場合には、
ステップＳ122 に示すように、画像ｂの合成領域かどう
かの判定を行い、画像ｂの合成領域である場合には、ま
ず画像ｂの画素と同座標の画像ａの画素に対して合成を
行う。この座標が、どちらかの画像の合成領域である場
合には、画像がずれて表示される可能性があるため、そ
の合成領域にローパスフィルタを施し、画像をぼけさせ
ることにより違和感のない画像を得る。図20にローパス
フィルタ処理による合成処理の例を示す。

【００８９】なお、本実施の形態では、前段の画像処理
をハードで行い、ぶれ検出と画像合成処理をＣＰＵによ
り行ったものを示したが、画像処理をソフトで行うなど
各種変形が可能である。

【００９０】

【発明の効果】以上実施の形態に基づいて説明したよう
に、請求項１に係る発明によれば、ぶれ検出手段のぶれ
判定結果に基づいて適応的に補正して合成画像を形成す
るように構成しているので、手ぶれが発生した場合に
も、被写体ぶれが発生した場合にも良好な広ダイナミッ
クレンジの合成画像を得ることができる。請求項２に係
る発明によれば、合成画像領域をグループ化し各グルー
プ毎に適応的に補正を行うように構成しているので、手
ぶれと被写体ぶれが同時に発生した場合にも、良好な合
成画像を得ることができる。請求項３に係る発明によれ
ば、ぶれ検出を一部領域に対してのみ行うように構成し
ているので、ぶれ検出の処理が軽減され、高速に処理を
行うことが可能となる。請求項４に係る発明によれば、
簡易な回路構成により、ぶれ発生領域の検出が可能とな
る。請求項５に係る発明によれば、一定数連続して不一
致となった場合に限りぶれ検出対象領域とするように構
成しているので、微小な不一致領域を除去し、ノイズ等
によりぶれ検出領域が大量に検出されて演算時間が増大
することを防止することが可能となる。請求項６に係る
発明によれば、簡易な回路構成でより適切に合成対象領
域を検出することが可能となる。請求項７に係る発明に
よれば、簡易な回路構成で入力両画像の二値化処理を行
うことが可能となる。請求項８に係る発明によれば、合
成対象領域をラベルを付与してグループ分けするように
しているので、合成対象の塊毎に、ぶれの検出及び合成
処理が行われ、良好な合成画像を得ることができる。請
求項９に係る発明によれば、ブロックマッチングを両画
像相互に行うように構成しているので、確実にぶれ判定
を行うことができる。

【００９１】また請求項10に係る発明によれば、それぞ
れの画像の特定領域を基準ブロックとした場合の動きベ
クトルの加算結果に基づいて、ぶれ判定を行うようにし
ているので、簡単な演算を行うことにより、ぶれ判定を
行うことが可能となる。請求項11に係る発明によれば、
それぞれの画像の特定領域を基準ブロックとした場合の
類似度の最大値に基づいてぶれを判定するようにしてい
るので、簡単な演算により一層確実にぶれ判定を行うこ
とが可能となる。請求項12に係る発明によれば、複数の
特定領域に対し類似度の検出を行いぶれ判定を行うよう
にしているので、ぶれ判定の確度を向上させることが可
能となる。請求項13に係る発明によれば、有効性のある
ブロックの結果のみでぶれ判定を行うようにしているの
で、ぶれ判定の誤検出を防止することが可能となる。請
求項14に係る発明によれば、簡単な画素の演算によりぶ
れ判定への入力情報の有効性を判定することが可能とな
る。請求項15に係る発明によれば、ブロックマッチング
の結果を用いて簡易にぶれ判定への入力情報の有効性を
判定することが可能となる。請求項16に係る発明によれ
ば、被写体ぶれが発生している合成対象領域にローパス
フィルタをかけるようにしているので、簡単な処理によ
り違和感のない合成画像を得ることができる。請求項17
に係る発明によれば、手ぶれが発生している合成対象領
域の座標をずらし合成画像を生成するようにしているの
で、手ぶれの発生している被写体に関してぶれのない合
成画像を得ることができる。請求項18に係る発明によれ
ば、動きベクトルに基づいて座標をずらし合成するよう
にしているので、手ぶれの発生した被写体に関して簡易
にぶれのない合成画像を得ることが可能となる。

【図面の簡単な説明】

【図１】本発明に係る画像合成装置の実施の形態の全体
の概略構成を示す概念図である。

【図２】図１に示した実施の形態の主要部の構成を示す
ブロック図である。

【図３】図１及び図２に示した実施の形態の画像処理回
路の構成を示すブロック図である。

【図４】図３に示した二値化回路の構成を示すブロック
図である。

【図５】図４に示した二値化回路の動作を説明するため
の画像信号（輝度）の波形図である。

【図６】合成対象領域検出部及びぶれ検出対象領域設定
部の動作を説明するためのタイミングチャートである。

【図７】二値化画像の比較態様を示す図である。

【図８】手ぶれ及び被写体ぶれ混在時の画像及びその合
成画像を示す図である。

【図９】ラベリング部の動作を説明するための説明図で
ある。

【図10】ラベリング画像、ラベリング情報及びラベリン
グテーブルの一例を示す図である。

【図11】ＣＰＵにおける処理の概要を示すフローチャー
トである。

【図12】ぶれ検出部のソフト構成を示すブロック図であ
る。

【図13】ぶれ検出部の動作を説明するためのフローチャ
ートである。

【図14】ブロックマッチング算出部の動作を説明するた
めのフローチャートである。

【図15】ブロックマッチング算出例を示す図である。

【図16】図12に示したぶれ検出部における有効検出部の
動作を説明するためのフローチャートである。

【図17】画像のぶれの判断例を示す図である。

【図18】合成処理部の動作を説明するためのフローチャ
ートである。

【図19】手ぶれ発生時のぶれ補正態様（座標変換）を示
す図である。

【図20】被写体ぶれ発生時のぶれ補正態様（ローパスフ
ィルタ処理）を示す図である。

【図21】従来の画像合成装置の構成例を示すブロック図
である。

【図22】図21に示した画像合成装置の動作を説明するた
めのタイミングチャートである。

【図23】画像合成処理ステップを示す概念図である。

【図24】従来のぶれ補正態様を示す概念図である。

【図25】従来のぶれ補正手段の構成例を示すブロック図
である。

【図26】被写体ぶれ発生時のぶれ補正態様を示す概念図
である。

【符号の説明】

１ 撮像素子 ２ Ａ／Ｄ変換器 ３ 画像処理回路 ４ メモリ ５ メモリコントローラ ６ ＣＰＵ 31 合成対象領域検出部 31-1 ＯＲ回路 32 ラベリング部 33 ぶれ検出対象領域設定部 33-1 ＸＯＲ回路 33-2 連続検出回路 34 フレームメモリ 35 二値化回路 35-1 比較回路ａ 35-2 比較回路ｂ 35-3 除算回路 35-4 乗算回路 61 ぶれ検出部 61-1 特定領域設定部 61-2 ブロックマッチング算出部(1) 61-3 ブロックマッチング算出部(2) 61-4 有効検出部 61-5 ぶれ判定部 62 手ぶれ補正処理部 63 被写体ぶれ補正処理部 64-1，64-2 切換手段 65 合成処理部

フロントページの続き Ｆターム(参考） 5B057 AA20 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CC01 CD02 CE08 CE11 DA07 DB02 DB09 DC32 5C022 AB01 AB55 AC41 AC69 5C024 AX01 CX47 CY21 HX05 HX22 HX27 HX28 HX29

Claims (18)

【特許請求の範囲】
1. 【請求項１】 露光量の異なる複数の画像を合成し、ダ
   イナミックレンジの広い画像を得る画像合成装置におい
   て、前記複数の画像間の画像のぶれが被写体ぶれによる
   ものか手ぶれによるものかを検出するぶれ検出手段と、
   被写体ぶれを補正して露光量の異なる複数の画像を合成
   する第１の画像合成手段と、手ぶれを補正して露光量の
   異なる複数の画像を合成する第２の画像合成手段と、前
   記ぶれ検出手段からのぶれ検出信号に応じて、前記第１
   の画像合成手段と前記第２の画像合成手段とを切り換え
   る切換手段とを備えていることを特徴とする画像合成装
   置。
2. 【請求項２】 前記複数の画像の一方の画像と他方の画
   像より、画像の合成の対象となる合成対象領域を検出す
   る合成対象領域検出手段と、前記合成対象領域を所定の
   グループに分けるグループ化手段とを更に有し、前記ぶ
   れ検出手段は前記合成対象領域のグループ毎に被写体ぶ
   れか手ぶれかを検出し、前記切換手段は、前記ぶれ検出
   手段からのぶれ検出信号に基づいて、前記合成対象領域
   のグループ毎に前記第１の画像合成手段と前記第２の画
   像合成手段とを切り換えるように構成されていることを
   特徴とする請求項１に係る画像合成装置。
3. 【請求項３】 前記複数の画像間の画像のぶれを検出す
   る対象となるぶれ検出対象領域を設定するぶれ検出対象
   領域設定手段を更に備え、前記ぶれ検出手段は、前記ぶ
   れ検出対象領域内でのみぶれを検出するように構成され
   ていることを特徴とする請求項２に係る画像合成装置。
4. 【請求項４】 前記一方の画像と前記他方の画像を各々
   所定の閾値で二値化し二値画像を出力する二値化手段を
   更に備え、前記ぶれ検出対象領域設定手段は、前記一方
   の二値画像と前記他方の二値画像との比較を行い、不一
   致領域を前記ぶれ検出対象領域として出力する比較手段
   を備えていることを特徴とする請求項３に係る画像合成
   装置。
5. 【請求項５】 前記比較手段は、前記一方の二値画像と
   前記他方の二値画像とを所定の方向に走査して両画像間
   の比較を行い、その比較結果が一定数連続して不一致と
   なった場合に限り、ぶれ検出対象領域を示す信号を出力
   するように構成されていることを特徴とする請求項４に
   係る画像合成装置。
6. 【請求項６】 前記合成対象領域検出手段は、前記比較
   手段により不一致領域とされた領域と、前記一方の二値
   画像と前記他方の二値画像とのいずれか一方の画像にお
   いて前記閾値以上であるとされた領域とを含めた領域
   を、前記合成対象領域として出力することを特徴とする
   請求項４に係る画像合成装置。
7. 【請求項７】 前記二値化手段は、前記一方の画像を二
   値化する閾値と前記他方の画像を二値化する閾値を、そ
   れぞれの画像の露光量に比例した値とすることを特徴と
   する請求項４に係る画像合成装置。
8. 【請求項８】 前記グループ化手段は、前記合成対象領
   域の連結態様を検出し、連結している領域毎にラベルを
   付与することによりグループ分けを行なうように構成さ
   れていることを特徴とする請求項２に係る画像合成装
   置。
9. 【請求項９】 前記ぶれ検出手段は、前記ぶれ検出対象
   領域内からぶれ検出を実施する領域を特定する特定領域
   設定手段と、前記一方の画像内における前記特定領域に
   基準ブロックを設定し、該基準ブロックと前記他方の画
   像における前記特定領域及びその周辺領域からなる探索
   領域内の複数の参照ブロックとの類似度を演算し、最も
   類似度が大きい参照ブロックを検出する第１のブロック
   マッチング手段と、前記第１のブロックマッチング手段
   における前記一方の画像と前記他方の画像とを入れ替え
   て、前記第１のブロックマッチング手段と同様の処理を
   行う第２のブロックマッチング手段と、前記第１のブロ
   ックマッチング手段からの出力と、前記第２のブロック
   マッチング手段からの出力とに基づいて、手ぶれと被写
   体ぶれを判定するぶれ判定手段を有することを特徴とす
   る請求項３に係る画像合成装置。
10. 【請求項10】 前記ぶれ判定手段は、前記基準ブロック
    に対する類似度が最大となる参照ブロックへのベクトル
    を動きベクトルとして演算するベクトル演算手段を有
    し、前記一方の画像の前記特定領域を基準ブロックとし
    た場合の動きベクトルと、前記他方の画像の前記特定領
    域を基準ブロックとした場合の動きベクトルとを加算し
    た結果が所定の値以下である場合には手ぶれと判定し、
    そうでない場合には被写体ぶれと判定することを特徴と
    する請求項９に係る画像合成装置。
11. 【請求項11】 前記ぶれ判定手段は、前記一方の画像の
    特定領域を基準ブロックとした場合の類似度の最大値
    と、前記他方の画像の特定領域を基準ブロックとした場
    合の最大値とが、共に所定の値以上である場合には手ぶ
    れと判定し、そうでない場合には被写体ぶれと判定する
    ことを特徴とする請求項９に係る画像合成装置。
12. 【請求項12】 前記特定領域設定手段は、前記合成対象
    領域の各グループ毎に複数の特定領域を設定し、前記ぶ
    れ検出部は、前記複数の特定領域に対し類似度の検出を
    行ない、この結果より手ぶれか被写体ぶれかを判定する
    ことを特徴とする請求項９に係る画像合成装置。
13. 【請求項13】 前記ぶれ検出手段は、前記第１及び２の
    ブロックマッチング手段により求められた前記類似度及
    び前記参照ブロックに係る情報を、前記ぶれ判定手段に
    入力するか否かを判定する有効判定手段を有することを
    特徴とする請求項９に係る画像合成装置。
14. 【請求項14】 前記有効判定手段は、前記複数画像の前
    記特定領域の輝度値が所定の値より小さく黒に近いこと
    を検出する黒レベル検出手段と、前記複数画像の前記特
    定領域の輝度値が所定の値より大きく白に近いことを検
    出する白レベル検出手段と、前記複数画像の前記特定領
    域の各画素間の輝度値差が所定の値より小さいことを検
    出する輝度差検出手段とを備え、前記黒レベル検出又は
    白レベル検出又は輝度差検出がいずれも検出されなかっ
    た場合には、前記第１及び２のブロックマッチング手段
    により求められた前記類似度及び前記参照ブロックに係
    る情報を前記ぶれ判定手段に入力させることを特徴とす
    る請求項13に係る画像合成装置。
15. 【請求項15】 前記有効判定手段は、前記第１及び２の
    ブロックマッチング手段により求められた前記類似度の
    最大値と最小値の差が所定の範囲以上であった場合に、
    前記第１及び２のブロックマッチング手段により求めら
    れた前記類似度及び前記参照ブロックに係る情報を、前
    記ぶれ判定手段に入力させることを特徴とする請求項13
    に係る画像合成装置。
16. 【請求項16】 前記第１の画像合成手段は、前記一方の
    画像と前記他方の画像を合成して得られる画像に対し
    て、前記合成対象領域に対応する画像信号にローパスフ
    ィルタ処理を施すことを特徴とする請求項２に係る画像
    合成装置。
17. 【請求項17】 前記第２の画像合成手段は、前記手ぶれ
    に係る量を基に前記一方の画像を水平及び垂直方向に座
    標をずらした画像と、前記他方の画像とを合成すること
    を特徴とする請求項２に係る画像合成装置。
18. 【請求項18】 前記第２の画像合成手段は、前記基準ブ
    ロックと類似度が最大となる参照ブロックより動きベク
    トルを検出し、動きベクトルを基に前記一方の画像を水
    平及び垂直方向に座標をずらした画像と、前記他方の画
    像とを合成することを特徴とする請求項９に係る画像合
    成装置。