JP2008048459A - 画像合成装置 - Google Patents
画像合成装置 Download PDFInfo
- Publication number
- JP2008048459A JP2008048459A JP2007272338A JP2007272338A JP2008048459A JP 2008048459 A JP2008048459 A JP 2008048459A JP 2007272338 A JP2007272338 A JP 2007272338A JP 2007272338 A JP2007272338 A JP 2007272338A JP 2008048459 A JP2008048459 A JP 2008048459A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- blur
- shake
- synthesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000203 mixture Substances 0.000 claims abstract description 42
- 238000001514 detection method Methods 0.000 claims description 70
- 230000015572 biosynthetic process Effects 0.000 claims description 31
- 238000003786 synthesis reaction Methods 0.000 claims description 31
- 230000002194 synthesizing effect Effects 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 23
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 17
- 239000013598 vector Substances 0.000 description 15
- 239000002131 composite material Substances 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】 ダイナミックレンジの広い画像を得ることの可能な画像合成装置を提供する。
【解決手段】 複数の画像を合成し、前記複数の画像のそれぞれの画像に比較してダイナミックレンジの広い画像を得る画像合成装置において、前記複数の画像の一方の画像と他方の画像とに基づいて、前記複数の画像のそれぞれの画像の全体から画像の合成の対象となる一部分を合成対象領域として検出する合成対象領域検出部31と、前記合成対象領域に対しダイナミックレンジを広げる画像合成処理を行う画像合成処理部65とを備えて、画像合成装置を構成する。
【選択図】 図2
【解決手段】 複数の画像を合成し、前記複数の画像のそれぞれの画像に比較してダイナミックレンジの広い画像を得る画像合成装置において、前記複数の画像の一方の画像と他方の画像とに基づいて、前記複数の画像のそれぞれの画像の全体から画像の合成の対象となる一部分を合成対象領域として検出する合成対象領域検出部31と、前記合成対象領域に対しダイナミックレンジを広げる画像合成処理を行う画像合成処理部65とを備えて、画像合成装置を構成する。
【選択図】 図2
Description
この発明は、複数の画像を合成して、ダイナミックレンジを拡大して出力する画像合成装置に関する。
従来、複数の露光量の異なる画像を合成し、ダイナミックレンジの広い画像を得る画像合成装置が知られているが、その概略構成を図21に示し、またその動作のタイミングチャートを図22に示す。これらの図に示すように、CCD,CMOSセンサ等の撮像素子201 は露光量の異なる複数の画像を撮像し、順次出力してA/D変換器202 でA/D変換する。ここでは露光量の多い画像を画像a,露光量の少ない画像を画像bとする。そして、図22のタイミングチャートに示すように両画像a,bのタイミングを一致させるため、フレームメモリ203 により遅延させている。また、両画像を単純に合成した場合に、その切り換わり部分が不自然となるため、第1及び第2のレベル変換回路204 ,205 により所定のレベル変換を行ない、両画像a,bのレベルを合わせた後、合成回路206 により合成を行なうようになっている。タイミングチャートでは、例えば第nフレームの画像を(n) で表している。nフレーム目の画像合成は、1フレーム遅延させた画像a(n) と画像b(n) から合成を行ない、合成画像(n) を得ている。
図23は画像合成の例を示す概念図である。図23の(1)は、露光量の多い画像aである。この場合、人物に露出が合っているため、背景が白くとんでしまっている。図23の(2)は、露光量の少ない画像bである。この場合は、背景に露出が合っているため、人物が黒くつぶれている。合成時には、所定の閾値によりa,bどちらの画像を採用するかを選択する。図23の(3)には、画像aにおいて閾値以下となった部分を網掛け処理した二値画像を示す。また、図23の(4)には、画像bにおいて閾値以上となった部分を網掛け処理した二値画像を示す。網掛け処理した二値画像のそれぞれを合成した画像を図23の(5)に示す。このように、画像a,画像bから合成することで、白とび、黒つぶれのない、ダイナミックレンジの広い画像を得ている。
上記のように、順次撮像した複数画像を合成する場合、ぶれ等があった場合には、それぞれの画像で被写体の位置が異なり、合成時に被写体がずれてしまう。このような位置ずれに対するぶれ補正装置が、特許3110797号に提案されている。次に、特許3110797号提案の画面ぶれ及び画像合成の概念を図24に示す。この例では、手ぶれにより、画像aと画像bがずれて撮像されている場合を示している。図24の(A)は、同一の点が合致するように画像a,bをそれぞれずらして合成した態様を示している。図24の(A)に示す点pは、図24の(B),(C)に示すように、画像aと画像bそれぞれの画像においては、Pa ,Pb の座標になっている。
図25は、上記特許で開示されている画像合成装置の構成を示すブロック図である。A/D変換器301 でA/D変換された入力画像に対し動き検出回路306 により動きベクトルを検出し、画像a,画像bの共通部分をメモリ制御回路305 によってフィールドメモリ304aより読み出す。共通部分は本来の撮像エリアより小さくなるため、拡大補間回路302aにより拡大補間処理を行ない元のサイズへ戻したのち、フィールドメモリ304bから出力される前フィールドの画像と合成部302bにより合成し、D/A変換器303 でD/A変換されて、ぶれを補正した画像が出力するように構成されている。
特許第3110797号公報
上記のように、提案の補正技術においては、画面全体を動きベクトルに従って移動させ、共通エリアを得て合成を行なっている。しかし、画像のぶれには画面全体が移動する手ぶれだけではなく、一部の被写体が移動する被写体ぶれがある。図26に、その被写体ぶれの概念を示す。この例では、画像a,bにおいて、背景についてはぶれが発生していないが、人物に関しては被写体ぶれが発生している。この場合、背景に着目してぶれ補正を行なわない場合には、合成画像(1)に示すように人物が二重に写ってしまい、また、人物に着目してぶれ補正(座標移動)を行なうと、合成画像(2)に示すように画面全体の移動により、背景が二重に写ってしまう。従来提案の技術では、このような観点について考慮がなされていない。
本発明は、この観点に着目してなされたものであり、画質の良好なダイナミックレンジの広い画像を得ることの可能な画像合成装置を提供することを目的とするものである。
上記問題点を解決するため、請求項1に係る発明は、複数の画像を合成し、前記複数の画像のそれぞれの画像に比較してダイナミックレンジの広い画像を得る画像合成装置において、前記複数の画像の一方の画像と他方の画像とに基づいて、前記複数の画像のそれぞれの画像の全体から画像の合成の対象となる一部分を合成対象領域として検出する合成対象領域検出手段と、前記合成対象領域に対しダイナミックレンジを広げる画像合成処理を行う画像合成処理手段とを具備することを特徴とするものである。
請求項2に係る発明は、請求項1に係る画像合成装置において、前記合成対象領域を所定のグループに分けるグループ化手段を更に具備し、前記画像合成処理は、前記グループ毎に行うことを特徴とするものである。
請求項3に係る発明は、請求項2に係る画像合成装置において、前記複数の画像間における画像のずれを前記グループ毎に検出するぶれ検出手段を更に具備し、前記画像合成処理は、前記ぶれ検出手段が検出した結果に応じた画像合成処理を行うことを特徴とするものである。
請求項4に係る発明は、請求項3に係る画像合成装置において、前記ぶれ検出手段は、被写体ぶれによる前記複数の画像間における画像のずれ及び手ぶれによる前記複数の画像間における画像のずれを検出するものであって、前記画像合成処理手段は、前記被写体ぶれによる前記複数の画像間における画像のずれを補正して前記複数の画像を合成する第1の画像合成手段と、前記手ぶれによる前記複数の画像間における画像のずれを補正して前記複数の画像を合成する第2の画像合成手段とを具備し、前記ぶれ検出手段が被写体ぶれを検出した場合、前記第1の画像合成手段による画像合成処理を行い、前記ぶれ検出手段が手ぶれを検出した場合、前記第2の画像合成手段による画像合成処理を行うことを特徴とするものである。
請求項5に係る発明は、請求項3に係る画像合成装置において、前記複数の画像間における画像のずれを検出する対象となるぶれ検出対象領域を設定するぶれ検出対象領域設定手段を更に具備し、前記ぶれ検出手段は、前記ぶれ検出対象領域内でのみ前記複数の画像間における画像のずれを検出することを特徴とするものである。
請求項6に係る発明は、請求項2に係る画像合成装置において、前記グループ化手段は、前記合成対象領域における周辺画素と連結している領域を検出し、当該連結している領域をグループとすることを特徴とするものである。
請求項7に係る発明は、請求項2に係る画像合成装置において、前記グループ化手段は、前記グループ毎にラベルを付与することを特徴とするものである。
請求項8に係る発明は、請求項1に係る画像合成装置において、前記画像合成処理手段は、被写体ぶれによって前記複数の画像間における画像のずれが発生している場合に前記複数の画像を合成して被写体ぶれを補正する第1の画像合成処理手段と、手ぶれによって前記複数の画像間における画像のずれが発生している場合に前記複数の画像を合成して手ぶれを補正する第2の画像合成処理手段とを具備することを特徴とするものであ。
本発明によれば、画質の良好なダイナミックレンジの広い画像を得ることの可能な画像合成装置を実現できる。
次に、本発明を実施するための最良の形態について説明する。
次に、本発明に係る、複数の画像からダイナミックレンジの広い合成画像を得る画像合成装置の実施例について説明する。図1は、本発明に係る画像合成装置の実施例の全体構成を示す概略ブロック構成図である。この実施例に係る画像合成装置は、画像を撮像するための撮像素子1,画像信号をデジタル信号に変換するためのA/D変換器2,前段の画像処理を行うための画像処理回路3,処理結果をメモリ4に格納するためのメモリコントローラ5,後段の処理を行うためのCPU6から構成されている。
次に、図1に示した実施例における主要部の概略構成と、その概略動作を、図2に示す主要部の概略構成を示す概念図に基づいて説明する。図2において、画像aと画像bは、露光量の異なる二枚の画像である。この画像a,bについて、画像処理回路3では、合成対象領域検出部31,ラベリング部32,ぶれ検出対象領域設定部33により、ぶれを検出する領域の検出とその領域のグループ分け(ラベリング)を行う。これらのラベリング等の処理結果と画像は一旦メモリ4に蓄えられ、メモリ4上の画像に対しCPU6が、ぶれ検出部61により各ラベル毎にぶれ検出、すなわち被写体ぶれか、手ぶれかの検出を行い、その検出に基づくぶれ判定フラグにより、手ぶれ補正処理部62と被写体ぶれ補正処理部63とそれらの切換手段64-1,64-2を含む合成処理部65により、各ラベル毎にそれぞれのぶれ補正を含む合成処理を行う。このように適応的な補正を行なうことにより、手ぶれが発生した場合にも、被写体ぶれが発生した場合にも良好な合成画像を得ることが可能となる。
次に、各部の詳細な構成と動作について説明する。図3は、前段の画像処理回路3の構成を示すブロック図である。画像処理回路3は、画像a,bから後段のぶれ検出等で使用するぶれ検出や合成の対象となる領域の検出、及び合成の対象となる領域のラベリングを行っている。
本実施例では、画像信号として、従来例と同様に図22に示すように順次露光の異なる画像a,bが入力される。このため、図3に示すようにフレームメモリ34を設け、画像aと画像bのタイミングを合わせている。次に、画像入力時の諸パラメータ(露出、被写体までの距離等)及び画像a,bの諸パラメータ(輝度値の平均、MIN,MAX値等)から、図示しない上位のコントローラにより算出され、与えられる閾値により二値化回路35で画像a,bの二値化を行なう。
次に、二値化回路の構成を図4に示すブロック図で説明する。基本的に二値化回路は、入力画像a,bが閾値と大小の比較を行うことにより二値化を行なう。この構成例では、比較回路a35-1と比較回路b35-2により行われる。本構成例では、閾値は画像bに対するもののみ与えられている。除算回路35-3により画像bの露光量Ebに対する画像aの露光量Eaの比を求め、乗算回路35-4を介して画像bの閾値から画像aの閾値を算出している。
図5に、両画像間でずれが発生していない場合の画像と閾値の関係を示す。画像aに対して画像bは、図5の(2)に示すように輝度値方向に露光比に比例した値だけ圧縮された信号となる。すなわち、前述のように閾値を露光比に比例して変更することにより他方の画像に対応する閾値を得ることができる。
次に、得られた二値画像より、ぶれ検出対象領域設定部33と合成対象領域検出部31によって、ぶれ検出対象領域と合成対象領域を検出する。ぶれ検出対象領域とは、両画像間にぶれが発生していた場合に、ぶれを検出するための領域である。具体的には合成画像のずれ、すなわち二値画像の不一致領域となる。図3におけるXOR回路33-1による両二値画像の排他的論理和により、不一致領域を検出している。また、ノイズ等の影響による誤検出を防止するため、連続検出回路33-2により一定以上連続した場合にのみ、不一致領域として検出する。このぶれ検出対象領域設定部33を説明するためのタイミングチャートを図6に示す。なお、本実施例では、前記連続の検出を一次元的に行っているが、上下や斜め方向の連続を検出するなど各種変形が可能である。また、図6には、二値画像とXOR回路33-1の出力のOR回路31-1を介して得られる合成対象領域のタイミングも合わせて示している。
ずれ(ぶれ)が発生していた画像に対し、ぶれ補正をしない場合の合成画像を図7の(1)に示す。このように画像がずれているため、被写体と背景で一致しない部分 がある。それぞれの二値画像を比較した場合には、この部分は図7の(2)に示すように不一致部として検出することができる。この領域に対してのみぶれの検出を行うことにより、確度の高いぶれ検出を効率よく行うことが可能である。
合成対象領域は、画像a,b間の合成の対象となる領域である。図7の(3)に合成対象領域の一例を示す。このように合成対象領域は、ぶれを含んだ合成の対象(被写体)を検出する。この領域は、次段のラベリング部32によるラベリング処理により塊毎に分けられ、ラベルが付与される。ぶれ検出及び合成は、この塊毎に行うことにより、それぞれのラベル毎に最適なぶれ補正を行うことが可能である。
図8に、ラベリング処理によるぶれ補正を行う、画像の一例を示す。図8の(1)に示す画像aと図8の(2)に示す画像b間には、手ぶれと被写体ぶれが発生している。この図示例では、領域Aが手ぶれと判定される。また、領域BとCは被写体ぶれであるが、領域Bについては手ぶれと同様の平行移動であるため、手ぶれと判定される。図8の(3)は合成対象領域の検出とラベリングが行われた例を示している。領域A,B,Cの塊毎に、それぞれ1,2,3のラベルが付与されている。図8の(4)は、合成画像を示している。合成時には、このようにそれぞれのラベル毎に個別の処理が行われるため、ラベル1,2は手ぶれとして、ラベル3の領域は被写体ぶれとして補正される。
次に、ラベリング部32におけるラベリング処理のフローチャートを図9の(1)に示す。ラベリング処理は、周辺画素との連結を検出し、同一のラベルを付与する処理である。ここでは、4連結すなわち上下左右との連結を検出する例を示している。この例では、図9の(3)に示すように、注目画素を一画素ずつ左から右に走査し、また、ライン終了後1ライン下を走査するようにしている。図9の(2)に示すように注目画素に対しA,Bの画素との連結をチェックし、連結していれば前ライン又は前画素のラベルを注目画素のラベルとして付与し、連結がない場合には新しいラベルを付与するようにしている。
次に、図10に基づいて具体的なラベリング処理について説明する。ラベリング処理は、1 画素ずつチェックを行い、ラベル値を付与する。図10の(1)がラベリング画像の例であり、図10の(2)はラベル情報の格納例である。この例では、画像メモリの下位に画像データを格納し、上位にラベル値を格納している。更にラベルテーブル例を図10の(3)に示す。これは、各ラベル毎のぶれ情報等のパラメータを格納するテーブルもかねている。ラベル互換とは、異なるラベルが与えられた画素同士の連結が検出された場合に、その接続を示すものである。この例では、ラベリング中に4個のラベルが一つの塊に与えられているが、全画面のラベリングが終了した後、ラベルテーブルのラベル互換の情報を基に一つの塊に一つのラベルとなるように整理される。以上により、一つの塊を検出することが可能になる。本実施の形態では、左から右へ、及び上から下への走査を行っているが、これらの逆方向及び斜め方向等に走査するなど各種の変形が可能である。
以上のようにして得られたラベル情報、合成対象領域情報、ぶれ検出対象領域情報、ぶれ検出結果等は、図2に示すように一旦メモリ4に蓄えられる。以後、メモリ4上の画像データ及びラベル情報、合成対象領域情報、ぶれ検出対象領域情報、ぶれ検出結果等を用いて、CPU6が後段の処理を行う。
図11に、CPU6で行われる概略動作のフローチャートを示す。CPU6は、まず所定の初期化動作を行い、画像の入力及び前段の画像処理回路3の処理完了を待つ。この後、ぶれ検出部61でぶれ検出処理を行い、その後、合成処理部65で画像合成処理を行う。なお、これらのぶれ検出部61及び合成処理部65は、この実施例では全てCPU6内において、ソフト的に構成されているものである。ぶれ検出処理部61における動作に関して概略のデータフローを図12に示す。ぶれ検出部61の処理は、図12に示すように画像a,bからぶれを検出する領域を選ぶ特定領域設定部61-1,該特定領域設定部61-1で選択されたぶれ検出領域においてぶれを判定するためのパラメータを算出するブロックマッチング算出部(1)61-2 及びブロックマッチング算出部(2)61-3 ,ブロックマッチングを行った領域が有効かどうかを検出して有効か無効かのパラメータを出力する有効検出部61-4,及びブロックマッチング算出部(1)61-2 とブロックマッチング算出部(2)61-3 と有効検出部61-4からのパラメータを基に手ぶれか被写体ぶれかを判定するぶれ判定部61-5で行われる。
次に、ぶれ検出部61におけるぶれ判定動作の詳細について、図13に示すぶれ検出のフローチャートに基づいて説明する。このフローチャートに示す動作では、全画素又は所定の間引きを行った画素に注目し、処理を行う。まず、ステップS101 で示すように、画素を読み出し、その画素がぶれ検出領域かどうかを判断する。ぶれ検出領域でない場合にはぶれ検出を行わない。ぶれ検出である場合には、特定領域としてその周辺データの読み込みを行う。次に、この特定領域に対してブロックマッチングを行う。ブロックマッチングとは、基準ブロックを設定し、同サイズのブロックを他方の画像の周辺領域に設定し、各画素毎の差分を演算しその総和をとり、総和がもっとも小さいブロックを類似ブロックとして検出するものである。
ブロックマッチングの処理動作を説明するためのフローチャートを図14に示す。まず、検出すべき差分の総和の最大・最小値を格納するレジスタをクリアする。次に基準ブロック座標(Xs ,Ys )をセットする。更に探索範囲の参照ブロックの開始座標(Xr ,Yr )をセットする。次に、実際のブロックマッチング動作を行う。まず、画像a上の基準ブロックと画像b上の参照ブロックに関して、それぞれの輝度の差分をとり、その総和を求める。この総和が最小値であるかを判定し、最小値の場合には基準ブロックと参照ブロックの座標を格納する。また、同時に最大値も判定し、最大値を格納する。これらについて、画像aを基準画像とした場合と画像bを基準とした場合で演算を行い、探索範囲内(この場合はXYとも注目画素を中心として±20画素)に関して順次比較を行う。最終的に、各画像を基準とした、差分の総和の最大値と最小値と、最小値が算出された座標が得られる。
図15に、具体的なブロックマッチングの一例を示す。図15の(1)が基準ブロック、図15の(2)が探索範囲を示している。図15の(3)は、参照ブロックで、それぞれX軸方向に一画素ずつずらしたブロックを示している。図15の(4)は、参照ブロックと基準ブロックの差分をとった態様を示しており、図示のように、その絶対値の和は145 ,95,45となる。この場合、最も差分の小さいベクトル(1,0)に関する参照ブロックが、類似度の高いブロックである。なお、ブロックマッチングに関して、この具体例はその一例を示しているものであり、ブロックサイズ、類似度の算出方法、探索範囲等は当然各種変形が可能である。
ブロックマッチングを行った後、図13でステップS102 で示すように有効判定処理を行う。有効判定は、ブロックマッチングを行った領域が、ブロックマッチングを行うにふさわしいかどうかを判定し、ふさわしくない場合には、ブロックマッチングの結果について判定は行わない。
図16に、有効検出部61-4における有効判定動作を説明するためのフローチャートを示す。有効判定動作は、画像a,bのそれぞれの探索範囲について、ステップS111 ,S113 で示すように白とび、黒つぶれ、及び画像のない領域であるかどうかの判定を行う。また、ステップS112 ,S114 で示すようにブロックマッチング時に求めた、差分の総和の最大値と最小値の差が所定の閾値以下、すなわち探索範囲内においてほぼ同程度の差分値しか得られなかった場合も、有効性なしと判定している。
図13に示すぶれ判定のフローチャートに戻り、ステップS102 の有効判定処理ステップで有効であると判定したのち、ステップS103 で示すように、それぞれのラベル毎に、まず、差分の総和の最小値より被写体ぶれと手ぶれの判定を行う。それぞれの画像を基準ブロックとした場合の最小値のどちらかが所定の閾値よりも大きい場合、どちらかの類似度が低い場合には、該当するブロックが相手側にないと判断し、被写体ぶれと判定し、該当ラベルが被写体ぶれである旨のフラグを立てる。この状態は、例えば図17の(1)に示す場合であり、この例では左側は被写体の移動により背景の隠されてしまうため該当するブロックが発見できない場合である。
ステップS103 のぶれ判定処理で、被写体ぶれと判断されなかった場合、ステップS104 及びステップS105 に進み、ブロックマッチングの結果の基準ブロックと参照ブロックの座標より、画像aを基準とした場合の動きベクトルa_bと、画像bを基準とした動きベクトルb_aを演算し、両ベクトルを加算してベクトル差として閾値と比較し、ぶれ判定を行う。
例えば、図17の(2)に示すように画像aを基準とした場合の動きベクトルと画像bを基準とした動きベクトルを比較した場合に、手ぶれで有れば同一値で逆方向になるのでベクトル差は閾値を下回るが、被写体ぶれであれば、閾値を上回る。
本実施例では、一つのラベルに対して複数箇所の検出を行い、複数箇所の検出において一箇所でも被写体ぶれが検出された場合には、これを優先する。図13に示すぶれ判定のフローチャートにおいて、ステップS106 では、ラベル毎に、該当ラベル上のぶれ検出対象領域の全領域に関してぶれ判定を実施する。まず、該当ラベルのぶれ判定情報がすでに被写体ぶれと判定されていた場合には、手ぶれ判定への更新や以後のぶれ判定を行わない。次に、該当ラベルのラベルテーブルに格納されている、すでに算出された動きベクトルを読み出し、この動きベクトルと今回のラベルにおいて算出された動きベクトルの比較を行ない、異なる場合には該当ラベルが平行移動以外の動作である被写体ぶれが発生していると判定し、該当ラベルを被写体ぶれと判定する。このように、複数箇所における判定及び複数箇所間の動きベクトルの比較を行うことにより、判定の確度を上げている。
以上の処理動作により、ぶれ検出を実施し、その判定結果の格納を行う。ぶれ検出が終了した後、合成処理部65において合成処理を行う。合成処理部65の処理動作を、図18に示すフローチャートに基づいて説明する。合成処理は、このフローチャートに示すように画素毎に行う。まず、該当する画素が合成対象領域であるかどうかを判定し、合成対象領域でない場合には処理を行わない。合成対象領域である場合には、ラベル値と、ラベルテーブルからそのラベル値に格納されているぶれ判定情報を読み出す。その判定情報より、それぞれのぶれに対応した合成処理を行う。手ぶれの場合には、ステップS121 に示すように、更に画像bの合成領域かどうかの判定を行う。画像bの合成領域である場合には、画像bの画素を画像aの対応画素に合成を行うが、このときにラベルテーブルより動きベクトルを読み出し、これにより画像bの座標の移動を行う。しかる後に移動後の座標の画像aにおける対応画素に対し合成を行うことにより、ずれのない合成画像を得る。図19に座標移動による合成処理の例を示す。
ぶれの判定情報が被写体ぶれの場合には、ステップS122 に示すように、画像bの合成領域かどうかの判定を行い、画像bの合成領域である場合には、まず画像bの画素と同座標の画像aの画素に対して合成を行う。この座標が、どちらかの画像の合成領域である場合には、画像がずれて表示される可能性があるため、その合成領域にローパスフィルタを施し、画像をぼけさせることにより違和感のない画像を得る。図20にローパスフィルタ処理による合成処理の例を示す。
なお、本実施例では、前段の画像処理をハードで行い、ぶれ検出と画像合成処理をCPUにより行ったものを示したが、画像処理をソフトで行うなど各種変形が可能である。
1 撮像素子
2 A/D変換器
3 画像処理回路
4 メモリ
5 メモリコントローラ
6 CPU
31 合成対象領域検出部
31-1 OR回路
32 ラベリング部
33 ぶれ検出対象領域設定部
33-1 XOR回路
33-2 連続検出回路
34 フレームメモリ
35 二値化回路
35-1 比較回路a
35-2 比較回路b
35-3 除算回路
35-4 乗算回路
61 ぶれ検出部
61-1 特定領域設定部
61-2 ブロックマッチング算出部(1)
61-3 ブロックマッチング算出部(2)
61-4 有効検出部
61-5 ぶれ判定部
62 手ぶれ補正処理部
63 被写体ぶれ補正処理部
64-1,64-2 切換手段
65 合成処理部
2 A/D変換器
3 画像処理回路
4 メモリ
5 メモリコントローラ
6 CPU
31 合成対象領域検出部
31-1 OR回路
32 ラベリング部
33 ぶれ検出対象領域設定部
33-1 XOR回路
33-2 連続検出回路
34 フレームメモリ
35 二値化回路
35-1 比較回路a
35-2 比較回路b
35-3 除算回路
35-4 乗算回路
61 ぶれ検出部
61-1 特定領域設定部
61-2 ブロックマッチング算出部(1)
61-3 ブロックマッチング算出部(2)
61-4 有効検出部
61-5 ぶれ判定部
62 手ぶれ補正処理部
63 被写体ぶれ補正処理部
64-1,64-2 切換手段
65 合成処理部
Claims (8)
- 複数の画像を合成し、前記複数の画像のそれぞれの画像に比較してダイナミックレンジの広い画像を得る画像合成装置において、
前記複数の画像の一方の画像と他方の画像とに基づいて、前記複数の画像のそれぞれの画像の全体から画像の合成の対象となる一部分を合成対象領域として検出する合成対象領域検出手段と、
前記合成対象領域に対しダイナミックレンジを広げる画像合成処理を行う画像合成処理手段と、
を具備することを特徴とする画像合成装置。 - 前記合成対象領域を所定のグループに分けるグループ化手段を更に具備し、
前記画像合成処理は、前記グループ毎に行うことを特徴とする請求項1に係る画像合成装置。 - 前記複数の画像間における画像のずれを前記グループ毎に検出するぶれ検出手段を更に具備し、
前記画像合成処理は、前記ぶれ検出手段が検出した結果に応じた画像合成処理を行うことを特徴とする請求項2に係る画像合成装置。 - 前記ぶれ検出手段は、被写体ぶれによる前記複数の画像間における画像のずれ及び手ぶれによる前記複数の画像間における画像のずれを検出するものであって、
前記画像合成処理手段は、前記被写体ぶれによる前記複数の画像間における画像のずれを補正して前記複数の画像を合成する第1の画像合成手段と、前記手ぶれによる前記複数の画像間における画像のずれを補正して前記複数の画像を合成する第2の画像合成手段とを具備し、
前記ぶれ検出手段が被写体ぶれを検出した場合、前記第1の画像合成手段による画像合成処理を行い、前記ぶれ検出手段が手ぶれを検出した場合、前記第2の画像合成手段による画像合成処理を行うことを特徴とする請求項3に係る画像合成装置。 - 前記複数の画像間における画像のずれを検出する対象となるぶれ検出対象領域を設定するぶれ検出対象領域設定手段を更に具備し、
前記ぶれ検出手段は、前記ぶれ検出対象領域内でのみ前記複数の画像間における画像のずれを検出することを特徴とする請求項3に係る画像合成装置。 - 前記グループ化手段は、前記合成対象領域における周辺画素と連結している領域を検出し、当該連結している領域をグループとすることを特徴とする請求項2に係る画像合成装置。
- 前記グループ化手段は、前記グループ毎にラベルを付与することを特徴とする請求項2に係る画像合成装置。
- 前記画像合成処理手段は、
被写体ぶれによって前記複数の画像間における画像のずれが発生している場合に前記複数の画像を合成して被写体ぶれを補正する第1の画像合成処理手段と、
手ぶれによって前記複数の画像間における画像のずれが発生している場合に前記複数の画像を合成して手ぶれを補正する第2の画像合成処理手段と、
を具備することを特徴とする請求項1に係る画像合成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007272338A JP2008048459A (ja) | 2007-10-19 | 2007-10-19 | 画像合成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007272338A JP2008048459A (ja) | 2007-10-19 | 2007-10-19 | 画像合成装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001341374A Division JP4050498B2 (ja) | 2001-11-07 | 2001-11-07 | 画像合成装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008048459A true JP2008048459A (ja) | 2008-02-28 |
Family
ID=39181662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007272338A Pending JP2008048459A (ja) | 2007-10-19 | 2007-10-19 | 画像合成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008048459A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010134915A (ja) * | 2008-11-04 | 2010-06-17 | Omron Corp | 画像処理装置 |
US9566801B2 (en) | 2014-08-05 | 2017-02-14 | Seiko Epson Corporation | Tape printer |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08191411A (ja) * | 1994-11-08 | 1996-07-23 | Matsushita Electric Ind Co Ltd | シーン判別方法および代表画像記録・表示装置 |
JPH10191136A (ja) * | 1996-12-27 | 1998-07-21 | Canon Inc | 撮像装置及び画像合成装置 |
JP2000050151A (ja) * | 1998-07-28 | 2000-02-18 | Olympus Optical Co Ltd | 撮像装置 |
JP2001230965A (ja) * | 2000-02-18 | 2001-08-24 | Toshiba Corp | 撮像装置 |
-
2007
- 2007-10-19 JP JP2007272338A patent/JP2008048459A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08191411A (ja) * | 1994-11-08 | 1996-07-23 | Matsushita Electric Ind Co Ltd | シーン判別方法および代表画像記録・表示装置 |
JPH10191136A (ja) * | 1996-12-27 | 1998-07-21 | Canon Inc | 撮像装置及び画像合成装置 |
JP2000050151A (ja) * | 1998-07-28 | 2000-02-18 | Olympus Optical Co Ltd | 撮像装置 |
JP2001230965A (ja) * | 2000-02-18 | 2001-08-24 | Toshiba Corp | 撮像装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010134915A (ja) * | 2008-11-04 | 2010-06-17 | Omron Corp | 画像処理装置 |
US9566801B2 (en) | 2014-08-05 | 2017-02-14 | Seiko Epson Corporation | Tape printer |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10306141B2 (en) | Image processing apparatus and method therefor | |
JP4480760B2 (ja) | 画像データ処理方法および画像処理装置 | |
JP3770271B2 (ja) | 画像処理装置 | |
JP3866957B2 (ja) | 画像合成装置 | |
US20120212645A1 (en) | Image processing apparatus and method | |
JP2006287632A (ja) | ノイズ低減装置およびノイズ低減方法 | |
JP4050498B2 (ja) | 画像合成装置 | |
WO2007074605A1 (ja) | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 | |
JP7017207B2 (ja) | 画像検査装置及び、その画像検査方法 | |
JP2006325274A (ja) | 撮像装置 | |
JP2008048459A (ja) | 画像合成装置 | |
JPH0422280A (ja) | 画像の動き検出装置 | |
JPH1098644A (ja) | 動き検出装置 | |
JPH1117984A (ja) | 画像処理装置 | |
JP2007166442A (ja) | 撮像装置 | |
JP2005295302A (ja) | カメラ画像処理装置 | |
JP5505072B2 (ja) | 画像データ処理装置および画像データ処理方法 | |
JP2008072428A (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
JPH1042201A (ja) | 画像欠陥補正回路 | |
JP2006319784A (ja) | 画像処理装置および撮像装置 | |
JP3225598B2 (ja) | 画像の手振れ検出装置 | |
JP2009017583A (ja) | 画像処理装置 | |
JP2516580B2 (ja) | 画像動き検出装置 | |
JP2021164059A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP3252415B2 (ja) | 画像の手振れ補正装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091020 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100302 |