JP2010057198A - 撮像装置、撮影方法及びプログラム - Google Patents

Abstract

【課題】 周辺減光補正処理に要する時間の短縮化を図る。
【解決手段】 周辺減光補正手段（３２ｄ）は、１回の露光時間Ｔ１をｎ分割した各々の露光時間Ｔ１₍₁₎〜Ｔ１_(n)ごとに撮像されたｎ枚の画像に対する位置ずれ修正手段（３２ａ、３２ｂ）における位置ずれ修正量を用いて各画像ごとの周辺減光特性成分の位置を修正するとともに、位置が修正された各画像ごとの周辺減光特性成分を合成して補正用周辺減光特性成分を生成し、この補正用周辺減光特性成分を用いて合成画像に対する周辺減光補正を行う。
【選択図】 図１

Description

本発明は、撮像装置、撮影方法及びプログラムに関し、詳しくは、長時間露光撮影時においても良好な撮影画質を得られるようにした、たとえば、デジタルカメラ等に適用可能な撮像装置、撮影方法及びプログラムに関する。

一般的に、銀塩カメラやデジタルカメラといったカメラの種類にかかわらず、ストロボを使用できない暗い場所で写真撮影する際は、シャッタ速度を遅くして露光時間を長くしなければならない。しかし、ＣＣＤ等の二次元イメージセンサを備えたデジタルカメラにおいては、こうした長時間露光撮影時に、二次元イメージセンサの暗電流（または暗電圧ともいう。露光時間に対応して指数関数的に増えるセンサノイズの一種。）に起因して画質が劣化するという不都合がある。

そこで、下記の特許文献１には、画像合成を行うことにより、長時間露光撮影時における画質の劣化を改善する技術（以下、第１の従来技術という。）が記載されている。

図１５は、第１の従来技術の概念図である。この図において、Ｔ１は、ストロボを使用できない暗い場所で写真撮影する際の１回の露光時間を表している。この露光時間Ｔ１は、過不足のない明るさの元で撮影する際の露光時間よりも長い時間である。

第１の従来技術では、この露光時間Ｔ１の間で、二次元イメージセンサから“複数回”の映像信号の読み出しをする。たとえば、図示の例では、露光時間Ｔ１をＴ１₍₁₎〜Ｔ１₍₄₎と４等分（ここでは４等分としたが、単にｎ分割であればよい。以下同様とする。）し、各々の露光時間Ｔ１₍₁₎〜Ｔ１₍₄₎ごとに画像１〜画像４を読み出している。そして、最後に、それら４つの画像１〜画像４を重ねて合成した１枚の合成画像５を生成出力する。なお、図示では、４つの画像１〜画像４と１枚の合成画像５の大きさが異なっているが、これは図示の都合であり、実際には同じ大きさである。

さて、このような画像合成の仕組みにおいて、４つの画像１〜画像４の各々の露光時間（Ｔ１₍₁₎〜Ｔ１₍₄₎）は、ストロボを使用できない暗い場所で写真撮影する際の１回の露光時間Ｔ１を４分割したものであるから、等分した場合はそれぞれの画像１〜画像４の明るさは、目標とする明るさのほぼ１／４になっているはずである。したがって、等分した場合はこれら４つの画像１〜画像４を重ねて合成した１枚の合成画像５の明るさは、それぞれの画像１〜画像４の明るさのほぼ４倍に相当し、結局、ストロボを使用できない暗い場所で写真撮影する際の１回の露光時間Ｔ１に対応した所望の明るさの画像（合成画像５）を得ることができる。

ここで、合成画像５に含まれる暗電流成分（便宜的にその量をＰとする。）は、４つの画像１〜画像４のそれぞれに含まれている暗電流成分（便宜的にＰ₍₁₎〜Ｐ₍₄₎とする。）の略合計（≒Ｐ₍₁₎＋Ｐ₍₂₎＋Ｐ₍₃₎＋Ｐ₍₄₎）に相当し、上記のとおり、暗電流は、露光時間に対応して指数関数的に増えるセンサノイズの一種であるから、露光時間Ｔ１で撮影された１枚の画像に含まれる暗電流成分をＰ´とすれば、「Ｐ´＞Ｐ」となり、結局、合成画像５に含まれる暗電流成分Ｐを低減して、長時間露光撮影時における画質の劣化を改善することができる。

このように、上記の第１の従来技術においては、長時間露光撮影時における画質の劣化を改善することができる点で優れているものの、その一方で、長時間露光撮影時においてしばしば発生するカメラブレの対策が全く講じられていないという不都合がある。

そこで、下記の特許文献２には、カメラブレ対策を講じた画像合成の技術（以下、第２の従来技術という。）が記載されている。

図１６は、第２の従来技術の概念図である。この図において、４つの画像６〜９は、それぞれ前記第１の従来技術の画像１〜４に相当するものであり、また、それら４つの画像６〜９を合成した１枚の合成画像１０は、前記第１の従来技術の合成画像５に相当するものである。第１の従来技術との相違は、４つの画像６〜９に写り込んでいる被写体（ここでは便宜的に人物とする。）の位置が少しずつずれている点にある。具体的には、１枚目の画像６に写り込んでいる人物１１の位置を基準にして、２枚目の画像７に写り込んでいる人物１２の位置が若干量Ｆ１だけ右にずれており、また、その人物１２の位置を基準にして、３枚目の画像８に写り込んでいる人物１３の位置が若干量Ｆ２だけ右にずれており、さらに、その人物１３の位置を基準にして、４枚目の画像９に写り込んでいる人物１４の位置が若干量Ｆ３だけ右にずれている。４つの画像６〜９に写り込んでいる人物１１〜１４は元々同一の被写体であるから、これは、左方向へのカメラブレが発生していることを示している。なお、ここでは、水平方向のカメラブレを例にしているが、これはあくまでも一例に過ぎない。カメラブレは水平方向だけでなく、垂直方向あるいは水平・垂直の合成方向にも起こり得る。

さて、この第２の従来技術においては、これら４つの画像６〜９のそれぞれについて、エッジの特徴点と色相の特徴点とを抽出し、各画像６〜９を照合して共通の特徴点を探索する。そして、各画像６〜９で一致した複数の特徴点の相対的な位置を算出して、その算出結果から各画像６〜９の相対的な位置関係を決定し、位置ずれを補正した後、１枚の合成画像１０を生成する。これは、要するに、時間的に隣り合う画像間の動きを検出し、その動きを補償（ズレを修正）した合成画像１０を生成していることに他ならない。

したがって、この第２の従来技術によれば、動き補償によってカメラブレ対策も講じることができると共に、合成画像１０に含まれる暗電流成分を低減して、長時間露光撮影時における画質の劣化を改善することができる。

特開２００１−３２６８５０号公報 特開２００５−１８２０９８号公報 特開２００２−２９６６８５号公報

しかしながら、第２の従来技術にあっては、以下に詳述する理由から、「光学系の周辺減光補正」を行う場合に、その補正処理に要する時間が長くなるという問題点がある。

図１７は、光学系の周辺減光の説明図である。この図において、同心状の多数の円のうち太線で示す最外円は、光学系のイメージサークル１５を示している。また、イメージサークル１５内の横長矩形図形は、ＣＣＤ等の二次元イメージセンサの撮像面１６を示しており、さらに、撮像面１６の略中央付近に位置する人物を模した図形は被写体１７、図面の下側に位置する画像１８は二次元イメージセンサの出力画像である。

一般的にカメラの光学系は、光学レンズの特性より、画像上の一点の輝度が、その点と光学レンズとを結ぶ線と、光学レンズの光軸との傾き角θの正接の４乗（ｃｏＳ⁴θ）に従うという、いわゆる「周辺減光特性」をもっており、要するに、レンズの中心から外側に向かうにつれて徐々に暗くなるという特性を持っている。図１７において、イメージサークル１５の内側に並ぶ多数の同心円は、その周辺減光特性を模式的に示すものであり、その円の間隔が狭いほど、減光の度合いが大きいことを表している。

今日のカメラにおいては、周辺減光特性を解消し、または抑制するための様々な工夫（光学レンズの組み合わせ等）が凝らされているものの、コストが嵩むため、かかる工夫は一部の高級カメラ（一眼レフ等）に適用されているのが実状であり、一般的な普及型カメラにあっては、ある程度の周辺減光はやむを得ないものとしつつ、画像処理上の工夫によって周辺減光の補正を行っているものが多い。

たとえば、上記の特許文献３には、図１７の画像１８に対して、画像周辺部に向かうにつれて明るさを高める補正を行うことにより、コストを掛けることなく周辺減光対策を講じるようにした技術（以下、第３の従来技術という。）が記載されている。この第３の従来技術によれば、元々の画像１８は、同画像１８中の同心円の間隔で示すような周辺減光が生じているが、その減光を打ち消すような適切な補正データを適用することにより、同画像１８中の周辺減光に伴う明るさの分布をほぼフラットにすることができるとされている。

しかし、かかる第３の従来技術（画像処理上の工夫による周辺減光補正手法）を、そのまま、前記の第２の従来技術に適用した場合、最終的に得られる合成画像１０の周辺減光に伴う明るさの分布をフラットにすることはできない。

図１８は、従来技術の不都合説明図である。なお、ここでは、簡単化のために、連続して撮影された２枚の画像（以下、１枚目画像１９、２枚目画像２０）を合成して、１枚の合成画像２１を生成する場合の例を示している。１枚目画像１９のほぼ中央には人物２２が写っており、２枚目画像２０にも、その右下に若干位置がズレた同一の人物２３が写っている。この“ズレ”はカメラブレに起因するものである。合成画像２１のほぼ中央に写っている人物２４は、前記の第２の従来技術を用い、１枚目画像１９の人物２２の位置を基準にして、それら双方の人物２２、２３を位置合わせしたものである。

１枚目画像１９及び２枚目画像２０の黒く塗り潰した部分（以下、黒ベタ部分という。）はそれぞれ、光学系の周辺減光特性による低輝度部分２５、２６を模式的に表している。なお、実際の周辺減光特性による低輝度部分は、明るさが線形的に変化する部分であり、図示のような単純な低輝度部分（黒ベタ部分）とはならないが、ここでは、図解上の都合から、人物２２、２３周囲の高輝度部分（白い部分）と、黒ベタ部分の低輝度部分２５、２６との２段階で明るさが変化するものとする。

このような低輝度部分２５、２６を含む二つの画像（１枚目画像１９及び２枚目画像２０）を位置合わせして一つの合成画像２１を生成した場合、その合成画像２１に含まれる周辺減光特性による低輝度部分は、図示のように複雑な形状になる。すなわち、位置合わせにより、２枚目画像２０を左上に所定量ずらして１枚目画像１９に重ねて合成画像２１を生成するので、合成画像２１に含まれる周辺減光特性による低輝度部分は、１枚目画像１９の低輝度部分２５と、２枚目画像２０の低輝度部分２６と、それら二つの低輝度部分２５、２６の重畳部分である中輝度部分２７とからなることになる。

したがって、合成画像２１には、光学系の周辺減光特性に起因する低輝度部分２５、２６だけでなく、それよりも明るい中輝度部分２７も含まれているので、単に光学系の周辺減光特性のみに基づいて補正を行っただけでは、中輝度部分２７が高輝度側に過補正されてしまうから、最終的に得られる合成画像２１の周辺減光に伴う明るさの分布（低輝度部分２５、２６及び中輝度部分２７）をフラットにすることはできない。

このため、前記の第２の従来技術に周辺減光補正を適用する際には、合成画像を生成する前段階の画像（つまり、図１８の１枚目画像１９及び２枚目画像２０）に対して、各々周辺減光補正を行わざるを得ず、その結果、補正対象画像の枚数が増えるほど周辺減光処理に要する時間が長くなるという問題点を生じていたのである。

そこで、本発明は、カメラブレ対策を講じた１枚の合成画像に対してのみ周辺減光補正を行うことができるようにし、以て、周辺減光補正処理に要する時間の短縮化を図った撮像装置、撮像方法及びプログラムを提供することを目的とする。

請求項１記載の発明は、同一被写体を含む複数の撮影画像の位置ずれを修正した上で合成画像を生成する合成手段と、前記合成手段により生成された合成画像に対して前記光学系の周辺減光特性を考慮した周辺減光補正を施す周辺減光補正手段と、を備えることを特徴とする撮像装置である。
請求項２記載の発明は、光学系を通して結像された被写体の像を、長時間露光撮影時における１回の露光時間Ｔ１をｎ分割した各々の露光時間Ｔ１₍₁₎〜Ｔ１_(n)ごとに撮像して前記１回の露光時間Ｔ１あたりｎ枚の画像を出力する撮像手段を備え、前記合成手段は、前記撮像手段から出力されたｎ枚の画像の位置ずれを修正したｎ枚の画像を合成して１枚の合成画像を生成し、前記周辺減光補正手段は、前記ｎ枚の画像に対する前記位置ずれ修正手段における位置ずれ修正量を用いて各画像ごとの周辺減光特性成分の位置を修正するとともに、位置が修正された各画像ごとの周辺減光特性成分を合成して補正用周辺減光特性成分を生成し、この補正用周辺減光特性成分を用いて、前記合成画像に対する周辺減光補正を行うことを特徴とする請求項１に記載の撮像装置である。
請求項３記載の発明は、時系列的に撮影された複数の画像からなる連写画像を記憶する記憶手段と、前記記憶手段に記憶された複数の画像の特徴点を算出する特徴点算出手段と、を備え、前記合成手段は、前記特徴点算出手段によって算出された特徴点が互いに一致するように位置を合わせて前記複数の画像を合成し、前記周辺減光補正手段は、前記合成手段によって合成された合成画像に、前記連写画像を撮影する際に用いられた光学系の周辺減光特性に対応した周辺減光補正をかけることを特徴とする請求項１に記載の撮像装置である。
請求項４記載の発明は、前記周辺減光補正手段によって周辺減光補正がかけられた後の合成画像の輝度を調整する調整手段を備えることを特徴とする請求項１に記載の撮像装置である。
請求項５記載の発明は、前記複数の画像は、Ｘ方向とＹ方向とを有するＸＹ平面上に存在する画像であり、前記周辺減光補正手段は、前記合成手段において前記複数の画像を合成する際に前記合成手段による位置合わせに伴い移動する、当該複数の画像の各画像の中心点の前記Ｘ方向の各移動量の内で最大の値と、当該複数の画像の各画像の中心点の前記Ｙ方向の各移動量の内で最大の値と、を用いて補正を行うことを特徴とする請求項１に記載の撮像装置である。
請求項６記載の発明は、前記複数の画像は、Ｘ方向とＹ方向とを有するＸＹ平面上に存在する画像であり、前記周辺減光補正手段は、前記合成手段において前記複数の画像を合成する際に前記合成手段による位置合わせに伴い移動する、当該複数の画像の各画像の中心点の前記Ｘ方向の各移動量の平均値と、当該複数の画像の各画像の中心点の前記Ｙ方向の各移動量の平均値と、を用いて補正を行うことを特徴とする請求項１に記載の撮像装置である。
請求項７記載の発明は、前記記憶手段に記憶する画像を撮影するために、光学部材と、Ｘ方向とＹ方向とを有するＸＹ平面上に撮像面を有する撮像素子とを備えた撮像手段を備え、前記周辺減光補正手段は、前記光学部材を本来設置する位置からの、前記Ｘ方向と前記Ｙ方向とへの設置位置ずれ許容量を用いて補正を行うことを特徴とする請求項１に記載の撮像装置である。
請求項８記載の発明は、前記記憶手段に記憶する画像を撮影するために、光学部材と、Ｘ方向とＹ方向とを有するＸＹ平面上に撮像面を有する撮像素子を備えた撮像手段を備え、前記周辺減光補正手段は、前記光学部材を本来設置する位置からの、前記Ｘ方向と前記Ｙ方向とへの設置位置ずれ実測値を用いて補正を行うことを特徴とする請求項１に記載の撮像装置である。
請求項９記載の発明は、前記記憶手段に記憶する画像を撮影するために、Ｘ方向とＹ方向とを有するＸＹ平面上に撮像面を有する撮像手段と、前記撮像手段の撮影画角から画角を変更して、任意の電子画角でデジタルズームを行うための画角変更手段を備え、前記周辺減光補正手段は、撮影画像の中心から見て、前記撮像手段の撮影画角内であり、前記画角変更手段の電子画角外である領域の、前記Ｘ方向成分の画素数と前記Ｙ方向成分の画素数とを用いて補正を行うことを特徴とする請求項１に記載の撮像装置である。
請求項１０記載の発明は、前記調整手段は、前記周辺減光補正手段によって周辺減光補正がかけられた後の合成画像の輝度を、当該合成画像の元になる画像数を考慮して調整することを特徴とする請求項４に記載の撮像装置である。
請求項１１記載の発明は、前記複数の画像の中央部の輝度の平均値を測定する平均輝度測定手段を更に備え、前記調整手段は、前記周辺減光補正手段によって周辺減光補正がかけられた後の合成画像の輝度を、当該平均輝度測定手段より求めた平均値を考慮して調整することを特徴とする請求項４に記載の撮像装置である。
請求項１２記載の発明は、前記複数の画像の度数分布を計算する度数分布算出手段を更に備え、前記調整手段は、前記周辺減光補正手段により生成された画像の輝度を、前記度数分布算出手段で算出した度数分布範囲の有効範囲に収まるように調整することを特徴とする請求項４に記載の撮像装置である。
請求項１３記載の発明は、同一被写体を含む複数の撮影画像の位置ずれを修正した上で合成画像を生成する合成工程と、前記合成工程により生成された合成画像に対して前記光学系の周辺減光特性を考慮した周辺減光補正を施す周辺減光補正工程と、を備えることを特徴とする撮影方法である。
請求項１４記載の発明は、コンピュータに、同一被写体を含む複数の撮影画像の位置ずれを修正した上で合成画像を生成する合成手段と、前記合成手段により生成された合成画像に対して前記光学系の周辺減光特性を考慮した周辺減光補正を施す周辺減光補正手段と、を実現させることを特徴とするプログラムである。

本発明では、ｎ枚の画像を合成して生成された１枚の合成画像に対して周辺減光補正を行うので、従来技術のように、ｎ枚の画像の各々に対して周辺減光補正を行うものに比べて、周辺減光補正に要する処理時間の短縮化を図ることができる。

デジタルカメラの構成図である。 カメラブレを考慮した輝度カーブの生成概念図である。 合成画像に対する周辺減光補正処理の概念図である。 周辺減光に着目した輝度カーブを示す図である。 周辺減光に着目した輝度カーブを示す図である。 手ぶれによる最大移動した際の画角境界の補正係数が最大になるようにした輝度カーブを示す図である。 第１の実施形態の処理の流れを示すフローチャートである。 平均の移動量を説明するための、画像の移動量を示す図である。 光学レンズと受光部の位置ずれを示す図である。 光学レンズと受光部の位置ずれ許容範囲と位置ずれ許容値を示す図である。 光学レンズと受光部の位置ずれを考慮した処理の流れを示すフローチャートである。 光学レンズと受光部の位置ずれ許容値の実測形態を説明する図である。 デジタルズームの概念図である。 デジタルズームにおける処理の流れを示すフローチャート図である。 第１の従来技術の概念図である。 第２の従来技術の概念図である。 光学系の周辺減光の説明図である。 従来技術の不都合説明図である。

以下、本発明の実施形態を、デジタルカメラへの適用を例にして、図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。

＜第１の実施形態＞
図１は、デジタルカメラの構成図である。デジタルカメラ３０は、撮像部３１、画像処理部３２、メモリ部３３、ビデオ出力部３４、表示部３５、制御部３６、プログラムコード記憶部３７、操作部３８、外部インターフェース部３９、画像記憶部４０及び電源部４１などの各部を備える。

撮像部３１は、１乃至は複数枚の光学レンズの組み合わせからなる撮影レンズや絞り機構、焦点合わせ機構、及び、撮影画角αを調節するズーム機構などを含む光学系３１ａと、ＣＣＤセンサまたはＣＭＯＳセンサなどの半導体撮像デバイスからなる二次元イメージセンサ３１ｂとで構成される。

撮像部２１の動作（絞りの大きさやズーム倍率、つまり撮影画角αの調整並びに焦点合わせ、及び、二次元イメージセンサ３１ｂの露光並びに読み出し動作）は、制御部３６から適宜に出力される撮影動作指示によって制御される。制御部３６からの撮影動作指示は、被写体３０ａを写した撮影構図確認用の低解像度画像（たとえば、１０２４×７６８ドットのＸＧＡ画像）を高フレームレート（たとえば、３０ｆｐｓ）で読み出すための指示、同じく被写体３０ａを写した静止画撮影用の高解像度画像（たとえば、４００万画素クラスの画像）を低フレームレート（上記の高フレームレートよりも若干低いフレームレート）で読み出すための指示、並びに、それらの読み出し動作に必要な絞り値設定や合焦動作設定及びズーム倍率設定等の事前動作指示などである。

撮像部３１からは、制御部３６からの撮影動作指示に応答して、まず、被写体３０ａを写し込んだ撮影構図確認用の低解像度画像（以下、スルー画像という。）が上記の高フレームレートで周期的に読み出される。このスルー画像は、メモリ部３３の画像バッファ領域３３から表示画像領域３３ｃへと転送され、ビデオ出力部３４で所定の表示形式に変換された後、液晶ディスプレイ等の平面表示デバイスからなる表示部３５に送られて表示される。不図示の撮影者は、この表示部３５に表示されたスルー画像を見ながら、被写体３０ａを、たとえば画面の中央に位置させるなどの所望の構図調整を行った後、後述の操作部３８のシャッタボタンを半押して合焦操作と自動露出操作とを行い、同シャッタボタンを全押しする。

撮像部３１からは、このシャッタボタンの全押しに応答して、上記所望の構図で被写体３０ａが写し込まれた１枚の高解像度画像（以下、通常静止画像という。）が読み出される。この通常静止画像は、メモリ部３３の画像バッファ領域３３から制御部３６に取り込まれ、この制御部３６において、たとえば、ＪＰＥＧ形式の圧縮画像ファイルに変換された後、画像記憶部４０に蓄積保存される。また、メモリ部３３の画像バッファ領域３３に取り込まれた通常静止画像は、表示画像領域３３ｃへと転送され、ビデオ出力部３４で所定の表示形式に変換された後、液晶ディスプレイ等の平面表示デバイスからなる表示部３５に送られてプレビュー確認用に表示される。

かかるスルー画像の表示や１枚の高解像度画像（通常撮影画像）の蓄積保存並びにプレビュー表示といった機能は、本実施形態のデジタルカメラ３０だけでなく他の公知のデジタルカメラにも備えられているものであるが、本実施形態のデジタルカメラ３０においては、これらの機能に加えて、さらに、ストロボ等の補助光を使用できない暗い場所で写真撮影する際に、その暗い場所における適正露出に対応した露光時間（図１５の露光時間Ｔ１に相当）をｎ分割し、その各々の露光時間Ｔ１₍₁₎〜Ｔ１_(n)ごとに、前記の通常撮影画像に相当するｎ枚の高解像度画像を二次元イメージセンサ３１ｂから連続的に読み出すようにしている。以下、このｎ枚の高解像度画像のことを「連写画像」ということにする。連写画像は、後述の合成画像の元になる画像であるが、詳しくは後で説明する。

メモリ部３３は、上記のバッファ領域３３ａや表示画像領域３３ｃに加えて、たとえば、画像処理部３２における画像処理に必要な画像データや、各種フラグの値、しきい値等を記憶するための各種データ領域３３ｂを備える。

操作部３８は、デジタルカメラ３０のユーザ操作用入力インターフェースに必要な各種操作子、たとえば、電源スイッチ、画像撮影と画像再生のモード切替スイッチ、静止画撮影を行うためのシャッタボタン、各種設定メニューを表示するためのメニューボタン、そのメニュー項目を選択したり、画像再生モード時に再生を希望する画像を選択したりするための選択ボタン等を含む。

ビデオ出力部３４は、メモリ部３４の表示画像領域３３ｃに書き込まれた様々な表示データ、たとえば、スルー画像用表示データ、プレビュー用の静止画表示データ、再生画像用表示データなどを所定の表示形式に変換して、表示部３５に出力する。

外部インターフェース３９は、たとえば、ＵＳＢやＩＥＥＥ１３９４などの汎用プロトコルに対応したデータ入出力部であり、この外部インターフェース３９を介し、必要に応じて、不図示のパーソナルコンピュータ等との間で撮影済み画像の転送（画像記憶部４０に蓄積保存されている画像をパーソナルコンピュータに転送する）や読み込み（パーソナルコンピュータから画像記憶部４０に画像を読み込む）を行うことができるものである。

画像記憶部４０は、フラッシュメモリ、ハードディスクまたは光ディスク等の不揮発性（電源をオフにしてもその記憶内容を失わない）の大容量記憶装置によって構成されており、主に、このデジタルカメラ３０で撮影された画像を蓄積保存するために用いられる。なお、蓄積保存される各画像は、上記のようなＪＰＥＧ形式等の圧縮ファイルであってもよく、あるいは、非圧縮の生データファイル（いわゆるＲＡＷファイル）であってもよい。加えて、この画像記憶部４０は、固定型であってもよく、あるいは、デジタルカメラ３０から取り外して、たとえば、不図示のパーソナルコンピュータに装着可能な汎用形式のメモリデバイスであってもよい。

プログラムコード記憶部３７は、各種のソフトウェアリソースを不揮発的に保持する記憶部であり、このソフトウェアリソースには、デジタルカメラ３０の各種機能的動作（撮影動作や画像の再生動作及びその他の管理動作等）を実現する制御プログラムなどが含まれる。これらのソフトウェアリソースは、必要に応じて、プログラムコード記憶部３７から制御部３６に読み込まれ、この制御部３６によって実行される。

電源部４１は、充電式の二次電池あるいは使い捨て型の一次電池を含み、撮像部３１、画像処理部３２、メモリ部３３、ビデオ出力部３４、表示部３５、制御部３６、プログラムコード記憶部３７、操作部３８、外部インターフェース部３９、画像記憶部４０などの各部に所要の電源電圧を供給する。

画像処理部３２は、本実施形態に特有の処理（ストロボ等の補助光を使用できない暗い場所で写真撮影する際の画像合成処理）を行う部分であり、特徴点抽出部３２ａ、補正式算出部３２ｂ、合成加算部３２ｃ、周辺減光補正部３２ｄ及び現像処理部３２ｅを含む。

これらの各部を説明すると、特徴点抽出部３２ａは、二次元イメージセンサ３１ｂから読み出された前述の連写画像（ｎ枚の高解像度画像）間の動き補償のための、たとえば、特許文献２のような公知技術を適用して特徴点の抽出を行う。ここで、特徴点とは、１枚の画像内で際立った画素値を有する部分（１つの画素又は複数画素からなるブロック若しくは領域）のことであり、たとえば、エッジ部分や目立つ色調の部分のことをいう。一般的に１枚の画像からは、複数の特徴点が抽出される。

前述のｎ枚の高解像度画像のように、暗い場所における適正露出に対応した露光時間（図１５の露光時間Ｔ１に相当）をｎ分割し、その各々の露光時間Ｔ１₍₁₎〜Ｔ１_(n)ごとに得られた連写画像は、それぞれ時間軸上で隣り合う画像であるから、言い換えれば、同じ構図で同一の被写体３０ａを撮影した複数の画像であるから、これら複数の画像に対して特徴点の抽出を行うとともに、時間的に隣り合う画像間で特徴点同士の照合を行うことにより、画像間のズレ量とズレの方向とを把握して、そのズレを無くすような、いわゆる動き補償を行うことができる。

補正式算出部３２ｂは、連写画像同士の特徴点の位置関係から、連写画像同士の位置移動や回転の大きさ及び傾きなどの情報（動き情報）を算出する。たとえば、前記の図１８の１枚目画像１９と２枚目画像２０を例にすれば、１枚目画像１９に写っている人物２２を基準に、２枚目画像２０に写っている人物２３の位置移動や回転の大きさ及び傾きなどの情報を算出する。そして、この情報を元に、たとえば、数式（１）のアフィン変換などの行列計算を実行して、２枚目画像２０の座標補正を行うことにより、時間的に隣り合う画像（ここでは、１枚目画像１９と２枚目画像２０）間のズレを補償して、被写体（人物２２、２３）の位置が重なり合うように補正することができる。

合成加算部３２ｃは、補正式算出部３２ｂで得られた補正式に従って、補正後の座標から補正前の座標を算出する。これにより、補正後の画素情報が得られ、画像の合成加算が可能となる。ここで、カメラブレが発生しているときは、撮影構図の微妙な移動に伴って加算されない領域が発生するが、この点は、数式（２）に示すように、連写画像における周辺減光に着目した輝度カーブ（補正用周辺減光特性成分）を生成し、その輝度カーブを用いて非加算座標補正を行うことにより、元の画像と同等の画素値を生成することができる。

ただし、Ｘ_nは加算後の画素値、Ｘ_n-1は加算前の画素値、ｎは合成加算済の画像数である。

周辺減光補正部３２ｄは、撮影画像に対して光学系３１ａの周辺減光特性に起因する画像内明るさ分布の傾きを補正する部分である。この補正は、通常撮影画像（適切な明るさの元で撮影された１枚の高解像度画像）に対して行われるもの（前記の第３の従来技術に相当する補正であり、以下、通常撮影画像用周辺減光補正という。）と、前記の合成加算部３２ｃによって生成された合成画像に対して行われるもの（本実施形態に特有の補正であり、以下、合成画像用周辺減光補正という。）の二つのケースがある。通常撮影画像用周辺減光補正は、１枚の撮影画像に対して行うものであるので、光学系３１ａに固有の周辺減光特性を加味して、その１枚の撮影画像内の明るさ分布の傾きを補正すればよい。

しかし、後者のケース（合成画像用周辺減光補正）にあっては、とりわけ、カメラブレを生じていた場合、前記の合成加算部３２ｃによって生成された合成画像には、光学系３１ａの周辺減光特性に起因する低輝度部分（図１８の低輝度部分２５、２６参照）だけでなく、それよりも明るい中輝度部分（図１８の中輝度部分２７参照）も含まれているので、単に光学系３１ａの周辺減光特性のみに基づいて補正を行っただけでは、中輝度部分２７が高輝度側に過補正されてしまうから、最終的に得られる合成画像の周辺減光に伴う明るさの分布（低輝度部分２５、２６及び中輝度部分２７）をフラットにすることはできなかったので、何らかの工夫が必要となる。

そこで、本実施形態では、カメラブレを考慮した輝度カーブ（補正用周辺減光特性成分）を生成し、その輝度カーブを用いて合成画像の周辺減光補正を行うことにより、補正対象画像を「合成画像」のみとして、周辺減光処理に要する時間の短縮化を図るようにした。

このことについて詳述する。まず、周辺減光は、光学レンズを起因とする現象であるため、光学レンズの特性を示すことにする。単純な球面レンズの場合、その周辺減光特性は、数式（３）のｃｏｓ４乗則（１枚の画像の周辺減光の理論式）で示される。

ただし、Ｅは像面での角度θに依存した照度、Ｅωは光軸中心部（θ＝０）の照度、θはレンズ光軸と像面高さ位置とのなす角度である。

撮像部３１で撮影された画像は、数式（３）の周辺減光特性に従い、周辺部に行くほど暗くなる。一方、合成画像用周辺減光補正の補正対象は、前記の合成加算部３２ｃによって生成された合成画像であるが、カメラブレが発生していた場合、その合成画像中の周辺減光領域は、ブレに伴って光軸中心がずれたいくつかの周辺減光領域を重ね合わせたものになる。

図２は、カメラブレを考慮した輝度カーブの生成概念図である。図２（ａ）は、カメラブレを生じたｎ枚（ここではｎ＝２）の連写画像（以下、１枚目画像４２及び２枚目画像４３という。）を示している。図２（ａ）において、１枚目画像４２及び２枚目画像４３の黒ベタ部分は、それぞれの光学系３１ａの周辺減光特性に起因する低輝度部分４４、４５を模式的に示すものである。なお、冒頭でも説明したように、実際の周辺減光領域は、画像の周辺部に行くほど徐々に明るさが低下する領域であるが、ここでは、図解上の都合から、一様な暗さの低輝度部分４４、４５であるものとする。１枚目画像４２の低輝度部分４４と２枚目画像４３の低輝度部分４５は、どちらも同じ位置且つ同じ大きさであり、しかも双方の減光度合いもまったく同じである。これは、１枚目画像４２と２枚目画像４３の双方において、光学系３１ａと二次元イメージセンサ３１ｂの撮像面との相対的な位置関係が同一であるからである。

これに対して、１枚目画像４２に写り込んでいる被写体４６と２枚目画像４３に写り込んでいる被写体４７の位置は若干ずれている。これは、カメラブレが発生したからである。すなわち、図示の例の場合には右斜め下方向（Ｙ方向とＸ方向の合成方向）へのカメラブレが発生したからである。

図２（ｂ）には、基準周辺減光画像４８と、その基準周辺減光画像４８の位置を移動した位置移動周辺減光画像４９とが示されている。ただし、位置移動周辺減光画像４９は、説明の便宜上、Ｙ方向に所定量（Ｙｍｏｖｅ）だけ移動させた後のＹ方向位置移動周辺減光画像４９Ａと、Ｘ方向に所定量（Ｘｍｏｖｅ）だけ移動させた後のＹ方向位置移動周辺減光画像４９Ｂとの二つに分けて示されている。これらの移動量（Ｘｍｏｖｅ及びＸｍｏｖｅ）は、図２（ａ）における１枚目画像４２の被写体４６に対する２枚目画像４３の被写体４７の位置ズレ量に対応する。すなわち、２枚目画像４３の被写体４７をＹ方向にＹｍｏｖｅ動かすとともに、同被写体４７をＸ方向にＸｍｏｖｅ動かすことにより、２枚目画像４３の被写体４７の位置を、１枚目画像４２の被写体４６の位置に一致させることができる。

これら２枚の画像（基準周辺減光画像４８及び位置移動周辺減光画像４９）内の黒ベタ部分は、それぞれの低輝度部分５０、５１、５２を模式的に示すものである。基準周辺減光画像４８の低輝度部分５０は、図２（ａ）における２枚目画像４３の位置移動前の低輝度部分４５に対応し、位置移動周辺減光画像４９の低輝度部分５１、５２は、それぞれ、図２（ａ）における２枚目画像４３の位置移動後の低輝度部分４５に対応する。

すなわち、基準周辺減光画像４８の低輝度部分５０は、光学系３１ａの周辺減光特性に起因する周辺減光領域そのものに対応し、一方、位置移動周辺減光画像４９Ａの低輝度部分５１は、光学系３１ａの周辺減光特性に起因する周辺減光領域をＹ方向にＹｍｏｖｅだけ移動したものに対応し、同様に、位置移動周辺減光画像４９Ｂの低輝度部分５２は、光学系３１ａの周辺減光特性に起因する周辺減光領域をＸ方向にＸｍｏｖｅだけ移動したものに対応する。既述のとおり、これらの移動量（Ｘｍｏｖｅ及びＹｍｏｖｅ）は、図２（ａ）における１枚目画像４２の被写体４６に対する２枚目画像４３の被写体４７の位置ズレ量に対応する。

基準周辺減光画像４８の低輝度部分５０のＹ方向における輝度分布は、光学系３１ａの固有の周辺減光特性に従い、図２（ｂ）の右側に示すように、画像の中央付近で最大輝度となり、画像の周辺（Ｙｍａｘ、Ｙｍｉｎ）に行くにつれて輝度が低下する曲線的な輝度変化特性５３を描く。同様に、基準周辺減光画像４８の低輝度部分５０のＸ方向における輝度分布も、光学系３１ａの固有の周辺減光特性に従い、図２（ｂ）の下側に示すように、画像の中央付近で最大輝度となり、画像の周辺（Ｘｍａｘ、Ｘｍｉｎ）に行くにつれて輝度が低下する曲線的な輝度変化特性５４を描く。

一方、位置移動周辺減光画像４９Ａの低輝度部分５１のＹ方向における輝度分布は、図２（ｂ）の右側に示すように、画像の中央付近からＹｍｉｎ方向にＹｍｏｖｅだけずれた位置で最大輝度となり、画像の周辺（Ｙｍａｘ、Ｙｍｉｎ）に行くにつれて輝度が低下する曲線的な輝度変化特性５５を描く。同様に、位置移動周辺減光画像４９Ｂの低輝度部分５２のＸ方向における輝度分布も、図２（ｂ）の下側に示すように、画像の中央付近からＸｍｉｎ方向にＸｍｏｖｅだけずれた位置で最大輝度となり、画像の周辺（Ｘｍａｘ、Ｘｍｉｎ）に行くにつれて輝度が低下する曲線的な輝度変化特性５６を描く。

本実施形態における合成画像に適用する周辺減光補正のための輝度補正データ（補正用周辺減光特性成分）は、これら二つの周辺減光画像（基準周辺減光画像４８と位置移動周辺減光画像４９）から作り出されたものである。すなわち、１枚目画像４２に対応する基準周辺減光画像４８と、位置移動後の２枚目画像４３に対応する位置移動周辺減光画像４９とから作り出されたものである。図２（ｃ）は、そのようにして作り出される、合成画像に適用する周辺減光補正のための輝度補正データを示す図である。この図において、輝度補正データ（補正用周辺減光特性成分）５７は、基準周辺減光画像４８と位置移動周辺減光画像４９のそれぞれの低輝度部分５０、５１、５２を合成したものである。すなわち、輝度補正データ５７の黒ベタ部分５８、５９は、それぞれ、基準周辺減光画像４８と位置移動周辺減光画像４９の低輝度部分５０、５１、５２に対応し、ハッチング部分６０、６１、６２は、それら低輝度部分５０、５１、５２の重畳部分（中輝度部分）に対応する。

この輝度補正データ５７と合成画像（たとえば、先の図１８で例示した合成画像２１）とを見比べると、両者の低輝度部分及び中輝度部分の位置と大きさはまったく同一である。したがって、輝度補正データ５７の低輝度部分と中輝度部分を用いて、合成画像２１の低輝度部分と中輝度部分を“打ち消す”ようにすれば、１枚の合成画像に対して１度の周辺減光補正を行うことが可能になり、その結果、周辺減光補正処理の時間短縮を図ることができるのである。

図３は、合成画像に対する周辺減光補正処理の概念図である。この図において、合成画像６３は、先の図１８で例示した合成画像２１と同一のものである。この合成画像６３に対して、図２（ｃ）の輝度補正データ５７を適用することにより、輝度補正データ５７の低輝度部分と中輝度部分を用いて、合成画像６３の低輝度部分と中輝度部分を打ち消すことができるようになっている。

このようにすれば、合成画像６３中の周辺減光成分（低輝度部分や中輝度部分）を取り除き、明るさの分布をフラットにした周辺減光補正済画像６４を得ることができる。

なお、以上では、説明の簡単化のために、２枚の画像を合成する場合を例にしたが、２枚以上の画像合成にも適用できることは勿論である。

以上のことを、さらに具体的に説明する。
前記の図２において、位置が補正された画像で、合成加算に利用される領域（合成加算対象領域）は２枚目画像４３である。このため周辺減光のみに着目すると、横方向光軸移動量（Ｘｍｏｖｅ）、縦方向光軸移動量（Ｙｍｏｖｅ）が発生した画像同士で加算したことになる。

図４は、周辺減光に着目した輝度カーブを示す図である。
点線７２は、図２における輝度変化特性５６である。
実線７３は、図２における輝度変化特性５４である。
太実線７０は、図２における輝度変化特性５４と輝度変化特性５６とを合成加算した合成輝度変化特性である。
矢印７４に該当する部分については、実線７３のみ輝度が存在するので、そのほかの部分と比較して暗い画像となってしまう。

つまり、暗い領域にさらに暗い領域が加算された領域は、補正が不十分となり、一方、明るい領域が加算された領域は補正がかかりすぎることになる。ただし、合成加算する枚数が増えてくると、暗い領域には明るい領域が重なり補完されていくが、一度広がった明るくなりすぎた領域は補正されることはない。
なので、実線７３に数式（２）を適用することにより、合成輝度変化特性７１を生成して、これと合成輝度変化特性７０を組み合わせることにより、より自然な輝度となるようにしている。

図５は、周辺減光に着目した合成輝度変化特性について、その理想と実際を比較した図である。
図５の２点鎖線７８は、位置ズレが無い場合に２枚の画像を合成した場合の理想的な輝度変化特性を示す。
これに対して、太実線７０、７１は、図４の合成輝度変化特性７０、７１と同一である。
つまり、理想的な輝度変化特性７８と比較すると、領域７７の範囲で輝度がオーバーとなっており、領域７６の範囲で輝度がアンダーとなっていることが解る。

通常、周辺減光補正は，中央から離れた距離に応じて前式（３）に示すような係数をかける。ここで、図４、図５の周辺減光に着目した合成加算輝度と周辺減光補正後６１に示すように、１枚画像と同じ距離に応じた補正係数をかけると、実際の距離より遠くなってしまうため、補正がかかりすぎてしまう。これは，周辺部が手ぶれ後の合成加算により、中心へ移動し、輝度が上昇した状態になっているためである。そこで、上昇した分の補正をしないような修正係数を算出する必要がある。

そのために、手ぶれによる最大移動した際の画角境界の補正係数が最大になるようにする。
以上により、合成加算に最適な補正が可能となる。

図６は、画像４枚（輝度変化特性８６〜８９）を合成して、手ぶれによる最大移動した際の画角境界の補正係数が最大になるようにした輝度カーブを示す図である。

数式（４）に従い、最大画角移動量から画角端の周辺減光率を算出する。
太実線８０は、輝度変化特性８６、８７、８８、８９を合成した合成輝度変化特性である。太実線８１、８２、８３は、輝度変化特性８９、８７、８６それぞれに数式（２）を適用した輝度変化特性である。
また、２点鎖線８４は、理論上（光軸のブレが無い状態）の合成加算値となる輝度変化特性である。
また、点線８５は、２点鎖線８４で示した理論上の加算値に、数式（４）を適用して実際の合成加算値へ近似した値となる輝度変化特性である。

つまり、図６によれば、太実線８１，８２，８３で示す、数式（２）を使用した補正値より、より理論値に近い、輝度変化特性８５を得ることができるということが解る。

ただし、ｆはレンズと像面との距離、θ_x及びθ_yは移動後に画角に収まっている画像範囲のなす角、ｘ_max及びｙ_maxは画像の縦横サイズ、ｘ_move及びｙ_moveは画像の縦横移動量、Ｒ_x及びＲ_yは移動後の画角範囲内の最大減光補正係数である。移動前の最大周辺減光率は、数式（５）で算出される。

ただし、θ_xmax及びθ_ymaxは画角に収まっている画像範囲のなす角、Ｒ_xmax及びＲ_ymaxは画角範囲内の最大減光補正係数である。ここから、数式（６）で修正係数が算出できる。つまり、前式（５）に数式（６）を適用することで、前式（４）が導ける。

ただし、Ｇは周辺減光補正係数のズレ修正係数である。

周辺減光補正係数Ｒに、前式（６）のズレ修正係数Ｇを掛けることで合成時の移動に対応した周辺減光補正となる。

現像処理部３２ｅは、周辺減光補正済の合成画像６４に対して、所要の後処理を実行する。すなわち、前記の合成加算部３２ｃにおける合成加算は位置補正をして加算しているため、そのままでは、１枚の画像データとしての有効範囲を超えてしまう。現像処理部３２ｅでは、その対策として、次の３つの方法のいずれかを採用する。

（第１の対策：加算枚数で割る）
適切なＡＥ（自動露出）で１枚１枚の合成データが撮影された場合は、数式（７）に従い、単純に加算枚数で割ればよい。

ただし、Ｘ_nは加算後の画素値、Ｘは現像後の画素値、ｎは加算合成済の画像数である。

（第２の対策：中央輝度を調査して最適な値で割る）
連写のために露光時間を短縮したりする場合は、１枚１枚の露光は不足しても合成加算することで露光が十分になる。このときに加算枚数で割ると、かえって画像が暗くなってしまう。そのためには、撮影時の測光と同様に、数式（８）に従って、画像データの明るさが最適になるように割ればよい。

ただし、Ｙは目標輝度、ｆＹ（ｘ，ｙ）は（ｘ，ｙ）座標の加算後の画像輝度、（ｌｅｆｔ，ｔｏｐ）は測光対象領域の左上座標、（ｒｉｇｈｔ，ｂｏｔｔｏｍ）は測光対象領域の右下座標、ｎは最適な分割数である。

（第３の対策：ヒストグラムで割る）
加算されたデータが有効範囲になるよう、ヒストグラム（度数分布）の範囲を調査し、数式（９）に従い、ヒストグラムが適切な範囲（有効範囲）内に収まるように割ればよい。

ただし、ＨＲ_maxは赤要素のヒストグラム最大値、ＨＲ_minは赤要素のヒストグラム最小値、ｎｒは赤要素の最適な分割数、ＨＧ_maxは緑要素のヒストグラム最大値、ＨＧ_minは緑要素のヒストグラム最小値、ｎｇは緑要素の最適な分割数、ＨＢ_maxは青要素のヒストグラム最大値、ＨＢ_minは青要素のヒストグラム最小値、ｎｂは青要素の最適な分割数、Ｒａｎｇｅは生成画像の各要素の取り得る最大値である。

以上が撮影後に行われる処理であるが、実際には、これに、撮影と、基準となる画像（基本的に１枚目）の識別が必要になる。

図７は、第１の実施形態の処理の流れを示すフローチャートである。まず、撮影を行い（ステップＳ１０）、撮影した画像に対して、特徴点を抽出する（ステップＳ１１）。そして、１枚目の画像撮影であるか否かを判定し（ステップＳ１２）、１枚目であれば、取得した特徴点を今後撮影する画像の補正先座標とするために保存する（ステップＳ１３）。

一方、１枚目ではない場合は、ステップＳ１３で保存しておいた特徴点との位置関係から位置補正式を算出し（ステップＳ１４）、その位置補正式に従って合成加算を行う（ステップＳ１５）。なお、１枚目の画像の場合は位置補正がないため、そのまま書き込まれる。

次いで、目的枚数（目標の連写枚数）の撮影が管理用下か否かを判定し（ステップＳ１６）、終わっていない場合は、再び撮影（ステップＳ１０）から繰り返す。

一方、目的枚数が終わった場合は、最大移動量を算出し（ステップＳ１７）、その最大移動量から周辺減光補正係数の補正値を算出する（ステップＳ１８）。次いで、算出された補正値で修正係数を生成し、周辺減光補正を行う（ステップＳ１９）。最後に、画像データのレンジに収める現像処理を行い（ステップＳ２０）、フローを終了する。

このように、第１の実施形態では、画像の合成加算後に移動量を考慮した周辺減光補正を行うようにしたので、従来例のように、連写撮影の各々の画像に対してその都度周辺減光補正を行う必要がなくなり、周辺減光補正処理を１度で済ますことができ、その結果、周辺減光補正の処理時間を短縮できるという効果が得られる。
また、周辺減光は撮影画像の中心を軸として同心円状に影響を及ぼすため、撮影画像の中心を軸とした回転は無視できる。
つまり移動量は、回転を考慮する必要はなく、X,Y軸の平行移動量だけ考慮すればよい。
なお、Ｘｍｏｖｅ、Ｙｍｏｖｅに入る値の単位は、画素数である。

また、第１の実施形態では、最大の移動量から周辺減光を補正したが、次のようにしてもよい。
図８は、各々の画像における移動量の平均から周辺減光を補正する場合の概念図であり、数式（１０）はその計算式である。

図８（ａ）に示すように、２枚目の画像の移動を示す図である。
これは、数式（１１）に示すように、Ｘ方向に４、Ｙ方向に−２移動している様子を示している。
１枚目の画像は移動しない。

図８（ｂ）に示すように、３枚目の画像の移動を示す図である。
これは、数式（１２）に示すように、Ｘ方向に−２、Ｙ方向に−４移動している様子を示している。

図８（ｃ）に示すように、４枚目の画像の移動を示す図である。
これは、数式（１３）に示すように、Ｘ方向に１、Ｙ方向に−３移動している様子を示している。

図８（ｄ）に示すように、１枚目から４枚目の移動量の平均を示す図である。
１枚目の画像は移動しないので、数式（１４）に示すように、残り３枚の画像の移動、つまり３回の移動を平均すると、Ｘ方向に１、Ｙ方向に−３の移動となるので、そのように移動している。
つまり、数式（１０）であらわすようにX,Y軸それぞれの移動量の平均値だけ移動した位置を移動量とする。

＜第２の実施形態＞
一般的に周辺減光補正は、光学レンズの光軸位置を最高輝度として補正を行うが、実際のカメラでは、レンズと受光部（二次元イメージセンサ３１ｂの撮像面）との多少の位置ずれがあるため、共通データでは正しい補正ができない場合がある。

これに対応して、もし、カメラ固体ごとの位置ずれを検出するならば、完全拡散版をつけた状態で均一の入光状態で撮影を行い、その撮影データから中心を算出しなければならないなど、製造工程上の障害が多い。

そこで、この第２の実施形態では、カメラモジュールにおけるレンズ光軸と受光部中心の装着位置ずれ許容値から、各個体共通の周辺減光補正値を算出する手法を提案する。
レンズ光軸の指す受光部の中心点座標は取り付け精度上、位置ずれが存在する。
品質保証上、位置ずれには許容値が定められる。この許容値を光軸移動量とする。

図９は、光学レンズと受光部の位置ずれを示す図である。この図に示すように、光学レンズの光軸中心Ｐ１と、受光部の中心Ｐ２との間に位置ずれがある場合、撮影データにも同方向且つ同量の光軸のずれが存在する。このため、光軸がずれたカメラの輝度分布の平均は補正カーブが広がったようになる。

図１０は、位置ずれの許容値範囲を示す図である。
Ｘ，Ｙ平面のＸ軸上に撮像素子のＸ方向理想設置位置を、Ｙ軸上に撮像素子のＹ方向理想設置位置を配置するようにする。
周辺減光は中心からの距離で考えるため、各軸に対して＋方向と−方向の絶対値を等しくするように位置ずれ許容範囲を構成すると共に、その絶対値を位置ずれ許容値とする。

第１の実施形態と同様に、数式（４）のＸｍｏｖｅ、Ｙｍｏｖｅに位置ずれ許容値を入れることにより、光学レンズと受光部の位置ずれを考慮した修正係数Ｇを算出することができ、光学レンズと受光部の位置ずれに関わらず、周辺減光補正を適切に行うことができるようになる。なお、Ｘｍｏｖｅ、Ｙｍｏｖｅに入る値の単位は、画素数である。光学レンズと受光部の位置ずれを考慮した修正係数Ｇの算出は、たとえば、撮影前の段階で行うようにすればよい。

図１１は、光学レンズと受光部の位置ずれを考慮した処理の流れを示すフローチャートである。このフローチャートに示すように、通常の撮影（ステップＳ３０）後の周辺減光補正（ステップＳ３１）では、すでに光軸ずれを考慮した補正が可能である。実際上は、カメラモジュールの位置ずれ許容値は「仕様値」であるので、この仕様値を「数式（４）」における「Ｘｍｏｖｅ、Ｙｍｏｖｅ」と置き換えればよい。

以上のとおり、この第２の実施形態では、光学レンズと受光部の位置ずれを吸収した周辺減光補正データもしくは補正計算式を生成することにより、各個体特有のデータを取得することなしに、周辺減光の補正を行うことが可能となり、製造工程の複雑化を招かない。

なお、第２の実施形態では、光軸の許容位置ずれ量としたが、図１２にしめすように、均一な入光状態を作り出した上で、実際の撮影データから測定するほうが望ましい。

図１２は、撮影機器に均一な光を入射している様子を示す図である。
光源からの光を、拡散板を通して撮影機器に投射していることで、撮影機器に均一な光を入射することができている。
この均一な光を受光することにより、周辺減光が正しく観測される為、周辺減光の中心位置と、撮影画像の中心位置と、を比較することにより、ＸｍｏｖｅとＹｍｏｖｅが測定できる。
なお、Ｘｍｏｖｅ、Ｙｍｏｖｅに入る値の単位は、画素数である。
その場合、複数の機体の撮影データから測定した実測値の平均としてもよい。

＜第３の実施形態＞
図１３は、デジタルズームの概念図である。
この図に示すように、撮影した画像を任意の倍率で拡大するデジタルズームの場合、撮影データ６５にはレンズ特性に起因する周辺減光が発生するが、利用される領域は、二次元イメージセンサの撮像面６６の中央部６７のみである。この場合、拡大直後の撮影データ６５に対して周辺減光補正を行えば、光学レンズ起因の補正値による計算ができるが、実際の利用領域（撮像面６６の中央部６７）より大きい領域に処理をかけるため、無駄である。この場合は、実際に利用される領域（撮像面６６の中央部６７）にのみ補正をかける方が効率的で好ましい。

しかし、そのまま周辺減光補正を行うと、よりゲインが大きい周辺部の補正が、実際には中央部の画像に対してかかるため、過剰補正となる。

そこで、デジタルズームで画角外になる領域量（図１３で撮像面６６から中央部６６を除いた領域）から、周辺減光補正値を算出する手法を提案する。これは、第１の実施形態と同様に、数式（４）のＸｍｏｖｅ、Ｙｍｏｖｅに画角外領域量を入れる（詳しくは図１３参照）ことにより、デジタルズームに適合した修正係数Ｒｘ、Ｒｙを算出できる。

これにより、周辺減光補正を修正する。デジタルズーム値は撮影時に決定するため、修正値算出は撮影後に生成される必要がある。

図１４は、デジタルズームにおける処理の流れを示すフローチャートである。このフローチャートに示すように、通常の撮影（ステップＳ４０）後、ユーザー指定値に従ったデジタルズームが行われる（ステップＳ４１）。デジタルズームにより画角外になる量は固定的に決まるため、その値を利用して、修正値を算出し（ステップＳ４３）、算出された修正値に従って周辺減光補正を行う（ステップＳ４４）。

この処理は、要するに、「画角外領域量」を「数式（４）」における「Ｘｍｏｖｅ、Ｙｍｏｖｅ」と置き換えるようにするというものである。
なお、Ｘｍｏｖｅ、Ｙｍｏｖｅに入る値の単位は、画素数である。

この第３の実施形態によれば、デジタルズームで実際に利用される領域用に修正された周辺減光補正を行うことにより、短時間で補正処理を行うことができる。

３０ デジタルカメラ（撮像装置）
３０ａ 被写体
３１ａ 光学系
３１ｂ 二次元イメージセンサ（撮像手段）
３２ａ 特徴点抽出部（位置ずれ修正手段、特徴点算出手段）
３２ｂ 補正式算出部（位置ずれ修正手段）
３２ｃ 合成加算部（合成画像生成手段、合成手段）
３２ｄ 周辺減光補正部（周辺減光補正手段）
３２ｅ 現像部（現像手段）
３３ メモリ部（記憶手段）
３６ 制御部（平均輝度測定手段、度数分布算出手段）
５７ 輝度補正データ（補正用周辺減光特性成分）

Claims (14)

1. 同一被写体を含む複数の撮影画像の位置ずれを修正した上で合成画像を生成する合成手段と、
   前記合成手段により生成された合成画像に対して前記光学系の周辺減光特性を考慮した周辺減光補正を施す周辺減光補正手段と、
   を備えることを特徴とする撮像装置。
2. 光学系を通して結像された被写体の像を、長時間露光撮影時における１回の露光時間Ｔ１をｎ分割した各々の露光時間Ｔ１₍₁₎〜Ｔ１_(n)ごとに撮像して前記１回の露光時間Ｔ１あたりｎ枚の画像を出力する撮像手段を備え、
   前記合成手段は、前記撮像手段から出力されたｎ枚の画像の位置ずれを修正したｎ枚の画像を合成して１枚の合成画像を生成し、
   前記周辺減光補正手段は、前記ｎ枚の画像に対する前記位置ずれ修正手段における位置ずれ修正量を用いて各画像ごとの周辺減光特性成分の位置を修正するとともに、位置が修正された各画像ごとの周辺減光特性成分を合成して補正用周辺減光特性成分を生成し、この補正用周辺減光特性成分を用いて、前記合成画像に対する周辺減光補正を行う
   ことを特徴とする請求項１に記載の撮像装置。
3. 時系列的に撮影された複数の画像からなる連写画像を記憶する記憶手段と、
   前記記憶手段に記憶された複数の画像の特徴点を算出する特徴点算出手段と、
   を備え、
   前記合成手段は、前記特徴点算出手段によって算出された特徴点が互いに一致するように位置を合わせて前記複数の画像を合成し、
   前記周辺減光補正手段は、前記合成手段によって合成された合成画像に、前記連写画像を撮影する際に用いられた光学系の周辺減光特性に対応した周辺減光補正をかける
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記周辺減光補正手段によって周辺減光補正がかけられた後の合成画像の輝度を調整する調整手段
   を備えることを特徴とする請求項１に記載の撮像装置。
5. 前記複数の画像は、Ｘ方向とＹ方向とを有するＸＹ平面上に存在する画像であり、
   前記周辺減光補正手段は、前記合成手段において前記複数の画像を合成する際に前記合成手段による位置合わせに伴い移動する、当該複数の画像の各画像の中心点の前記Ｘ方向の各移動量の内で最大の値と、当該複数の画像の各画像の中心点の前記Ｙ方向の各移動量の内で最大の値と、
   を用いて補正を行う
   ことを特徴とする請求項１に記載の撮像装置。
6. 前記複数の画像は、Ｘ方向とＹ方向とを有するＸＹ平面上に存在する画像であり、
   前記周辺減光補正手段は、前記合成手段において前記複数の画像を合成する際に前記合成手段による位置合わせに伴い移動する、当該複数の画像の各画像の中心点の前記Ｘ方向の各移動量の平均値と、当該複数の画像の各画像の中心点の前記Ｙ方向の各移動量の平均値と、
   を用いて補正を行う
   ことを特徴とする請求項１に記載の撮像装置。
7. 前記記憶手段に記憶する画像を撮影するために、光学部材と、Ｘ方向とＹ方向とを有するＸＹ平面上に撮像面を有する撮像素子とを備えた撮像手段を備え、
   前記周辺減光補正手段は、前記光学部材を本来設置する位置からの、前記Ｘ方向と前記Ｙ方向とへの設置位置ずれ許容量を用いて補正を行う
   ことを特徴とする請求項１に記載の撮像装置。
8. 前記記憶手段に記憶する画像を撮影するために、光学部材と、Ｘ方向とＹ方向とを有するＸＹ平面上に撮像面を有する撮像素子を備えた撮像手段を備え、
   前記周辺減光補正手段は、前記光学部材を本来設置する位置からの、前記Ｘ方向と前記Ｙ方向とへの設置位置ずれ実測値を用いて補正を行う
   ことを特徴とする請求項１に記載の撮像装置。
9. 前記記憶手段に記憶する画像を撮影するために、Ｘ方向とＹ方向とを有するＸＹ平面上に撮像面を有する撮像手段と、
   前記撮像手段の撮影画角から画角を変更して、任意の電子画角でデジタルズームを行うための画角変更手段を備え、
   前記周辺減光補正手段は、撮影画像の中心から見て、前記撮像手段の撮影画角内であり、前記画角変更手段の電子画角外である領域の、前記Ｘ方向成分の画素数と前記Ｙ方向成分の画素数とを用いて補正を行う
   ことを特徴とする請求項１に記載の撮像装置。
10. 前記調整手段は、前記周辺減光補正手段によって周辺減光補正がかけられた後の合成画像の輝度を、当該合成画像の元になる画像数を考慮して調整する
    ことを特徴とする請求項４に記載の撮像装置。
11. 前記複数の画像の中央部の輝度の平均値を測定する平均輝度測定手段を更に備え、
    前記調整手段は、前記周辺減光補正手段によって周辺減光補正がかけられた後の合成画像の輝度を、当該平均輝度測定手段より求めた平均値を考慮して調整する
    ことを特徴とする請求項４に記載の撮像装置。
12. 前記複数の画像の度数分布を計算する度数分布算出手段を更に備え、
    前記調整手段は、前記周辺減光補正手段により生成された画像の輝度を、前記度数分布算出手段で算出した度数分布範囲の有効範囲に収まるように調整する
    ことを特徴とする請求項４に記載の撮像装置。
13. 同一被写体を含む複数の撮影画像の位置ずれを修正した上で合成画像を生成する合成工程と、
    前記合成工程により生成された合成画像に対して前記光学系の周辺減光特性を考慮した周辺減光補正を施す周辺減光補正工程と、
    を備える
    ことを特徴とする撮影方法。
14. コンピュータに、
    同一被写体を含む複数の撮影画像の位置ずれを修正した上で合成画像を生成する合成手段と、
    前記合成手段により生成された合成画像に対して前記光学系の周辺減光特性を考慮した周辺減光補正を施す周辺減光補正手段と、
    を実現させる
    ことを特徴とするプログラム。

Images