JP2021044752A - 撮像装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】 光学系の劣化が大きい光学系や被写体であっても画像劣化を補正（軽減）することを可能とする撮像装置を提供すること。【解決手段】 被写体像を画像信号に変換する撮像手段と、前記撮像手段に被写体像を結像させる光学レンズと、前記光学レンズの絞りを制御する絞り制御手段と、前記絞り値を複数の画像を撮像する撮像制御手段と、前記絞り値の異なる複数の画像から、光学特性による画像劣化部分を抽出する画像劣化マップ生成手段と、前記複数の画像を合成する画像合成手段と、を具え、前記撮像制御手段は、第一の画像と前記第一の画像よりも小絞りで撮影した第二の画像とを取得し、前記画像合成手段は、前記第一の画像と前記第二の画像との暗い部分を適用する比較暗合成によって第三の画像を生成する。【選択図】 図４

Description

本発明は、撮像により生成された画像の光学系による劣化成分を、補正（低減）する画像処理に関する。

一般に光学レンズの絞りを開放に近い状態で撮影すると、コマ収差や球面収差、軸上色収差など光学系の劣化が発生することが知られている。これに関して特許文献１では、光学伝達関数に基づいて生成又は選択された画像回復フィルタを用いて前記画像の補正処理を行うことを可能としている。

特開２０１１−１２３５８９号公報

しかしながら、画像回復フィルタを用いる画像処理は、収差が大きくなると処理負荷も増してしまう。特に暗い背景の中に明るい点光源があるような、星空や夜景ではそれが顕著である。

上記の課題に鑑み、本発明は、光学系の劣化が大きい光学系や被写体であっても画像劣化を補正（軽減）することを可能とする撮像装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る撮像装置は、
被写体像を画像信号に変換する撮像手段と、前記撮像手段に被写体像を結像させる光学レンズと、前記光学レンズの絞りを制御する絞り制御手段と、前記絞り値を複数の画像を撮像する撮像制御手段と、前記絞り値の異なる複数の画像から、光学特性による画像劣化部分を抽出する画像劣化マップ生成手段と、前記複数の画像を合成する画像合成手段と、を具え、前記撮像制御手段は、第一の画像と前記第一の画像よりも小絞りで撮影した第二の画像とを取得し、前記画像合成手段は、前記第一の画像と前記第二の画像との暗い部分を適用する比較暗合成によって第三の画像を生成し、前記画像合成手段は、さらに画像劣化マップをもとに画像劣化の少ない部分は第一の画像を、画像劣化の多い部分は第三の画像を適用することによって、画像劣化を補正することを特徴とする。

本発明に係る撮像装置によれば、光学系による劣化が大きいレンズや被写体であっても画像劣化を補正（軽減）することを可能となる。

第１の実施の形態を説明する撮像装置のブロック図である。 第１の実施の形態を説明するフローチャートである。 第１の実施の形態を説明するフローチャートである。 第１の実施の形態を説明する概念図である。 第２の実施の形態を説明するフローチャートである。

以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。

＜実施例＞
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。

＜実施例１＞
図１は、本発明の実施例の構成を示す図である。

図１において、１００は画像処理装置の一例としてのデジタルカメラである。１０３は撮影レンズ、１０１は絞り機能を備える機械式シャッター、２２は光学像を電気信号に変換する撮像素子備える撮像部、２３は撮像部２２のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。撮像部２２の撮像素子は、本実施形態ではＲ、Ｇ１、Ｇ２、Ｂのカラーフィルタを具え、各色が規則的に配置されたベイヤー配列の構成となっているが、これに限られない。なお、撮像部２２、撮影レンズ１０３、シャッター１０１はタイミング発生回路を使用してシステム制御部５０により制御される。

１０１の機械式シャッター以外にも、撮像素子のリセットタイミングの制御によって、電子シャッターとして蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

２４は画像処理部であり、Ａ／Ｄ変換器２３からのデータ或いはメモリ制御部１５からのデータに対して所定の画素補間処理やシェーディング補正などの各種補正処理、ホワイトバランス処理、γ補正処理、色変換処理、ローパスフィルタ（以下ＬＰＦ）等の各種フィルタ効果などを行う。また画像処理部２４によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。シェーディング補正処理は、Ａ／Ｄ変換器２３からのデータ或いはメモリ制御部１５からのデータに対して撮影レンズ１０３の特性や撮像部２２の収差等の特性に起因して生じるシェーディングを補正するように、画面内の輝度レベルの補正を行う。ＷＢ（ホワイトバランス）処理は、画面内の白基準を白に合わせるＡＷＢ（オートホワイトバランス）処理をシェーディング補正処理後の画像データに対して行う。

本実施形態においては、シェーディング補正は撮像部２２の撮像素子の２次元の座標（位置）に応じて画素ごとにゲインをかける補正であり、ホワイトバランス処理は、ベイヤー配列のＲ、Ｇ１、Ｇ２、Ｂごとに異なるゲインをかける処理である。さらにベイヤー毎のＲＡＷ画像から汎用的な画像フォーマットであるＹＵＶ形式などへ現像する機能や、Ｊｐｅｇなどへのエンコードあるいはデコード機能も有する。さらに複数枚の画像からベクトルを算出や各ベクトルから算出されたアフィン変換係数や射影変換係数から、幾何学変形を行う機能も有する。

画像合成部５４は、複数の画像データを合成する合成処理回路を備える。本実施形態では、単純な加算合成、加算平均合成あるいは減算だけでなく、合成対象の画像データの各画素あるいは各領域において最も明るいまたは暗い値を持つ画像を選択して、それらを合成して１枚の画像データを生成する比較明合成処理、比較暗合成処理が可能である。さらには２つの画像を係数（α値）により合成するアルファブレンドの機能を有する。また、画像合成部５４は画像処理２４と一体に構成されていてもよい。

また、画像処理部２４においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、フォーカス制御手段４２に対して制御を行う、ＴＴＬ方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理を行っている。

１５はメモリ制御部であり、Ａ／Ｄ変換器２３、画像処理部２４、メモリ３２を制御する。

Ａ／Ｄ変換器２３のデータが画像処理部２４、メモリ制御部１５を介して、或いはＡ／Ｄ変換器２３のデータが直接メモリ制御部１５を介して、メモリ３２に書き込まれる。

２８はＴＦＴ液晶等から成る表示部であり、メモリ３２に書き込まれた表示用の画像データはメモリ制御部１５を介して表示部２８により表示される。表示部２８を用いて、撮像部２２で所定の周期で露光及び読み出しを繰り返し行って順次撮像した画像データを順次取得し、画像処理部２４、メモリ制御部１５等を経て順次表示すれば、ライブビュー表示や電子ファインダー機能を実現することが可能である。また、表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはデジタルカメラ１００の電力消費を大幅に低減することが出来る。

３２は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量の画像書き込みをメモリ３２に対して行うことが可能となる。また、メモリ３２はシステム制御部５０の作業領域としても使用することが可能である。

システム制御部５０は、デジタルカメラ１００全体を制御する。後述する不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

５６はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御部５０が実行するプログラムコードは不揮発性メモリ５６に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

７０は各種ボタンやタッチパネル等からなる操作部で、シャッタースイッチ（ＳＷ１、ＳＷ２）、メニューボタン、セットボタン、マクロボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

操作部７０への操作によるシャッタースイッチＳＷ１で、シャッターボタンの操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作開始を指示する。操作部７０への操作によるシャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなり、露光処理、現像処理、圧縮・伸長処理、記録処理という一連の処理の動作開始を指示する。

３０はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源部である。８０は電源部３０を制御する電源制御部である。

１８はメモリカードやハードディスク等の記録媒体とのインタフェース、メモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

１０２は、デジタルカメラ１００の撮影レンズ１０３及び撮像部２２を覆うことにより、撮像部の汚れや破損を防止するバリアである。

ＡＥ処理において、被写体が夜景や星空など暗い場合は、露光制御手段４０はノイズを抑えるためＩＳＯ感度は低めに抑え、また星空の場合は被写体である星が日周運動によって星がぶれないように露光時間を短めに設定する。そのため撮影レンズ１０３の絞り値は開放に近い値となってしまう。

一般に光学レンズは開放に近い絞りで撮影するとコマ収差等の影響で解像感が失われてしまう。そこで本特許では、絞りを変えた複数枚の画像から光学系起因による画像劣化を補正する。以下、図２、図３のフローチャートと図４の概念図を用いて説明する。

まず本画像の撮影を行う（Ｓ２０２、図４ａ）。本撮影ではノイズ成分を抑えるために低ＩＳＯ、絞り値は開放乃至は２程度段絞った状態で撮影する。

次に補正用画像の撮影を行う（Ｓ２０３、図４ｂ）。補正用画像は本画像と同じ露光時間で、絞り値をさらに２乃至は３段分絞った状態で撮影する。露出を合わせるためにＩＳＯ感度を調整する。ＩＳＯ感度を高くした分、本画像よりノイズが多くなるが、コマ収差、軸上色収差、球面収差などは小さくなる。

本画像（図４ａ）と補正用画像（図４ｂ）の適切な露出設定は、被写体などによっても異なる。被写体が夜景のような場合でライトなど強い点光源が画像内に入る場合は、絞り値を大きくすると光条が発生しやすくなる。光条はシーンによっては画像にメリハリを与え効果的であるが、本発明においては後述する画像劣化マップ作成時に影響を及ぼすため望ましくない。そこでシーンや画像内に強い点光源がある場合は絞り値を大きくしないことが好ましい。一方、星空がメインのシーンでは月などを除けば絞り値を大きくしても光条が発生することは少ないため、コマ収差などの影響を主体に決定すればよい。

なお絞り値は、どのくらいの絞り値でコマ収差等の光学系による画像劣化が起こるかの光学情報を、不揮発性メモリ５６に記憶しておき、これをもとに決定することも好ましい。

次に補正用画像を本画像に位置合わせを行うために、画像処理部２４に含まれる移動量算出回路を用いて移動量（ベクトル）を算出する（Ｓ２０４）。移動量検出に関しては既知の方法が使えるが、本実施例では移動量検出回路で画像内の例えば被写体のエッジなどの特徴点をいくつか見つけ出し、標本化することでアフィン係数を算出している。このようにエッジを検出し、特徴点を抽出し、その移動量を算出する。この移動量をもとに位置合わせを行うが、ここではアフィン変換を用いる例を示す。

基準となる特徴点の座標（ｘ，ｙ）が座標（ｕ、ｖ）に移動する場合、以下の式で表わされる。

この３×３行列もしくは係数ａ〜係数ｆのことをアフィン係数と呼ぶ。

例えば特徴点１が座標（ｘ１，ｙ１）から座標（ｕ１，ｖ１）に、特徴点２が座標（ｘ２，ｙ２）から（ｕ２，ｖ２）に、特徴点３が座標（ｘ３，ｙ３）から（ｕ３，ｖ３）にずれていたとする。すると式１から連立方程式を作ると式２、式３のようになる。

この方程式を解くことでａ〜ｆのアフィン係数を算出することが可能である。４点以上の特徴点が検出できた場合は、近い点を除外して最小二乗法を用いて正規化する。３点見つからない場合や、抽出した３点が直線状になっている場合、３点のうち２点が近い場合は移動量の算出が失敗したと判断する。

こうしてもとめたアフィン係数をもとに画像処理回路２４に含まれる幾何変形回路で位置合わせを行う（Ｓ２０５、図４ｃ）。なお、ここで示した位置合わせの方法は既知の方法から適宜選択可能で、これに限定されるものではない。本実施例ではアフィン変換を例に挙げているが、アフィン変換にさらに台形状のあおり成分も補正可能な射影変換を用いることも好ましい。また三脚を使用した撮影を前提とする場合は位置合わせの工程を省略することも可能である。

次に本画像と位置合わせを行った補正用画像から画像劣化マップを作成する（Ｓ２０６、図４ｄ）。これについては図３のフローチャートをもとに説明する。

画像合成部５４で本画像の輝度成分と位置合わせを行った補正用画像の輝度成分との減算し、差分を取得する（Ｓ３０２）。開放気味で撮影した本画像は収差などによって星等の点光源がにじんでいる。例えばコマ収差は流れた彗星のように尾を引いた非対象の像になってしまう。一方絞り気味で撮影した補正用画像はそれが改善している。したがってこれらを減算することで、収差で拡がった部分が抽出された画像劣化マップが作成可能である。

しかしながらノイズ感も異なるため、収差部分が抽出された部分だけでなく、ノイズ成分も含んでしまう。そこで画像処理回路２４でＬＰＦをかける（Ｓ３０３）。

さらに必要によって差分が予め決められた閾値以下の部分を０にクリップするレベル補正を行う（Ｓ３０４）。

このようにすることでノイズ成分は除去できるが、収差部分の領域が実際よりも小さくなってしまうため、ＭＡＸフィルタを用いて収差部分を領域拡大する（Ｓ３０５）。このようにして画像劣化マップ（図４ｄ）を作成する。なおここではマップの階調は８ＢＩＴ、すなわち２５６階調で作成しているが、これに限定されるものではない。

これらフィルタの種類やフィルタの強度はノイズ量や収差量によって適宜変更することが好ましく、当業者によってセンサの素性やＩＳＯ感度などに応じて変更可能である。

また画面中央付近に自動車などの移動体がある場合、ライトなどの部分も画像劣化マップとして検出されてしまう。そこで撮影レンズ１０３の光学情報や、撮影時の絞り値などからどのくらいの像高でどのくらいの収差が発生するというマップを計算し、あるいは予め不揮発性メモリ５６に保存しておき、これを乗算することも好ましい。すなわち画像中心は０％、像高が高くなるに従って１００％とする像高マップと画像劣化マップを乗算することで、像高が高い部分の補正量を１００％、収差の発生が少ない画像中心付近は補正量を弱めるようにする。

続いてＳ２０６で作成した画像劣化マップ（図４ｄ）を用いて劣化部の補正を行う（Ｓ２０７）。すなわち収差部分の領域は本画像と位置合わせした補正用画像のうち暗い部分（図４ｅ）を採用し、収差のない部分は本画像（図４ａ）を採用するような合成を行う。より詳細には、Ｓ２０６で作成した画像劣化マップ（図４ｄ）は２５６階調で作成するため、画像劣化マップの２５５の部分（収差がはっきりしている部分）は２枚の画像のうち暗い部分を、０の部分（収差のない部分）は本画像を採用する。１〜２５４の領域は、２枚の画像の暗い部分と本画像とをマップの輝度に応じて合成比率を変更し、合成していく。

絞り気味で撮影された本画像は強い点光源があると光条が発生してしまうため、本画像と補正用画像を、画像劣化マップを使ってアルファブレンドをすると光条の影響を受けてしまう。そのため上述した通り比較暗合成を行う。

このように、コマ収差などのような収差が発生している部分は収差の少ない画像から、収差の発生していない部分はノイズの少ない画像を用いるので、質の良い画像を得ることが可能となる。

＜実施例２＞
実施例１では手持ちでの夜景撮影を想定し、画像全体を位置合わせしていた。しかし星空を撮影する場合、通常は三脚を用いた撮影を行うため本画像と補正用画像とで背景は移動しない。しかし星は日周運動により移動するため、実施例１のように画像全体で位置合わせを行うことができない。

そこで星空撮影意を想定した実施例２を、図５のフローチャートを用いて説明する。

まず実施例１と同様に絞りを開放気味で本画像と、絞り気味で補正用画像を撮影する（Ｓ５０２，Ｓ５０３）。続いて画像合成部５４で２枚の画像の比較暗合成をすることで背景画像を取得する（Ｓ５０４）。三脚で撮影しているため背景は動かず比較暗合成をすることで背景はそのままの画像が取得できる。一方、星は日周運動によって別の位置にずれるため、比較暗合成を行うと星が消えて背景である空の画像が取得できる。このようにすることで、背景のみの画像を取得可能である。なお開放気味で撮影した画像は収差等によって滲んでいるため、Ｓ５０２とＳ５０３で撮影する間に数十秒間隔をあけることも好ましい。

次にＳ５０２で撮影した本画像からＳ５０４で撮影した背景画像を減算する（Ｓ５０５）。同様にＳ５０３で撮影した補正用画像からＳ５０４で撮影した背景画像を減算する（Ｓ５０６）。このようにすることで星だけが写っている画像を取得する。

Ｓ５０５、Ｓ５０６で作成した星だけが写っている画像間でベクトル検出（Ｓ５０７）、位置合わせ（Ｓ５０８）を行い、画像劣化マップを作成する（Ｓ５０９）。さらにこの画像劣化マップにしたがって劣化部を補正する（Ｓ５１０）。これらについては実施例１で説明したとおりである。

これをＳ５０４で作成した背景画像と比較明合成を行う。

このようにすることで背景は動かず、日周運動によって動いた星が被写体の場合でも収差の補正が可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

特に撮像センサや光学レンズなどを具えず、記録媒体等に記録された撮影された画像を読みだして動きベクトル検出を行う画像処理装置や、これらの処理をコンピュータ上で動作させるためのプログラム、あるいは記録媒体も当業者によって実施可能である。

１００ デジタルカメラ、１０１ 機械式シャッター、１０３ 撮影レンズ

Claims (9)

1. 被写体像を画像信号に変換する撮像手段と、
   前記撮像手段に被写体像を結像させる光学レンズと、
   前記光学レンズの絞りを制御する絞り制御手段と、
   前記絞り値を複数の画像を撮像する撮像制御手段と、
   前記絞り値の異なる複数の画像から、光学特性による画像劣化部分を抽出する画像劣化マップ生成手段と、
   前記複数の画像を合成する画像合成手段と、
   を具え、前記撮像制御手段は、第一の画像と前記第一の画像よりも小絞りで撮影した第二の画像とを取得し、
   前記画像合成手段は、前記第一の画像と前記第二の画像との暗い部分を適用する比較暗合成によって第三の画像を生成し、
   前記画像合成手段は、さらに画像劣化マップをもとに画像劣化の少ない部分は第一の画像を、画像劣化の多い部分は第三の画像を適用することによって、画像劣化を補正することを特徴とする撮像装置。
2. 複数の画像から画像の移動量を算出する移動量算出手段と、前記移動量から前記画像の位置合わせを行う位置合わせ手段と、をさらに具え、前記第二の画像を前記第一の画像に位置合わせを行うことを特徴とする請求項１に記載の撮像装置。
3. 前記位置合わせ手段は、背景と被写体とを分離し、被写体のみを位置合わせすることを特徴とする請求項２に記載の撮像装置。
4. 前記光学レンズの光学情報から、像高と収差量との相関マップを生成する収差量マップ生成手段をさらに具え、前記画像合成手段は、前記画像劣化マップに前記収差量マップを加味して合成することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
5. 第一の画像と、前記第一の画像よりも小絞りで撮影した第二の画像を取得する画像取得工程と、
   前記複数の画像から光学特性による画像劣化部分を抽出する画像劣化マップ生成工程と、
   前記第一の画像と前記第二の画像との暗い部分を適用する比較暗合成によって第三の画像を生成する比較暗合成工程と、
   前記画像劣化マップをもとに画像劣化の少ない部分は第一の画像を、画像劣化の多い部分は第三の画像を適用することによって、画像劣化を補正する画像劣化補正工程と、
   を有することを特徴とする画像処理方法。
6. 複数の画像から画像の移動量を算出する移動量算出工程と、前記移動量から前記画像の位置合わせを行う位置合わせ工程と、をさらに有し、前記第二の画像を前記第一の画像に位置合わせを行うことを特徴とする請求項５に記載の画像処理方法。
7. 前記位置合わせ工程は、背景と被写体とを分離し、被写体のみを位置合わせすることを特徴とする請求項６に記載の画像処理方法。
8. 前記画像が撮影された光学レンズの光学情報を取得する光学情報取得工程と、前記光学情報から像高と収差量との相関マップを生成する収差量マップ生成工程と、をさらに有し、前記画像劣化補正工程は、前記画像劣化マップに前記収差量マップを加味して補正することを特徴とする請求項５乃至請求項７の何れか一項に記載の画像処理方法。
9. コンピュータを、請求項５乃至請求項８の何れか一項に記載の画像処理方法に基づいて機能させるための画像処理プログラム。

Images