JP2016163072A - 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム - Google Patents

Abstract

【課題】歪曲収差が残存する画像データに対して精度の高い歪曲収差の補正を可能とするためのデータを提供することができる画像処理装置を提供する。
【解決手段】画像データに生じた収差を補正するために予め取得した補正データを低減した第１の補正データを生成し、この第１の補正データを用いて画像データに生じた収差を補正する。予め取得した補正データと、第１の補正データの差分に応じた第２の補正データを生成し、収差の補正が行われた画像データと、第２の補正データを出力する。
【選択図】図２

Description

本発明は、撮像装置の光学系に起因する収差を補正する画像処理機能に関するものである。

デジタルカメラやビデオなどの撮像装置で撮像されて生成される画像データは、この撮像装置の撮像レンズユニットなどの光学系を原因とする収差が生じる。例えば、収差の一つである歪曲収差を補正するためには、画像データ上の光学系の中心位置から結像した光学像の着目点までの距離である像高に応じた補正データに基づいて、画像データを変形させる必要がある（例えば、特許文献１を参照）。

この光学的な劣化を復元するための補正データは、撮像装置の光学系の設計値から演算により求めることができる。

歪曲収差が生じていない場合の着目画素の像高をＹ０、歪曲収差が生じている状況下でのこの着目画素の像高をＹとすると、像高Ｙ０に対応する歪曲収差の特性Ｄを用いて、像高Ｙ０と像高Ｙは次の式（１）で表すことができる。
Ｙ＝Ｙ０＋Ｙ０×Ｄ ・・・（１）

この式（１）を変形することで、歪曲収差の特性Ｄを次の式（２）で表すことができる。
Ｄ＝（Ｙ−Ｙ０）／Ｙ０ ・・・（２）

多くのデジタルカメラでは、撮影した画像データは、所謂ＲＡＷ画像データとして出力するか、ＪＰＥＧとして出力するか、あるいは両方を出力するかを選択することが可能である。一般的に、ＪＰＥＧ画像データには、ホワイトバランス、色補正、ガンマ補正、ノイズ補正、および、収差補正などの処理が適用され、ＲＡＷ画像データにはこれらの処理が適用されない。

ＪＰＥＧ画像データに対して収差の補正処理を適用する場合、レンズ固体のばらつきによる過補正を考慮して、理想的な補正データよりも値を小さくした補正データを用いて補正処理を行う場合が多い。

図６は歪曲収差が生じている画像データと、歪曲収差の補正処理を行った画像データを説明するための図である。画像データ６００は歪曲収差が生じていない理想的な画像データを示し、画像データ６０１は歪曲収差が生じている画像データを示す。画像データ６０２は歪曲収差の補正処理を行ったが歪曲収差が残存している画像データを示す。歪曲収差には、方形が樽型に変形する樽型の歪曲収差と、これとは逆に方形が糸巻き型に変形する糸巻き型の歪曲収差が存在する。画像データ６０１には樽型の歪曲収差が生じている。

ユーザーが撮像した画像データをＲＡＷ画像データで保存することを選択したのであれば、画像データ６０１の状態のＲＡＷ画像データが保存される。また、ＪＰＥＧ画像データで保存することを選択したのであれば、歪曲収差の補正処理を行った画像データ６０２の状態のＪＰＥＧ画像データが保存される。上述したように、カメラ内で処理を行う場合には、理想的な補正データよりも値を小さくした補正データを用いて収差の補正処理を行うため、画像データ６０２には樽型の歪曲収差が残存する。

このような歪曲収差が残存するＪＰＥＧ画像データに対して、ユーザーが、パーソナルコンピュータに搭載された画像処理機能を有するアプリケーションを用いて、残存する歪曲収差をさらに低減するように補正処理を行うことが考えられる。アプリケーションで歪曲収差を行う場合には、実際の効果を確認しながら作業ができ、仮に過補正となった場合であっても後から歪曲収差の補正量を調整することができる。よって、アプリケーションで歪曲収差を行う場合には過補正を気にする必要はない。

特開２０１１−１３０３８１

アプリケーションでＲＡＷ画像データに対して歪曲収差の補正処理を行う場合には、理想的な補正データを読み出してそのまま適用することで、歪曲収差を強く抑制した画像データを生成することができる。

しかしながら、ＪＰＥＧ画像データのように、既に、理想的な補正データを弱めた補正データを用いて歪曲収差の補正処理が行われた画像データは、機種によって補正データを弱める程度が一定ではない。そのため、残存する歪曲収差がどの程度なのかを判断することができない。このように、ＪＰＥＧ画像データに残存する歪曲収差を適切に補正することは容易ではない。

また、この補正残りを解消するため、ＪＰＥＧ画像データに対して、適用された補正データを用いて歪曲収差の補正処理の逆変換を行い、歪曲収差が生じている画像データを復元する方法が考えられる。しかしながら、補正データを補間するときのアルゴルに差の影響や、現像処理における各色成分の信号の補間処理の影響などによって、元の歪曲収差が生じている状態を精度良く復元することは困難である。

本発明は、このような課題に鑑みて、歪曲収差が残存する画像データに対して精度の高い歪曲収差の補正を可能とするためのデータを提供することができる画像処理装置を提供することを目的とする。

上記課題を解決するため、本発明に係る画像処理装置は、収差が生じた画像データを取得する取得手段と、収差を補正するために予め取得した補正データを低減した第１の補正データを生成する第１の生成手段と、第１の補正データを用いて画像データに生じた収差を補正する補正手段と、第１の生成手段が予め取得した補正データと、第１の補正データの差分に応じた第２の補正データを生成する第２の生成手段と、補正手段による補正が行われた画像データと、第２の補正データを出力する出力手段を有することを特徴とするものである。

本発明によれば、歪曲収差が残存する画像データに対して精度の高い歪曲収差の補正を可能とするためのデータを提供することができる画像処理装置を提供することができる。

発明の画像処理装置の一例としてのデジタルカメラの構成を示す図である。 画像処理回路１６の内部構成を概略的に示す図である。 画像処理回路１６の処理を示すフローチャートである。 追加補正データ処理のフローチャートである。 歪曲収差の像高に応じた補正データを示す図である。 歪曲収差が生じている画像データと、歪曲収差の補正処理を行った画像データを説明するための図である。

以下に、本発明の好ましい実施の形態を添付の図面を用いて詳細に説明する。

図１は、本発明の画像処理装置の一例としてのデジタルカメラの構成を示す図である。本実施形態ではデジタルカメラを例として説明を行うが、画像データに対して、補正レベルを調整（低減）した収差の補正処理を行うことができる機能を有していれば、デジタルカメラに限定されるものではない。ビデオ、あるいは、収差補正を行うアプリケーションを搭載したパーソナルコンピュータやスマートフォンなどの携帯型電子機器に対しても本発明を適用することは可能である。

撮像素子１２は、収差の原因となる撮像レンズユニット１０を通過した光学像を電気信号に変換し、Ａ／Ｄ変換器１４は撮像素子１２のアナログ信号出力をデジタル信号に変換する。画像処理回路１６は、Ａ／Ｄ変換器１４から受けった画像データ或いはメモリ制御回路２０から受け取った画像データに対して所定のデモザイク処理や色変換処理を行う。メモリ制御回路２０は、Ａ／Ｄ変換器１４および画像処理回路１６を制御する。Ａ／Ｄ変換器１４のデータが画像処理回路１６やメモリ制御回路２０を介して、あるいはＡ／Ｄ変換器１４のデータが直接メモリ制御回路２０を介して、画像表示メモリ２６あるいはメモリ２８に書き込まれる。

画像表示メモリ２６に書き込まれた表示用の画像データはＤ／Ａ変換器２２を介して、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）から成る表示回路２４により表示される。表示回路２４を用いて、動画として連続的に撮像された画像データを逐次表示すれば、ライブビュー機能を実現することが可能である。

メモリ２８は撮影した所定枚数の静止画像データや所定時間の動画像データを格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像データを連続して撮影する連写撮影の場合にも、高速かつ大量の画像データ書き込みをメモリ２８に対して行うことが可能となる。また、メモリ２８はシステム制御回路３２の作業領域としても使用することが可能である。

システム制御回路３２はデジタルカメラ１００全体を制御する。シャッタースイッチ３４（ＳＷ１）は、不図示のシャッターボタンを１段目まで押しこむとオンとなる。シャッタースイッチ３４がオンとなることで、システム制御回路３２はＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、およびＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。シャッタースイッチ３６（ＳＷ２）は、不図示のシャッターボタンを２段目まで押しこむとオンとなり、システム制御回路３２は、記録媒体を含む記録部３０に画像データを書き込む記録処理という一連の撮影処理の動作開始を指示する。この撮影処理では、撮像素子１２から読み出した画像データが、Ａ／Ｄ変換器１４、メモリ制御回路２０を介して、画像処理回路１６やメモリ制御回路２０によって現像処理が行われてから圧縮処理が行われ、さらに記録部３０に書き込まれる。

図２に、画像処理回路１６の内部構成を概略的に示す。入力部２０１は、Ａ／Ｄ変換器１４から画像データを受け取る。補正データ生成回路２０２は、メモリ２８に予め記憶されているレンズデータ１１０を受け取るともに、システム制御回路３２から、画像データを生成した際の焦点距離、撮影距離、および絞りなどの撮像レンズユニット１０の光学系の設定値を受け取る。補正データ生成回路２０２は受け取った設計値に基づいて、レンズデータ１１０から対応するデータを読み出し、第１の補正データを生成する。

現像処理回路２０３は、画像データにホワイトバランス、色処理、およびガンマ処理などを含む現像処理を行う。光学補正処理回路２０４は、現像処理回路２０３で得られた画像データに対して、歪曲補正や倍率色収差補正などの収差の補正処理を行う。追加補正データ生成回路２０５は、収差の補正処理が行われたＪＰＥＧ画像データに対して追加の収差の補正処理を行う場合に必要な第２の補正データを生成する。出力部２０６は、光学補正処理回路２０４で補正処理が行われた画像データに対し、メタデータの生成や圧縮処理などのエンコード処理を行って、画像データを出力する。

図３は、画像処理回路１６の処理を示すフローチャートである。なお、図３および図４ではステップをＳと示している。

撮影が開始されると、ステップ３０１において、入力部２０１がＡ／Ｄ変換器１４から画像データを受け取る。また、補正データ生成回路２０２が、システム制御回路３２から画像データを生成した際の焦点距離、撮影距離、および絞りなどの撮像レンズユニット１０の光学系の設定値を受け取る。この画像データは、図６の６０１に示すように、歪曲収差が生じた画像データである。歪曲収差は、撮像レンズユニット１０の光学系の設定値によってその形状や程度が異なる。

ステップ３０２において、補正データ生成回路２０２が、撮像レンズユニット１０のレンズデータ１１０をメモリ２８から取得する。本実施形態において、レンズデータ１１０は、歪曲収差、倍率色収差、および周辺減光（シェーディング）の収差データを含んでいる。これらの収差データは、撮影距離、焦点距離、絞り、および像高の離散的な位置に対して、光学設計値から算出されるものとする。

ステップ３０３において、補正データ生成回路２０２は、ステップ３０１で取得した撮像レンズユニット１０の光学系の設定値およびステップ３０２で取得したレンズデータ１１０から、画像データに適用する第１の補正データを算出する。レンズデータ１１０は、撮影距離、焦点距離、絞り、および像高の離散的な位置に対応する補正データを保持しており、離散的な位置以外に対応する補正データは、近傍に位置する離散的な位置の補正データを補間することによって算出する。

図５は、像高（画像データ上の光学系の中心位置から結像した光学像の着目点までの距離）に対する歪曲収差の補正データを示す図である。この図５は、式（２）で示した歪曲収差の特性Ｄを用いて、（１／（１＋Ｄ））で表すことができる。図５のうち、四角で表される像高に対応する補正データがレンズデータ１１０に予め記憶された補正データに該当し、それ以外の像高の補正データは、レンズデータ１１０に予め記憶された補正データを用いて補間することによって算出される。

この図５に示す補正データに補正割合Ｋを掛けた値を、ＪＰＥＧ画像データに適用される第１の補正データとする。すなわち、ＪＰＥＧ画像データに適用される第１の補正データは（Ｋ×１／（１＋Ｄ））で表すことができる。この補正割合Ｋは、撮像レンズユニットの種類や焦点距離に応じて変更することができる。例えば、収差の多い撮像レンズユニットを用いた場合や焦点距離を広角側にした場合は、補正割合Ｋを０．９０〜０．９９程度とする。反対に、収差の少ない撮像レンズユニットを用いた場合や焦点距離を至近側にした場合は、補正割合Ｋを０．００〜０．１０程度とする。また、この補正割合Ｋはスライダーなどのユーザーインターフェースを表示回路２４に表示して、ユーザーが任意の値に調整可能なように構成してもよい。

ステップ３０４において、システム制御回路３２によって、ＪＰＥＧ画像データを記録する設定がなされている場合には、ステップ３０５に進む。

ステップＳ３０５において、光学補正処理回路２０４は、ステップ３０１で取得した画像データに対して、ステップ３０３で算出した第１の補正データを用いて歪曲収差の補正処理を行う。

図５を用いて歪曲収差の補正処理の具体的な方法を説明する。図５の実線が樽型の歪曲収差に対する補正データであり、点線が糸巻き型の歪曲収差に対する補正データである。画像データを構成する各画素の座標を、図５の補正量に従ってシフトさせた座標を求め、求めた座標に対応する画素の値を求める。

例えば、歪曲収差の補正処理後の画像データの中心座標を原点とし、この画像データ中のある画素ａの座標を（Ｘａ、Ｙａ）とする。このとき、歪曲収差の補正処理後の画素ａの値は、歪曲収差の補正処理前の画像データの座標（Ｘａ×γａ×ｃｏｓα、Ｙａ×γａ×ｓｉｎα）の画素の値に一致することになる。ここで、γａは、画素ａの像高ｈに対応する歪曲収差の補正データであり、αは画素ａと原点を結ぶ線分と原点を通る水平方向の軸とがなす角度である。このように、歪曲収差に対して補正処理を行うためには、補正対象とする画素の像高を算出する必要がある。なお、各画素に対応した像高ｈは、ｐを画像データの画素ピッチとすると、下記の式（３）により算出することができる。
ｈ＝（Ｘａ＾２＋Ｙａ＾２）＾０．５×ｐ ・・・（３）

なお、撮像レンズユニット１０の光軸と撮像素子の中心位置にずれがあり、そのシフト量を把握できている場合には、画像データの中心座標からこのシフト量だけずらした位置を原点としてもよい。

座標（Ｘａ×γａ×ｃｏｓα、Ｙａ×γａ×ｓｉｎα）が画像データ上の画素の重心と一致しない場合は、座標（Ｘａ×γａ×ｃｏｓα、Ｙａ×γａ×ｓｉｎα）の近傍に位置する各色成分の画素の値を補間して、この座標の各色成分の画素の値を求める。

ステップ３０６において、追加補正データ生成回路２０５は、ステップ３０３で算出した補正データから、第２の補正データである追加補正データを生成する。このステップ３０６における追加補正データ処理のフローチャートを図４を用いて説明する。

ステップ４０１において、追加補正データ生成回路２０５は、歪曲収差の補正残り量を算出する。補正残り量は、補正割合Ｋを掛ける前の補正データと、補正割合Ｋを掛けた後の補正データの差分であるから、（（１−Ｋ）×１／（１＋Ｄ））で表すことができる。

ステップ４０２において、ステップ４０１で算出した補正残り量を、各像高に対応した補正データに変換する。

ステップ４０３において、現像特性を考慮して追加補正データの調整を行う。ＪＰＥＧ画像データは色ノイズ緩和処理などの影響により収差が少なくなっている場合などがある。そのため、例えば、色ノイズ緩和処理を強めに適用する設定であるならば、ステップ４０２で変換された追加補正データの値を７０〜９０％程度に抑えるように調整し、第２の補正データとする。そして、ステップ３０７に進む。

ステップ３０４に戻り、ＲＡＷ画像データを記録することが選択されている場合には、画像データに歪曲収差の補正処理を適用しないため、ステップ３０５および３０６を飛ばしてステップ３０７に進む。

ステップ３０７において、ＪＰＥＧ画像を記録する設定がなされている場合には、出力部２０６は、ステップ３０５で取得した歪曲収差の補正処理が行われた画像データに、ステップ３０６で生成した第２の補正データを付与、あるいは、メタデータ等に書き込む。そして、第２の補正データが付与、あるいは、書き込まれた画像データを出力する。ＲＡＷ画像を記録する設定がなされている場合には、ステップＳ３０１で取得した画像データに、レンズデータ１１０を付与、あるいはメタデータに書き込んで出力する。

このように構成することで、出力部２０６から出力されたＪＰＥＧ画像データを、別のアプリケーションで処理する場合には、このＪＰＥＧ画像データに付与された第２の補正データを用いることで、残存する歪曲収差を高い精度で補正することが可能となる。

なお、本実施形態では収差の一例として歪曲収差を例にあげて説明をおこなったが、倍率色収差や周辺減光についても同様の処理を行うことが可能である。ただし、倍率色収差の補正残りを補正する場合は、ＪＰＥＧ画像データのＹＵＶ信号をＲＧＢ信号に変換してから、倍率色収差用の追加補正データを用いて補正を行う必要がある。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０１ 入力部
２０２ 補正データ生成回路
２０３ 現像処理回路
２０４ 光学補正処理回路
２０５ 追加補正データ生成回路
２０６ 出力部

Claims (11)

1. 収差が生じた画像データを取得する取得手段と、
   前記収差を補正するために予め取得した補正データを低減した第１の補正データを生成する第１の生成手段と、
   前記第１の補正データを用いて前記画像データに生じた収差を補正する補正手段と、
   前記第１の生成手段が予め取得した前記補正データと、前記第１の補正データの差分に応じた第２の補正データを生成する第２の生成手段と、
   前記補正手段による補正が行われた前記画像データと、前記第２の補正データを出力する出力手段を有することを特徴とする画像処理装置。
2. 前記出力手段は、前記補正手段による補正が行われた前記画像データに、前記第２の補正データを付与、あるいは書き込むことを特徴とする請求項１に記載の画像処理装置。
3. 前記予め取得した補正データは、前記画像データを生成する際に用いた光学系の設計値に基づく補正データであることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記出力手段は、前記補正手段が前記収差の補正を行わない画像データに対しては、前記第２の補正データを出力せずに、前記補正手段による補正が行われた前記画像データを出力することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記出力手段は、前記補正手段が前記収差の補正を行わない画像データに対しては、前記画像データと、前記予め取得した補正データを出力することを特徴とする請求項４に記載の画像処理装置。
6. 前記第２の生成手段は、前記画像データに行われる色ノイズ緩和処理に応じて、前記第１の生成手段が取得した前記補正データと前記第１の補正データの差分で得られた値を低減することで、前記第２の補正データを生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記収差は、歪曲収差、倍率色収差、および周辺減光の少なくともいずれかであることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記収差は歪曲収差であり、
   前記第１の生成手段は、前記画像データを生成する際に用いた光学系の焦点距離に応じて、予め取得した補正データを低減する程度を異ならせることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
9. 請求項１乃至８のいずれか１項に記載の画像処理装置と、
   前記収差の原因となる光学系と、
   前記画像データを生成する撮像手段を有することを特徴とする撮像装置。
10. 第１の生成手段が、画像データに生じた収差を補正するために予め取得した補正データを低減した第１の補正データを生成する工程と、
    補正手段が、前記第１の補正データを用いて前記画像データに生じた収差を補正する工程と、
    第２の生成手段が、前記第１の生成手段が取得した補正データと、前記第１の補正データの差分に応じた第２の補正データを生成する工程と、
    前記補正手段による補正が行われた前記画像データと、前記第２の補正データを出力する工程を有することを特徴とする画像処理装置の制御方法。
11. コンピュータを請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images