JP2004248290A - けられ補償 - Google Patents

Abstract

【課題】高価でないレンズを有するデジタルカメラにおけるけられを補償する方法およびシステムを提供する。
【解決手段】第１の段階はカメラユニットの生産中に行われ、好ましくは灰色試験チャートである試験チャートの画像を撮影し、解析することを含む。第２の段階はカメラによって撮影された各画像に対して行われる。けられを補償する方法は、レンズ系、画素に基づく画像センサのアレー、不揮発性メモリ、処理デバイス、試験チャート、およびカメラユニットを設けるステップと、けられの欠陥について前記カメラユニットを較正するステップ２０と、前記較正の結果を前記不揮発性メモリに保存するステップ２１と、前記較正結果を検索し、けられ補償のために前記データを準備するステップ２２と、けられを補償するために、前記較正結果を撮影された各画像の全ての画素に適用するステップ２３とを含む。
【選択図】図２

Description

本発明は一般に画像処理に関し、さらに詳細にはデジタルが画像におけるけられを補償するための方法に関する。

写真技術では、けられは画像の中央に比較して角部が暗くなることを意味する。全てのカメラレンズが、この現象から多かれ少なかれ損害を被っている。
図１の従来技術は画像処理において行われるいくつかの主要なステップを説明する。第１のステップ１０において、生の画像が取得される。次のステップ１１において、オフセット／利得の較正１２が行われ、その後、けられ補償が続く。最後のステップ１４は色彩処理である。

単純なレンズは「余弦の４乗則」（レンズの軸からの入射角の余弦の４乗）と呼ばれる光学的な法則に従う。余弦の４乗の影響は、光が大きな面積にわたって広がること、および、画像の角部が画像の軸上部分よりレンズの中心から遠いことを含む多くの要因から発生する。このことは、２０度の視野角を備えたレンズの場合、軸からの入射角が１０度である時、角部は中央部のｃｏｓ（１０度）の４乗倍の光を受けることを意味する。ｃｏｓ（１０度）は０．９８４８であり、したがって、その４乗は０．９４０６となる。したがって、角部は中央部の９４％の光を受け、一般には感受できない差である。３５ｍｍのカメラにとっての２０度の視野角は、１２３ｍｍレンズと同等である。２８ｍｍのレンズにとって、７５度の視野角があれば、ｃｏｓ４乗は０．３９となる。そのため、この時、角部は中央部が得る光の僅か３９％を得るだけである。２０ｍｍのレンズにとっては、これが２１％にまで低下し、１５ｍｍのレンズの場合では、これが１０．５％にまで低下する。明らかに、最後の場合は実用不能であり、許容できない。

けられに関する前記の問題を解決するために、カメラは、製造するのが高価な複雑な光学系を典型的に使用している。デジタルカメラの設計者にとって、より高価でないレンズを使用して非常に小さなけられを有するカメラを設計することは挑戦であった。

けられの抑制に取り組む解決策は以下の特許に説明されている。
米国特許（Ｔａｋｉｚａｗａ他に対する第６，３８８，７０６号）明細書は、複数のセンサおよび複数の異なった色彩の色フィルタを有する光電子要素を含む電子カメラのための画像処理方法を説明し、この方法では、複数のセンサの各々が異なった色彩の色フィルタの個々の１つに対応する。この方法は目標センサから信号値を得るステップ、センサの信号値から第１の平均値を得るステップ、センサの信号値から第２の平均値を得るステップ、および、目標センサからの信号値、第１の平均値、および、第２の平均値に従って目標センサの、目標センサの色フィルタの色彩とは異なる色彩についての補間値を得るステップを含む。レンズのけられは画像フィールドのへり部分の輝度の低下を引き起こす。しかし、もしへり部分の輝度の低下に対する補正がホワイトバランス調整および／または利得調整と同時に行われるなら、へり部分の輝度に対する補正は計算量を減らしてから行うことができる。

米国特許（Ｅｎｏｍｏｔｏに対する第６，３２３，９３４号）明細書は画像処理方法を説明し、この方法では、水平色収差、歪み、画像フィールドのへりの輝度の低下、および、画像ぼけの中から選択された、光学的に記録された画像の少なくとも１つの収差が、撮影レンズのレンズ特性および画像の位置情報に基づいて補正される。加えて、画像処理装置は、撮影レンズを識別する情報を取得するための取得部、撮影レンズのタイプに関連したレンズ特性を保存するための保存部、および、保存部から撮影レンズの対応するレンズ特性を受け取り、水平色収差、歪み、けられ、および、画像ぼけの中から選択された少なくとも１つの収差を補正する補正部を含む。色不整合、歪み、不均一な輝度、ぼけ、もしくは、他の欠陥、または、けられと歪みの双方のない高品質画像を一貫して出力することができる。
米国特許（Ｔａｋｉｚａｗａ他に対する第６，３８８，７０６号）明細書 米国特許（Ｅｎｏｍｏｔｏに対する第６，３２３，９３４号）明細書

本発明の主な目的は、高価でないレンズを有するデジタルカメラにおけるけられを補償することである。

本発明の目的によれば、デジタルカメラにおけるけられを補償するための方法が達成される。前記方法は、先ず、レンズ系、画素に基づく画像センサのアレー、不揮発性メモリ、処理デバイス、ＲＡＭ、試験チャート、および、カメラユニットを設けるステップを含む。前記方法の第１のステップは、けられについて前記カメラユニットを較正するステップおよび較正の結果を不揮発性メモリに保存するステップを含む。撮影された各写真について行われるその後のステップは、前記較正結果を検索し、けられの補償のために前記データを準備するステップ、および、けられを補償するために撮影された各画像の全ての画素に前記較正結果を適用するステップである。

同様に、本発明の目的によれば、デジタル画像におけるけられを補償するための方法が達成される。前記方法は、先ず、不揮発性メモリ、レンズ系、画素に基づくセンサのアレー、処理デバイス、ＲＡＭ、試験チャート、および、カメラユニットを設けるステップを含む。第１のステップは、各カメラユニットのために１回行われる、試験チャートの写真を撮影するステップ、前記試験画像を解析するステップ、前記試験画像を多項式面関数に適用するステップ、前記多項式関数の係数をマトリクスに挿入するステップ、および、前記マトリクスを不揮発性メモリに保存するステップを含む。撮影された各写真に対して行われるその後のステップは、前記マトリクスを前記不揮発性メモリから検索するステップ、検索された係数を使用して多項式面関数を構築するステップ、画像の全ての画素について前記多項式面関数を使用して利得テーブルを作成するステップ、および、けられを補償するために撮影された画像の全ての画素に前記利得テーブルの値を適用するステップである。

同様に、本発明の目的によれば、デジタル画像におけるけられを補償するためのシステムが達成される。前記システムは、試験チャート、レンズ系、画素に基づいた画像センサアレー、不揮発性メモリ、処理デバイス、および、画素に基づく画像センサのアレーを含む。

本説明の重要な部分を形成する添付の図面には以下を示す。

好ましい実施形態はデジタルカメラのけられを補償するための方法を開示し、けられに関して高い画像品質を備えるより安価なレンズの使用を可能にする。
図２は、けられを補償するための好ましい実施形態の方法全体を説明する。前記方法は２つの段階を含む。第１の段階において、カメラユニットは較正される。前記較正はカメラユニットの生産中に１回のみ行われ、これは２つの主要なステップ２０および２１を含む。ステップ２０において、カメラユニットはけられ欠陥について較正され、ステップ２１において、前記較正の結果はカメラの不揮発性メモリに保存される。第２の段階は撮影された各画像の全ての画素に対する較正結果の適用を含む。ステップ２２において、前記較正結果は前記不揮発性メモリから検索され、撮影された各画像に適用されるために準備される。ステップ２３において、準備された前記較正データは、けられを補償するために、撮影された各画像の全ての画素に対して適用される。

図３は発明された本方法の好ましい実施形態をより詳細に示す。ステップ３０から３４は較正段階である第１の段階の部分である。ステップ３５および３８は適用段階である第２の段階の部分である。

第１の段階３０において、通常は灰色のスクリーンである試験チャートの画像が撮影される。続くステップ３１において、前記画像はけられに関するいかなる異常についても解析される。ステップ３２は、前記解析の結果が多項式面関数を使用して記述されることを示す。前記多項式関数の例は以下の等式（１）である。

ここで、ｇ（ｘ、ｙ）は位置（ｘ、ｙ）における多項式面（輝度）であり、ｋ_ijは多項式面の係数であり、（ｉ、ｊ）はｋ（係数のマトリクス）に対する指数であり、（ｘ、ｙ）は現在の画素の座標である。けられを利得効果として解釈すると、ｇ（ｘ、ｙ）は位置ｇ（ｘ、ｙ）における「けられ利得」を記述する。係数ｋは、測定されたデータに対する、例えば最小自乗適合によって見出すことができる。

前記多項式関数はけられのみを示す画像を作成するために使用することができ、これは、中央で明るく、中央から離れると暗くなる画像である。この画像はけられによってもたらされる異なる画素の相対利得を表す。

もし前記画像が画素ごとに多項式画像で分割されれば、中央から離れた暗い領域は中央と同じくらい明るくなる。中央の輝度が影響を受けずに存続すると仮定すれば、結果として得られる画像は多項式画像の中央の輝度によって増倍されている。したがって、「けられ利得」ｇ（ｘ、ｙ）はｇの最も明るい値が１となるように正規化することができる。これは、分割する前に、多項式画像をその中央（最大）の輝度で正規化することと同様である。したがって、反転利得画像は、けられを補償するために画像が画素ごとに増倍されなければならない利得テーブルとなる。

次のステップ３３において、前記多項式面関数の係数はマトリクスに挿入され、好ましい実施形態において、これは５×５のマトリクスである。前記マトリクスは、原則として、選択される多項式関数の次数に多かれ少なかれ依存することができる。ステップ３４において、係数の前記マトリクスはカメラユニットの不揮発性メモリに保存される。ＦＬＡＳＨメモリまたはＥＰＲＯＭなどのいかなるタイプのプログラム可能な不揮発性メモリも使用することができる。

次のステップは撮影された各画像のために行われ、発明された方法の第２の段階の全部分となる。ステップ３５において、前記多項式係数のマトリクスは前記不揮発性メモリから検索される。ステップ３６において、多項式面関数が前記マトリクスの係数を使用して構築される。ステップ３７において、利得テーブルが撮影された画像の全ての画素のために作成される。ステップ３８において、前記利得テーブルの値は、けられを補償するために撮影された画像の全ての画素に適用される。

ｖ（ｘ、ｙ）＝ｐ（ｘ、ｙ）×ｇ（ｘ、ｙ） （２）
ここで、ｐ（ｘ、ｙ）は生の画素値であり、ｇ（ｘ、ｙ）は前記利得テーブルの値である。

固定絞りに対する全てのけられはこれらのパラメータでモデル化することができる。これは、単眼レンズとレンズ系の双方に対して、および、同様に、画素けられと呼ばれることもある深さ構造またはセンサ自体上の画素のマイクロレンズによるけられに対しても機能する。

図４は発明されたシステムの基本的な構成部品を説明する。前記システムは、試験チャート４１、レンズまたはレンズ系４２、センサアレー４３、レンズ系のけられを記述するために多項式の係数を検索するため、不揮発性メモリ４６を使用する処理デバイス４４を含む。番号４５は補正された画像を表す。

ＦＬＡＳＨメモリ、ＭＲＡＭまたはＥＰＲＯＭなどの様々なプログラム可能な不揮発性メモリシステムが発明されたシステムのために使用できることは明らかである。画像センサとしては、ＣＭＯＳセンサならびにＣＣＤセンサが使用できる。

本発明はその好ましい実施形態を参照して特に示され、説明された一方、当業者には、形態および詳細の様々な変更が本発明の精神および範囲を逸脱することなく行えることが理解されよう。

デジタルカメラにおいて画像を処理するために行われる様々なステップを示す従来技術のフローチャートである。 けられを補償するために発明された方法の主要なステップのフローチャートである。 けられを補償するために発明された方法の好ましい実施形態のフローチャートである。 発明されたシステムの主要な較正部品を示す図である。

符号の説明

４１ 試験チャート
４２ レンズまたはレンズ系
４３ センサアレー
４４ 処理デバイス
４５ 補正された画像
４６ 不揮発性メモリ

Claims (39)

1. レンズ系、画素に基づく画像センサのアレー、不揮発性メモリ、処理デバイス、試験チャート、およびカメラユニットを設けるステップと、
   けられの欠陥について前記カメラユニットを較正するステップと、
   前記較正の結果を前記不揮発性メモリに保存するステップと、
   前記較正結果を検索し、けられ補償のために前記データを準備するステップと、
   けられを補償するために、前記較正結果を撮影された各画像の全ての画素に適用するステップと、
   を含むデジタルカメラにおけるけられを補償するための方法。
2. 前記較正結果はけられの欠陥を記述する多項式面関数として表される、請求項１に記載の方法。
3. 前記多項式関数は以下の等式、
   

   

   であり、ここで、ｇ（ｘ、ｙ）は位置（ｘ、ｙ）における多項式面（輝度）であり、ｋ_ijは多項式面の係数であり、（ｉ、ｊ）はｋ（係数のマトリクス）に対する指数であり、（ｘ、ｙ）は現在の画素の座標である、請求項２に記載の方法。
4. 前記係数ｋ_ijは前記測定されたデータに最小自乗適合を使用して決定される、請求項３に記載の方法。
5. 前記較正結果は保存され、多項式の係数のマトリクスを使用して検索される、請求項１に記載の方法。
6. 前記多項式の係数のマトリクスはけられの欠陥を記述する正規化された面関数から導出される、請求項５に記載の方法。
7. 前記画像の中央の輝度は前記正規化のために使用される、請求項６に記載の方法。
8. 前記けられの補償は、撮影された各写真の生の画素値で正規化された多項式関数を画素ごとに乗算することによって行われる、請求項１に記載の方法。
9. 前記試験チャートは前記カメラユニットを較正するために使用される、請求項１に記載の方法。
10. 前記試験チャートは灰色試験チャートである、請求項９に記載の方法。
11. 前記不揮発性メモリはＥＰＲＯＭである、請求項１に記載の方法。
12. 前記不揮発性メモリはＥＥＰＲＯＭである、請求項１に記載の方法。
13. 前記不揮発性メモリはＦＬＡＳＨメモリである、請求項１に記載の方法。
14. 前記画素に基づくセンサのアレーはＣＭＯＳセンサである、請求項１に記載の方法。
15. 前記画素に基づくセンサのアレーはＣＣＤセンサである、請求項１に記載の方法。
16. 不揮発性メモリ、レンズ系、処理デバイス、ＲＡＭ、試験チャート、画素に基づくセンサのアレー、および、カメラユニットを設けるステップと、
    試験チャートの写真を撮影するステップと、
    前記試験画像を解析するステップと、
    前記試験画像を多項式面関数に適合するステップと、
    前記多項式関数の係数をマトリクスに挿入するステップと、
    前記マトリクスを不揮発性メモリに保存するステップと、
    前記マトリクスを前記不揮発性メモリから検索するステップと、
    検索された係数を使用して多項式面関数を構築するステップと、
    前記画像の全ての画素について前記多項式面関数を使用して利得テーブルを作成するステップと、
    けられを補償するために、前記撮影された画像の全ての画素に前記利得テーブルの値を適用するステップと、
    を含むデジタルカメラにおけるけられを補償するための方法。
17. 前記多項式関数は以下の等式、
    

    

    であり、ここで、ｇ（ｘ、ｙ）は位置（ｘ、ｙ）における多項式面（輝度）であり、ｋ_ijは多項式面の係数であり、（ｉ、ｊ）はｋ（係数のマトリクス）に対する指数であり、（ｘ，ｙ）は現在の画素の座標である、請求項１６に記載の方法。
18. 前記係数ｋ_ijは前記測定されたデータに最小自乗適合を使用して決定される、請求項１７に記載の方法。
19. 前記多項式の係数のマトリクスはけられの欠陥を記述する正規化された面関数から導出される請求項１６に記載の方法。
20. 前記画像の中央の輝度は前記正規化のために使用される請求項１９に記載の方法。
21. 前記けられの補償は、撮影された各写真の生の画素値で正規化された多項式関数を画素ごとに増倍することによって行われる、請求項１６に記載の方法。
22. 前記試験チャートは灰色試験チャートである、請求項１６に記載の方法。
23. 前記不揮発性メモリはＥＰＲＯＭである、請求項１６に記載の方法。
24. 前記不揮発性メモリはＥＥＰＲＯＭである、請求項１６に記載の方法。
25. 前記不揮発性メモリはＦＬＡＳＨメモリである、請求項１６に記載の方法。
26. 前記マトリクスは５×５マトリクスである、請求項１６に記載の方法。
27. 前記画素に基づくセンサのアレーはＣＭＯＳセンサである、請求項１６に記載の方法。
28. 前記画素に基づくセンサのアレーはＣＣＤセンサである、請求項１６に記載の方法。
29. 試験チャートと、
    レンズ系と、
    画素に基づいた画像センサアレーと、
    不揮発性メモリと、
    処理デバイスと、
    画素に基づく画像センサアレーと、
    を含むデジタルカメラにおけるけられを補償するシステム。
30. 前記画像センサアレーはＣＭＯＳ画像センサを含む、請求項２９に記載のシステム。
31. 前記画像センサアレーはＣＣＤ画像センサを含む、請求項２９に記載のシステム。
32. 前記不揮発性メモリはＦＬＡＳＨメモリである、請求項２９に記載のシステム。
33. 前記不揮発性メモリはＭＲＡＭである、請求項２９に記載のシステム。
34. 前記不揮発性メモリはＥＰＲＯＭである、請求項２９に記載のシステム。
35. 前記不揮発性メモリはＥＥＰＲＯＭである、請求項２９に記載の方法。
36. 前記処理デバイスはマイクロプロセッサである、請求項２９に記載のシステム。
37. 前記試験チャートは灰色試験チャートである、請求項２９に記載のシステム。
38. 前記レンズ系は１つのレンズを含む、請求項２９に記載のシステム。
39. 前記レンズ系は複数のレンズを含む、請求項２９に記載のシステム。

Images