JP2020068524A - 画像処理 - Google Patents

Abstract

【課題】口径食を補正しダイナミックレンジを維持する方法、プロセッサ及びシステムを提供する。【解決手段】画像データを処理する方法１００は、画像センサを使用して画像データ１１０を捕捉する。画像データ１１０の全体に対して口径食補正メッシュを取得する１２０。口径食補正メッシュに基づいて１つ又は複数の区間を含む強度圧縮曲線を生成する１３０。強度圧縮曲線及び口径食補正メッシュに従って画像データ１１０の一部のピクセル値を調整する１４０。【選択図】図１

Description

[0001]本発明は、画像データを処理するための方法及び装置に関連している。

背景

[0002]画像センサは、通常、人間の視覚系によって知覚できるダイナミックレンジよりも小さいダイナミックレンジを有する情景の画像を捕捉することができ、このダイナミックレンジは、例えば、画像内の最も明るいピクセルのピクセル強度と、最も暗いピクセルのピクセル強度の間の比率である。例えば、人間の目は、５５ｄＢを超えるダイナミックレンジを知覚することができ、一方、画像センサは、３５ｄＢ〜４５ｄＢの範囲内のダイナミックレンジを有することがある。したがって、動きを伴う屋外の情景又は明るい光が存在する夜間の情景などの、高ダイナミックレンジの情景の画像の品質は、リアルタイムでの人間によるそのような情景の知覚と比較すると、画像センサによって捕捉された画像では、低下することがある。さらに、レンズシステムなどの画像化システムの構造は、画像の中心から離れている光の緩やかな減少を引き起こすことがある。

概要

[0003]本開示の第１の態様によれば、ダイナミックレンジを維持する方法が提供されており、この方法は、画像データの口径食補正メッシュを取得するステップと、強度圧縮曲線を生成するステップであって、この強度圧縮曲線が、口径食補正メッシュに基づき１つ又は複数のセグメントを含む、ステップと、強度圧縮曲線及び口径食補正メッシュに従って画像データの一部のピクセル値を調整するステップとを含む。

[0004]本開示の第２の態様によれば、ダイナミックレンジを維持するためのプロセッサが提供されており、このプロセッサは、口径食補正メッシュ及び入力画像データの強度圧縮曲線を生成するための生成モジュールと、口径食補正メッシュ及び強度圧縮曲線に従って入力画像データのピクセル値を調整するための調整モジュールとを備えており、強度圧縮曲線は、極大強度レベル及び口径食補正メッシュに基づく。

[0005]本開示の第３の態様によれば、画像データの少なくとも一部を表す画像データを格納するためのストレージと、ダイナミックレンジ調整システムとを備えている画像処理システムが提供されており、このダイナミックレンジ調整システムは、画像データの一部を処理することと、前述の一部の口径食補正メッシュ、極大強度レベル、及び強度圧縮曲線を取得することと、口径食補正メッシュを画像データの一部に適用することと、口径食補正メッシュ及び強度圧縮曲線に従って画像データの一部のピクセル値を調整することとを実行するよう機能し、強度圧縮曲線は、極大強度レベル及び口径食補正メッシュに基づく。

[0006]本開示の第４の態様によれば、コンピュータ可読命令のセットを格納し含む持続性コンピュータ可読ストレージ媒体が提供されており、このコンピュータ可読命令のセットは、少なくとも１つのプロセッサによって実行されたときに、少なくとも１つのプロセッサに、画像データのダイナミックレンジを維持させ、それらの命令は、画像データの口径食補正メッシュを取得することと、強度圧縮曲線を生成することであって、この強度圧縮曲線が、口径食補正メッシュに基づき１つ又は複数のセグメントを含む、ことと、強度圧縮曲線及び口径食補正メッシュに従って画像データの一部のピクセル値を調整することと、を含む。

[0007]さらに、本発明の特徴及び利点が、添付の図面を参照して行われる、単に例として提供される以下の説明から明らかになり、添付の図面では、類似する参照番号が類似する特徴を示すために使用される。

[0008]図１は、実施例に従って画像データを処理するための方法を示すフロー図である。

[0009]図２は、実施例に従って画像データの表現を示す図である。

[0010]図３は、実施例に従って口径食補正メッシュの表現を示す図である。

[0011]図４は、実施例に従って、画像データへの口径食補正メッシュの適用の表現を示す図である。

[0012]図５は、実施例に従って、強度曲線を示す図である。

[0013]図６は、実施例に従って、強度圧縮曲線を示す図である。

[0014]図７は、実施例に従って、図１に示されている画像処理方法において使用するためのプロセッサである。

[0015]図８は、実施例に従って、画像処理システムを示す図である。

詳細な説明

[0016]各図を参照して、以下の説明から、実施例によるシステム及び方法の詳細が明らかになる。この説明では、説明の目的で、特定の実施例の多数の具体的な詳細が示される。本明細書における「実施例」又は類似の言葉への参照は、実施例に関連して説明された特徴、構造、又は特性が、少なくともその１つの実施例には含まれるが、他の実施例には必ずしも含まれないことを意味している。実施例の基礎になる概念の説明及び理解を簡単にするために、特定の特徴が省略され、及び／又は必然的に簡略化されて、特定の実施例が概略的に説明されることに、さらに注意するべきである。

[0017]図１は、実施例に従って画像データ１１０を処理する方法１００を概略的に示している。画像データ１１０は、画像の少なくとも一部を表し、画像センサを使用して捕捉されてもよい。画像センサは、通常、センサピクセルのアレイを含み、画像を捕捉するための任意の適切な光センサであってもよい。例えば、標準的なセンサピクセルは、入射光を電子信号又はデータに変換できる光ダイオードなどの、受光素子を含む。センサピクセルは、例えば、電荷結合素子（ＣＣＤ：ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）又は相補型金属酸化膜半導体（ＣＭＯＳ：ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ−ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。通常、露光は、画像センサの各センサピクセルによって光が捕捉される期間、及び／又は増幅器によって、各センサピクセルによって生成された電気信号に適用される利得を設定する。したがって、入射光に対する画像センサの感度は、通常、露光によって決定される。図１の実施例では、画像センサは、１回の露光を使用して画像データ１１０を捕捉するように調整されてもよい。例えば、同じ期間の間、又は互いに同じ長さの期間の間、画像センサのすべてのセンサピクセルが光を捕捉してもよい。しかし、他の実施例では、本明細書に記載された実施例で使用するための画像センサは、少なくとも２回の異なる露光でセンサピクセルを使用して画像データ１１０を捕捉するように調整される、多重露光画像センサであってもよい。

[0018]例えば、画像データ１１０は、画像センサによって捕捉された光の少なくとも１つの特性を表してもよい。画像データ１１０は、各センサピクセルによって捕捉された光の強度を表してもよく、この光の強度は、各センサピクセルによって捕捉された光子の数に比例してもよい。この強度は、例えば、絶対強度ではなく、単位面積当たりの光の強度の測定値である、捕捉された光の輝度を表してもよい。他の実施例では、画像データ１１０は、輝度の知覚に対応すると考えられてもよく、輝度に比例しても比例しなくてもよい、捕捉された光の明度を表してもよい。一般に、画像データ１１０は、画像データ１１０によって表される画像の見た目を表すために使用されてもよい、任意の測光品質又は特性を表してもよい。画像データ１１０は、未加工画像形式などの、任意の適切な形式であってもよい。例えば、未加工画像データをファイルに保存せずに、画像データ１１０が、フレームバッファに保存されるか、又は保存されずに、画像センサからストリーミングされてもよい。ただし、そのような場合、未加工画像データの処理後に取得された画像データ１１０がファイルに保存されてもよい。

[0019]いくつかの実施例では、画像センサは、カラーフィルタ素子のパターンを含むカラーフィルタアレイを含んでもよい。カラーフィルタ素子は、画像センサのセンサピクセルのアレイの各センサピクセルに対応する。例えば、カラーフィルタアレイは、モザイクパターン又は繰り返しパターンを形成すると考えられてもよい。通常、カラーフィルタ素子は、特定の色の光が、対応するセンサピクセルに向かって通過することを可能にする。このようにして、カラーフィルタアレイは、センサピクセルのアレイのうちの異なるセンサピクセルが、入射光の異なる色を受信できるように、フルカラー画像の捕捉を可能にする。標準的な光センサは、入射光の波長に対して感受性がないため、カラーフィルタアレイがなければ、標準的なセンサピクセルは、検出された光から色情報を提供することができない。しかし、カラーフィルタアレイを使用して、入射光を、異なる色に対応する異なる波長範囲に分割することによって、それらの異なる波長範囲内の光の強度を確定することができ、この色情報を決定できる。

[0020]色は任意の範囲の波長の光を指してもよいことが、理解されるべきである。それでも、例えば、カラーフィルタ素子は可視スペクトル内の特定の波長（すべての波長又は実質的にすべての波長など）が下層のセンサピクセルに透過されることを可能にするという意味において、透明又は白色のカラーフィルタ素子が、カラーフィルタ素子であると考えられてもよい。他の実施例では、カラーフィルタ素子の一部又は全部が白色以外のカラーフィルタ素子であってもよい。

[0021]カラーフィルタ素子のパターンは、カラーフィルタ素子の繰り返しグループで形成されてもよい。カラーフィルタ素子のグループは、例えば、１つの赤色フィルタ素子、１つの青色フィルタ素子、及び２つの緑色フィルタ素子を含んでもよい。したがって、カラーフィルタアレイは、ベイヤーパターンに対応してもよいが、他の実施例では、他のグループが可能である。各グループは、適切な品質のフルカラー画像を取得するために必要なセンサピクセルと一致してもよい。この配置のフィルタを使用してセンサによって捕捉された画像データ１１０の例が、図２に示されている。

[0022]図２の画像データ１１０は、この例では緑色である、第１のカラーチャネルに関連付けられた第１のピクセルのセット、この例では赤色である、第２のカラーチャネルに関連付けられた第２のピクセルのセット、及びこの例では青色である、第３のカラーチャネルに関連付けられた第３のピクセルのセットを含む。第１のピクセルのセットのピクセルは、「Ｇ」のラベルが付けられており、第２のピクセルのセットのピクセルは、「Ｒ」のラベルが付けられており、第３のピクセルのセットのピクセルは、「Ｂ」のラベルが付けられている。この例では、カラーフィルタアレイのカラーフィルタ素子が、一連の繰り返しグループに、（前述した）ベイヤーパターンで配置されている。ベイヤーパターン又はベイヤーフィルタモザイクは、フィルタ素子がベイヤーパターンで配置されたカラーフィルタと組み合わせて、画像センサを使用して取得される。ベイヤーパターンは、領域２１０によって示すことができるように、１つの青色フィルタ素子、２つの緑色フィルタ素子、及び１つの赤色フィルタ素子を含むフィルタ素子の繰り返しグループを含む。したがって、ベイヤーパターンのカラーフィルタ素子を含む画像センサから取得された画像は、やはり（例えば、１つの青色ピクセル、２つの緑色ピクセル、及び１つの赤色ピクセルの繰り返しグループを含む）ベイヤーパターンで配置されたピクセルを含むことになる。したがって、この例では、各グループは、第１のピクセルのセットの２つのピクセル、第２のピクセルのセットの１つのピクセル、及び第３のピクセルのセットの１つのピクセルを含む。赤色、緑色、青色、エメラルド色（ＲＧＢＥ）、又はシアン、黄色、緑色、マゼンタ（ＣＹＧＭ）のフィルタ配置などの、その他のフィルタ配置が使用されてもよいことが、理解されるであろう。

[0023]再び図１を参照すると、方法１００は、画像センサに関連付けられたレンズシステムに関連するレンズシェーディングの効果を利用することによって、入力シーンの画像データ１１０のエンコード可能なダイナミックレンジを拡張するために、画像センサによって収集された画像データ１１０を処理することを含む。レンズシェーディング又は口径食（ビネッティング、vignetting）には、複数の原因が存在することがある。例えば、物理的障害が、視界内の光がカメラの画像センサに達するのを妨げることがある。物理的障害は、邪魔になることによって光がレンズに達するのを妨げる、鏡筒、フィルタ、レンズフード、又はその他のものに起因することがある。そのような物理的障害は、画像の角の表示を暗くする強い暗色の円形を引き起こす。他の例としては、強い角度でレンズ口径に当たる光に起因する光学的口径食が挙げられる。この効果は、広い口径と共に使用される大口径広角レンズで撮られた画像上で、最も多く見られることがある。レンズシェーディングのさらに別の原因は、ピクセルの口径食であり、上で説明されたように、当てられた光を測定／記録する多数のピクセルを含む画像センサは、深さも有している。この深さは、光がピクセル自体の後ろに当たらないときに、やはり口径食の効果を引き起こす可能性がある。

[0024]方法１００の項目１２０で、画像データ１１０の全体に対して、口径食補正メッシュが生成され、この補正メッシュは、例えば特定のレンズシステム又は画像センサに対して生成された、事前に較正された入力であってもよい。代替として、この補正メッシュは、図７に関して下で説明されているプロセッサなどのプロセッサによって生成されてもよい。この補正メッシュは、画像データ１１０のピクセルの値を調整するため（例えば、レンズシェーディングの効果を除去するか、又は減らすため）に使用される。１つの方法では、補正メッシュは、明度勾配の形状の逆数を画像データ１１０内のピクセル値に掛けることによって、この調整を実現することができる。例示的な口径食補正メッシュが、図３に示されている。

[0025]図３の口径食補正メッシュ３００は、アレイ内に配置された複数の領域３１０ａ、３１０ｂ、３１０ｃを含んでおり、領域３１０ａ、３１０ｂ、３１０ｃは、画像データ１１０内のピクセルを表している。各領域３１０ａ、３１０ｂ、３１０ｃは、画像データ１１０のピクセル値を調整するための調整値を含む。図３の例では、各領域の値は１〜２の範囲内であるが、他の例では、これらの領域が１より大きい値を有してもよいことが理解されるであろう。この例では、値が１に近いほど、補正メッシュがピクセル値に対して与える効果が低くなり、値が２に近いほど、補正メッシュがピクセル値に対して与える効果が高くなる。図３からわかるように、補正メッシュの値は、中心（領域３２０によって示されている）に向かって小さくなっており、これは、上で説明されたように、レンズシェーディングの原因に関係しており、口径食による影響が最も少ないピクセル値が存在するエリアを表している。

[0026]口径食補正メッシュは、事前に較正された入力（例えば、特定の画像センサに関して知られている補正メッシュ）であってもよい。代替として、口径食補正メッシュは、図１の方法１００の一部として、画像信号プロセッサなどのプロセッサによって生成されてもよい。口径食補正メッシュを生成するために、一部の実施形態では、既知の照明条件下で、平坦な視界の画像が捕捉された後に反転され、カラーチャネルごとの口径食補正メッシュを生成してもよい。一部の実施形態では、次に、適切なホワイトバランス係数が計算されて補正メッシュに適用され、異なるカラーチャネルのデータを結合するための単一強度のメッシュ（効果的にホワイトバランス調整された口径食補正メッシュ）を計算してもよい。その後、このメッシュは、画像信号プロセッサの出力において捕捉されて維持され得る入力シーンのダイナミックレンジを拡張するために使用されてもよい。一部の実施形態では、事前に較正された口径食補正メッシュが、フレームごとに、ソフトウェアによって変更されるか、又は置換されてもよい。

[0027]図１を参照すると、項目１３０で、強度圧縮曲線が生成される。そのような曲線の例が、下の図６に示されている。強度圧縮曲線を生成するために、最初に極大出力強度が生成されてもよい。極大出力強度を生成するために、画像データ１１０の既定の領域が評価される。領域を評価することは、図３のメッシュ３００などの口径食補正メッシュの一部を、画像データ１１０の一部に適用することを含んでよい。その例が図４に示されている。

[0028]図４は、画像データ１１０の画像部分４１０の評価を、口径食補正メッシュ３００の対応する補正部分４２０と組み合わせて示している。特定の実施例では、口径食補正メッシュ３００の補正部分４２０が、画像データ１１０の画像部分４１０と比較した場合に対応する部分でなくてもよいことが、理解されるであろう。

[0029]図４に示されているように、画像部分４１０及び補正部分４２０が結合されて、補正された画像部分４３０を生成する。補正された画像部分４３０は、画像部分４１０の中心のピクセル４１０ｃの局所的なホワイトレベルを表している。すなわち、この局所的な補正された画像部分は、中心のピクセル４１０ｃでの点光源で表現できる最大強度を表す。

[0030]図５は、画像処理方法１００などの画像処理方法が適用される前の、画像データの強度曲線５００を示している。強度曲線５００は、ｘ軸に沿って入力値の範囲を示し、ｙ軸に沿って出力値の範囲を示しており、出力値は画像信号プロセッサの出力を表している。これらの入力値は、画像センサなどの入力デバイスによって捕捉された、画像データ１１０などの画像データを表している。図５ａに示されているように、入力データ及び出力データは、５１０ａに示されているように、実質的に線形関係を有しているが、一部の実施形態では、入力データ及び出力データが実質的に非線形関係を有してもよいことが、理解されるであろう。入力値及び出力値は、一部の実施例では、１の出力値を超えてよく、１は最大出力である。正規化プロセス中に、５１０ｂに示された関係に従ってｍ’にマッピングされるｍなどの、１を超える出力に概してマッピングされるすべての入力値は、標準的な画像信号プロセッサのパイプライン内で、１に短縮されてもよい。すなわち、ｍの入力値は、点５３０によって示されているように、１に短縮される。このようにして、入力と出力の間の関係は、５１０ａ及び５１０ｃに概して従い、５２０によって表された１の出力値に、変曲点又はニーポイントが存在する。図５に示された補正などの補正は、調整及び／又は補正前の入力画像データと比較したときに、極めて中心を除く入力画像データのすべての位置に存在する情報の損失を概してもたらす。画像の強度が、図５に示されているように短縮されるときに、ハイライトの短縮がもたらされ、したがって、入力画像データに存在していたダイナミックレンジの損失がもたらされる。この損失は、シーンに依存することがあり、入力のダイナミックレンジの維持は、口径食補正の後にこの短縮が発生する場合にのみ、生じることがある。図１の方法１００などの方法は、入力画像データが、画像信号プロセッサの出力において最高のダイナミックレンジの内容を維持できるようにする。

[0031]図６は、前述した画像データ１１０及び口径食補正メッシュ３００の組み合わせに基づいて、図１の方法１００によって生成された強度圧縮曲線６００を示している。

[0032]強度圧縮曲線６００は、ｘ軸に沿って入力値の範囲を示し、ｙ軸に沿って出力値の範囲を示しており、例えば出力値は、画像信号プロセッサによって決定される出力を表してもよい。図５に関して上で説明されたように、これらの入力値は、画像センサなどの入力デバイスによって捕捉された、画像データ１１０などの画像データを表している。出力値は、画像信号プロセッサなどのプロセッサの出力を表している。

[0033]強度圧縮曲線６００に示されている入力は、０から局所的なホワイトレベル（Ｌ）までの入力値の範囲を表し、局所的なホワイトレベルは、中心のピクセル（例えば、３×３領域の中心のピクセル）での点光源で表現できる最大強度を表す。局所的なホワイトレベルＬは、図４に関して前述したように決定されてもよい。局所的なホワイトレベルＬは、６４０に示されたプロセッサ（画像信号プロセッサなど）の最大出力値を表す１の出力値にマッピングされる。強度圧縮曲線６００は、強度曲線の第１の区間６１０ａによって表されているように、入力値が出力値に等しくなるように、入力値が対応する出力値にマッピングされる実質的に線形の区間を含んでよい。第１のセグメント／部分６１０ａは、事前に定義された入力値まで続く。例えば、第１のセグメント６１０ａは、第１の点（すなわち、０）と第２の点６２０の間の入力値を表している。図６に示されている強度圧縮曲線６００などの一部の例では、この第１のセグメント６１０ａは、局所的なホワイトレベルＬの６０％を表してよく、０〜局所的なホワイトレベルＬの間の入力値の少なくとも５０％に適用可能であることが好ましい。ただし、強度圧縮曲線６００の第１のセグメント６１０ａは、入力の任意のパーセンテージに適用可能であってもよい。局所的なホワイトレベル（Ｌ）が、画像データの任意の部分に適用可能であってよく、一部の実施形態では画像センサに依存することが、理解されるであろう。同様に、第１のセグメント６１０ａは、実質的に線形である必要はなく、非線形であってもよい。

[0034]強度圧縮曲線６００の第２のセグメント６１０ｂは、入力値の残りの部分（例えば、図６に示されているように、第２の点６２０と局所的なホワイトレベルＬの間の値）を表す。しかし、他の実施例では、第１のセグメント６１０ａ及び第２のセグメント６１０ｂが、強度圧縮曲線６００の異なる比率を表してもよいことが、理解されるであろう。

[0035]強度圧縮曲線６００の第２の部分６１０ｂは、第２の点６２０を超える値のマッピングを示している。これらの値は、局所的なホワイトレベルＬである最高の値が最大出力（点６４０によって示されている１など）にマッピングされるように、圧縮及び／又はスケーリングされ、第２の点６２０と局所的なホワイトレベルＬの間の残りの値が、点６２０によって示されている出力値と１の出力値の間に収まるように、比例的にスケーリングされる。図６に示されている第２の部分６１０ｂは線形の区間を概して示しているが、第２の部分６１０ｂが非線形であってもよいことが理解されるであろう。

[0036]例えば、図５に関して前述したように、ｍでの入力は、１に概して短縮され、したがって、出力において表される入力のダイナミックレンジを縮小する。図６に示された実施形態では、以て出力の一部がスケーリング及び／又は圧縮され、出力ｍがｍ’にマッピングされ、以てｍ’が１より小さくなる。入力ｍは、強度圧縮曲線の第２の部分６１０ｂを介して、点６３０でｍ’にマッピングされる。第２の点６２０より上の値を、１以下の出力に変換されるようにマッピングすることは、画像の最高のダイナミックレンジの内容が、図５に示された例のように実質的に中心においてだけでなく、ＩＳＰの出力に至るまで、画像全体にわたって維持され得ることを意味する。

[0037]図１に戻ると、項目１４０で、図６の曲線６００などの強度圧縮曲線が、画像データ１１０などの入力画像データのピクセル値を調整して出力を生成するために使用され、出力データが入力画像データ１１０の最大のダイナミックレンジを表すように、出力においてエンコードされる入力ダイナミックレンジが空間的に調整される。この調整は、曲線６００を使用して、特定の入力値に対する出力値を計算することによって実現されてもよい。例えば、入力値ｍは、圧縮曲線６００の第２の部分６１０ｂを使用して、点６３０を介してｍ’にマッピングされる。

[0038]図１の項目１５０で、調整されたピクセル値が出力される。この出力することは、調整された値をシステム（図８に関して下で説明されるシステムなど）のストレージに出力することを含んでよく、又は代替として、調整された値が、ユーザに提示するためのディスプレイ（図示されていない）に出力されてもよい。

[0039]図７は、図１の方法１００などの方法の出力においてエンコードされる画像データの入力ダイナミックレンジを変える方法で使用するためのプロセッサ７００を示している。プロセッサ７００は、中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、画像信号プロセッサ（ＩＳＰ：ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、グラフィックスプロセッシングユニット（ＧＰＵ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、或いはマイクロプロセッサ、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ニューラルネットワークアクセラレータ（ＮＮＡ：ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｃｃｅｌｅｒａｔｏｒ）、ニューラルネットワークプロセッサ（ＮＮＰ：ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｐｒｏｃｅｓｓｏｒ）、又はその他のプログラマブル論理デバイスなどの、代替のプロセッサ、個別のゲート又はトランジスタ論理、個別のハードウェア構成要素、或いは本明細書に記載された機能を実行するように設計された、これらの任意の適切な組み合わせであってもよい。

[0040]プロセッサ７００は、画像データ１１０などの画像データの調整において使用するための構成要素を生成するための生成モジュール７１０を備えている。生成モジュール１１０は、口径食補正メッシュモジュール７２０及び強度圧縮曲線計算モジュール７３０を備えている。

[0041]口径食補正メッシュモジュール７２０は、図３に示されている口径食補正メッシュ３００などの口径食補正メッシュを生成／計算し、画像データ１１０に適用して、図４に示されている調整された出力４３０を生成する。同様に、強度圧縮曲線計算モジュール７３０は、図６に示されている強度圧縮曲線６００などの強度圧縮曲線を生成する。

[0042]次に、メッシュ３００などの口径食補正メッシュ及び曲線６００などの強度補正曲線を含む、生成モジュール７１０によって生成された構成要素が、調整モジュール７４０において処理される。調整モジュール７４０は、強度圧縮曲線６００を、画像データ１１０などの入力画像データに適用し、出力で維持され得る入力の内容のダイナミックレンジを拡張する出力を生成する。

[0043]本明細書に記載された実施例は、図８に概略的に示された画像処理システムなどの画像処理システム８００を使用して、実装されてもよい。

[0044]図８の画像処理システム８００は、前述した画像センサなどの画像センサ８１０を含む。画像センサ８１０で受信された光は、画像データ１１０などの画像データに変換される。画像データは、図７に関して前述されたプロセッサ７００などのプロセッサ７００に転送され、プロセッサ７００は、通常、出力画像の少なくとも一部を表す出力画像データを生成するように構成されている。出力画像データは、エンコーダ８２０を介してエンコードされてから、例えば格納又は追加処理のために、他の構成要素（図示されていない）に転送されてもよい。プロセッサ７００は、前述したように、通常、画像データに対してさまざまな処理を実行して出力画像データを生成するように構成された、複数のモジュール又はユニットを含む。図８のプロセッサ７００などのプロセッサは、中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）、画像信号プロセッサ（ＩＳＰ）、マイクロプロセッサ、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はその他のプログラマブル論理デバイス、個別のゲート又はトランジスタ論理、個別のハードウェア構成要素、或いは本明細書に記載された機能を実行するように設計された、これらの任意の適切な組み合わせを含んでもよい。プロセッサは、例えば、ＤＳＰとマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと連動する１つ又は複数のマイクロプロセッサ、又は任意のその他のそのような構成の組み合わせなどの、コンピューティングデバイスの組み合わせとして実装されてもよい。

[0045]図８の例におけるプロセッサ７００は、口径食補正プロセスを実行し、本明細書に記載されたような出力において維持される入力画像データのダイナミックレンジを拡張するために配置されており、したがって、画像処理システム８００を含むと考えられてもよい。画像処理システム８００において使用するためのデータ、又は画像処理システム８００の一部として生成されたデータが、画像処理システム８００のストレージ８３０に格納されてもよい。ストレージ８３０は、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ−Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリ、及び読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性メモリ、又はフラッシュメモリなどの半導体ドライブ（ＳＳＤ：ｓｏｌｉｄ−ｓｔａｔｅ ｄｒｉｖｅ）のうちの少なくとも１つを含んでもよい。ストレージ８３０は、例えば、画像信号プロセッサ７００によって相対的に高速にアクセスできるオンチップメモリ又はバッファである。ただし他の実施例では、ストレージ８３０は、例えば磁気媒体、光媒体、又はテープ媒体、コンパクトディスク（ＣＤ：ｃｏｍｐａｃｔ ｄｉｓｃ）、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）、或いはその他のデータストレージ媒体などのストレージ媒体をさらに含んでもよい。ストレージ８３０は、画像処理システム８００から取り外し可能であるか、又は取り外し不能である。図８のストレージ８３０は、ストレージ８３０とプロセッサ７００の間でデータを転送できるように、プロセッサ７００に通信によって結合される。例えば、ストレージ８３０は、画像の少なくとも一部を表す画像データ、及び前述した出力データを格納してもよい。

[0046]図８の画像処理システム８００は、画像センサ８１０の特徴又は特性を制御するためのコントローラ８４０も含む。コントローラ８４０は、ハードウェア構成要素又はソフトウェア構成要素或いはハードウェアとソフトウェアの組み合わせを含んでもよい。例えば、コントローラ８４０は、コントローラ８４０の動作を制御するためのソフトウェアを含むファームウェア８４２を含んでもよい。ファームウェア８４２は、コントローラ８４０の不揮発性メモリ又は（コントローラ８４０がアクセスできる）ストレージ８３０に格納されてもよい。図８のコントローラ８４０は、自動画像強調システム８５０も含んでおり、自動画像強調システム８５０は、例えば、画像品質を改善するために画像処理システム８００に対して調整を行う必要があるかどうかを判定する処理を実行するように構成される。例えば、自動画像強調システム８４４は、自動露光モジュール、自動白バランスモジュール、及び／又は自動焦点モジュールを含んでもよい。コントローラ８４０は、画像センサ８１０の動作を制御するためのドライバ８４６も含む。

[0047]出力において表され得る画像データのダイナミックレンジを拡張する口径食補正プロセスは、コントローラ８４０のハードウェア又はプロセッサ７００のハードウェアなどのハードウェアを使用して実行されてもよい。

[0048]前述した実施例における処理ステップの順序は、単なる例である。他の実施例では、これらの処理ステップは、異なる順序で実行されてもよい。

[0049]いずれか１つの実施例に関して説明された任意の特徴が、単独で、又は説明された他の特徴と組み合わせて使用されてもよく、任意の他の実施例、又は任意の他の実施例の任意の組み合わせの１つ又は複数の特徴と組み合わせて使用されてもよいことが、理解されるべきである。さらに、前述されていない同等のもの及び変更が、添付の特許請求の範囲を逸脱することなく採用されてもよい。
［符号の説明］
１００ 方法、画像処理方法
１１０ 画像データ
２１０ 領域
３００ 口径食補正メッシュ、メッシュ
３１０ａ 領域
３１０ｂ 領域
３１０ｃ 領域
３２０ 領域
４１０ 画像部分
４１０ｃ 中心のピクセル
４２０ 補正部分
４３０ 補正された画像部分、調整された出力
５００ 強度曲線
５２０ 点
５３０ 点
６００ 強度圧縮曲線
６１０ａ 第１の区間、第１のセグメント／部分、第１のセグメント
６１０ｂ 第２のセグメント、第２の部分
６２０ 第２の点、点
６３０ 点
６４０ 点
７００ プロセッサ
７１０ 生成モジュール
７２０ 口径食補正メッシュモジュール
７３０ 強度圧縮曲線計算モジュール
７４０ 調整モジュール
８００ 画像処理システム
８１０ 画像センサ
８２０ エンコーダ
８３０ ストレージ
８４０ コントローラ
８４２ ファームウェア
８４４ 自動画像強調システム
８４６ ドライバ

Claims (18)

1. ダイナミックレンジを維持する方法であって、
   画像データの口径食補正メッシュを取得するステップと、
   強度圧縮曲線を生成するステップであって、該強度圧縮曲線が、前記口径食補正メッシュに基づき１つ又は複数のセグメントを含む、ステップと、
   前記強度圧縮曲線及び前記口径食補正メッシュに従って前記画像データの一部のピクセル値を調整するステップと、
   を含む、ダイナミックレンジを維持する方法。
2. 前記口径食補正メッシュが、事前に較正された入力であるか、又は画像信号プロセッサによって使用される近似に基づく、請求項１に記載のダイナミックレンジを維持する方法。
3. 前記画像データの前記口径食補正メッシュを生成するステップが、ホワイトバランス情報を使用することを含む、請求項１又は２に記載のダイナミックレンジを維持する方法。
4. 前記強度圧縮曲線を生成するステップが、前記補正メッシュを使用して、前記画像データの前記一部における局所的な強度レベルを生成することを含む、請求項１に記載のダイナミックレンジを維持する方法。
5. 前記強度圧縮曲線を生成する前記ステップが、前記画像の前記局所的な強度レベルが既定の最大出力よりいつ大きくなるかを決定することを含む、請求項４に記載のダイナミックレンジを維持する方法。
6. 前記既定の最大出力が、画像信号プロセッサの前記最大出力である、請求項５に記載のダイナミックレンジを維持する方法。
7. 前記強度圧縮曲線を生成するステップが、前記最大ダイナミックレンジを調整することを含む、請求項１〜６のいずれか一項に記載のダイナミックレンジを維持する方法。
8. 前記強度圧縮曲線が第１の線形セグメントを含む、請求項１〜６のいずれか一項に記載のダイナミックレンジを維持する方法。
9. 前記第１の線形セグメントが、前記画像データの大部分に当てはまる、請求項８に記載のダイナミックレンジを維持する方法。
10. 前記第１の線形セグメントの上限値を定義する上側しきい値を決定するステップを含む、請求項８又は９に記載のダイナミックレンジを維持する方法。
11. 前記上側しきい値が、前記最大出力強度の関数として定義される、請求項１０に記載のダイナミックレンジを維持する方法。
12. 前記口径食補正メッシュの前記適用後に、ピクセルの実際の出力強度を計算するステップを含む、請求項１〜１１のいずれか一項に記載のダイナミックレンジを維持する方法。
13. 前記口径食補正メッシュを適用する前記ステップが、ピクセル強度を計算することを含む、請求項１〜１２のいずれか一項に記載のダイナミックレンジを維持する方法。
14. ピクセル値を調整する前記ステップが、前記ピクセルの前記実際の出力強度を前記上側しきい値と下側しきい値の間の値にマッピングするために前記ピクセルに適用される利得を決定することを含む、請求項１３に記載のダイナミックレンジを維持する方法。
15. ダイナミックレンジを維持するためのプロセッサであって、
    口径食補正メッシュ及び入力画像データの強度圧縮曲線を生成するための生成モジュールと、
    前記口径食補正メッシュ及び強度圧縮曲線に従って前記入力画像データのピクセル値を調整するための調整モジュールと、
    を備えており、
    前記強度圧縮曲線が、前記極大強度レベル及び前記口径食補正メッシュに基づく、ダイナミックレンジを維持するためのプロセッサ。
16. 前記プロセッサが、画像信号プロセッサである、請求項１５に記載のダイナミックレンジを維持するためのプロセッサ。
17. 画像処理システムであって、
    画像データの少なくとも一部を表す画像データを格納するためのストレージと、
    ダイナミックレンジ調整システムと、
    を備えている画像処理システムであって、前記ダイナミックレンジ調整システムが、
    前記画像データの前記一部を処理することと、
    前記一部の口径食補正メッシュ、極大強度レベル、及び強度圧縮曲線を取得することと、
    前記口径食補正メッシュを画像データの前記一部に適用することと、
    前記口径食補正メッシュ及び強度圧縮曲線に従って画像データの前記一部のピクセル値を調整することと、
    を実行するよう機能し、
    前記強度圧縮曲線が、前記極大強度レベル及び前記口径食補正メッシュに基づく、画像処理システム。
18. コンピュータ可読命令のセットを格納し含む非一時的コンピュータ可読ストレージ媒体であって、前記コンピュータ可読命令のセットが、少なくとも１つのプロセッサによって実行されたときに、前記少なくとも１つのプロセッサに、画像データのダイナミックレンジを維持させ、前記命令が、
    前記画像データの口径食補正メッシュを取得することと、
    強度圧縮曲線を生成することであって、該強度圧縮曲線が、前記口径食補正メッシュに基づき前記強度圧縮曲線が１つ又は複数のセグメントを含む、ことと、
    前記強度圧縮曲線及び口径食補正メッシュに従って前記画像データの一部のピクセル値を調整することと、
    を含む、非一時的コンピュータ可読ストレージ媒体。