JP2013527730A - 適応レンズシェーディング補正 - Google Patents

Abstract

レンズシェーディング補正をイメージセンサで取得したイメージデータに適用するシステム、方法、及び装置が提供される。１つの実施形態において、各々が基準光源に対する色チャンネルの応答に基づいてモデル化される、複数のレンズシェーディング適応関数が提供される。イメージデータからのイメージフレームは、現在の光源に最も一致する基準光源に対応するレンズシェーディング適応関数を選択するために解析することができる。選択したレンズシェーディング機能は、次に、レンズシェーディングパラメータセットを調整するために使用することができる。
【選択図】図２４

Description

本開示は、全体的にはイメージ処理に関し、詳細にはＲＡＷイメージデータを途中で捕まえて処理することに関する。

本セクションは、読者に以下に説明され請求項に記載される本開示の種々の態様に関連する技術分野の種々の態様を紹介するものである。本考察は、読者に本開示の種々の態様の深い理解を容易にする背景情報を提供する助けになるはずである。従って、これらの説明はこの観点で読むこと及び従来技術の自認ではないことを理解されたい。

多くの電子デバイスは、カメラ又は他のイメージ取得デバイスを含む。これらのイメージ取得デバイスは、処理イメージとして保存される前に又は電子デバイス上に表示される前に処理できるＲＡＷイメージデータフレームを出力できる。効率の観点から、多くの電子デバイスは、このようなＲＡＷイメージデータをイメージ信号処理装置（ＩＳＰ）等の専用イメージ処理パイプラインで処理できる。

専用イメージ処理パイプラインを制御するための多くのパラメータは、処理されるイメージデータフレームに関連する統計データに基づいて決定することができる。しかしながら、統計データは、ＲＡＷイメージデータフレームが部分的に処理された後でのみ決定できるので、専用イメージ処理パイプラインの初期ステージに関する制御パラメータは、最新のイメージデータフレームではなく、イメージデータフレームからの統計データに基づいて決定できる。従って、場合によっては、ハードウェアパイプラインの初期ステップは、周期的変動及び不正確性によって誤較正される可能性があり、結果として得られたイメージは満足できない場合がある。更に、ハードウェアパイプラインの初期ステップが適切に較正されても、結果として得られたイメージは他の理由で満足できない場合がある。それにもかかわらず、唯一の救済手段は後処理を不満足にする場合がある。

本明細書に開示する特定の実施形態を以下に説明する。これらの態様は読者に対してこの特定の実施形態の概要を単に示すものであり、この態様は、本開示の範囲を限定することは意図されていないことを理解されたい。実際には、本開示は、以下に説明する種々の態様を包含することができる。

本開示の実施形態は、電子デバイスの主イメージ処理及び代替イメージ処理機能によるＲＡＷイメージデータのデュアル処理のためのシステム、方法、及び装置に関する。１つの実施形態によれば、代替イメージ処理は、ＲＡＷイメージデータフレームの第２のコピーが主イメージ処理で処理される前に、ＲＡＷイメージデータフレームの第１のコピーを解析することができる。その後、主イメージ処理は、ＲＡＷイメージのフレームの第２のコピーを処理することができる。主イメージ処理は、ＲＡＷイメージデータフレームの第１のコピーの解析の少なくとも一部に基づいて較正することができる。このフィードフォワード処理技術は、黒レベル補償、レンズシェーディング補正、及び欠陥ピクセルマッピング等の種々のイメージ処理機能に利用することができる。

前述の特徴の種々の改良例は、本開示の実施形態との関連で存在する。また、同様に他の特徴は、種々の実施形態に組み入れることができる。改良例及び追加の特徴は、個別に又は何らかの組み合わせで存在することができる。例えば、１つ又はそれ以上の実施形態に関連する以下に記載の種々の特徴は、単独で又は何らかの組み合わせで他の開示された実施形態に組み込むことができる。同様に、前述の発明の概要は、請求項の主題を限定することなく、読者が本開示の実施形態の特定の態様及び関連事項をよく理解できるようにするものである。

本開示の種々の態様は、添付図面を参照して以下の詳細な説明を読むことで十分に理解できるはずである。

特定の実施形態による、本明細書に開示される技術を実行可能な電子デバイスのブロック図である。 図１の電子デバイスのイメージ取得デバイスにより実施できるＢａｙｅｒカラーフィルタアレイの２ｘ２ピクセルブロックを示す図である。 図１の電子デバイスの実施形態を表す携帯型電子デバイスの前面図である。 図１の電子デバイスの実施形態を表す携帯型電子デバイスの背面図である。 特定の実施形態による、図１の電子デバイスを用いて行うことができるイメージ処理の概略ブロック図である。 特定の実施形態による、図１の電子デバイス内で行うことができるイメージ処理の別の概略ブロック図である。 代替イメージ処理からのＲＡＷイメージデータ解析を用いて、主イメージ処理を較正するための方法の実施形態を説明するフローチャートである。 代替イメージ処理からのＲＡＷイメージデータ解析を用いて、主イメージ処理を較正するための方法の実施形態を説明するフローチャートである。 特定の実施形態による、フィードフォワード・黒レベル補償を行うためのイメージ処理システムのである。 特定の実施形態による、ソフトウェア、ファームウェア、及びハードウェアパイプラインを含む、図９のイメージ処理システムの３層アーキテクチャを概略示す。 １つの実施形態による、フレームに黒レベル補償を適用する方法を示すフローチャートである。 特定の実施形態による、基準フレームに対してソフトウェア解析を行って、基準フレームのイメージデータにおける推定黒レベルシフトを決定するためのフローチャートである。 １つの実施形態による、基準フレームの黒レベルシフトに基づいて追加フレームの黒レベルシフトを決定するためのフローチャートである 従来のイメージングデバイスのレンズに関する光強度−ピクセル位置を図示する３次元プロファイルを示す。 レンズシェーディングゲインセットを規定するゲイン格子を示す。 本開示の態様によるレンズシェーディング補正を行う場合に、図１４に示す光強度特性を呈するイメージに適用できる、レンズシェーディングゲイン値を示す３次元プロファイルである。 本開示の態様によるレンズシェーディング補正を適用するように構成されたイメージ信号処理（ＩＳＰ）システムを示すブロック図である。 各タイプの基準光源に関する赤色、青色、及び緑色の色チャンネルのレンズシェーディング減少曲線を示す。 各タイプの基準光源に関する赤色、青色、及び緑色の色チャンネルのレンズシェーディング減少曲線を示す。 各タイプの基準光源に関する赤色、青色、及び緑色の色チャンネルのレンズシェーディング減少曲線を示す。 各タイプの基準光源に関する赤色、青色、及び緑色の色チャンネルのレンズシェーディング減少曲線を示す。 図１８から図２２に示す基準光源の各々に関するレンズシェーディング適応曲線を示すグラフである。 １つの実施形態による、現在の光源に基づいてレンズシェーディング補正パラメータを適合させるための処理を示すフローチャートである。 １つの実施形態による、現在の光源に基づいてレンズシェーディング適応関数を選択するための処理を示すフローチャートである。 １つの実施形態による、基準イメージフレームのサブセット内の平均色値を決定するための技術を示す。 １つの実施形態による、選択レンズシェーディング適応曲線を図１７のＩＳＰシステムに適用するための処理を示す。 １つの実施形態による、選択レンズシェーディング適応曲線を図１７のＩＳＰシステムに適用するための処理を示す。 主イメージ処理を実行する前に欠陥ピクセルマップを補正するための方法の 実施形態を説明するフローチャートである。 主イメージ処理が満足できない結果を生成した場合に、イメージを再処理するための方法の実施形態を説明するフローチャートである。

１つ以上の特定の実施形態について以下に説明する。これらの例示的な実施形態を簡潔に説明するために、実際の実現例の全ての特徴が明細書において説明されてはいない。そのようないかなる実際の実現例の開発時にも、どのようなエンジニアリング又は設計プロジェクトとも同様に、実現例毎に異なるシステム関連又はビジネス関連の制約に準拠すること等の開発者の特定の目的を達成するために実現例固有の多くの決定がされる必要があることが理解されるべきである。更にそのような開発努力は、複雑であり且つ時間がかかるが、本発明の利益を有する当業者には設計、組立及び製造の日常的な業務であることが理解されるべきである。

本実施形態は、電子デバイスの主イメージ処理及び代替イメージ処理機能によるＲＡＷイメージデータのデュアル処理に関する。特定の実施形態において、この取得ＲＡＷイメージデータは、イメージ信号処理装置（ＩＳＰ）とすることができる、主イメージ処理に関するフィードフォワード制御パラメータを生成するために使用できる。例示的に、周期的に又は要求に応じて（例えば、主イメージ処理が誤較正されると予期される場合）、特定の代替イメージ処理は、途中で捕まえたＲＡＷイメージデータを解析することができる。この代替イメージ処理は、例えば、異なるＩＳＰ又は汎用プロセッサ上で作動するソフトウェアを含むことができる。ＲＡＷイメージデータの解析に基づいて、主イメージ処理を制御するための更新制御パラメータを作成して、主イメージ処理に送信することができる。その後、主イメージ処理は、更新制御パラメータに従ってＲＡＷイメージデータを処理することができる。例えば、このようなフィードフォワード制御は、１つ又はそれ以上の黒レベル補償、レンズシェーディング補償、又は他の主イメージ処理が行う補正動作に関連して使用できる。

特定の実施形態は、取得ＲＡＷイメージデータを他の目的で用いることができる。例えば、ＲＡＷイメージデータは、ＲＡＷイメージデータを主イメージ処理によって処理した後では検出が難しい新しい欠陥ピクセルに関して周期的に解析できる。また、特定の実施形態において、ＲＡＷイメージデータは、主イメージ処理が基準を満たしていないイメージを生成した場合に代替イメージ処理が再処理できるように、主イメージ処理の発生時に記憶することができる。更に他の実施形態において、代替イメージ処理は、主イメージ処理と並行してＲＡＷイメージデータを処理して、ユーザが選択できるイメージを生成できる。

前述のことを考慮して、本開示技術を実行するための適切な電子デバイスの概略的な説明を以下に行う。詳細には、図１は、本技術と共に使用するのに適する電子デバイスに存在できる種々の構成要素を示すブロック図である。図２及び３は、それぞれ適切な電子デバイスの正面及び背面を示し、図示のように、イメージ取得デバイス、主イメージ処理機能、及び特定の代替イメージ処理性能を有する携帯型電子デバイスとすることができる。

まず図１に戻って、本開示技術を実行する電子デバイス１０は、特に、１つ又はそれ以上のプロセッサ１２、メモリ１４、不揮発性記憶装置１６、表示装置１８、１つ又はそれ以上のイメージ取得デバイス２０、ストロボ２２、主イメージ処理２４、入力／出力（Ｉ／Ｏ）インタフェース２６、ネットワークインタフェース２８、入力構成３０、及び電源３２を含む。図１の種々の機能ブロックは、ハードウェア要素（回路を含む）、ソフトウェア要素（非一時的コンピュータ可読媒体に記憶されるコンピュータコードを含む）、又はハードウェア及びソフトウェア要素の組み合わせを含むことができる。更に、図１は単に特定の実施例の一例であり、電子デバイス１０に存在できる構成要素の各形式の例示が意図されていることに留意されたい。

例示的に、電子デバイス１０は、図３に示す携帯型デバイス、又は同様のイメージ処理機能を有するデスクトップ又はノートブックコンピュータ等の類似のデバイスのブロック図を表すことができる。主イメージ処理２４ブロック、プロセッサ１２、及び／又は他のデータ処理回路は、本明細書では一般に「データ処理回路」と呼ぶことに留意されたい。このようなデータ処理回路は、ソフトウェア、ファームウェア、ハードウェア、又はこれらの組み合わせとして完全に又は部分的に組み込むことができる。更に、データ処理回路は、単一の内蔵処理モジュールとすること、又は電子デバイス１０内の何らかの他の要素内に完全に又は部分的に組み込むことができる。追加的に又は他の方法として、データ処理回路は、電子デバイス１０内に部分的に組み込むこと、及びデバイス１０に接続される他の電子デバイス内に組み込むことができる。

図１の電子デバイス１０において、プロセッサ１２及び／又は他のデータ処理回路は、メモリ１４及び不揮発性記憶装置１６に動作可能に接続し、本開示技術を実施するための種々のアルゴリズムを実行できる。これらのアルゴリズムは、プロセッサ１２及び／又は他のデータ処理回路で実行可能な特定の命令に基づいて、プロセッサ１２及び／又は他のデータ処理回路（例えば、主イメージ処理２４に関連するファームウェア又はソフトウェア）で実行できる。このような命令は、命令を少なくとも集合的に記憶ための１つ又はそれ以上の有形のコンピュータ可読媒体を含む、適切な製造物品を用いて記憶できる。製造物品は、例えば、メモリ１４及び／又は不揮発性記憶装置１６を含むことができる。メモリ１４及び不揮発性記憶装置１６は、データ及び実行可能命令を記憶するためのランダムアクセスメモリ、リードオンリーメモリ、書き換え可能フラッシュメモリ、ハードドライブ、及び光ディスク等の任意の適切な製造物品を含むことができる。

イメージ取得デバイス２０は、一般に、周辺光に基づいて光景のＲＡＷイメージデータフレームを取得することができる。周辺光だけでは不十分な場合、ストロボ２２（例えば、発光ダイオード（ＬＥＤ）又はキセノンストロボフラッシュデバイス）は、イメージ取得デバイス２０がＲＡＷイメージデータフレームを取得する間に一時的に光景を照らすことができる。いずれの場合も、イメージ取得デバイス２０からのＲＡＷイメージデータフレームは、メモリ１４又は不揮発性記憶装置１６に記憶する前に又は表示装置１８に表示する前に処理できる。

詳細には、例示的なイメージ取得デバイス２０は、静止画及び動画（例えば、ビデオ）を取得するように構成されたデジタルカメラとして設けることができる。このようなイメージ取得デバイス２０は、レンズ及び光を取得して電気信号に変換するようになっている１つ又はそれ以上のイメージセンサを含むことができる。例示的に、イメージセンサは、ＣＭＯＳイメージセンサ（例えば、ＣＭＯＳ能動ピクセルセンサ（ＡＰＳ））又はＣＣＤ（電荷結合素子）センサを含むことができる。一般に、イメージ取得デバイス２０のイメージセンサは、ピクセルアレイを有する半導体を含み、各ピクセルは、光を検出する光検出器を含む。当業者であれば理解できるように、光検出器は、一般に画像ピクセルにおいてカメラレンズから取り込んだ光の強度を検出する。しかしながら、光検出器自体は、一般に取り込んだ光の波長を検出できないので、色情報を特定することはできない。

従って、イメージセンサは、イメージセンサのピクセルアレイに重ね合わせて、又はその上に配置されるカラーフィルタアレイ（ＣＦＡ）を更に含み色情報を取得するようになっている。カラーフィルタアレイは、小型カラーフィルタアレイを含み、各々はイメージセンサのそれぞれのピクセルと重なって、取り込んだ光を波長でフィルタ処理することができる。従って、接近して使用する場合、カラーフィルタアレイ及び光検出器は、取得したイメージを表すことができる、カメラで取り込んだ光に関する波長情報及び強度情報を提供できる。

１つの実施形態において、カラーフィルタアレイは、Ｂａｙｅｒカラーフィルタアレイを含むことができ、これは５０％緑色成分、２５％赤色成分、及び２５％青色成分であるフィルタパターンを提供する。例えば、図２は、２つの緑色成分（Ｇｒ及びＧｂ）、１つの赤色成分（Ｒ）、及び１つの青色成分（Ｂ）を含むＢａｙｅｒ ＣＦＡの２ｘ２ピクセルブロックを示す。つまり、Ｂａｙｅｒカラーフィルタアレイを利用するイメージセンサは、緑色、赤色、及び青色波長でのイメージ取得デバイス２０から受け取った光強度に関する情報を提供できるので、各イメージピクセルは、３色（ＲＧＢ）のうちの１つだけを記録する。この情報は「ＲＡＷイメージデータ」又は「ＲＡＷドメイン」データと呼ぶことができ、１つ又はそれ以上のデモザイク技術を用いて処理して、各ピクセルに関する赤色、緑色、及び青色値セットを補間することでＲＡＷイメージデータをフルカラーイメージに変換できる。以下に説明するように、このようなデモザイク技術は、主イメージ処理２４で行うことができる。

イメージ取得デバイス２０からのＲＡＷイメージデータのフレームは、主イメージ処理２４に入力して処理することができる。特定の実施形態において、主イメージ処理２４は、Ｓａｍｓｕｎｇ社から入手可能なイメージ信号処理装置（ＩＳＰ）を含むことができる、専用ハードウェアイメージ処理パイプラインを含むことができる。また、以下に説明するように、イメージ取得デバイス２０からのＲＡＷイメージデータは、電子デバイス１０の代替イメージ処理機能でもアクセスできる、メモリ１４のフレームバッファに格納することができる。本明細書で用いる場合、用語「代替イメージ処理」は、主イメージ処理２４以外で行われるイメージ処理を意味し、主イメージ処理２４での処理の代わりに又はこれに加えて行われるイメージ処理を含む。結果的に、この用語は、本明細書の種々の実施例で説明するように、主イメージ処理２４によるイメージデータ処理以外で行われるが、これをサポートする処理を含む。

このような電子デバイス１０の代替イメージ処理機能は、例えば、プロセッサ１２のソフトウェア上で作動するイメージ処理又はイメージ解析を含むことができる。追加的に又は他の方法として、電子デバイス１０の代替イメージ処理機能は、特定の特性に関してＲＡＷイメージデータを解析できる他のハードウェア又はファームウェアを含むことができる。例示的に、代替イメージ処理機能は、イメージ取得デバイス２０からのＲＡＷイメージデータフレームの解析を含むフレーム解析を含むことができる。このフレーム解析は、ＲＡＷイメージデータを主イメージ処理２４によってどのように処理すべきかに影響を与える場合がある、ＲＡＷイメージデータの特定の特性を示すことができる。

従って、特定の実施形態において、電子デバイス１０の代替イメージ処理機能は、主イメージ処理２４に関する特定のフィードフォワード制御パラメータを生成できる。詳細には、周期的に又は要求に応じて（主イメージ処理２４の特定のステージで誤較正が予期される場合）、代替イメージ処理のフレーム解析をＲＡＷイメージデータに関して行うことができる。フレーム解析に基づいて、特定の主イメージ処理２４の制御パラメータを生成して主イメージ処理２４に提供することができる。その後、主イメージ処理２４は、新しく決定した制御パラメータに従って同じＲＡＷイメージデータを処理できる。以下に詳細に説明するように、これらの制御パラメータは、例えば、主イメージ処理２４の初期に生じる黒レベル及び／又はレンズシェーディング補正用のパラメータを含むことができる。

ネットワークインタフェース２８と同様、Ｉ／Ｏインタフェース２６により、電子デバイス１０は種々の他の電子デバイスとインタフェース接続できる。ネットワークインタフェース２８は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワーク等のパーソナルエリアネットワーク（ＰＡＮ）向けインタフェース、８０２．１ ｌｘ Ｗｉ−Ｆｉネットワーク等のローカルエリアネットワーク（ＬＡＮ）向けインタフェース、及び／又は３Ｇ又は４Ｇセルラネットワーク等の広域ネットワーク（ＷＡＮ）向けインタフェースを含むことができる。電子デバイス１０は、ネットワークインタフェース２８経由で、ストロボ２２を含むことができる他のデバイスとインタフェース接続することができる。電子デバイス１０の入力構成３０により、ユーザは電子デバイス１０と対話することができる（例えば、物理的又は仮想的ボタンを押してイメージ取得シーケンスを起動する）。電子デバイス１０の電源３２は、充電式リチウムポリマー（Ｌｉ−ｐｏｌｙ）バッテリ及び／又は交流（ＡＣ）電力コンバータ等の任意の適切な電源とすることができる。

図３及び４は、携帯型デバイス３４の前面図及び背面図を示し、電子デバイス１０の１つの実施形態を表す。携帯型デバイス３４は、例えば、携帯電話、メディアプレイヤ、個人情報端末、携帯ゲーム機、又はこのようなデバイスの任意の組み合わせとすることができる。例示的に、携帯型デバイス３４は、米国カルフォルニア州クパチーノ所在のＡｐｐｌｅ社から入手可能なモデルｉＰｏｄ（登録商標）又はｉＰｈｏｎｅ（登録商標）とすることができる。電子デバイス１０の他の実施形態として、Ａｐｐｌｅ社から入手可能な、例えば、ＭａｃＢｏｏｋ（登録商標）、ＭａｃＢｏｏｋ（登録商標）Ｐｒｏ、ＭａｃＢｏｏｋ Ａｉｒ（登録商標）、ｉＭａｃ（登録商標）、Ｍａｃ（登録商標）ｍｉｎｉ、又はＭａｃ Ｐｒｏ（登録商標）等のコンピュータを含み得ることを理解されたい。別の実施形態において、電子デバイス１０は、Ａｐｐｌｅ社から入手可能なｉＰａｄ（登録商標）等のタブレットコンピュータ装置とすることができる。

携帯型デバイス３４は、内部の構成要素を物理的損傷から保護すると共に電磁波妨害から遮蔽するためのエンクロージャ３６を含むことができる。エンクロージャ３６は、指示アイコン３８を表示できる表示装置１８を取り囲むことができる。指示アイコン３８は、特に、携帯電話信号強度、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続、及び／又は電池寿命を示すことができる。Ｉ／Ｏインタフェース２６は、エンクロージャ３６を貫いて開くことができ、外部デバイスと接続するための例えば、Ａｐｐｌｅ社の専用Ｉ／Ｏポートを含むことができる。図４に示すように、携帯型デバイス３４の背面には、イメージ取得デバイス２０及びストロボ２２を備えることができる。

ユーザ入力構成４０、４２、４４、及び４６、並びに表示装置１８によって、ユーザは、携帯型デバイス３４を制御できる。例えば、入力構成４０により携帯型デバイス３４をアクティブ又は非アクティブにでき、入力構成４２によりユーザインタフェース２０をホーム画面、ユーザ設定できるアプリケーション画面にナビゲートすることができ、及び／又は携帯型デバイス３４の音声認識機能をアクティブにすることができ、入力構成４４により音量制御でき、入力構成４６により、振動モードと着信音モードとの間を切替えることができる。マイクロフォン４８により、種々の音声関連機能のためにユーザの音声を入力できる、スピーカ５０により、オーディオ再生及び／又は特定の電話機能を実現できる。ヘッドフォン入力５２により、外部スピーカ及び／又はヘッドフォンに接続できる。

図５に示すように、電子デバイス１０のイメージ取得デバイス２０がＲＡＷイメージデータを取得すると、このＲＡＷイメージデータは、表示装置１８に表示する前に又はメモリ１４に格納する前に主イメージ処理２４に送ることができる。しかしながら、周期的に、又は主イメージ処理２４の特定のステージで誤較正が予期される場合に、ＲＡＷイメージデータは、メモリ１４に格納することもできる。ＲＡＷイメージデータを格納できるメモリ１４は、電子デバイス１０のメインメモリ、不揮発性記憶装置１６の一部とすることができ、又は電子デバイス１０内の別個の専用メモリとすることができる。ＲＡＷイメージデータを格納できるメモリ１４は、ダイレクトメモリアクセス（ＤＭＡ）機能を含むことができる。例えば、イメージ取得デバイス２０に関連する制御装置、イメージ処理回路２４、又はメモリ１４は、オンデマンドでメモリ１４に格納されることになるイメージ取得デバイス２０からのＲＡＷイメージデータの特定のフレームをもたらすことができる。例えば、プロセッサ１２上で作動するイメージ処理又はイメージ解析ソフトウェア、又は特定のイメージ解析機能を備えた他のハードウェア又はファームウェアを含むことができる代替イメージ処理５６（図５）は、その後、ＲＡＷイメージデータにアクセスできる。もしくは、イメージ取得デバイス２０からの新しいＲＡＷイメージデータフレームの各々をメモリ１４に送ることができるが、代替イメージ処理５６がオンデマンドでアクセスできるだけである。

代替イメージ処理５６は、主イメージ処理２４と異なることができる。例えば、前述のように、主イメージ処理２４はハードウェアイメージ処理を含むことができ、代替イメージ処理５６はソフトウェアイメージ処理を含むことができる。換言すれば、主イメージ処理２４は、イメージ信号処理装置（ＩＳＰ）等の第１のプロセッサで行うことができるが、代替イメージ処理５６は、用プロセッサ又は特定の処理装置（ＣＰＵ）等の第２のプロセッサで行うことができる。特定の実施形態において、代替イメージ処理５６は、異なる機能を有する又は主イメージ処理２４とは異なる制御パラメータに応じて作動できる、代替的なハードウェアイメージ処理パイプラインとすることができる。

更に、主イメージ処理２４及び代替イメージ処理５６は、異なる機能をもつことができる。特定の実施形態において、主イメージ処理２４は効率を高くすることができるが、代替イメージ処理５６は柔軟性を高くすることができる。主イメージ処理２４がイメージ信号処理装置（ＩＳＰ）等のハードウェアイメージ処理パイプラインを含み、代替イメージ処理５６が１つ又はそれ以上のプロセッサ１２上で作動するソフトウェアイメージ処理を含む場合、主イメージ処理２４は、代替イメージ処理５６に比べて消費するリソースが少ない。つまり、主イメージ処理２４は、一般に電子デバイス１０のイメージ処理の第一選択とすることができる。しかしながら、主イメージ処理２４の機能は制限されるので及び／又は周期的に誤較正されるので、代替イメージ処理５６が多くのリソースを消費することは時には正当化できる。他方で、代替イメージ処理５６がソフトウェアを含む場合、代替イメージ処理５６は、主イメージ処理２４よりも多くのイメージ処理技術及び／又は大きなメモリにアクセスする必要がある。従って、周期的に、又は主イメージ処理２４の特定のステージで誤較正が予期される場合に、代替イメージ処理５６はこれらのリソースを使用して、主イメージ処理２４がＲＡＷイメージデータフレームを処理する前に、ＲＡＷイメージデータのフレームを解析することができる。この解析から、代替イメージ処理５６及び／又は主イメージ処理２４は、フィードフォワードパラメータを作成して、主イメージ処理２４の特定の態様を制御することができる。フィードフォワード制御パラメータは、主イメージ処理２４によって処理されることになるのと同じＲＡＷイメージデータに基づいて決定できるので、これらのフィードフォワード制御パラメータは、以前のイメージデータフレームに基づくフィードバック制御パラメータよりも正確である。

前述のように、代替イメージ処理５６は、ＲＡＷイメージデータを主イメージ処理２４で処理する前に事前解析できる。このＲＡＷイメージデータの事前解析に基づいて、主イメージ処理２４の特定の制御パラメータを作成できる。追加的に又は他の方法として、主イメージ処理２４が満足できない結果を生成する場合又は生成することが予期される場合には、代替イメージ処理５６は、ＲＡＷイメージデータを処理して最終的な処理イメージを生成できる。特に、代替イメージ処理５６は、主イメージ処理２４とは異なる最終処理イメージを提供できるので、代替イメージ処理５６は、主イメージ処理２４が満足できる最終処理イメージを生成できない場合に使用できる。従って、主イメージ処理２４が満足できる処理イメージを生成できないことが予期される場合、代替イメージ処理５６は、主イメージ処理２４に代わって、又はこれと共にＲＡＷイメージデータを処理できる。同様に、主イメージ処理２４が満足できない最終イメージを生じる場合、代替イメージ処理５６は、ＲＡＷイメージデータを処理して新しい最終イメージを生成するために使用できる。従って、特定の実施形態において、代替イメージ処理５６の結果はメモリ１４に格納できるか又は表示装置１８に表示できる。

図６に示すように、特定の実施形態において、主イメージ処理２４は、一次イメージ処理５８、イメージ統計データエンジン６０、及び二次イメージ処理６２を含むことができる。主イメージ処理２４の構成要素５８−６２及びイメージ取得デバイス２０は、ハードウェア６４内に実装できる。一般に、一次イメージ処理５８は、イメージ取得デバイス２０からＲＡＷイメージデータフレームを受信して黒レベル補正及びレンズシェーディング補正等の特定の初期の処理技術を実行することができる。一次イメージ処理５８が初期のイメージデータフレームの処理を行うと、統計データエンジン６０は、現在のイメージデータフレームに関する特定の統計データを特定できる。これらの統計データエンジン６０からの統計データは、ハードウェア６４、ソフトウェア６６、及び／又はファームウェア６８で利用できる。代替イメージ処理５６が未使用である場合、現在のイメージデータフレームを集めた統計データは使用でき（例えば、ハードウェア６４又はファームウェア６８で）、将来のイメージデータフレームの一次イメージ処理５８に関する制御パラメータを特定することができる。従って、一次イメージ処理５８は、現在のイメージデータフレームに関するイメージ統計データを統計データエンジン６０から受け取り得る前に発生できるので、代替イメージ処理５６が未使用の場合、一次イメージ処理５８は、通常、フィードバックに基づいて少なくとも部分的に制御できる。

一次イメージ処理５８の後で、二次イメージ処理６２は、次のイメージ処理技術を実行できる。例示的に、二次イメージ処理６２は、特に、現在のイメージデータフレームのホワイトバランス処理及びデモザイク処理を含む。二次イメージ処理６２は、イメージ統計データが統計データエンジン６０で特定できた後で行うことができるので、二次イメージ処理６２は、現在のイメージデータフレームに基づいて作成した（例えば、ハードウェア６４又はファームウェア６８を用いて）制御パラメータによって少なくとも部分的に制御できる。このような方法で、二次イメージ処理６２は、一次イメージ処理５８と同じ方法で、以前処理したイメージデータフレームからのフィードバックに依存しない。

周期的に、又は統計データエンジン６０からの統計データが一次イメージ処理５８において将来のデータフレームが誤較正されることを示す場合に、代替イメージ処理５６を使用できる。図６に示す実施形態において、代替イメージ処理５６は、ソフトウェア６６に実装される。ソフトウェア６６はプロセッサ１２上で作動できる。ソフトウェア６６が未使用の場合、プロセッサ１２の全て又は一部は、少なくとも部分的に非アクティブであり電力消費が僅かである。特定の実施形態において、ソフトウェア６６は、特定の縮小命令セットコンピュータ（ＲＩＳＣ）アーキテクチャ等の特定の汎用プロセッサ設計を利用できる。例示的に、特定の実施形態は、特定の並行イメージ処理（例えば、並行ローパスフィルタ処理等）を可能にする、ＡＲＭ（登録商標）のＮＥＯＮ（商標）アーキテクチャ等の単一命令複数データ（ＳＩＭＤ）アーキテクチャを含むことができる。ソフトウェア６６は、電子デバイス１０の特定のファームウェア６８と相互作用することができる。例示的に、ファームウェア６８は主イメージ処理２４と関連することができる。

前述のように、イメージ取得デバイス２０からのＲＡＷイメージデータフレームは、メモリ１４に送ることができる。ソフトウェア６６は、特定の実施形態において、所定時間の単一フレームに十分なだけのメモリを占有するバッファ７０からこのＲＡＷイメージデータフレームを取得することができる。ＲＡＷイメージデータフレームのフレーム解析７２は、主イメージ処理２４の現在の制御パラメータが適切に較正されたか否かを示すことができる。例示的に、以下に詳細に説明するように、フレーム解析７２は、一次イメージ処理５８の黒レベル補正又はレンズシェーディング補正の制御パラメータを変更する必要があることを示すことができる。特定の実施形態において、フレーム解析７２は、イメージ取得デバイス２０の新しい欠陥ピクセルが検出されたことを示すことができる。このような検出を行うために、代替イメージ処理５６は、以下の説明を含む、ＲＡＷイメージデータフレームを解析する任意の適切な方法を用いることができる。

フレーム解析７２で求めた情報に基づいて、主イメージ処理２４に関する新規又は更新制御パラメータ７４をソフトウェア６６又はファームウェア６８で特定できる。一次イメージ処理５８が同じＲＡＷイメージデータフレームの処理を開始する前に特定される、これらの「フィードフォワード」制御パラメータ７４は、主イメージ処理２４にフィードフォワードすることができる。例示的な実施形態において、制御パラメータ７４は、一次イメージ処理５８にフィードフォワードされる。その後、主イメージ処理２４の種々のステージは、ＲＡＷイメージデータフレームを処理して最終イメージを生成することができる。主イメージ処理２４から得られるこの最終イメージは、表示装置１８に表示すること及び／又はメモリ１４に格納することができる。

前述のように、特定の実施形態において、代替イメージ処理５６は、イメージ取得デバイス２０からのＲＡＷイメージデータを周期的に解析でき、主イメージ処理２４に関する制御パラメータ（例えば、制御パラメータ７４）の周期的な更新が可能になる。つまり、図７のフローチャート８０に示すように、イメージ取得デバイス２０からのＲＡＷイメージデータは、メモリ１４に周期的に送信することができる（ブロック８２）。追加的に又は他の方法として、ＲＡＷイメージデータフレームの各々はメモリ１４に送信できるが、代替イメージ処理５６は、メモリ１４に格納されたこのＲＡＷイメージデータを唯一周期的にアクセスして処理することができる。特定の実施形態において、代替イメージ処理５６は、イメージ取得デバイス２０からのＲＡＷイメージデータフレームがメモリ１４に周期的に格納されるようにすることができる。

フローチャート８０よる主イメージ処理２４の制御パラメータの更新期間は、イメージ取得回路２０からのＲＡＷイメージデータに関する現在の状態に依存することができる。例えば、この期間は、統計データエンジン６０からのイメージ統計データが数フレームにわたって比較的安定している場合は長くことができ、統計データが変化している場合は短くことができる。代替イメージ処理５６は主イメージ処理２４単独よりも多くのリソースを消費するので、電力節約が必要な場合、この周期を長くすることができる。また、この周期は、イメージ取得デバイス２０の現在の用途に応じて変更できる。例えば、イメージ取得デバイス２０が動画用のイメージデータフレームを取得するために使用される場合、周期は静止イメージの収集と比べて異なることができる。特定の実施形態において、ブロック８０は、ユーザが特定のイメージの取得を選択する場合に（例えば、ボタンを押すこと又は表示装置１８上で選択を行うことで）行うことができる。特定の実施形態において、ストロボで照らしたイメージデータフレームは、以前のストロボで照らされていないイメージデータフレームとはとても異なる場合があるので、ブロック８０は、ストロボ２２が発光してストロボで照らしたイメージを取得した場合に行うことができる。

次に、代替イメージ処理５６は、ＲＡＷイメージデータのフレーム解析を行うことができる（ブロック８４）。このフレーム解析は、図６に示すようなソフトウェア６６、代替イメージ処理５６に関するファームウェア、又は代替イメージ処理５６に関するハードウェア処理によって行い得ることを理解されたい。その後、代替イメージ処理５６又は他のデータ処理回路（例えば、主イメージ処理２４に関するファームウェア）は、主イメージ処理２４に関する更新制御パラメータを決定でき、これは特に現在のＲＡＷイメージデータフレームを処理するのに適している（ブロック８６）。例示的に、更新制御パラメータは、１つ又はそれ以上の更新された黒レベル補正パラメータ、レンズシェーディング補正パラメータ、及び／又は欠陥ピクセルマッピングパラメータを表すことができる。主イメージ処理２４を制御するためのＲＡＷイメージデータから確定できる他の任意のパラメータを決定することもできる。

これらの更新された主イメージ処理２４の制御パラメータは、主イメージ処理２４にフィードフォワードすることができる（ブロック８８）。その後、主イメージ処理２４は、更新制御パラメータによる主イメージ処理２４を実行できる（ブロック９０）。特定の実施形態において、更新制御パラメータは、代替イメージ処理５６が、再度、周期的に新しいＲＡＷイメージデータフレームを解析して新しく更新された制御パラメータを取得するまで、依然として有効とすることができる。他の実施形態において、更新制御パラメータは、少なくとも部分的に統計データエンジン６０からのイメージ統計データからのフィードバックに基づく、従来のフィードバック制御に従うことができる。

追加的に又は他の方法として、代替イメージ処理５６は、例えば、主イメージ処理２４が誤って較正することが予期される場合に、オンデマンドでイメージ取得デバイス２０からのＲＡＷイメージデータを解析して、新しい主イメージ処理２４の制御パラメータを取得することができる。図８のフローチャート１００に示すように、主イメージ処理２４が現在のＲＡＷイメージデータフレームを誤較正することが予期される場合（例えば、統計データエンジン６０からの統計データは、後続のイメージデータフレームが主イメージ処理２４によって正しく処理されないことを示すことができる）（ブロック１０２）、イメージ取得デバイス２０からのＲＡＷイメージデータは、メモリ１４に送ることができる（ブロック１０４）。追加的に又は他の方法として、ＲＡＷイメージデータフレームの各々は、メモリ１４に送ることができるが、代替イメージ処理５６は、主イメージ処理２４が誤較正となることが予期される場合、メモリ１４に格納されたＲＡＷイメージデータにだけにアクセスして処理することができる。特定の実施形態において、代替イメージ処理５６は、主イメージ処理２４が誤較正となることが予期される場合、イメージ取得デバイス２０からのＲＡＷイメージデータフレームをメモリ１４に格納されるようにすることができる。

主イメージ処理２４は、例えば、統計データエンジン６０からの特定の統計データがフレーム間で変動する場合、誤較正することが予期される。このようなフレーム間の変動は、主イメージ処理２４（例えば、一次イメージ処理５８）の特定のステージへのフィードバックが不安定で周期的に振動していること、又は不正確であることを表す。また、主イメージ処理２４は、ストロボで照らされたイメージがイメージ取得デバイス２０で取得されると予期される場合、誤較正することが予期される。つまり、ストロボ２２からの光は、１つのＲＡＷイメージデータフレームの間でのみ出力できる。従って、ストロボ２２からの光は、以前のフレームに関する統計データには考慮されていないはずである。この理由から、特に、ストロボ発光が行われた場合には、フィードバック単独では主イメージ処理２４の一次イメージ処理５８を適切に較正できない可能性がある。

次に、代替イメージ処理５６は、ＲＡＷイメージデータのフレーム解析を行うことができる（ブロック１０６）。このフレーム解析は、図６に示すようなソフトウェア６６、代替イメージ処理５６に関連するファームウェア、又は代替イメージ処理５６に関連するハードウェア処理によって行い得ることを理解されたい。その後、代替イメージ処理５６、又は他のデータ処理回路（例えば、主イメージ処理２４に関連するファームウェア）は、特に、現在のＲＡＷイメージデータフレームを処理するのに適する、主イメージ処理２４に関する新しい制御パラメータを決めることができる（ブロック１０８）。例示的に、更新制御パラメータは、１つ又はそれ以上の更新された黒レベル補正パラメータ、レンズシェーディング補正パラメータ、及び／又は欠陥ピクセルマッピングパラメータを表すことができる。主イメージ処理２４を制御するためのＲＡＷイメージデータから確定できる他の任意のパラメータを決定することもできる。

これらの新しいフレーム特有の主イメージ処理２４の制御パラメータは、主イメージ処理２４にフィードフォワードすることができる（ブロック１１０）。その後、主イメージ処理２４は、新しい制御パラメータによる主イメージ処理２４を実行できる（ブロック１１２）。前述の実施形態において、新しい制御パラメータは、代替イメージ処理５６が再度、新しいＲＡＷイメージデータフレームを解析して更に新しい制御パラメータを取得するまで依然として有効である。他の実施形態において、新しい制御パラメータは、少なくとも部分的に統計データエンジン６０からのイメージ統計データからのフィードバックに基づく、従来のフィードバック制御に従うことができる。

前述のように、前記技術は、イメージ処理システムの種々の態様に適用できる。例示的に、イメージデータを処理するためのシステム１１４は、１つの実施形態による図９に示される。システム１１４は、ピクセルアレイ１１８を有するイメージセンサ１１６（例えば、イメージ取得デバイス２０のＢａｙｅｒセンサ）を含むことができる。ピクセルアレイ１１８は、光を受け取り、これに応答して電気信号を発生するように較正されるイメージングピクセル１２０を含むことができる。しかしながら、受け取った光に基づいて発生した信号に加えて、イメージセンサ１１８内の漏れ電流は、他の信号成分を生じさせる場合がある。漏れ電流で生じた信号を補正するために、ピクセルアレイ１１８は、ダークピクセル１２２を含むこともできる。ダークピクセル１２２は、例えば、イメージングピクセル１２０の周囲の一部（又は全部）に沿って、ピクセルアレイ１１８内の種々の場所に実装することができる。

ダークピクセル１２２は、イメージングピクセル１２０と構造的に同一とすることができるが、ピクセルアレイ１１８はダークピクセル１２２が光を受け取ることを概して防止するように構成することができる。結果的に、ダークピクセル１２２が発生する信号は、概してイメージセンサ内の漏れ電流に原因があり、イメージングピクセル１２０に関する黒レベル基準を提供する。この黒レベル基準を用いて、イメージセンサ１１６は、ダークピクセル１２２からの黒レベル基準によりイメージセンサ１１６のイメージングピクセル１２０に関する出力信号を低減することによって、所定量のセンサ上の黒レベル補償を提供するように構成できる。つまり、イメージングピクセル１２０に関する出力信号は以下のようになる。
Ｓ＝Ｓ（ｉｐｈ）＋［Ｓ（ｉｄｃ）−ＳｄＰ］＋ｄａｔａ＿ｐｅｄｅｓｔａｌ
ここで、Ｓは出力信号、Ｓ（ｉｐｈ）は光誘起信号成分、Ｓ（ｉｄｃ）は漏れ電流誘起信号成分、ＳｄＰはダークピクセル１２２からの黒レベル基準、及び「ｄａｔａ＿ｐｅｄｅｓｔａｌ」は低い信号でのクリッピングセンサノイズを防止するために信号に加えるオフセットである。

ダークピクセル１２２からの黒レベル基準ＳｄＰがイメージングピクセル１２０からの漏れ電流誘起信号成分Ｓ（ｉｄｃ）と一致する場合、次に、上記の出力信号Ｓの式は、光誘起信号成分Ｓ（ｉｐ）及び「ｄａｔａ＿ｐｅｄｅｓｔａｌ」オフセットの合計値に帰着する。しかしながら、別の場合では、黒レベル基準Ｓｄｐは、漏れ電流誘起信号成分Ｓ（ｉｄｃ）と一致しなくてもよい。例えば、特定のイメージセンサ１１６において、黒レベル基準Ｓｄｐは、漏れ電流誘起信号成分Ｓ（ｉｄｃ）よりも大きい場合があり、これらのセンサ１１６によるイメージ黒レベルの過度な補償につながる。低照度条件等の少なくとも特定の照明条件下で、この過度の補償は、出力イメージデータの望ましくない色合いを引き起こす場合がある。例えば、赤色、緑色、及び青色チャンネルをもつイメージにおいて、センサ１１６による黒レベルの過度の補償は、弱い青色及び赤色チャンネル大きく影響を及ぼし、強い緑色チャンネルにはあまり影響を及ぼさない場合があり、結果的に緑色の色合いのイメージにつながる。本明細書で使用する場合、用語「黒レベルシフト」は、イメージセンサによる黒レベルの過度な補償を呼ぶ。少なくとも特定の実施形態において、この黒レベルシフトは、黒レベル基準ＳｄＰから漏れ電流誘起信号成分Ｓ（ｉｄｃ）を差し引いたものに等しい。

また、システム１１４は、イメージセンサ１１６からのＲＡＷイメージデータを処理して変更するための種々のハードウェアを含むイメージ信号処理パイプライン１２４を備えることができる。本実施形態において、パイプライン１２４は、「ｄａｔａ＿ｐｅｄｅｓｔａｌ」オフセットを取り除くための追加のオフセットをもたらす黒レベル補償ブロック１２６を含むこと、並びに例えばセンサ１１６による黒レベシフトを補正するための別の黒レベル補償をもたらすことができる。例えば、黒レベル補償ブロック１２６の等価の追加オフセットにより信号を低減することによって、単純に信号から「ｄａｔａ＿ｐｅｄｅｓｔａｌ」オフセットを取り除くのではなく、黒レベル補償ブロック１２６による追加のオフセット量は、イメージデータの測定された黒レベルシフトに基づいて変更して、黒レベルシフトを取り除くことができる。換言すれば、特定の実施形態において、黒レベル補償ブロックの追加のオフセット量は、「ｄａｔａ＿ｐｅｄｅｓｔａｌ」から黒レベルシフトを差し引いたものに等しくすることができ、及び黒レベル補償ブロック１２６に入るイメージ信号は、この追加のオフセット量によって低減して、より正確に所望の信号を生成することができる。

また、イメージ信号処理パイプライン１２４は、レンズシェーディング補償ブロック１２８、ホワイトバランス補償ブロック１３０、及びデモザイク１３２等の追加の処理ブロックを含むことができる。更に、パイプライン１２４は、統計データエンジン１３４及び任意の他の所望の処理ブロックを含むことができる。作動時、イメージセンサ１１６からのＲＡＷイメージデータはパイプライン１２４で処理でき、処理したイメージデータは、メモリ１４、何らかの他のメモリ（例えば、不揮発性記憶装置１６）、又は表示装置１８等の種々の箇所に出力できる。

また、システム１１４は、パイプライン１２４の黒レベル補償ブロック１２６の黒レベル補償パラメータを調整するためのフィードフォワードループ１３８を含む。フィードフォワードループ１３８（概して前述の代替イメージ処理５６で補正できる）は、イメージセンサ１１６からＲＡＷイメージデータを受信して、このデータを追加のイメージ信号処理パイプライン１４０に経路１４２から供給できる。ＲＡＷイメージデータの全てのフレームは、パイプライン１２４及びパイプライン１４０の両方に供給できるが、少なくとも特定の実施形態において、イメージセンサ１１６は、一連のイメージデータフレームをパイプライン１２４に供給できるが、一連のフレームのサブセットだけを追加のパイプライン１４０に供給される。一連のフレームのサブセットは、周期的に又はオンデマンドで追加のパイプライン１４０に供給できる。更に、追加のパイプライン１４０で受信して処理したサブセットの１つ又はそれ以上のフレームは、本明細書では「基準」フレームと呼ぶことができる。以下に詳細に説明するように、基準フレームは、バッファ１４４にコピーすることができ、フレーム解析１４６を受けることができる。

更に、イメージデータフレームに関する黒レベルシフトは、ブロック１４８で決定でき、参照番号１５０で示すように、パイプライン１２４内の黒レベル補償ブロック１２６の黒レベル補償パラメータ（例えば、前述の追加のオフセット）を調整するために使用できる。このフィードフォワード補償により、異なるイメージセンサ１１６間の種々の黒レベルシフト特性、並びに何らかの工場較正データ（時間とともに又は特定の作動状況で正確ではない可能性がある）に無関係に、特定のセンサの種々の黒レベルシフト（例えば、ゲイン効果、温度、積分時間、及び特にゲインに起因する）を考慮した更に正確なイメージ補償が可能になる。

１つの実施形態において、システム１１４は、図１０のブロック図１５４に示すように、３層アーキテクチャを含むことができる。詳細には、図示の実施形態において、前述のフィードフォワード黒レベル補償技術は、イメージ信号処理ハードウェアパイプライン１５６、ファームウェア１５８、及びソフトウェア１６０を使用して実施することができる。イメージ信号処理ハードウェアパイプライン１５６は、黒レベル補償ブロック１２６を含み、パイプライン１２４と同一とすること、又は他の点ではこれと異なることができる。ファームウェア１５８は、ハードウェアパイプライン１５６と関連して、ハードウェアパイプライン１５６の作動に関連する種々のアプリケーション命令をエンコードする、１つ又はそれ以上のメモリ素子（例えば、リードオンリーメモリ）で具現化できる。ソフトウェア１６０は、ランダムアクセスメモリ又は不揮発性記憶装置等の任意の種々のメモリ内にエンコードすることができる。更に、ソフトウェア１６０は、ハードウェアパイプライン１５６及びファームウェア１５８に関連するドライバを含むことができる。

イメージソース１６２は、ＲＡＷイメージデータ１６４をハードウェアパイプライン１５６に供給できる。パイプライン１５６は、例えば、ＲＡＷイメージデータ１６４に種々の補償技術を適用することで、ＲＡＷイメージデータ１６４を処理して、処理イメージデータ１６６を生成して出力することができる。イメージソース１６２は、イメージ取得デバイス２０（それ自体イメージセンサ１１６を含むことができる）又は不揮発性記憶装置１６等のデータを記憶するメモリ素子を含むことができる。

以下に詳細に説明するように、ハードウェアパイプライン１５６に送られるＲＡＷイメージデータ１６４のフレームに加えて、１つ又はそれ以上のこのフレームは解析のための基準フレームとしてソフトウェア１６０に（経路１６８を介して）供給することができる。また、特定のＲＡＷイメージデータフレーム１６４に関する露光時間又は積分時間、アナログゲイン、又は温度等のイメージ取得パラメータは、ソフトウェア１６０に供給することができる。ソフトウェア１６０は、受信したＲＡＷイメージデータフレームの解析を行い、基準フレームデータ１７２のセットをファームウェア１５８に出力することができる。その後、ファームウェア１５８は、黒レベル補償パラメータ又は設定値１７４を決定し、この決定に基づいてハードウェアパイプライン１５６の黒レベル補償パラメータ（例えば、「ｄａｔａ＿ｐｅｄｅｓｔａｌ」及び黒レベルシフトを補償するためのオフセット量）を変更できる。黒レベル設定値１７４の決定は、ソフトウェア１６０、ソフトウェア１６０が解析したイメージデータフレームに関するイメージ取得パラメータ１７０、及び現在のイメージデータフレームに関するイメージ取得パラメータ１７０により結び付けられる、黒レベル解析に基づくことができる。付加的な通信情報は、参照番号１７６及び１７８で示すように、ハードウェアパイプライン１５６、ファームウェア１５８、及びソフトウェア１６０の間で転送することができる。

１つの実施形態において、システム１１４は、一般に図１１に示すフローチャートによって作動することができる。ブロック１８６及び１８８において、フレーム及びイメージデータを取得して、それぞれをイメージ信号処理ハードウェアパイプライン（例えば、パイプライン１２４）に送信することができる。前述のように、ブロック１８８で送信した１つ又はそれ以上のこれらのフレームは、ブロック１９０において、ソフトウェア１６０による解析を受けてフィードフォワード黒レベル補償を可能にする基準フレームとして使用できる。一般に、ブロック１９２において、この基準フレームは、バッファにコピーすることができ、ブロック１９４において、コピーした基準フレームの推定黒レベルシフトを決定できる。

ブロック１９６において、基準フレームの推定黒レベルシフトに基づいて他の送信フレームの黒レベルシフトを決定できる。少なくとも特定の実施形態において、送信フレームの 黒レベルシフトの決定は、基準フレーム及び送信フレームの１つ又はそれ以上のイメージ取得パラメータ（例えば、露光時間、ゲイン、又は温度）、並びに基準フレームの推定黒レベルシフトに基づいて、ファームウェア１５８によって行うことができる。ブロック１９８において、イメージ信号処理ハードウェアパイプライン１２４の黒レベル補償パラメータは、ブロック１９６で決定した黒レベルシフトで調整でき、ハードウェアパイプライン１２４は、ブロック２００で調整されたパラメータに基づいて黒レベル補償を加えることができる。その後、ブロック２０２においてフレームの追加の処理（例えば、レンズシェーディング補償及びホワイトバランス補償）を行うことができ、ブロック２０４において、処理フレームを出力することができる（例えば、メモリ又は表示装置へ）。追加の送信フレームは、参照番号２０６で示すように、同じ黒レベル補償及び追加の処理を受けることができる。

特定の実施形態において、システム１１４は、基準フレームとして選択及び解析するための特定の送信フレームを適切に決定できることに留意されたい。例えば、システム１１４が、特定の送信フレームが所望の範囲外のパラメータを含むと判定する場合（例えば、所望の範囲から外れるフレームに関連するゲイン）、システム１１４は、このフレームを基準フレームとして使用することを拒否して、その後に送信される不適切な基準フレームの黒レベルシフトのフレームの黒レベル補償を部分的に基準として用いることを防ぐようになっている。従って、所望であれば、フローチャート１８４で示す処理（又は本明細書で説明する他の処理）は、処理の一部をスキップすること、又は処理の途中で終了することができる。例えばソフトウェア解析１９０は、ブロック１９４の前で終了すること、又は特定のフレームが基準フレームとして不適切であるか又は望ましくない場合にはこのフレームを開始しないことさえできる。

基準フレームのソフトウェア解析１９０は、１つの実施形態による図１２に示すように、追加の態様を含むことができる。ブロック２１４において、ソフトウェア解析のためにＲＡＷイメージデータを受信することができ、ブロック２１６において、追加のデータを受信することができる。この追加の非限定的な例として、基準ＲＡＷイメージデータフレームの露光時間又は積分時間、基準ＲＡＷイメージデータフレームのアナログゲイン、及びイメージセンサ１１６による基準フレーム取得に関する温度（例えば、取得時のセンサ温度）を挙げることができる。更に、ブロック２１８において、基準フレームの受信ＲＡＷイメージデータはデコードすることができ、ブロック２２０において、ノイズはこのデータからフィルタ処理することができる。

ブロック２２２において、ソフトウェア解析を処理して基準イメージデータフレームにおける最も暗い部分を見つけて、この部分の局所輝度レベルを決定することができる。本明細書で使用する場合、基準フレームの「暗い」部分は、イメージで取り込んだ黒体に対応する基準フレーム部分、並びに、１つ又はそれ以上の色チャンネルの特定のピクセル対して黒色に見える飽和色の物体に対応する部分（例えば、飽和した赤色物体はイメージセンサ１１６の任意の青色ピクセルに対して黒色に見える）を含むことができることに留意されたい。少なくとも特定の実施形態において、１つ又はそれ以上の最もくらい領域は、基準フレームの各々の色チャンネル（例えば、赤色、緑色、及び青色チャンネル）に関して見出すことができ、局所平均輝度レベルは、各色チャンネルに関する１つ又はそれ以上の最も暗い領域について決定することができる。次に、ブロック２２４において、局所平均輝度レベルは、「ｄａｔａ＿ｐｅｄｅｓｔａｌ」（クリッピングを防止又は低減するためにイメージセンサ１１６によりＲＡＷイメージデータに加えるオフセット）と比較することができる。

次に、ブロック２２６において、ソフトウェア解析は、最も暗い領域の局所平均輝度レベルを「ｄａｔａ＿ｐｅｄｅｓｔａｌ」と比較することに基づいて、基準フレームに関する黒レベルシフトを決定することができる。決定した黒レベルシフトは、ブロック２２４で比較した局所平均輝度レベル及び「ｄａｔａ＿ｐｅｄｅｓｔａｌ」の相対値に依存することができる。例えば、１つの実施形態において、ブロック２２６は、局所平均輝度レベルが「ｄａｔａ＿ｐｅｄｅｓｔａｌ」未満の場合、推定黒レベルシフトが「ｄａｔａ＿ｐｅｄｅｓｔａｌ」からブロック２２２で決定した局所平均輝度レベルから差し引いたものと同じと決定することができ、そうでなければ、黒レベルシフトはゼロに等しいと決定することができる（イメージの最も暗い領域が「ｄａｔａ＿ｐｅｄｅｓｔａｌ」オフセットのままであるか又はそれ以上の場合、黒レベルシフトの影響が低減されることに留意されたい）。この実施形態において、「ｄａｔａ＿ｐｅｄｅｓｔａｌ」は、一般に、イメージの最も暗い部分に関する局所平均輝度レベルに対する基準点を提供する。真っ暗闇の場合、イメージの最も暗い領域の局所平均輝度レベルは、センサ１１６が加える「ｄａｔａ＿ｐｅｄｅｓｔａｌ」オフセットと等しいことが必要である。従って、「ｄａｔａ＿ｐｅｄｅｓｔａｌ」以下の最も暗い領域の局所平均輝度レベルの偏差は、センサ１１６によって黒レベルシフトに帰属させることができる。また、ブロック２２８において、追加フレームの黒レベルシフトの決定に使用するために基準データを出力できる。例えば、出力される基準データは、基準フレームの推定黒レベルシフト、並びに露光時間、温度、及びゲイン等の基準フレームの他の統計データを含むことができる。

追加的に、ハードウェアパイプライン１２４に送信するフレームの黒レベルシフトの決定は、１つの実施形態による図１３に示すフローチャートを参照して理解することができる。各送信フレームの黒レベルシフトの決定は、ブロック２３６で受信した基準フレームデータ、及びブロック２３８で受信した、それぞれの送信フレームに関する追加のデータに基づくことができる。現在の送信フレームに関する黒レベルシフトは、ブロック２３６及び２３８で受信したデータに基づいてブロック２４０で計算できる。例えば、前述のように、現在のフレームに関する黒レベルシフトは、現在のフレームのイメージ取得統計データ（例えば、露光時間、ゲイン、温度、又はこれらのいくつかの組み合わせ）を推定黒レベルシフト及び基準フレームのイメージ取得統計データと比較することで決定できる。ブロック２４０で計算した現在のフレームに関する黒レベルシフトが以前のフレームから大きく逸脱する場合、黒レベルシフトは、ブロック２４２でフィルタ処理して、連続するフレーム間の急激な大きな変動を低減することができる。最後に、ブロック２４４において、ハードウェアパイプライン１２４の黒レベル補償パラメータは、現在の送信フレーム自体に関するデータ、並びに基準フレームからのデータに基づいて現在のフレームが黒レベル補償を受けるように、各フレームに関して調整できる。前述のように、この黒レベル補償は、「ｄａｔａ＿ｐｅｄｅｓｔａｌ」オフセット、及びイメージセンサ１１６が加えた黒レベルシフトを取り除くように適用できる。

別の実施形態において、イメージ処理システム１１４は、フィードフォワード制御パラメータを図９に示すレンズシェーディング補正（ＬＳＣ）ロジック１２８に供給してレンズシェーディングアーチファクトを補正することができる。図１４−２７を参照してＬＳＣロジック１２８に適用できる制御パラメータを解析して決定するための種々の技術を詳細に説明する。

以下に示すように、レンズシェーディングアーチファクトは、デジタルイメージセンサに関するレンズの光学特性の不規則性等の複数の要因で生じる可能性がある。例示的に、理想的な光学特性のレンズは、コサイン４乗則と呼ばれる入射角のコサインの４乗でモデル化できる。しかしながら、レンズ製造は常にコサイン４乗則に完全に一致するものではないので、レンズの不規則性により、光学特性及び光反応が推定コサイン４乗モデルから逸脱する場合がある。例えば、レンズの薄端（例えば、光学中心から離れた）は、通常、最大の不規則性を示す。更に、１つの実施形態において、レンズシェーディングパターンの不規則性は、Ｂａｙｅｒパターンカラーフィルタアレイ（図２）とすることができる、カラーフィルタアレイに対して適切に整列しないマイクロ−レンズアレイに起因する場合もある。

図１４を参照すると、一般的なレンズに関する光強度−ピクセル位置を示す３次元プロファイル２５０が示されている。図示のように、レンズ中心２５２の近傍の光強度は、レンズの隅部又は端部２５４に向かって徐々に減少する。デジタルイメージにおいて、この種のレンズシェーディングアーチファクトは、イメージの隅部又は端部に向かって光強度が減少するように見えるので、イメージの中心付近の光強度は、イメージの隅部及び／又は端部の光強度よりも明るく見える。

１つの実施形態において、ＬＳＣロジック１２８は、概してイメージ取得デバイス２０のレンズ中心からのピクセルの距離に比例する、ピクセル毎の適切なゲインの形のレンズシェーディング補正パラメータを適用して強度の減少を補償することで、レンズシェーディングアーチファクトを補正するように構成できる。例えば、レンズシェーディング補正ゲインは、図１５に示す２次元ゲイン格子２５８を用いて規定することができる。格子２５８は、ＲＡＷイメージデータフレーム２６０を覆うことができ、フレーム２６０を覆うように一定の水平間隔及び垂直間隔で分布するゲイン格子点２６２の配列を含むことができる。各格子点２６２の間に位置するピクセルに関するレンズシェーディングゲインは、近接する格子点２６２に関するゲインを補間することで決定できる。本実施形態は、１１ｘ１１の格子点（全１２１格子点）を備えるゲイン格子２５８を示すが、任意の適切な数の格子点を備えることができる。他の実施形態において、ゲイン格子２５８は、１５ｘ１５の格子点（全２２５格子点）、１７ｘ１７の格子点（全２８９格子点）、又は２０ｘ２０の格子点（全４００格子点）を含むことができる。

以下に説明するように、各格子点２６２の間のピクセル数は、ゲイン格子２５８の格子点２６２の数、並びにイメージセンサ１１６の解像度に依存することができる。更に、図１５において、水平方向及び垂直方向に等間隔で離間するように示したが、特定の実施形態において、各格子点２６２は不規則に（例えば、対数的に）分布できるので、各格子点２６２は、イメージフレーム２６０の中心にあまり集中せず、一般にレンズシェーディング歪みが顕著なイメージフレーム２６０の隅部及び／又は端部に向かって集中することができることを理解されたい。

図１６は、ゲイン格子２５８で覆われるＲＡＷイメージフレーム２６０内の各ピクセル位置に適用できるゲインを示す３次元プロファイル２６６の実施例を図示する。図示のように、図１４に示すように隅部において光強度が大きく減少するので、イメージ２６０の隅部２６８に適用されるゲインは、一般にイメージの中心２７０に適用されるゲインよりも大きい。適切なレンズシェーディングゲインを、レンズシェーディングアーチファクトを呈するイメージに適用することで、イメージの光強度減少の出現は、少なくすること又は実質的に無くすことができる。例えば、イメージの略中心の光強度は、実質的にイメージの隅部及び／又は端部での光強度値に等しい。更に、特定の実施形態において、イメージセンサ１１６のレンズは、光強度減少を光源依存とする（例えば、光源の種類に依存する）、赤外線（ＩＲ）遮断フィルタを含む。つまり、以下に詳細に説明するように、レンズシェーディングゲインは、検出光源に依存するようになっている。

ＲＡＷイメージデータが複数の色成分を含む場合のレンズシェーディング補正のアプリケーションに関して、別個のそれぞれのゲインセットを各色チャンネルに提供できる。レンズシェーディング減少は、特定のカラーフィルタアレイの色チャンネルによって異なる場合がある。例えば、Ｂａｙｅｒカラーフィルタアレイを採用するイメージセンサにおいて、ＲＡＷイメージデータは、赤色、青色、及び緑色成分を含むことができる。この実施形態において、レンズシェーディングゲインセットは、ＢａｙｅｒカラーフィルタアレイのＲ、Ｂ、Ｇｒ、及びＧｂ色チャンネルの各々に提供することができる。

各色チャンネルのレンズシェーディング特性は様々な光の波長が伝わる経路の相違により多少異なることができるが、場合によっては、各色チャンネルのレンズシェーディング減少曲線は、依然としてほぼ同じ形状である。しかしながら、特定の実施例において、付加的な要因により、１つ又はそれ以上の色チャンネルの応答は、他の色チャンネルよりもコサイン４乗近似から更に逸脱する。例えば、イメージ取得デバイスに急角度で入る光が赤外線（ＩＲ）遮断フィルタ及びマイクロレンズアレイに影響する実施形態において、赤色の色チャンネルの応答性は、所定の光源の下で、青色及び緑色チャンネルよりも、期待されるコサイン４乗近似曲線から著しく逸脱する。

逸脱量は、部分的に６００−６５０ナノメータ（ｎｍ）波長の含有量によって決まる。つまり、この帯域に皆無かそれに近いエネルギをもつ狭帯域蛍光灯光源に関して、赤色チャンネルのレンズシェーディング減少は、緑色及び青色チャンネルと比較した場合、形状が非常に近い。６００−６５０ｎｍ帯域でより多くのエネルギを有する昼光と類似した光源に関して、赤色チャンネルのレンズシェーディング減少は著しい逸脱を呈する。更に、白熱灯又はハロゲンライト照明等のＩＲリッチ光源を用いる場合、赤色チャンネルのレンズシェーディング減少において、より顕著な逸脱が現れる可能性がある。赤色の色チャンネルの挙動は、特定の照明状態の下で望ましくない色付けアーチファクトにつながる場合がある。つまり、予期されるコサイン４乗減少だけでモデル化されたレンズシェーディング補正スキームが適用される場合、レンズシェーディングアーチファクトは、依然として照明が６００−６５０ｎｍ帯域の顕著なエネルギ量を含む状况で現れる。

図１７を参照すると、１つの実施形態による、光源のＩＲ含有量に基づく赤色チャンネルの応答性による前述のレンズシェーディングアーチファクトを補正するために、レンズシェーディングパラメータを調整するためのフィードフォワード制御パラメータを得るためにイメージフレームを解析するように構成される、イメージ信号処理（ＩＳＰ）システム２７２の機能ブロック図が示されている。簡単にするために、図９に関して説明した機能ブロックには同じ参照番号が付与されている。

図示のＩＳＰシステム２７２は、ハードウェアパイプライン１２４及び追加のパイプライン２７４を含む。図示のように、追加のパイプライン２７４は、バッファ１４４に取り込んだＲＡＷイメージデータフレームを解析するように構成されるロジック２７８を含む、ソフトウェア解析ブロック２７６を備える。１つの実施形態において、ＲＡＷイメージデータの取得は、特定の状態に基づいて、「オンデマンド」方式で引き起こすことができる。例えば、１つの実施形態において、ＲＡＷイメージデータフレームの取得及び解析は、光源の変化を示すことができる自動ホワイトバランスの変化を検出すると引き起こされる。

以下に詳細に説明するように、フレーム解析ロジック２７８で表す取得フレームの解析は、を含むことができる。フレーム内の略中性領域（例えば、同じＧ／Ｂ比の値をもつ領域）を特定して、基準光源セットの各々に対応するレンズシェーディング適応関数セットの各々を適用することを含む。この基準光源に基づく色チャンネルの挙動は、複数の異なる光源にわたって均一な光照射野を適用して、異なる光源と基準光源との間の比率をモデル化することで、アプリオリをモデル化して特性化することができる。例えば、図１８−２１を参照すると、種々の基準光源に基づく各色チャンネルに関する期待される減少曲線が示されている。特に、グラフ２８８は、昼光状態をシミュレートすることを目的としたＣＩＥ標準光源Ｄ６５に基づく、それぞれ青色、緑色、及び赤色チャンネルに関する減少曲線２９０、２９２、及び２９４を示す。グラフ２９６は、寒色系ホワイト蛍光灯（ＣＷＦ）基準光源に基づく、それぞれ青色、緑色、及び赤色チャンネルに関する減少曲線２９８、３００、及び３０２を示す。更に、グラフ３０４は、ＴＬ８４基準光源（他の蛍光灯光源）に基づく、それぞれ青色、緑色、及び赤色チャンネルに関する減少曲線３０６、３０８、及び３１０を示す。更に、グラフ３１２は、白熱灯をシミュレートするＩｎｃＡ（又はＡ）基準光源に基づく、それぞれ青色、緑色、及び赤色チャンネルに関する減少曲線３１４、３１６、及び３１８を示す。Ｄ６５及びＩｎｃＡ基準光源等の６００−６５０ｎｍ波長でエネルギ量が大きい照明条件下で、赤色チャンネル（例えば、曲線２９４、３１８）に対応するレンズシェーディング応答の形状は、青色及び緑色チャンネルから著しく逸脱する。

基準光源の各々に関して、対応する適応関数を得ることができる。適応関数は、レンズの光学中心からの距離に基づく四次多項式関数である、赤色チャンネルに関する空間的適応曲線を得ることで決定できる。１つの実施形態において、目標は、赤色チャンネルの減少曲線の形状が青色又は緑色チャンネルにしかりと一致するように、適応関数をモデル化することである。青色及び緑色チャンネルの応答はほぼ同じ形状なので、適応関数は、緑色チャンネル、青色チャンネル、又は青色及び緑色チャンネルの組み合わせ（例えば、平均）をマッチングすることで得ることができる。

図２２を参照すると、図１８−２１に示す各々の基準光源に対応する適応関数を示すグラフ３２０が示されている。例えば、曲線３２２、３２４、３２６、及び３２８は、それぞれＩｎｃＡ、Ｄ６５、ＣＷＦ、及びＴＬ８４基準光源に対応する。更に、各々の曲線は、凡例３２９に示すような数値に関連することができる。以下に詳細に示すように、各適応曲線の間の相対的差異を決定するために使用できるこれらの値は、２つのレンズシェーディングプロファイルの間の段階的移行をもたらすために使用できる。１つの実施形態において、この値は、少なくとも対応する基準光源の相関色温度（ＣＣＴ）にほぼ対応することができる。

図１７に戻って、フレーム解析ロジック２７８は、対応する赤色レンズシェーディングプロファイルを補正するために、取得フレームを解析すること及び適切な適応関数を選択することができる。図示のように、選択した適応関数に対応する適応値２８４はファームウェア２８０に供給することができる。その後、ファームウェア２８０は、フィードフォワードパラメータとしてＬＳＣロジック１２８に供給できる、補正したレンズシェーディングパラメータ２８４のセットを発生することができる。つまり、適応値２８４は、赤色レンズシェーディングパラメータ（例えば、ゲイン）を変更して、Ｒリッチ光源の下での赤色の色チャンネルの挙動によって発生する場合があるアーチファクトに対処するために使用できる。特定の実施形態において、レンズシェーディングパラメータ２８４及び各適応関数に対応する適応値２８２は、ソフトウェア２７６及びファームウェア２７８がアクセス可能なルックアップテーブル及び／又はメモリに格納できる。

前述のように、ＩＳＰハードウェアパイプライン１２４は、統計データエンジン１３４を含み、更に任意の他の所望の処理ブロックを含むことができる。例えば、１の実施形態において、ＩＳＰハードウェアパイプライン１２４は、自動露出ロジック、自動焦点ロジック等を更に含むことができる。この技術を利用してＲＡＷイメージデータを処理することで、結果として得られたイメージは、レンズシェーディング又は色づけアーチファクトを僅かに呈するか又は全くなく、電子デバイス１０の表示装置１８でイメージを見るユーザは審美的に満足する。更に、本実施形態において、図１７には追加のパイプライン２７４がソフトウェア及びファームウェアで示されるが、本技術は、ソフトウェア、ハードウェア、又はソフトウェア及びハードウェア構成要素の組み合わせで実施できることを理解されたい。

レンズシェーディング補正に関する前述の技術は、方法３３０を図示する図２３のフローチャートで示すことができる。前述のように、自動ホワイトバランス（ＡＷＢ）の変化は、光源の変化を示すことができ、解析のためのＲＡＷフレームの取得のトリガーとして利用できる。レンズシェーディングパラメータを調整する必要があるか否かを決定する。従って、方法３３０はブロック３３２で開始し、ＡＷＢが安定するまで待つ。次に、決定ロジック３３４は、ＡＷＢが安定したか否かを決定する。１つの実施形態において、決定ロジック３３４は、ＡＷＢ値が所定のフレーム数（例えば、２−１０の間のフレーム）にわたって安定した状態を保つか否かに基づいて決定する。ＡＷＢが依然として安定しない場合（例えば、光源が変化している又はイメージ取得デバイスが動いている場合）、方法３３０はブロック３３２に戻る。ＡＷＢが安定していると決定ロジック３３４が決定した場合、方法３３０はブロック３３６に進み、イメージセンサ１１６からのＲＡＷフレームは解析のために取得する（例えば、バッファ１４４に格納される）。

次に、ブロック３３８において、ブロック３３６で取得したＲＡＷ基準フレームは、利用可能な適応関数を用いて解析される（図２２）。例えば、前述のように、フレーム解析ロジック２７８は、適応関数を取得フレームのほぼ中性領域に適用でき、現在の光源に最も一致する基準光源に対応する適応関数を選択するように試行できる。この処理は、図２４を参照して以下に詳細に説明する。決定ロジック３４０は、適応関数が見つかったか否かを判定する。ブロック３３８での解析の結果として適応関数が見つからない場合、現在のレンズシェーディングプロファイルが継続して適用でき（例えば、新しく選択された適応関数がない）、方法３３０はブロック３３２に戻りＡＷＢが安定して解析のための後続のフレームの取得のトリガーを待つ。特定の実施形態において、ＩＳＰシステム２７２は、ブロック３３２に戻る前に所定時間（例えば、１５から６０秒）だけ待つように構成できる。決定ロジック３４０が、適応関数が見つかったことを示す場合、次に、ブロック３４２に示すように、選択された適応関数がレンズシェーディングパラメータに適用される。

図２３のブロック３３８で示す取得ＲＡＷフレームを解析する処理は、１つの実施形態において、図２４で詳細に示す。図示のように、ＲＡＷフレームを解析する処理３３８は、ＲＡＷフレーム内の１つ又はそれ以上の中性領域を特定することで、ブロック３４６で開始する。例えば、１つの実施形態において、取得ＲＡＷフレームは、８ｘ８ブロック３５８のピクセルのサンプルで解析でき、図５にその例を示す。Ｂａｙｅｒカラーフィルタアレイを利用するイメージセンサに関して、８ｘ８ブロックは、図２５に参照番号３６０で示す、１６個の２ｘ２Ｂａｙｅｒクワッド（例えば、Ｂａｙｅｒパターンを表す２ｘ２ブロックピクセル）を含むことができる。この構成を利用して、各色チャンネルは対応するサンプル３５８内のピクセルの４ｘ４ブロックを含み、同じ色のピクセルは平均化して、サンプル３５８内の各色チャンネルに関する平均色値を生成できる。例えば、サンプル３５８内で、赤色ピクセル３６４は平均化して平均赤色値（Ｒ_AV）を得ること、及び青色ピクセル３６６は平均化して平均青色値（Ｂ_AV）を得ることができる。緑色ピクセルの平均化に関しては、Ｂａｙｅｒパターンは赤色又は青色サンプルに比べて２倍の緑色サンプルを有しているので複数の技術を利用できる。１つの実施形態において、平均緑色値（Ｇ_AV）は、Ｇｒピクセル３６２だけ、Ｇｂピクセル３６８だけ、又はＧｒ及びＧｂピクセル３６２及び３６８を一緒に平均化することで取得できる。別の実施形態において、各Ｂａｙｅｒクワッド３６０のＧｒ及びＧｂピクセルは平均化することができ、各Ｂａｙｅｒクワッド３６０の平均緑色値は、更に一緒に平均化してＧ_AVを取得するようになっている。ピクセルブロックの全域でのピクセル値の平均化は、ノイズ低減をもたらすことを理解されたい。更に、サンプルとして８ｘ８ブロックを使用することは、単なる一例をもたらすことを目的としていることを理解されたい。実際には、他の実施形態において、任意の適切なブロックサイズを用いることができる（例えば、４ｘ４、１６ｘ１６、３２ｘ３２等）。

再度図２４を参照すると、取得ＲＡＷフレームの略中性領域は、図２５を参照して説明するようにＲＡＷフレームのサンプルの色平均を取得すること、及び同じＧ／Ｂ比の値を共有するＲＡＷフレーム内の領域を特定することで決定できる。次に、ブロック３４８で示すように、利用可能な適応関数の各々に基づくレンズシェーディングモデルは、中性領域内のピクセルに適用され、中性領域内のＲ／Ｂ比値の分散差異が各適応関数に対して決定される。次に、決定ロジック３５０は、Ｒ／Ｂ比値の最小分散が存在するか否かを決定する。最小分散が見出されると、ブロック３５２に示すように、Ｒ／Ｂ比値の最小分散をもたらす適応関数が選択される。最小分散が見出せない場合（例えば、Ｒ／Ｂ比値の最低分散が、２つ又はそれ以上の同じ値を含む）、決定ロジック３５０は、ブロック３５４において、適応関数を見出せなかったことを示すことができる。ブロック３５２及び３５４の出力は、図２３のブロック３４０に進むことができる。

図２６は、図２３のブロック３３８で示す適応関数をレンズシェーディングパラメータに適用する処理を示す。詳細には、図２６は、適応関数が無限インパルス応答（ＩＩＲ）フィルタを用いて適用される実施形態を示す。各レンズシェーディングプロファイルの間で滑らかな移行を行うために、現在のレンズシェーディングプロファイルは、複数の介在ステップによって複数のフレームにわたって選択された適応関数に基づくレンズシェーディングプロファイルへ徐々に移行できる。この段階的移行は、レンズシェーディングプロファイルを即座に（例えば、段階的なステップのない単一フレームにおいて）切替えるものに比べて、視覚的に満足できる結果をもたらすことができる。適応関数３２４（Ｄ６５）から適応関数３２２（ＩｎｃＡ）への移行を示す図２７は、処理３４２の実例を提供するものあり、図２６の記載と一緒に見る必要がある。

図示のように、処理３４２はブロック３８０で開始し、最後に又は以前に選択した適応関数（Ｐ_old）とブロック３３８（図２３）で選択した適応関数（Ｐ_new）との間の総デルタ（Δ_total）が決定される。例えば、Δ_totalは、集合的に曲線３２４に沿う各点と曲線３２２に沿う対応する各点との間の絶対差を示すことができる。

ブロック３８２において、Ｐ_old値（曲線３２４）は、Δ_totalの５０％だけＰ_new値に移行して、Ｐ_oldとＰ_newとの間の中間の適応曲線、Ｐ_intを得るようになっている。これは図２７では曲線３９６で示し、３０００（２０００と４０００の間）の値を有している。つまり、ブロック３８２で決定したＰ_int関数は、レンズシェーディングパラメータ２８４に適用されて、１つ又はそれ以上のフレームに関する補正レンズシェーディングパラメータの中間セットを生成するようになっている。次に、ブロック３８４において、処理３４２は、Ｐ_int（曲線３９６）とＰ_new（曲線３２２）との間の中間デルタ（Δ_int）を決定する。ブロック３８０でのΔ_totalと同様に、Δ_intは、曲線３９６に沿う各点と曲線３２２に沿う対応する各点との間の絶対差を表すことができる。

次に、決定ロジック３８６は、Δ_intがΔ_totalの１／８に等しいか又はそれ未満か否かを判定する。Δ_intがΔ_totalの１／８未満ではない場合、処理３４２はブロック３８８に進み、ブロック３８２（曲線３９６）からのＰ_int値は、Δ_intの５０％だけＰ_new値に移行して、図２７の曲線３９８（２５００の値を有する）に示すような、更新されたＰ_int曲線を得るようになっている。更新されたＰ_int関数は、レンズシェーディングパラメータ２８４に適用されて、１つ又はそれ以上のフレームに関する、更新された中間補正レンズシェーディングパラメータのセットを生成する。その後、更新されたΔ_intは、更新Ｐ_int（曲線３９８）とＰ_newとの間で決定される。次に、処理３４２は決定ロジック３８６に戻る。ここで、現在のΔ_intは依然としてΔ_totalの１／８よりも大きいので、処理３４２は、ブロック３８８及び３９０のステップを繰り返して、図２７の曲線４００（２２５０の値を有する）に示すような、更新Ｐ_intの間の差異を表す更新Δ_intを得るようになっている。

決定ロジック３８６に戻って、ここでは更新Δ_intがΔ_totalの１／８に等しいので、処理３４２はロック３９２に進み、図２７の曲線４００に対応するＰ_int値は、曲線３２２の対応するＰ_new値に移行することができる。その後、Ｐ_new適応値は、レンズシェーディングパラメータに適用して、赤色の色チャンネルに関する補正レンズシェーディングパラメータセットを生成するようになっている。つまり、図２６に示す本処理の実施形態は、本質的に、Δ_totalの５０％の第１のステップ、Δ_totalの２５％の第２のステップ、及びΔ_totalの１２．５％（１／８）の第３のステップを用いる段階的移行を可能にする。前述のように、これは複数のフレームにわたる２つの異なるレンズシェーディングプロファイルの間の段階的移行を可能にし、これは単一フレームでＰ_oldからＰ_newに移行するものに比べると、視聴者に審美的な満足感を与えることができる。しかしながら、他の実施形態では、任意の適切なステップサイズを利用できることを理解されたい。

図２６に示す処理は、単に各レンズシェーディング適応関数の間の移行のための技術の一例を提供することを目的としていることを理解されたい。他の実施形態において、ブロック３８２及び３８８に示す特定のパラメータは様々とすること、及び種々の実施例で異なり得ることを理解されたい。例えば、１つの実施形態において、移行ステップは、一定であること或いは斬減（例えば、Δ_totalの１／３、１／４、１／５、１／６、又は１／８）することができる。更に、他の実施形態は、比率を使用するのではなく、絶対デルタ（例えば、各中間移行ステップの間にレンズシェーディングゲインを特定のゲイン量だけ調整する）を利用できる。別の実施形態において、各レンズシェーディング適応関数の間の移行は、非ＩＩＲフィルタ処理技術を用いて行うことができる。

前述の実施形態は、ＩＲ含有量が多い光源に対する赤色の色チャンネル応答の大きな偏差に起因するレンズシェーディングアーチファクトに焦点を合わせているが、同じ技術は、他の色チャンネルに関する補正レンズシェーディングパラメータを生成するために適用できることを理解されたい。例えば、緑色又は青色の色チャンネルが期待されるコサイン４乗曲線からの望ましくない偏差を生じさせる特定の状態になると、緑色及び青色の色チャンネル応答は１つ又はそれ以上の基準光源（例えば、Ｄ６５、ＣＷＦ、ＴＬ８４、ＩｎｃＡ）に基づいてモデル化することができ、対応する適応関数は、例えば、レンズの光学中心からの距離に基づく四次多項式関数を用いて導き出すことができる。

更に、前述の４つの基準光源は、１つの実施形態の実例を提供することが目的であることを理解されたい。追加の基準光源をモデル化して対応する適応関数を得ることができることを理解されたい。これらの追加の基準光源の特性及びその適応値は、追加のパイプライン２７２でアクセス可能であり（例えば、ファームウェア又はメモリに格納する）、場合によっては、ソフトウェア又はファームウェア更新でデバイス１０に供給できる。場合によっては、追加の基準光源は、公知の光源タイプの補間によって得ることができる。

黒レベル補正及びレンズシェーディング補正のための、フィードフォワード主イメージ処理２４の制御パラメータの決定に加えて、代替イメージ処理５６は、主イメージ処理２４が使用した欠陥ピクセルマッピングを更新するために使用できる。例えば、図２８のフローチャート４１０に示すように、代替イメージ処理５６は、イメージ取得デバイス２０の欠陥ピクセルに関するＲＡＷイメージデータを解析できる（ブロック４１２）。所定期間にわたって多数の欠陥ピクセルが発生するので、ブロック４１２は周期的に又はその都度作動することができ、代替イメージ処理５６はＲＡＷイメージデータフレームを解析する。例示的に、特定の実施形態において、代替イメージ処理５６は、欠陥ピクセルを得るためにＲＡＷイメージデータを毎日、毎週、又は毎月１回程度解析することができる。他の実施形態において、代替イメージ処理５６は欠陥ピクセルを得るために、代替イメージ処理５６が他の主イメージ処理２４の制御パラメータ（例えば、黒レベル補正又はレンズシェーディング補正）を決定するためにＲＡＷイメージデータフレームを解析する度に、ＲＡＷイメージデータを解析することができる。

代替イメージ処理５６が以前は検出されなかった新しい欠陥ピクセルを検出すると（決定ブロック４１４）、代替イメージ処理５６は、主イメージ処理に関連する更新欠陥ピクセルマップをもたらすことができる（ブロック４１６）。例えば、代替イメージ処理５６は、主イメージ処理２４が使用する欠陥ピクセルマップを直接更新すること、又は代替イメージ処理５６は、欠陥ピクセルマップを更新するための主イメージ処理２４に関連するファームウェア６８をもたらすことができる。他方で、新しい欠陥ピクセルが検出されない場合（決定ブロック４１４）、ブロック４１６は実行されない。その後、主イメージ処理２４は欠陥ピクセルマップによって実行でき（ブロック４１８）、現時点でイメージ取得デバイス２０の全ての欠陥ピクセルを含むように更新される。

メモリ１４に並列に転送されたイメージ取得回路２０からのＲＡＷイメージデータは、更に他の方法で代替イメージ処理５６が使用できる。例えば、ＲＡＷイメージデータは、 主イメージ処理２４が満足できない結果をもたらす場合には、イメージの再処理を可能にする。つまり、主イメージ処理２４が最初に満足できない最終的なイメージをもたらした場合には、代替イメージ処理５６は、ＲＡＷイメージデータを使用して良好な最終的なイメージを生成することができる。

図２９のフローチャート４３０に示すように、このイメージ再処理機能は、ＲＡＷイメージデータフレームが、主イメージ処理２４が同じＲＡＷイメージデータフレームのコピーに対してイメージ処理を行う間に、メモリ１４に格納された場合に利用可能になる（ブロック４３２）。特定の実施形態において、ＲＡＷイメージデータは、不揮発性記憶装置１６に格納することができ、主イメージ処理２４が処理した最終イメージに関連することができる。最終処理イメージを求めるためにイメージが処理されると、ユーザフィードバック又は主イメージ処理２４の統計データエンジン６０からの統計データは、主イメージ処理２４が満足できるイメージを生成していないことを示すことができる（ブロック４３４）。例えば、イメージが極端に暗く又は極端に明るく見える場合、又は自動ホワイトバランス（ＡＷＢ）が間違った色温度に基づいてホワイトバランス処理を行ったように見える場合、ユーザは、イメージを再処理する必要があるという意思を示すことができる。例示的に、主イメージ処理２４が最終イメージを生成した後、最終イメージを表示装置１８に表示することができる。この結果に満足しないユーザは、電子デバイス１０に対して満足していないという意思を示す（例えば、電子デバイス１０を振ることで）フィードバックを与えることができる。

これに応答して、メモリ１４又は不揮発性記憶装置１６に記憶されたＲＡＷイメージデータは、代替イメージ処理５６又は主イメージ処理２４を使用してより満足できる結果を得るために再処理を行うことができる（ブロック４３６）。例えば、特定の実施形態において、前記に詳細に説明したように、ＲＡＷイメージデータは、代替イメージ処理５６で解析して、新しい主イメージ処理２４の制御パラメータを得るようになっている。その後、ＲＡＷイメージデータは主イメージ処理２４にリロードでき、主イメージ処理２４は、新しい主イメージ処理２４の制御パラメータに従ってＲＡＷイメージデータを再処理することができる。他の実施形態において、代替イメージ処理５６は、主イメージ処理２４の代わりにＲＡＷイメージデータを処理できる。特定の実施形態において、代替イメージ処理５６は、主イメージ処理２４の統計データエンジン６０からの主イメージ処理の統計データの一部を採用して、代替イメージ処理５６が起こる様式を変更することができる。つまり、代替イメージ処理５６は、なぜ主イメージ処理２４が満足できる最終イメージを生成できなかったかを評価して、それに応じて、イメージ処理技術を調整することができる。ユーザが依然として再処理した最終イメージに満足しない場合、主イメージ処理２４及び／又は代替イメージ処理５６は、図２９に示すフローチャート４３０の様式でＲＡＷイメージデータをさらにもう一度再処理を行うことができる。

前述の特定の実施形態は例示的に示されており、これらの実施形態は、種々の変形例又は変更例が可能であることを理解されたい。更に、請求項は、特定の開示内容に限定されないが、全体的な変更例、均等物、及び変形例は本開示の精神及び範疇にあることを理解されたい。

Claims (26)

1. 各々がそれぞれの基準光源に対応するレンズシェーディング適応関数セットを提供する段階と、
   現在の光源状態の下で、イメージセンサで取得した複数のイメージフレームをハードウェアイメージ信号処理パイプラインに供給する段階と、
   複数のイメージフレームからの基準フレームを解析して、現在の光源状態に最も一致する基準光源に対応するレンズシェーディング適応関数を選択することで、追加のイメージ処理パイプラインを使用して代替イメージ処理を行う段階と、
   前記選択したレンズシェーディング適応関数に基づいて前記レンズシェーディングパラメータセットを調整する段階と、
   前記調整したレンズシェーディングパラメータをフィードフォワードパラメータとしてハードウェアイメージ信号処理パイプラインに供給する段階と、
   前記ハードウェアイメージ信号処理パイプラインを使用して、前記調整したレンズシェーディングパラメータに基づいて前記複数のイメージフレームを処理する段階と、
   を含む方法。
2. 前記イメージセンサで取得した前記複数のイメージフレームは、赤色、緑色、及び青色の色チャンネルから成る、請求項１に記載の方法。
3. 前記基準フレームを解析してレンズシェーディング適応関数を選択する段階は、
   前記基準フレーム内のほぼ中性領域を特定する段階と、
   前記レンズシェーディング適応関数の各々を前記基準フレームに適用して、前記レンズシェーディング適応関数に関する、前記中性領域内の青色に対する赤色の比値の分散を決定する段階と、
   最小分散が存在する場合、該最小分散に対応する前記レンズシェーディング適応関数を選択する段階と、
   を含む、請求項２に記載の方法。
4. 最小分散が存在しない場合、レンズシェーディング適応関数は選択されず、前記レンズシェーディングパラメータは調整されず、前記ハードウェアイメージ信号処理パイプラインは、調整されていない前記レンズシェーディングパラメータを使用して前記複数のイメージフレームを処理する、請求項３に記載の方法。
5. 前記基準フレーム内のほぼ中性領域を特定する段階は、
   前記基準フレームのサブセットを解析する段階と、
   各サブセットに関して、青色及び緑色の色チャンネルの各々に関する平均色値を決定して、平均青色値及び平均緑色値に基づいて緑色に対する青色の比値を計算するする段階と、
   略中性領域として同じ緑色に対する青色の比値を有する前記基準フレーム内の前記サブセットを特定する段階と、
   を含む、請求項３に記載の方法。
6. 各サブセットは、８ｘ８ブロックのピクセルを含む、請求項５に記載の方法。
7. 前記８ｘ８ブロックのピクセルは、第１の緑色チャンネル及び第２の緑色チャンネルを有するＢａｙｅｒイメージデータを備え、前記平均緑色値は、前記第１の緑色チャンネル、前記第２の緑色チャンネル、又はこれらの組み合わせに基づいて決定される、請求項６に記載の方法。
8. イメージセンサが生成したイメージデータフレームを受信するように構成され、前記イメージデータフレームを処理して、レンズシェーディングパラメータセットを使用して前記フレームのレンズシェーディング減少を補償する、第１のイメージ処理パイプラインと、
   前記第１のイメージ処理パイプラインと並行して、前記イメージセンサが生成した少なくとも１つのイメージデータフレーム受信し、利用可能なレンズシェーディング適応関数セットからレンズシェーディング適応関数を選択して、前記イメージデータの少なくとも１つの色チャンネルに関する特定の光波長に起因するレンズシェーディング応答の感度を補償するように構成される、第２のイメージ処理パイプラインを備えるフィードフォワードループと、
   を備え、
   前記フィードフォワードループは、前記第１のイメージ処理パイプラインが使用する前記レンズシェーディングパラメータセットを前記選択されたレンズシェーディング適応関数に基づいて調整するように構成される、システム。
9. 前記少なくとも１つの色チャンネルは、赤色の色チャンネルを含む、請求項８に記載のシステム。
10. 前記特定の波長は、約６００から６５０ナノメータの波長を有する光を含む、請求項９に記載のシステム。
11. 前記利用可能なレンズシェーディング適応関数セットの各々は、基準光源のそれぞれ１つに対する少なくとも１つの色チャンネルのレンズシェーディング応答に基づいてモデル化される、請求項８に記載のシステム。
12. 前記基準光源セットは、シミュレートされた昼光光源、蛍光灯光源、及び白熱灯光源の少なくとも１つを備える、請求項１１に記載のシステム。
13. 前記第２のメージ処理パイプラインは、プロセッサで実行可能なイメージ解析ソフトウェアがエンコードされたメモリを備え、前記第２のイメージ処理パイプラインは、前記プロセッサによる前記イメージ解析ソフトウェアの実行によって、前記少なくとも１つのフレームを解析するように構成される、請求項８に記載のシステム。
14. ハードウェアイメージ処理パイプラインを使用して、デジタルイメージセンサが生成した複数のイメージフレームを受信して、レンズシェーディングゲインセットに基づいて前記複数のイメージフレームの各々にピクセル毎にレンズシェーディング補正を適用する段階と、
    第２のイメージ処理パイプラインを使用して、前記複数のイメージフレームからの少なくとも１つのイメージフレームを格納して、前記少なくとも１つのイメージフレームを解析する段階と、
    を含む方法であって、
    前記第２のイメージ処理パイプラインは、前記解析に基づいてレンズシェーディング適応値セットを選択し、前記選択したレンズシェーディング適応値セットに基づいて前記レンズシェーディングゲインセットを調整し、前記調整したレンズシェーディングゲインセットを前記ハードウェアイメージ処理パイプラインにフィードフォワード制御パラメータとして供給するように構成されることを特徴とする方法。
15. 前記レンズシェーディング適応値セットは、レンズシェーディング適応値の複数セットから選択され、前記レンズシェーディング適応値の複数セットの各々は、少なくとも部分的に前記デジタルイメージセンサに関する赤外線遮断フィルタの照明条件の異なるタイプへの応答に基づいてモデル化される、請求項１４に記載の方法。
16. 前記第２のイメージ処理パイプラインは、前記照明条件の変化を検出すると、少なくとも１つのイメージフレームを格納及び解析するように構成される、請求項１４に記載の方法。
17. 前記照明条件の変化を検出する段階は、自動ホワイトバランス値の変化を検出して、前記自動ホワイトバランス値が安定するまで待機する段階を含む、請求項１４に記載の方法。
18. 前記自動ホワイトバランス値が安定するまで待機する段階は、前記自動ホワイトバランス値が少なくとも２つのイメージフレーム間で安定した状態であることを決定する段階を含む、請求項１７に記載の方法。
19. プロセッサと、
    前記プロセッサで実行可能なイメージ解析ソフトウェアを格納するメモリと、
    ＲＡＷイメージデータを取得するように構成されたイメージセンサを備えるイメージ取得デバイスと、
    前記ＲＡＷイメージデータを受信して、レンズシェーディングパラメータセットを用いて前記ＲＡＷイメージデータに対してレンズシェーディング補正を適用するように構成された、第１のイメージ処理パイプラインと、
    前記ＲＡＷイメージデータの少なくとも１つのフレームを受信し、前記イメージ解析ソフトウェアを使用して前記少なくとも１つのフレームを解析し、少なくとも１つのフレームに関するレンズシェーディング適応関数を選択し、最終的な調整レンズシェーディングパラメータセットを取得するために、複数のイメージフレームにわたる選択レンズシェーディング適応関数に基づいて、１つ又はそれ以上の中間移行ステップを用いてレンズシェーディングパラメータを調整するように構成された、第２のイメージ処理パイプラインを備える、フィードフォワードループと、
    を備え、
    前記第１のイメージ処理パイプラインは、中間調整レンズシェーディングパラメータ及び最終調整レンズシェーディングパラメータをフィードフォワード出力として前記フィードフォワードループから受信し、前記中間及び調整レンズシェーディングパラメータを前記ＲＡＷイメージデータに適用するように構成される電子デバイス。
20. １つ又はそれ以上の中間移行ステップを決定するように構成された、無限インパルス応答（ＩＩＲ）フィルタを備える、請求項１９に記載の電子デバイス。
21. 前記１つ又はそれ以上の移行ステップを用いて、前記イメージ解析ソフトウェアによる前記レンズシェーディングパラメータの調整は、
    現在選択されたレンズシェーディング適応関数と、前記第２のイメージ処理パイプラインにより解析された以前のフレームに関して選択されたレンズシェーディング適応関数との間の全差異を決定し、
    第１の移行ステップの間に、第１のセットの１つ又はそれ以上のフレームの間に前回選択したレンズシェーディング適応関数に対応するレンズシェーディング適応値を、現在選択したレンズシェーディング適応関数に関するレンズシェーディング値に向かって全差異の約５０％だけ調整して第１の中間セットのレンズシェーディング適応値を生成し、
    第２の移行ステップの間に、前記第１のセットの１つ又はそれ以上のフレームの後の第２のセットの１つ又はそれ以上のフレームの間に前記第１の中間セットのレンズシェーディング適応値を、現在選択したレンズシェーディング適応関数に関するレンズシェーディング値に向かって全差異の約２５％だけ調整して第２の中間セットのレンズシェーディング適応値を生成し、
    第３の移行ステップの間に、前記第２のセットの１つ又はそれ以上のフレームの後の第３のセットの１つ又はそれ以上のフレームの間に前記第２の中間セットのレンズシェーディング適応値を、現在選択したレンズシェーディング適応関数に関するレンズシェーディング値に向かって全差異の約１２．５％だけ調整して第３の中間セットのレンズシェーディング適応値を生成し、
    第４の移行ステップの間に、現在選択したレンズシェーディング適応関数に対応するレンズシェーディング適応値を調整レンズシェーディングパラメータとして設定する、請求項２０に記載の電子デバイス。
22. 前記イメージ処理パイプラインは、第１のセットの１つ又はそれ以上のフレームの間にレンズシェーディング適応値の第１の中間セットに基づいてレンズシェーディング補正を前記ＲＡＷイメージデータに適用し、第２のセットの１つ又はそれ以上のフレームの間にレンズシェーディング適応値の第２の中間セットに基づいてレンズシェーディング補正を前記ＲＡＷイメージデータに適用し、第３のセットの１つ又はそれ以上のフレームの間にレンズシェーディング適応値の第３の中間セットに基づいてレンズシェーディング補正を前記ＲＡＷイメージデータに適用するように構成される、請求項２１に記載の 電子デバイス。
23. 前記少なくとも１つのフレームは、ダイレクトメモリアクセス（ＤＭＡ）インタフェースを用いてメモリで受信する、請求項１９に記載の電子デバイス。
24. 前記レンズシェーディング適応関数は、複数の利用可能なレンズシェーディング適応関数から選択され、各々は、異なるタイプの光源に対する赤色の色チャンネルのレンズシェーディング応答に対応する、イメージ取得デバイスのレンズの光学中心からの距離に基づいて四次多項式でモデル化される、請求項１９に記載の電子デバイス。
25. 前記イメージセンサは、Ｂａｙｅイメージセンサを備える、請求項１９に記載の電子デバイス。
26. デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、携帯電話、携帯式デジタルメディアプレイヤ、又はこれらの何らかの組み合わせを備える、請求項１９に記載の電子デバイス。

Images