JP2009526448A - 画像情報をフィルタリングするための適応性画像フィルタ - Google Patents

Abstract

この開示は、ビデオ画像または静止画像のような捕捉された画像の品質を改善するための適応性フィルタリング技術を記載する。特に、この開示は、各画素を一組の周囲画素の関数としてフィルタリングする適応性フィルタリング技術を記載する。適応性画像フィルタは、例えば、問題の画素および前記組の周囲画素の各々に関連する画像情報の間の差を計算することによって、問題の画素に関連した画像情報を、一組の周囲画素に関連した画像情報と比較する。この計算された差は、問題の画素の画像情報をフィルタリングするために、種々の方法で使用することができる。例えば幾つかの実施形態において、適応性画像フィルタは、前記計算された差の関数として調節するローパスコンポーネントおよびハイパスコンポーネントの両方を含んでよい。
【選択図】 １

Description

この開示は画像捕捉装置に関し、特に、画像捕捉装置内における画像情報のフィルタリングに関する。

背景

デジタルビデオカメラまたはデジタ静止写真カメラのような画像捕捉装置により捕捉される画像情報は、画像センサの物理的限界、照明源からの干渉等の結果として、破損またはノイズを受け易い。より小さい画像捕捉装置についての増大する要求と共に、よりコンパクトな画像センサモジュールが必要になる。画像センサモジュールのサイズの減少は、画像情報内に捕捉されるノイズ量の顕著な増大を生じる。

画像情報フィルタリングは、このような破壊およびノイズを除去し、再現される画像の品質を改善するために使用される共通のプロセスである。捕捉された画像情報に対するローパスフィルタリングの適用は、画像におけるノイズ量を減少させるが、高周波数信号を含む尖鋭なエッジを破壊することにより、画像をぼやけさせる傾向がある。捕捉された画像データに対するハイパスフィルタリングの適用は尖鋭なエッジおよびコントラストを向上させるが、不可避的にノイズも高める。

概要

この開示は、ビデオ画像または静止画像のような捕捉された画像の品質を改善するための、適応性フィルタリング技術を記載する。特に、この開示は、各画素を一組の周囲画素の関数としてフィルタリングする適応性フィルタリング技術を記載する。例えば、適応性画像フィルタは、問題の画素に関する画像情報を、一組の周囲画素に関連した画像情報と比較する。該適応性画像フィルタは、問題の画素に関連した画像情報と、周囲画素の各々に関連した画像情報との間の差を計算する。例えば、適応性画像フィルタは、問題の画素の強度値から周囲の画素の各々の強度値を差し引いて、差値を得る。

適応性フィルタは、問題の画素の画像情報を、この計算された差の関数としてフィルタリングする。適応性画像フィルタは、例えば、計算された差の各々をローパス閾値およびハイパス閾値と比較し、該閾値要件を満たす計算された差を合計することにより、該フィルタのローパスコンポーネントおよびハイパスコンポーネントを計算する。次いで、該適応性画像フィルタは、元の画素値、該フィルタのローパスコンポーネントおよび該フィルタのハイパスコンポーネントに基づいて新たな画素値を計算することにより、問題の画素に間連した画像情報をフィルタリングする。

この適応性画像フィルタは、この方法で画像の各画素をフィルタリングしてよい。こうして、画像フィルタは、各画素がその周囲の画素の関数としてフィルタリングされるように、ピクセル毎に画像情報を調節する。結局、適応性画像フィルタのローパスコンポーネントおよびハイパスコンポーネントは、問題の画素に関連する画像情報と一組の周囲画素に関連した画像情報との間の比較に基づき、各画素について適応的に変化する。

一実施形態において、この開示は、問題の画素に関連した画像情報と該問題の画素を取り巻く画素に関連した画像情報との間の差を計算することと、フィルタのローパスコンポーネントおよびハイパスコンポーネントを、前記計算された差の関数として決定することと、前記フィルタを問題の画素に関連した画像情報に適用することとを含んでなる方法を提供する。

もう一つの実施形態において、本開示は、画像情報を捕捉する画像センサアレイを備えてなる装置であって、前記画像センサアレイは、複数の画素に関連した画像情報を捕捉する複数の画像センサを含み、また問題の画素に関連した画像情報と該問題の画素を取り囲む画素に関連した画像情報との間の差を計算する適応性画像フィルタが、フィルタの低パスコンポーネントおよびハイパスコンポーネントを前記計算された差の関数として決定し、該フィルタを問題の画素に関連した画像情報に適用する装置を提供する。

追加の実施形態において、本開示は、複数の画素についての画像情報を捕捉し、ここでの画素の各々に関連した画像情報は複数の色の一つを表すことと、複数の画素から問題の画素および一組の周囲の画素を選択し、ここでの一組の周囲の画素および問題の画素に関連した画像情報が同じ色を表すことと、問題の画素に関連した画像情報と前記組の周囲の画素の各々に関連した画像情報との間の差を計算することと、前記問題の画素に関連した画像情報を、前記計算された差の関数としてフィルタリングすることとを含んでなる方法を提供する。

更なる実施形態において、この開示は、複数の画素に関連した画像情報を捕捉する複数の画像センサを備えた画像センサアレイを含んでなる装置であって、ここで、各画素に関連した画像情報は複数の色のうちの一つを表し、複数の画素から問題の画素および一組の周囲画素を選択する適応性画像フィルタが、問題の画素に関連した画像情報と前記一組の周囲画素の各々に関連した画像情報との間の差を計算し、前記問題の画素に関連した画像情報を前記計算された差の関数としてフィルタし、また前記一組の周囲画素および前記問題の画素に関連した画像情報が同じ色を表す装置を提供する。

もう一つの実施形態において、当該開示は、コンピュータ読み取り可能な媒体であって、プロセッサに、問題の画素に関連した画像情報と該問題の画素を取り囲む画素に関連した画像情報との間の差を計算させ、フィルタのローパスコンポーネントおよびハイパスコンポーネントを前記計算された差の関数として決定させ、該フィルタを前記問題の画素に関連した画像情報に対して適用させるための命令を含んでなる媒体を提供する。

本開示の１以上の実施形態の詳細を、添付の図面に記載すると共に以下で説明する。本開示の他の特徴、目的および利点は、以下の説明および図面から、並びに特許請求の範囲から明らかであろう。

詳細な説明

図１は、画像情報を捕捉するための例示的な画像捕捉装置１０を示すブロック図である。図１に示すように、画像捕捉装置１０は、画像センサアレイ１２、適応性画像フィルタ１４、画像プロセッサ１６、および画像保存装置１８を含んでいる。図１に示された特徴は、ハードウエアおよび／またはソフトウエアコンポーネントの何れかの適切な組合せによって実現されてよい。ユニットとしての異なる特徴の描写は、画像捕捉装置１０の異なる機能的側面を強調することを目的とするもので、必ずしも、このようなユニットが別々のハードウエアおよび／またはソフトウエアコンポーネントによって実現されなければならないことを意味するものではない。むしろ、１以上のユニットに関連した機能性が、共通のハードウエアおよび／またはソフトウエアコンポーネント内に集積されてもよい。

画像捕捉装置１０はデジタルカメラ、例えばデジタルビデオカメラ、デジタル静止画像カメラ、または両者の組合せであってよい。加えて、画像捕捉装置１０は、スタンドアローンのカメラのようなスタンドアローン型装置であってよく、または無線通信装置のようなもう一つの装置の中に集積されてもよい。一例として、画像捕捉装置１０は、カメラ電話もしくはビデオ電話を形成するために、モバイル電話の中に集積されてよい。画像捕捉装置１０は、好ましくは、カラー画像、白黒画像、またはその両者を捕捉するように装備される。この開示において、「画像」、「撮像法」、「画像情報」または類似の用語は、互換的にビデオまたは静止画を意味する可能性がある。

画像センサアレイ１２は、興味あるシーンについての画像情報を取得する。画像センサアレイ１２は、例えば、行および列に配置された個々の画像センサの二次元アレイを含んでいる。画像センサアレイ１２の各画像センサは、単一の画素に関連してよい。換言すれば、画像センサと画素の間には１：１の対応が存在してよい。しかし、幾つかの実施形態においては、各画素に関連した２以上の画像センサが存在してもよい。画像センサアレイ１２は、例えば、相補的金属酸化物半導体（ＣＭＯＳ）センサ、電荷結合装置（ＣＣＤ）センサ等のようなソリッドステートセンサのアレイを含んでよい。

画像センサアレイ１２はまた、興味あるシーンの色コンポーネントを分離するために、アレイ１２の画像センサを覆うカラーフィルタの二次元アレイを含んでよい。画像センサアレイ１２は、例えば、ベイヤーのパターン（Bayer pattern）に配置された赤色、緑色および青色のフィルタのアレイ、即ち、交互の赤色および緑色のフィルタ列、および交互の青色および緑色のフィルタ列が交互になっているカラーフィルタの反復配列（図５Ａおよび図５Ｂ）を含んでよい。画像センサアレイ１２は、ＣＭＹＫカラーフィルタのような他のカラーフィルタを利用してよい。加えて、画像センサアレイ１２は、カラーフィルタをベイヤーパターン以外のパターンに配列してもよい。

画像センサアレイ１２内の画像センサは、画像シーンに露出されて、画像情報を捕捉する。アレイ１２の画像センサの各々は、例えば、当該シーンの光の強度を表す強度値を捕捉する。センサアレイ１２の各画像センサは、当該センサを覆うカラーフィルタに起因して、一つの色に対してのみ感受性であり得る。従って、センサアレイ１２の各画像センサは、これら色の一つだけについての画像情報（たとえば強度値）を捕捉する。上記で述べたベイヤーパターンの場合、画像センサの半分が緑色を表す画像情報を捕捉し、画像センサの１／４が青色を表す画像情報を捕捉し、画像センサの１／４が赤色を表す画像情報を捕捉する。結局、各画素に関連した画像情報は、色スペクトルの一部のみを表す。この開示において、「ベイヤーフォーマット」データの用語は、単一色のみを表す画像情報を意味する。

適応性画像フィルタ１４は、画像センサアレイ１２により捕捉された画像情報をフィルタリングする。適応性画像フィルタ１４は、各画素に関連した画像情報を、周囲画素に関連した画像情報の関数としてフィルタリングする。更に詳細に言えば、適応性画像フィルタ１４は、問題の画素に関連した画像情報を一組の周囲画素に関連した画像情報と比較し、問題の画素をこの比較の関数としてフィルタリングする。適応性画像フィルタ１４は、例えば、問題の画素に関連した画像情報と一組の周囲画素に関連した画像情報との間の比較の関数として調節可能な、ローパスコンポーネントおよびハイパスコンポーネントを含んでよい。このようにして、適応性画像フィルタ１４はノイズを取除き、同時に画像を向上させることができる。

適応性画像フィルタ１４は、画像情報を画素毎にフィルタリングして、問題の画素に関連する画像情報と一組の周囲画素に関連した画像情報との間の比較に基づき、各画素について適合的に変化させる。従って、問題の第一の画素の画像情報に適用されるフィルタは、問題の第二の画素の画像情報に適用されるフィルタから変化してよい。

適応性画像フィルタ１４は、単一色のみを表す画像情報（即ち、ベイヤーフォーマットデータ）をフィルタリングしてよい。換言すれば、適応性画像フィルタ１４は、各画像センサによって捕捉された画像情報を、同じカラーフィルタを利用して周囲画像センサにより捕捉された画像情報の関数としてフィルタリングしてよい。例えば、適応性フィルタ１４は、青色フィルタを利用して画像センサにより捕捉された画像情報を、これも青色フィルタを利用する周囲画像センサの関数としてフィルタリングする。或いは、適応性画像フィルタ１４は、当該画像情報をＲＧＢ（赤、緑、青）ドメインにおいて補間し、またはＲＧＢドメインからＹ，ＣｂＣｒ（輝度、青クロミナンス、赤クロミナンス）ドメインへの変換の後に、画像情報をフィルタリングしてよい。

画像プロセッサ１６は、適応性画像フィルタ１４からフィルタリングされた画像情報を受取り、当該フィルタリングされた画像情報に対して何等かの必要な処理を実行する。画像プロセッサ１６は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、アプリケーション特異的集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の同等の個別的または集積化された論理回路によって実現されてよい。幾つかの実施形態において、画像プロセッサ１６はエンコーダ／デコーダ（ＣＯＤＥＣ）の一部を形成してよく、これは画像情報を特定のコード化技術またはフォーマット、例えばＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵＨ．２６３、ＩＴＵＨ．２６４、ＪＰＥＧ等に従ってコード化するものである。

画像プロセッサ１６は、画像保存装置１８の中に画像情報を保存する。画像プロセッサ１６は、生の画像情報、処理された画像情報、またはコード化された情報を、画像保存装置１８の中に保存してよい。画像情報が音声情報を伴うのであれば、該音声情報もまた、独立にまたはビデオ情報と共に、画像保存装置１８の中に保存されてよい。画像保存装置１８は、何れかの揮発性または不揮発性メモリーまたは保存装置、例えば読取り専用メモリー（ＲＯＭ）、電気的に消去可能なプログラマブル読取り専用メモリー（ＥＥＰＲＯＭ）またはＦＬＡＳＨメモリー、或いは、磁気データ保存装置または光データ保存装置を含んでよい。

図２は、画像捕捉装置１０を更に詳細に示すブロック図である。画像捕捉装置１０は、適応性画像フィルタ１４を、画像センサアレイ１２からの生の画像情報に画像処理動作を実行するビデオフロントエンド（ＶＦＥ）２２の中に組込んでいる。図２に示すように、ＶＦＥ２２は、欠陥画素補正ユニット２４、適応性画像フィルタ１４、およびデモザイクユニット２６を含んでいる。欠陥画素補正ユニット２４は、１以上の欠陥画素に関連した画像情報を補正する。換言すれば、欠陥画素補正ユニット２４は、１以上の欠陥画像センサによって捕捉された画像情報を補正する。

欠陥画素補正ユニット２４は、例えば、暗強度レベルまたは明強度レベルにロックされた画像センサにより捕捉された画像情報を補正してよい。欠陥画素補正ユニット２４は、画像センサアレイ１２によって捕捉された画像情報をバッファーし、欠陥画素に関連した画像情報を同定し、該欠陥画素に関連した画像情報を補正する。例えば、欠陥画素補正ユニット２４は、欠陥画素に関連したバッファーされた画像情報を、周囲画素に関連した画像情報の関数として補間された画像情報で置きかえる。

適応性画像フィルタ１４は、欠陥画素補正ユニット２４によりバッファーされた画像情報を使用して、各画素に関連した画像情報を、周囲画素に関連した画像情報の関数としてフィルタリングする。欠陥画素補正ユニット２４によりバッファーされた画像情報を使用することにより、適応性画像フィルタ１４は、該画像情報をバッファーするために必要なメモリーの量を低減する。

デモザイクユニット２６は、各画素についての失われた色値を組込む。上記で述べたように、アレイ１２の各画像センサは、単一色のみを表す画像情報を捕捉する。換言すれば、各画素に関連した画像情報は、単一色コンポーネント、即ち、赤、緑または青のみを含んでいる。デモザイクユニット２６は、それぞれの画素についての失われた色値を補間する。例えばデモザイクユニット２６は、赤画素について青および緑コンポーネントを組込む。各画素に関連した画像情報は、デモザイクユニット２６による処理後の各色コンポーネントについての値を含んでいる。このようにして、デモザイクユニット２６は、ベイヤーフォーマットのデータをＲＧＢドメインに変換する。デモザイクユニット２６は、周囲の画素により捕捉された画像情報を使用して、各画素についての失われた色値を補間してよい。デモザイクユニット２６は、最近接法、線型法、三次法、三次スプライン法等のような何れの補間方法を使用してよい。

図２に示した実施形態は、例示目的のためだけのものである。適応性画像フィルタ１４はＶＦＥ２２の中にある必要はなく、画像捕捉装置１０内の何処かにあればよい。上記で述べたように、適応性画像フィルタ１４は、デモザイクユニット２４によるＲＧＢドメインへの補間後、または更にＲＧＢドメインからＹＣｂＣｒドメインへの変換後の画像情報をフィルタリングしてよい。

図３は、適応性画像フィルタ１４を更に詳細に示すブロック図である。ユニットとしての異なる特徴の描写は、適応性画像フィルタ１４の異なる帰納的側面を強調するためのものであり、このようなユニットが別個のハードウエアおよび／またはソフトウエアコンポーネントによって実現されなければならないことを必ずしも意味しない。むしろ、１以上のユニットに関連した機能性は、共通のハードウエアおよび／またはソフトウエアコンポーネント内に集積されてもよい。

上記で述べたように、適応性画像フィルタ１４は、問題の画素に関連した画像情報を一組の周囲画素に関連した画像情報と比較し、問題の画素の画像情報を、この比較の関数としてフィルタリングする。一つの実施形態において、適応性画像フィルタ１４は、問題の各画素を次式に従ってフィルタリングする。

ここで、ｘ（ｉ，ｊ）’はフィルタリングされた画素値であり、ｘ（ｉ，ｊ）は問題の画素のフィルタリングされていない値であり、ｗ_ｉｊは正規化因子であり、ｘ_ｉｊは位置（ｉ，ｊ）の画素に関連した画像情報の値であり、ｍおよびｎは周囲画素の位置値であり、また

ここで、ＬｏｗＰａｓｓＴｈｒｅｓｈｏｌｄは、ローパスフィルタコンポーネントに適用可能な閾値であり、ＨｉｇｈｗＰａｓｓＴｈｒｅｓｈｏｌｄは、ハイパスフィルタコンポーネントに適用可能な閾値である。

上記の式（１）は、ハードウエアにおける実装のために次のように単純化されてよい：

ここで、ｘ（ｉ，ｊ）’はフィルタリングされた画素値であり、ｘ（ｉ，ｊ）は問題の画素のフィルタリングされていない値であり、ｋ∈［−４，−４］はエッジ強調の程度を制御するための調節可能なパラメータであり、また

である。

図３の適応性画像フィルタ１４は、式（１）に従って画素をフィルタリングするための一つの例示的実施形態を示している。適応性画像フィルタ１４は問題の画素を選択し、一組の周囲画素を同定する。適応性フィルタ１４は、問題の画素に関連した画像情報および一組の周囲画素に関連した画像情報を入手する。適応性画像フィルタ１４は、欠陥画素補正のために使用される画素バッファーから画像情報を入手してもよい。或いは、適応性画像フィルタ１４は、画像保存装置１８から画像情報を入手してもよい。適応性画像フィルタ１４は、ベイヤーフォーマット、ＲＧＢドメイン、ＹＣｂＣｒドメイン、または他の色ドメインもしくはフォーマットにおいて画像情報を入手してもよい。しかし、例示の目的で、図３についてはベイヤーフォーマットデータに関して述べる。従って、周囲画素に関する画像情報は、同じカラーフィルタを使用する画像センサにより得えられた画像情報である。一般に、画像情報は強度値であってよい。

上記で述べたように、適応性画像フィルタは、問題の画素に関連する画像情報を一組の周囲画素に関連した画像情報と比較し、問題の画素の画像情報を、この比較の関数としてフィルタリングする。即ち、適応性画像フィルタ１４は、問題の画素の画像情報と前記一組の周囲画素の各々との間の差を計算する（３０）。例えば、各周囲画素について、適応性画像フィルタ１４は、問題の画素（図３において「ＩＮ＿ＰＩＸＥＬ」とラベルした）の強度値から周囲画素（図３において「ＳＲＮＤ＿ＰＩＸＥＬ」とラベルした）の強度値を差し引いて、差（図３においては「ＤＩＦＦ」とラベルした）を得る。ベイヤーフォーマットのデータがＲＧＢドメインまたはＹＣｂＣｒドメインに変換される場合、適応性画像フィルタ１４は、画像情報の他のコンポーネントを使用して差を計算してよい。ＹＣｂＣｒの場合、例えば、適応性画像フィルタ１４は、画素のＹ輝度値を比較するよって、この差を計算してよい。

適応性画像フィルタ１４は、該フィルタのローパスコンポーネントおよびハイパスコンポーネントを、計算された差の関数として決定する。適応性画像フィルタ１４は、例えば、計算された差の絶対値を、適応性画像フィルタ１４のハイパスおよびローパスコンポーネントに関連した閾値と比較する。即ち、ローパスフィルタコンパレータ３２（図３では「ＬＰＦ＿ＣＯＭＰＡＥＡＴＯＲ」とラベルした）は、計算された差の各々の値をローパス閾値と比較する。該ローパス閾値は、設計者もしくは顧客およびアプリケーションによりて選択された画像品質要件に依存するプログラム可能な値である。計算された差の絶対値がローパス閾値よりも小さければ、ローパスフィルタ差アキュムレータ３４（図３では「ＬＰＦ＿ＤＩＦＦ＿ＡＣＣＵＭＵＬＡＴＯＲ３４」とラベルした）が、計算された差の値だけ差値を増分する。このようにして、ローパスフィルタ差アキュムレータ３４は、ローパス閾値よりも小さい計算された差を合計して、ローパスコンポーネントに関連した差値（図３では「ＬＰＦ＿ＤＩＦＦ」とラベルした）を決定する。

同様に、ハイパスフィルタコンパレータ３６（図３では「ＨＰＦ＿ＫＯＭＰＡＲＡＴＯＲ３６」とラベルした）は、計算された差の各々の絶対値をハイパス閾値と比較する。計算された差の絶対値がハイパス閾値よりも大きければ、ハイパスフィルタ差アキュムレータ３８（図３では「ｈＰＦ＿ＤＩＦＦ＿ＡＣＣＵＭＵＬＡＴＯＲ３８と」とラベルした）は、当該計算された差の値だけ差値を増分する。このようにして、ハイパスフィルタ差アキュムレータ３８は、ハイパス閾値よりも大きい計算された差を合計して、ハイパスコンポーネントに関連した差値（図３では「ＨＰＦ＿ＤＩＦＦ」とラベルした）を決定する。

ローパスコンポーネントに関連した差値（ＬＰＦ＿ＤＩＦＦ）およびハイパスコンポーネントに関連した差値は、シフト因子を乗じられる。図３に示すように、適応性画像フィルタ１４は、ＬＰＦ＿ＤＩＦＦに１／（２＾ＬＰＦ＿ＳＨＩＦＴ）を乗じ（４０）、またＨＰＦ＿ＤＩＦＦに１／（２＾ＨＰＦ＿ＳＨＩＦＴ）を乗じる（４２）。ＬＰＦ＿ＳＨＩＦＴおよびＨＰＦ＿ＳＨＩＦＴはプログラム可能な値であり、これはそのために画像捕捉装置１０が使用されるアプリケーション、並びに画像品質についての設計者または顧客の好みに依存する。例えば鮮鋭な画像を好む設計者または顧客は、ＬＰＦ＿ＳＨＩＦＴをより大きな値に設定して、該フィルタの更に小さいローパスコンポーネントをもたらす可能性がある。ＬＰＦ＿ＳＨＩＦＴおよびＨＰＦ＿ＳＨＩＦＴの値は、画像毎に変化してよい。例えば、ＬＰＦ＿ＳＨＩＦＴおよびＨＰＦ＿ＳＨＩＦＴは、画像テクスチャー情報に基づいて決定されてよい。従って、明瞭で滑らかなテクスチャーを備えた画像情報については、ＬＰＦ＿ＳＨＩＦＴは、より小さい値に設定されてよい。或いは、画像捕捉装置１０の動作は、例えば画像捕捉装置１０に対する画像コントラスト設定を調節することによって、ＬＰＦ＿ＳＨＩＦＴおよびＨＰＦ＿ＳＨＩＦＴの値を調節してよい。

適応性画像フィルタ１４は、問題の画素に関連した画像情報を遅延させる遅延バッファ４０を含む一方、問題の画素の画像情報は周囲画素の画像情報と比較される。換言すれば、遅延バッファ４０は、ＩＮ＿ＰＩＸＥＬを遅延させる一方、適応性画像フィルタ１４は、問題の画素および周囲画素の画像情報の間の差を計算して、ローパスおよびハイパスコンポーネントを決定する。一例として、遅延バッファ４０は、問題の画素に関連した画像情報を遅延させてよい一方、適応性画像フィルタ１４は、前記一組の周囲画素が３×３マトリックスの周囲画素である場合に、問題の画素の画像情報を８個の周囲画素に関連した画像情報と比較する。

適応性画像フィルタ１４は、問題の画素について、フィルタリングされた画素値（図３では「ＯＵＴ＿ＰＩＸＥＬ」とラベルした）をローパスおよびハイパスコンポーネントの関数として計算する。即ち、適応性画像フィルタ１４は、問題の画素の元の画像情報に対してローパスコンポーネントを加え（４６）、または該元の画像情報からハイパスコンポーネントを差し引く（４６）ことによって、問題の画素に関連した画像情報をフィルタリングする。こうして、図３に示した例においては、フィルタリングされた画素値は次式に従って計算される：
ＯＵＴ＿ＰＩＸＥＬ
＝ＩＮ＿ＰＩＸＥＬ
＋（ＬＰＦ＿ＤＩＦＦ／（２＾ＬＰＦ＿ＳＨＩＦＴ））
−（ＨＰＦ＿ＤＩＦＦ／（２＾ＨＰＦ＿ＳＨＩＦＴ））
ここで、ＩＮ＿ＰＩＸＥＬは問題の画素に関連した画像情報の元の値であり、ＬＰＦ＿ＤＩＦＦはローパス閾値よりも小さい累積された差の値であり、ＨＰＦ＿ＤＩＦＦはハイパス閾値よりも大きい累積された差の値であり、またＬＰＦ＿ＳＨＩＦＴおよびＨＰＦ＿ＳＨＩＦＴはプログラム可能な値である。

図４は、問題の画素を周囲画素の関数としてフィルタリングする適応性画像フィルタ１４の例示的動作を示すフロー図である。最初に、適応性画像フィルタ１４は問題の画素を選択し、問題の画素に関連した画像情報を得る（５０）。適応性画像フィルタ１４は、例えば、欠陥画素補正のために使用される画素バッファーから画像情報を得る。或いは、適応性画像フィルタ１４は、画像保存装置１８から画像情報を得てもよい。

適応性画像フィルタ１４は、一組の周囲画素を同定し、周囲画素に関連した画像情報を入手する（５２）。適応性画像フィルタ１４は、ここでも、欠陥画素補正ユニット２４により使用されたバッファーされた画素から、画像保存装置１８から、または幾つかの他の場所から画像情報を入手してよい。一つの実施形態において、該画像情報は、同じカラーフィルタを利用する画素に関連するものである。適応性画像フィルタ１４は、問題の画素に関連する画像情報と選択された周囲画素に関連する画像情報との間の差を計算する（５４）。上記で詳細に説明したように、適応性画像フィルタ１４は、二つの画素の強度値を差し引くことによって差を計算してよい。

適応性フィルタ１４は、この計算された差をローパス閾値と比較する（５６）。計算された差がローパス閾値よりも小さければ、適応性フィルタ１４は、差の累積（例えば図３のＬＰＦ＿ＤＩＦＦ）をこの差の値だけ増分する（５８）。計算された差がローパス閾値以上であれば、適応性画像フィルタ１４は、該計算された勾配をハイパス閾値と比較する（６０）。計算された閾値がハイパス閾値よりも大きければ、適応性フィルタ１４は、差の累積（例えば図３のＨＰＦ＿ＤＩＦＦ）をこの差の値だけ増分する（６２）。

計算された差がハイパス閾値以下のとき、または差の累積の一つを増分した後に、適応性画像フィルタ１４は、比較するための他の一組の周囲画素が存在するかどうかを決定する（６４）比較すべき他の周囲画素が存在すれば、適応性画像フィルタ１４は、問題の画素に関連した画像情報と他の周囲画素に関連した画像情報との間の差を計算し、この差を上記で述べた閾値と比較する。

比較すべき他の一組の周囲画素が存在しないとき、適応性画像フィルタ１４は、ローパスおよびハイパスフィルタコンポーネントを決定する（６６）。適応性画像フィルタ１４は、フィルタコンポーネントの値を累積された差の関数として決定する。例えば、ローパスおよびハイパスフィルタコンポーネントの値は、それぞれ、ＬＰＦ＿ＤＩＦＦ／（２＾ＨＰＦ＿ＳＨＩＦＴ）およびＨＰＦ＿ＤＩＦＦ／（２＾ＨＰＦ＿ＳＨＩＦＴ）であってよい。

適応性画像フィルタ１４は、画素に関連するフィルタリングされた画像情報の値を、ローおよびハイパスフィルタコンポーネントの関数として計算する（６８）。例えば、フィルタリングされた画素値は次式に従って計算される：ＯＵＴ＿ＰＩＸＥＬ＝ＩＮ＿ＰＩＸＥＬ＋（ＬＰＦ＿ＤＩＦＦ／（２＾ＬＰＦ＿ＳＨＩＦＴ））−（ＨＰＦ＿ＤＩＦＦ／（２＾ＨＰＦ＿ＳＨＩＦＴ））。該フィルタリングされた画素値を計算したら、当該プロセスは次の問題の画素について継続する。このプロセスは、全ての問題の画素が処理されてしまうまで反復継続される。

図５Ａおよび図５Ｂは、適応性画像フィルタ１４により実行される例示的なフィルタリング技術を示す概略図である。図５Ａおよび図５Ｂは、ベイヤーフォーマットで配置された画素を示す。即ち、各々は可能な三つの色（Ｒ，Ｇ，Ｂ）のうちの一つの色のみを表す。図５Ａおよび図５Ｂにおいて、「Ｒ」でラベルされたボックスは赤の画素を表し、「Ｂ」でラベルされたボックスは青の画素を表し、「Ｇ」でラベルされたボックスは緑の画素を表す。上記で述べたように、各々の画素は画像センサアレイ１２の画像センサに対応してよい。例示目的のためだけで言えば、画像捕捉装置１０に関連した画素の一部が、図５Ａおよび図５Ｂに示されている。典型的には、画像捕捉装置１０は、例えば数千または数百万の更に多くの画素を含むであろう。

図５Ａは、青の画素をフィルタリングするための例示的フィルタリングスキームを示している。同じフィルタリングスキームが、赤の画素をフィルタリングするために使用されてよい。図５Ｂは、緑の画素をフィルタリングするための例示的フィルタリングスキームを示している。緑の画素をフィルタリングするためのフィルタリングスキームは、ベイヤーパターンの性質に起因して異なるかもしれない。上記で述べたように、ベイヤーパターンに存在する赤および青の画素の二倍の数の緑の画素が存在する。

次に、図５Ａを参照すると、適応性画像フィルタ１４は、問題の画素７２および一組の周囲画素７４Ａ〜Ｈ（「周囲画素７４」）を選択する。図５Ａに示したように、問題の画素７２および周囲画素７４は同じ色、即ち、青を表す。同じフィルタリングスキームはまた、赤い画素にも適用されてよい。適応性画像フィルタ１４は、問題の画素に関連した画像情報と周囲画素７４の各々に関連する画像情報との間の差を計算する。従って、この例において、適応性画像フィルタ１４は八つの差、即ち、周囲画素７４の各々について一つの差を計算する。

適応性画像フィルタ１４は、問題の画素に関連する画像情報を、上記で述べた計算された差の関数としてフィルタリングする。特に、適応性フィルタ１４はこの差をローパスおよびハイパス閾値と比較し、閾値要件が合致するときにローパスおよびハイパスの差を累積する。適応性画像フィルタ１４は、画像情報の元の値、並びにローパスおよびハイパス差に基づいて画素の出力値を計算する。以下の擬似コードは、青または赤の画素を、周囲画素の３×３のマトリックスの関数としてフィルタリングするための例示的アルゴリズムを示している。

次に図５Ｂを参照すると、適応性画像フィルタ１４は、問題の画素７６および一組の周囲画素７８Ａ〜Ｇ（「周囲画素７８」）を選択する。図５Ｂに示すように、問題の画素７６および周囲画素７８は同じ色、即ち、緑を表す。上記で述べたように、緑の画素についてのフィルタリングアルゴリズムは、ベイヤーパターンにおける膨大な数の緑の画素に起因して僅かに異なる。適応性画像フィルタ１４は、問題の画素に関連した画像情報と各々の周囲画素７８に関連した画像情報との間の差を計算し、問題の緑の画素７６についての七つの差の計算を生じる。

適応性フィルタ１４は、問題の画素に関連した画像情報を、上記の計算された差の関数としてフィルタリングする。特に、適応性画像フィルタ１４は、画像情報の元の値ならびにローパス差およびハイパス差に基づいて、画素の出力値を計算する。以下の擬似コードは、緑の画素を、周囲画素の３×３のマトリックスの関数としてフィルタリングするための例示的アルゴリズムを示している。

図５Ａおよび図５Ｂに示したフィルタリングアルゴリズムは、周囲画素の３×３マトリックスを使用しているが、適応性画像フィルタ１４は、如何なる数の周囲画素を使用してもよい。適応性画像フィルタ１４は、大マトリックスの周囲画素（例えば５×５マトリックス、または７×７マトリクス）、または周囲マトリクスの画素の一部のみを使用してもよい。例えば、画像フィルタ１４は、問題の画素７２を、周囲画素７４Ａ、７４Ｃ、７４Ｅおよび７４Ｇ（図５Ａ）のみの関数としてフィルタリングしてよい。更に、適応性画像フィルタ１４は、ＲＧＢドメインまたはＹＣｂＣｒドメインにおける画像情報のような、異なるドメインにおける画像情報をフィルタリングしてよい。このようなドメインにおけるフィルタリングを実施することにおいて、適応性フィルタ１４は、直接隣接する画素を周囲画素として使用してよい。

ここに記載する技術は、ハードウエア、ソフトウエア、ファームウエア、またはそれらの何れかの組合せにおいて実施されてよい。ソフトウエアにおいて実施されるならば、当該技術は、画像を捕捉する装置で実施されるときに、ここに記載した１以上の技術を実行する機械実施可能な命令を提供するプログラムコードを含んでなるコンピュータ読み取り可能な媒体に向けられてよい。この場合、コンピュータ読み取り可能な媒体は、同期式ダイナミックランダムアクセスメモリー（ＳＤＲＡＭ）のようなランダムアクセスメモリー（ＲＡＭ）、読み取り専用メモリー（ＲＯＭ）、不揮発性ランダムアクセスメモリー（ＮＶＲＡＭ）、電気的に消去可能なプログラマブル読み取り専用メモリー（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリー等を含んでよい。

上記プログラムコードは、コンピュータ読み取り可能な命令の形態でメモリー上に保存されてよい。その場合、マイクロプロセッサまたはデジタル信号プロセッサ（ＤＳＰ）のようなプロセッサは、ここに記載した１以上の技術を実施するために、メモリー内に保存された命令を実行してよい。幾つかの場合に、当該技術は、種々のハードウエアコンポーネントを呼び出すＤＳＰによって実行されてよい。他の場合に、この開示に記載された技術はマイクロプロセッサ、１以上のアプリケーション特異的集積回路（ＡＳＩＣｓ）、１以上のフィールドプログラマブルゲートアレイ（ＦＲＧＡｓ）、または幾つかの他のハードウエア／ソフトウエアの組合せにより実施されてよい。

種々の実施形態を記載してきた。これらの実施形態および他の実施形態は、本願の特許請求の範囲内にあるものである。

図１は、画像情報を捕捉するための例示的な画像捕捉装置を示すブロック図である。 図２は、図１の画像捕捉装置を更に詳細に示すブロック図である。 図３は、図１の画像捕捉装置と共に有用な、適応性画像フィルタを示すブロック図である。 図４は、問題の画素を周囲画素の関数としてフィルタリングするための技術を示すフロー図である。 図５Ａは、問題の画素を周囲がその関数としてフィルタリングするための例示的フィルタリング技術を示す概略図である。 図５Ｂは、問題の画素を周囲がその関数としてフィルタリングするための例示的フィルタリング技術を示す概略図である。

Claims (42)

1. 問題の画素に関する画像情報と、該問題の画素を取囲む画素に関連した画像情報との間の差を計算することと；
   フィルタのローパスコンポーネントおよびハイパスコンポーネントを、前記計算された差の関数として決定することと；
   前記フィルタを、前記問題の画素に関連した画像情報に適用すること
   を含んでなる方法。
2. 請求項１に記載の方法であって：前記フィルタのローパス成分を決定することが、
   前記計算された差の各々をローパス閾値と比較することと；
   前記ローパス閾値よりも小さい前記計算された差を合計して、ローパスコンポーネント値を得ることと；
   前記ローパスコンポーネント値に基づいて、前記ローパスコンポーネントを決定することと
   を含んでなる方法。
3. 請求項２に記載の方法であって、前記フィルタのローパスコンポーネントを決定することは、更に、前記ローパスコンポーネント値をプログラム可能な値により除算して、前記フィルタのローパスコンポーネントを決定することを含んでなる方法。
4. 請求項１に記載の方法であって：前記フィルタのハイパスコンポーネントを決定することは、
   前記計算された差の各々をハイパス閾値と比較することと；
   前記ハイパス閾値よりも大きい前記計算された差を合計して、ハイパスコンポーネント値を得ることと；
   前記ハイパスコンポーネント値に基づいて、前記ハイパスコンポーネントを決定することと
   を含んでなる方法。
5. 請求項４に記載の方法であって、前記ハイパスコンポーネントを決定することは、前記ハイパスコンポーネント値をプログラム可能な値により除算して、前記フィルタのハイパスコンポーネントを決定することを含んでなる方法。
6. 請求項１に記載の方法であって、前記フィルタを問題の画素に関連した画像情報に適用することは、前記画像情報を次式に従ってフィルタリングすることを含んでなる装置：
   Ｏｕｔ＿ｐｉｘｅｌ
   ＝ｉｎ＿ｐｉｘｅｌ
   ＋（ｌｐｆ＿ｄｉｆｆ／（２＾ＬＰＦ＿ＳＨＩＦＴ））
   −（ｈｐｆ＿ｄｉｆｆ／（２＾ＨＰＦ＿ＳＨＩＦＴ）），
   ここで、ｏｕｔ＿ｐｉｘｅｌはフィルタリングされた画像情報の値であり、ｉｎ＿ｐｉｘｅｌはフィルタリングされない画像情報の値であり、ｌｐｆ＿ｄｉｆｆはローパス閾値よりも小さい計算された差の合計であり、ｈｐｆ＿ｄｉｆｆはハイパス閾値よりも大きい計算された差の合計であり、またＬＰＦ＿ＳＨＩＦＴおよびＨＰＦ＿ＳＨＩＦＴはプログラム可能な変数である。
7. 請求項１に記載の方法であって、更に、
   問題の画素および周囲画素に関連した画像情報をバッファーすることと；
   前記バッファーされた画像情報を使用して、１以上の欠陥画素に関連した画像情報を補正することを含んでなり、
   前記問題の画素に関連した画像情報と前記周囲画素の各々に関連した画像情報との間の差を計算することは、前記バッファーされた画像情報を使用して前記差を計算することを含んでなる方法。
8. 請求項１に記載の方法であって、更に、前記問題の画素に関連した画像情報と前記周囲画素の各々に関連した画像情報との間の差を計算することは、前記画素に関連した強度値における差を計算することを含んでなる方法。
9. 請求項１に記載の方法であって、前記画素に関連した画像情報が単一色のみを表す方法。
10. 請求項１に記載の方法であって、前記画素に関連した画像情報が、ＲＧＢドメインおよびＹＣｂＣｒドメインの一方におけるものである方法。
11. 請求項１に記載の方法であって、前記問題の画素を取囲む一組の画素を同定することが、前記問題の画素を取り囲む画素のｎ×ｎアレイを同定することを含んでなる方法。
12. 請求項１に記載の方法であって、前記問題の画素を取囲む画素が同じ色のフィルタを利用する方法。
13. 画像情報を捕捉する画像センサアレイであって、前記画像センサアレイが複数の画素に関連した画像情報を捕捉する複数の画像センサを含む画像センサアレイと；
    問題の画素に関連した画像情報と前記問題の画素を取り囲む画素に関連した画像情報との間の差を計算し、フィルタのローパスコンポーネントおよびハイパスコンポーネントを前記計算された差の関数として決定し、該フィルタを前記問題の画素に関連した画像に適用する適応性フィルタと
    を具備してなる装置。
14. 請求項１３に記載の装置であって、前記適応性画像フィルタは、前記計算された差の各々をローパス閾値と比較し、該ローパス閾値よりも小さい計算された差を合計してローパスコンポーネント値を入手し、該ローパスコンポーネント値に基づいて前記ローパスコンポーネントを決定する装置。
15. 請求項１６に記載の装置であって、前記適応性画像フィルタは、前記ローパスコンポーネントを決定するために、前記ローパスコンポーネント値をプログラム可能な値で除算する装置。
16. 請求項１３に記載の装置であって、前記適応性画像フィルタは、前記計算された差の各々をハイパス閾値と比較し、該ハイパス閾値よりも大きい計算された差を合計してハイパスコンポーネント値を入手し、該ハイパスコンポーネント値に基づいて前記ハイパスコンポーネントを決定する装置。
17. 請求項１６に記載の装置であって、前記適応性画像フィルタは、前記フィルタのハイパスコンポーネントを決定するために、前記ハイパスコンポーネント値をプログラム可能な値で除算する装置。
18. 請求項１３に記載の装置であって、前記適応性画像フィルタは、前記問題の画素に関連した画像情報を、次式に従ってフィルタリングする装置：
    Ｏｕｔ＿ｐｉｘｅｌ
    ＝ｉｎ＿ｐｉｘｅｌ
    ＋（ｌｐｆ＿ｄｉｆｆ／（２＾ＬＰＦ＿ＳＨＩＦＴ））
    −（ｈｐｆ＿ｄｉｆｆ／（２＾ＨＰＦ＿ＳＨＩＦＴ）），
    ここで、ｏｕｔ＿ｐｉｘｅｌはフィルタリングされた画像情報の値であり、ｉｎ＿ｐｉｘｅｌはフィルタリングされない画像情報の値であり、ｌｐｆ＿ｄｉｆｆはローパス閾値よりも小さい計算された差の合計であり、ｈｐｆ＿ｄｉｆｆはハイパス閾値よりも大きい計算された差の合計であり、またＬＰＦ＿ＳＨＩＦＴおよびＨＰＦ＿ＳＨＩＦＴはプログラム可能な変数である。
19. 請求項１３に記載の装置であって、更に、問題の画素および一組の周囲がソに関連した画像情報をバッファーし、該バッファーされた画像情報を使用して１以上の欠陥画素に関連した画像情報を補正する欠陥画素補正ユニットを含んでなり、前記適応性画像フィルタは、前記バッファーされた画像情報を使用して前記差を計算する装置。
20. 請求項１３に記載の装置であって、前記適応性画像フィルタは、前記画素に関連した強度値における差を計算する装置。
21. 請求項１３に記載の装置であって、更に、単一色のみを表す画像情報を捕捉するために、前記画像センサを覆う複数のカラーフィルタを備えてなる装置。
22. 請求項１３に記載の装置であって、前記画素に関連した画像情報は、ＲＧＢドメインおよびＹＣｂＣｒドメインのうちの一つである装置。
23. 請求項１３に記載の装置であって、前記適応性画像フィルタは、問題の画素を取囲む画素のｎ×ｎのアレイを同定する装置。
24. 請求項１３に記載の装置であって、前記適応性画像フィルタは、同じカラーフィルタを利用する周囲画素を同定する装置。
25. 複数の画素についての画像情報を捕捉し、ここで前記画素の各々に関連した画像情報は複数の色の一つを表すことと；
    前記複数の画素から問題の画素および一組の周囲画素を選択し、ここでの前記一組の周囲画素および前記問題の画素が同じ色を表すことと；
    前記問題の画素に関連した画像情報と前記一組の周囲画素の各々に関連した画像情報との間の差を計算することと；
    前記問題の画素に関連した画像情報を、前記計算された差の関数としてフィルタリングすることと
    を含んでなる方法。
26. 請求項２５に記載の方法であって、更に、フィルタのローパスコンポーネントおよびハイパスコンポーネントを前記計算された差の関数として決定することを含んでなり、ここで前記画像情報をフィルタリングすることは、前記フィルタに従って問題の画素に関連した画像情報をフィルタリングすることを含んでなる方法。
27. 請求項２５に記載の方法であって、前記問題の画素に関連した画像情報をフィルタリングすることは、次式に従って前記画像情報をフィルタリングすることを含んでなる方法：
    Ｏｕｔ＿ｐｉｘｅｌ
    ＝ｉｎ＿ｐｉｘｅｌ
    ＋（ｌｐｆ＿ｄｉｆｆ／（２＾ＬＰＦ＿ＳＨＩＦＴ））
    −（ｈｐｆ＿ｄｉｆｆ／（２＾ＨＰＦ＿ＳＨＩＦＴ）），
    ここで、ｏｕｔ＿ｐｉｘｅｌはフィルタリングされた画像情報の値であり、ｉｎ＿ｐｉｘｅｌはフィルタリングされない画像情報の値であり、ｌｐｆ＿ｄｉｆｆはローパス閾値よりも小さい計算された差の合計であり、ｈｐｆ＿ｄｉｆｆはハイパス閾値よりも大きい計算された差の合計であり、またＬＰＦ＿ＳＨＩＦＴおよびＨＰＦ＿ＳＨＩＦＴはプログラム可能な変数である。
28. 複数の画素に関連した画像情報を捕捉する複数の画像センサを備えた画像センサアレイであって、前記画素の各々に関連した前記画像情報が複数の色の一つを表す画像センサアレイと；
    複数の画素から問題の画素および一組の周囲画素を選択し、前記問題の画素に関連した画像情報と前記一組の周囲画素の各々に関連した画像情報との間の差を計算し、前記問題の画素に関連した画像情報を前記計算された差の関数としてフィルタリングする適応性画像フィルタであって、前記一組の周囲画素および前記問題の画素に関連した画像情報が同じ色を表す適応性画像フィルタと
    を具備してなる装置。
29. 請求項２８に記載の装置であって、前記適応性画像フィルタは、前記フィルタのローパスコンポーネントおよびハイパスコンポーネントを前記計算された差の関数として計算する装置。
30. 請求項２８に記載の装置であって、前記適応性画像フィルタは、前記問題の画素に関連した画像情報を次式に従ってフィルタリングする装置：
    Ｏｕｔ＿ｐｉｘｅｌ
    ＝ｉｎ＿ｐｉｘｅｌ
    ＋（ｌｐｆ＿ｄｉｆｆ／（２＾ＬＰＦ＿ＳＨＩＦＴ））
    −（ｈｐｆ＿ｄｉｆｆ／（２＾ＨＰＦ＿ＳＨＩＦＴ）），
    ここで、ｏｕｔ＿ｐｉｘｅｌはフィルタリングされた画像情報の値であり、ｉｎ＿ｐｉｘｅｌはフィルタリングされない画像情報の値であり、ｌｐｆ＿ｄｉｆｆはローパス閾値よりも小さい計算された差の合計であり、ｈｐｆ＿ｄｉｆｆはハイパス閾値よりも大きい計算された差の合計であり、またＬＰＦ＿ＳＨＩＦＴおよびＨＰＦ＿ＳＨＩＦＴはプログラム可能な変数である。
31. プロセッサに対して、
    問題の画素に関連した画像情報と該問題の画素を取り囲む画素に関連した画像情報との間の差を計算させ；
    フィルタのローパスコンポーネントおよびハイパスコンポーネントを、前記計算された差の関数として決定させ；および
    前記フィルタを、前記問題の画素に関連した画像情報に適用させるための
    命令を含んでなるコンピュータ読み取り可能な媒体。
32. 請求項３１に記載のコンピュータ読取り可能な媒体であって、前記フィルタのローパスコンポーネントを決定することは、
    前記計算された差の各々をローパス閾値と比較することと；
    前記ローパス閾値よりも小さい計算された差を合計して、ローパスコンポーネント値を得ることと；
    該ローパスコンポーネント値に基づいて前記ローパスコンポーネントを決定すること
    を含んでなる媒体。
33. 請求項３２に記載のコンピュータ読取り可能な媒体であって、前記命令は、前記フィルタのローパスコンポーネントを決定するために、前記プロセッサに対して前記ローパスコンポーネント値をプログラム可能な値で除算させる媒体。
34. 請求項３２に記載のコンピュータ読取り可能な媒体であって、前記命令は前記プロセッサに対して、
    前記計算された差の各々をハイパス閾値と比較させ；
    ハイパスコンポーネント値を得るために、前記ハイパス閾値よりも大きい計算された差を合計させ；
    該ハイパスコンポーネント値に基づいて、前記ハイパスコンポーネントを決定させる媒体。
35. 請求項３４に記載のコンピュータ読取り可能な媒体であって、前記フィルタのハイパスコンポーネントを決定するために、前記命令は前記プロセッサに対して、前記ハイパスコンポーネント値をプログラム可能な値で除算させる媒体。
36. 請求項３１に記載のコンピュータ読取り可能な媒体であって、前記命令は前記プロセッサに対して、前記画像情報を次式に従ってフィルタリングさせる媒体：
    Ｏｕｔ＿ｐｉｘｅｌ
    ＝ｉｎ＿ｐｉｘｅｌ
    ＋（ｌｐｆ＿ｄｉｆｆ／（２＾ＬＰＦ＿ＳＨＩＦＴ））
    −（ｈｐｆ＿ｄｉｆｆ／（２＾ＨＰＦ＿ＳＨＩＦＴ）），
    ここで、ｏｕｔ＿ｐｉｘｅｌはフィルタリングされた画像情報の値であり、ｉｎ＿ｐｉｘｅｌはフィルタリングされない画像情報の値であり、ｌｐｆ＿ｄｉｆｆはローパス閾値よりも小さい計算された差の合計であり、ｈｐｆ＿ｄｉｆｆはハイパス閾値よりも大きい計算された差の合計であり、またＬＰＦ＿ＳＨＩＦＴおよびＨＰＦ＿ＳＨＩＦＴはプログラム可能な変数である。
37. 請求項３１に記載のコンピュータ読取り可能な媒体であって、前記命令は前記プロセッサに対して、
    前記問題の画素および周囲画素に関連した画像情報をバッファーさせ；
    前記バッファーされた画像情報を使用して、１以上の欠陥画素に関連した画像情報を補正させ；
    前記問題の画素に関連した画像情報と前記周囲画素の各々に関連した画像情報との間の差を計算することは、前記バッファーされた画像情報を使用して前記差を計算することを含んでなる媒体。
38. 請求項３１に記載のコンピュータ読取り可能な媒体であって、前記命令は、前記プロセッサに対して前記画素に関連した強度値における差を計算させ、前記問題の画素に関連した画像情報と前記周囲画素の各々に関連した画像情報との間の差を計算させる媒体。
39. 請求項３１に記載のコンピュータ読取り可能な媒体であって、前記画素に関連した画像情報は単一色のみを表す媒体。
40. 請求項３１に記載のコンピュータ読取り可能な媒体であって、前記画素に関連した画像情報は、ＲＧＢドメインおよびＹＣｂＣｒドメインのうちの一つである媒体。
41. 請求項３１に記載のコンピュータ読取り可能な媒体であって、前記命令は、前記プロセッサに対して、前記問題の画素を取り囲む画素のｎ×ｎアレイを同定する媒体。
42. 請求項３１に記載のコンピュータ読取り可能な媒体であって、前記問題の画素を取り囲む画素は同じカラーフィルタを利用する媒体。

Images