JP2015510372A - 画像処理のためのシステム及び方法 - Google Patents

Abstract

本開示は、全般的に、画像データ処理のためのシステム及び方法に関する。特定の実施形態では、画像データを転送するための方法は、１次元欠陥画素補正アルゴリズムに基づいて、画像データ中の１つ以上の欠陥画素を補正するステップ、１次元水平方向デモザイクアルゴリズムに基づいて、画像データを水平方向にデモザイク処理するステップ、又は補正するステップとデモザイク処理するステップとの組み合わせによって、画像センサにおいて画像データを処理するステップ、を含むことができる。本方法は、画像データを処理した後に、画像センサにおいて、処理された画像データを水平方向にダウンスケールするステップと、表示装置で閲覧するために表示されるように、画像信号プロセッサにおいて、水平方向にダウンスケールされた画像データを垂直方向にダウンスケールするステップと、を含むことができる。【選択図】図８

Description

本開示は、全般的に、画像処理に関し、より詳細には、画像信号プロセッサにおける追加処理前の画像センサにおける初期画像処理のためのシステム及び方法に関する。

このセクションは、以下に説明及び／又はクレームされている、本開示の種々の態様に関連し得る、種々の技術態様を読者に紹介することを意図している。この検討は、本開示の様々な態様のより良き理解を容易にする背景情報を読者に提供する上で役立つと信じる。したがって、これらの記述は、この観点から読まれるべきであって、従来技術を容認するものとして読まれるべきではないことを理解されよう。

デジタル撮影装置は、少なくとも１つの要因として平均的な消費者にとって益々手頃になってきていることにより普及してきている。更に、現在市販されている多くのスタンドアロンデジタルカメラに加えて、デジタル撮影装置がデスクトップコンピュータ、ノートブックコンピュータ、セルラー電話又はポータブルメディアプレーヤなどの別の電子装置の一部として組み込まれることは珍しいことではない。

画像データを取得するために、ほとんどのデジタル撮影装置は、画像センサにより検出された光を電気信号に変換するように構成された多くの光検出素子（例えば、受光器）を提供する画像センサを含む。また、画像素子は、色情報をキャプチャするために、画像素子によってキャプチャされた光をフィルタリングするカラーフィルタアレイを含んでもよい。次いで、画像センサによってキャプチャされた画像データを、画像処理パイプライン（例えば、画像信号プロセッサ（ＩＳＰ））に送ることができ、画像処理パイプラインは、多くの種々の画像処理動作を画像データに適用し、表示装置（例えば、モニタ）で閲覧するために表示され得るフルカラー画像を生成することができる。一般に、画像センサは、センサ−ＩＳＰデータリンクを介して、画像データをＩＳＰに送ることができる。したがって、静止画データの場合、画像センサは、画像をキャプチャし、その画像をセンサ−ＩＳＰデータリンクを介して生画像データとしてＩＳＰに送る。ＩＳＰ及びセンサ−ＩＳＰデータリンクは、一般に、高解像度の画像を表示装置に効果的に表示するように、標準的な速度で生画像データを処理することができる。

一方、ビデオ画像データは、静止画データと比較して、非常に大量のデータを含む。例えば、ビデオ画像は、１秒あたり３０〜６０フレーム毎秒でキャプチャされた画像（すなわち、生ビデオデータ）を含み得る。ある種のプロ仕様のカメラ装置は、ビデオデータを典型的な出力解像度（例えば、１９２０×１０８０）までダウンスケールする前に、ＩＳＰにおいて高解像度の生ビデオデータを処理することができる。ただし、ＩＳＰによって生ビデオデータの各フレームを処理することは、処理リソース及び電力リソースを著しく消費する。回避するためには、多くの消費者向けカメラ装置は、生画像データをＩＳＰに転送する前に、センサにおいて生ビデオデータの有効解像度を低減することができる。

生ビデオデータの有効解像度を低減するための一般的な方法は、生ビデオデータを「ビニングする」ことによるものである。ビニングは、効果的な低解像度センサを形成するために、生画像データの各フレーム中の隣接する同色画素群を平均化することを含み得る。例えば、４０００×３０００画素センサでは、各２×２画素群をビニングし、画素センサの有効解像度を２０００×１５００まで低減するようにセンサをプログラムすることができ、ＩＳＰは、低減された有効解像度を１９２０×１０８０の解像度までクロップ及び／又はスケーリングし得る。ＩＳＰ及びセンサ−ＩＳＰデータリンクは、ビニングプロセスを使用して、画像センサが受け取った高解像度の画像及びビデオ画像をより効率的に処理することができるが、得られたビデオ画像の品質は不十分であることがある。

本明細書で開示されるある実施形態の概要を以下に記載する。これらの態様は、これらのある実施形態の概要を読者に提供するためだけのものであって、本開示の範囲を制限する意図でないことが理解されよう。実際に、本開示は、以下に記載されていない種々の態様を含み得る。

本開示は、全体的に、画像処理システム内の画像データを転送するためのシステム及び方法を関する。画像センサは、効果的に高解像度の画像及びビデオ画像を表示するために、その生画像データの有効解像度を低減することができる。本明細書で使用される場合、用語「生ビデオデータ」と用語「生画像データ」の両方は、ビデオキャプチャ中に画像センサによってキャプチャされた画像データを指す。本開示では、これらの用語は、実質的に互換的に使用することができる。センサは、センサ−ＩＳＰデータリンクを介して、修正された生画像データをＩＳＰに送ることができる。ＩＳＰ及びセンサ−ＩＳＰデータリンクは、表示装置で閲覧可能な完成したビデオを得るために、修正された画像データを処理することができる。

単に画像情報の損失を引き起こし得る、画像センサにおける生画像データのビニングの代わりに、画像センサは、生ビデオ画像データを水平方向にダウンスケールして、生画像データの帯域幅を１／２に低減することができる。水平方向ダウンスケールは、センサ中で実行するために、比較的リソース効率的な動作であり得る。次いで、画像センサは、センサ−ＩＳＰデータリンクを介して、水平方向にダウンスケールされた画像データをＩＳＰに送ることができる。ダウンスケールされた画像データをＩＳＰが受け取ると、ＩＳＰは、それを垂直方向にダウンスケールして、最終出力解像度の画像を生成することができ、その画像は、表示装置に表示されることができる。

それに加えて、又は代替として、画像センサは、水平方向にダウンスケールする前に、生画像データから欠陥画素を識別することができる。このようにして、画像センサは、生画像データをダウンスケールする前、及びダウンスケールされた画像データをＩＳＰに送る前に、欠陥画素を補正することができる。ビデオデータをダウンスケールする前に欠陥画素を矯正することができるので、欠陥画素が最終的なビデオ画像データの品質に与える影響を少なくすることができる。

画像センサは、それぞれの画素に欠陥があるかどうかを判定するために、１次元欠陥画素補正を採用することができる。この１次元欠陥画素補正が使用するリソースは、ＩＳＰにおいて通常見られるタイプの欠陥画素補正よりも少ないことがある。画像センサは、出力する際に画素データを一行ずつ検討して、同じ色成分の隣り合った画素の差がしきい値よりも大きいかどうかを判定することができる。欠陥画素補正は、一般に、１次元である、現在の走査線から得た画素データに主に依拠し、以後の走査線にはまったく依拠しない、ので画像センサは、ある画素をその左右の隣接する隣接画素と比較することができる。隣り合った画素間の差がこのしきい値よりも大きい場合、画像センサは、それぞれの画素に、おそらく欠陥があるとしてフラグを立てることができる。次いで、画像センサは、フラグを立て画素の直に隣の画素（すなわち、横方向及び上方向に１画素離れている）のいずれにもフラグが立てられていない場合、フラグを立て画素を欠陥画素と指定することができる。画素を欠陥画素として指定した後に、画像センサは、線形フィルタと、欠陥画素の隣の画素の画素値とを使用して欠陥画素の値を置換することができる。

また、いくつかの事例では、画像センサは、生画像を水平方向にダウンスケールする前に、生画像データに対して１次元デモザイク動作を実行することもできる。生画像データをデモザイク処理するとき、画像センサは、画素ストリーム（すなわち、画素行）として生画像データを受け取り、２色画素値の各々が生画像データの画素のうちの１つに対応することができるように２色画素値のストリームを出力することができる。２色画素値は、それぞれの画素の色成分に対応する元の画素色値と、それぞれの画素の水平方向に隣接する画素の色成分に対応する補間画素色値を含むことができる。デモザイク処理動作によって作成される２色画素値のストリームは、次いで、画像センサによって水平方向にダウンスケールされ、センサ−ＩＳＰデータリンクを介してＩＳＰに送ることができる。デモザイク処理動作により、水平方向にダウンスケールされた画像データは、デモザイク処理することなく生画像データを水平方向にダウンスケールした場合に失われ得る水平方向の詳細の一部を保持できるようにすることができる。

本開示の様々な態様が、以下の詳細な説明を読み、図面を参照することによってより良く理解されよう。

本開示に記載する画像処理技術のうちの１つ以上を実現するように構成された撮影装置及び画像処理回路系を含む電子装置の一例の構成要素を示す概略ブロック図である。 図１の撮影装置において実現され得るベイヤーカラーフィルタアレイの２×２画素ブロックの図形表現を示す図である。 本開示の態様による、ラップトップコンピューティング装置の形態の図１の電子装置の斜視図である。 本開示の態様による、デスクトップコンピューティング装置の形態の図１の電子装置の正面図である。 本開示の態様による、ハンドヘルドポータブル電子装置の形態の図１の電子装置の正面図である。 図５に示した電子装置の背面図である。 本開示の態様による、図１の画像処理回路系の一実施形態を示すブロック図である。 本開示の態様による、図７の画像センサ中の水平方向スケーラの一実施形態を示すブロック図である。 本開示の態様による、画像データを画像信号プロセッサに転送するための方法を示すフローチャートである。 本開示の態様による、画像データ中の欠陥画素を補正するための方法を示すフローチャートである。 本開示の態様による、図１０に記載した方法を使用して欠陥画素を検出するための一例として機能する画素アレイを示す図である。 画像データをビニングした結果として生じる位相誤差を示す図である。 本開示の態様による、水平方向にデモザイクされた画像データを示す図である。

以下において、１つ以上の特定の実施形態を説明する。これらの実施形態の簡潔な説明を提供するために、本明細書には実際の実施態様の全ての特徴は示されていない。任意のこのような実際の実装の開発において、任意の工学技術又は設計プロジェクトにおける場合と同様、実装ごとに異なり得るシステム関連及びビジネス関連の制約への適合などの開発者固有の目標を実現するために、多くの実装固有の決定を行う必要があることが理解されよう。更に、このような開発作業は、複雑で、手間がかかるが、それにもかかわらず、本開示の恩恵を受ける当業者にとっては、定型的な設計、組み立て、製造作業であることが理解されよう。

以下に論じるように、本開示は、全般的に、１つ以上の画像検出装置を介して取得された画像データを処理するための技術に関する。詳細には、本開示の特定の態様は、画像データを画像信号プロセッサ（ＩＳＰ）に転送することと、画像データ中の欠陥画素を検出及び補正することと、画像データをデモザイク処理することとに関し得る。本明細書に開示する技法は、静止画と動画（例えば、ビデオ）の両方に適用することができ、デジタルカメラ、内蔵デジタルカメラを有する電子装置、セキュリティ又はビデオ監視システム、医療用撮像システムなどの任意の好適なタイプの画像アプリケーションにおいて利用することができることを理解されたい。

上述の点を考慮すると、図１は、簡単に上述した画像処理技術のうちの１つ以上を使用して画像データの処理を行うことができる電子装置１０の一例を示すブロック図である。電子装置１０は、１つ以上の画像検出構成要素を使用して取得されたデータなどの画像データを受け取り処理するように構成された、ラップトップコンピュータ又はデスクトップコンピュータ、モバイル電話、デジタルメディアプレーヤなどの任意のタイプの電子装置とすることができる。例として、電子装置１０は、米国Ｃａｌｉｆｏｒｎｉａ州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ社から市販されているｉＰｏｄ（登録商標）ｉＰａｄ（登録商標）又はｉＰｈｏｎｅ（登録商標）のモデルなどのポータブル電子装置とすることができる。更に、電子装置１０は、Ａｐｐｌｅ社から市販されているＭａｃＢｏｏｋ（登録商標）、ＭａｃＢｏｏｋ（登録商標）Ｐｒｏ、ＭａｃＢｏｏｋ Ａｉｒ（登録商標）、ｉＭａｃ（登録商標）、Ｍａｃ（登録商標）Ｍｉｎｉ、又はＭａｃ Ｐｒｏ（登録商標）のモデルなどのデスクトップコンピュータ又はラップトップコンピュータとすることができる。また、他の実施形態では、電子装置１０は、画像データを取得し処理することが可能な、別の製造業者の電子装置のモデルとすることもできる。

その形態にかかわらず（例えば、携帯型であるか、又は非携帯型であるかにかかわらず）、電子装置１０は、簡単に上述した画像処理技術のうちの１つ以上を使用する像データの処理を行うことができることを理解されたい。いくつかの実施形態では、電子装置１０は、電子装置１０のメモリに記憶された画像データに、そのような画像処理技術を適用することができる。更なる実施形態では、電子装置１０は、画像データを取得するように構成された、内蔵デジタルカメラ又は外部デジタルカメラなどの１つ以上の撮影装置を含むことができ、その画像データは、次いで、電子装置１０によって処理することができる。図３〜図６において、電子装置１０の携帯型実施形態及び非携帯型実施形態を示す実施形態について更に以下で説明する。

図１に示すように、電子装置１０は、装置１０の機能に寄与する種々の内部構成要素及び／又は外部構成要素を含むことができる。図１に示した種々の機能ブロックは、（回路系を含む）ハードウェア要素、（コンピュータ可読媒体に記憶されたコンピュータコードを含む）ソフトウェア要素、あるいはハードウェア要素とソフトウェア要素の両方の組み合わせを含むことが当業者には理解されよう。例えば、本明細書に示す実施形態で、電子装置１０は、入出力（Ｉ／Ｏ）ポート１２と、入力構造体１４と、１つ以上のプロセッサ１６と、メモリ装置１８と、不揮発性記憶装置２０と、ネットワーク装置２４と、電源２６と、ディスプレイ２８とを含むことができる。更に、電子装置１０は、デジタルカメラなどの１つ以上の撮影装置３０と、画像信号プロセッサ（ＩＳＰ）３２とを含むことができる。理解され得るように、画像信号プロセッサ３２は、メモリ１８及び／又は不揮発性記憶装置２０から検索することができる画像データ、あるいは撮影装置３０を使用して取得することができる画像データを処理することができる。

説明を続ける前に、図１に示した装置１０のシステムブロック図は、そのような装置１０に含まれ得る種々の構成要素を示す高レベル制御図であることを意図することを理解されたい。すなわち、図１に示した個々の構成要素間の接続線は、必ずしも、データが装置１０の種々の構成要素間で流れる、又は送信される経路又は方向を表すとは限らない。実際には、以下に記載するように、いくつかの実施形態では、図示したプロセッサ１６は、主プロセッサ（例えば、ＣＰＵ）、並びに専用の画像プロセッサ及び／又はビデオプロセッサなどのマルチプロセッサを含むことができる。

図１の図示された構成要素の各々に関すると、Ｉ／Ｏポート１２は、電源、音声出力装置（例えば、ヘッドセット又はヘッドホン）、あるいは（ハンドヘルド装置及び／又はコンピュータ、プリンタ、プロジェクタ、外部ディスプレイ、モデム、ドッキングステーションなどの）他の電子装置などの様々な外部装置に接続するように構成されたポートを含むことができる。一実施形態では、Ｉ／Ｏポート１２は、画像信号プロセッサ３２を使用して処理することができる画像データを取得するためのデジタルカメラなどの外部撮影装置に接続するように構成することができる。Ｉ／Ｏポート１２は、ユニバーサルシリアルバス（ＵＳＢ）ポート、シリアルコネクションポート、ＩＥＥＥ−１３９４（ＦｉｒｅＷｉｒｅ）ポート、Ｅｔｈｅｒｎｅｔ（登録商標）又はモデムポート、並びに／あるいはＡＣ／ＤＣ電源接続ポートなどの任意の好適なインターフェースのタイプをサポートすることができる。

入力構造体１４は、ユーザ入力又はフィードバックをプロセッサ１６に提供することができる。例えば、入力構造体１４は、電子装置１０上で実行するアプリケーションなどの電子装置１０の１つ以上の機能を制御するように構成することができる。例として、入力構造体１４は、ボタン、スライダ、スイッチ、制御パッド、キー、ノブ、スクロールホイール、キーボード、マウス及びタッチパッドなど、又はそれらの組み合わせを含み得る。一実施形態では、入力構造体１４は、ユーザが装置１０に表示されたグラフィカルユーザインターフェース（ＧＵＩ）をナビゲートすることを可能にしてもよい。更に、入力構造体１４は、ディスプレイ２８とともに設けられるタッチ感知機構を含むことができる。そのような実施形態では、ユーザは、タッチ感知機構を介して、表示されたインターフェース要素を選択する、又は表示されたインターフェース要素と対話することができる。

入力構造体１４は、種々の装置、回路系、並びにユーザ入力又はフィードバックを１つ以上のプロセッサ１６に提供する経路を含むことができる。そのような入力構造体１４は、装置１０の機能、装置１０で上実行するアプリケーション、並びに／あるいは電子装置１０に接続されるか又は電子装置１０により使用される任意のインターフェース又は装置を制御するように構成することができる。例えば、入力構造体１４は、ユーザが表示ユーザインターフェース又はアプリケーションインターフェースをナビゲートすることを可能にしてもよい。

特定の実施形態では、入力構造体１４と表示装置２８とは、例えば「タッチスクリーン」の場合には一緒に提供され、それにより、タッチ感知機構は、ディスプレイ２８とともにも設けられる。そのような実施形態では、ユーザは、タッチ感知機構を介して表示されたインターフェース要素を選択する、又はインターフェース要素と対話することができる。このように、表示インターフェースは対話機能性を提供してもよく、ディスプレイ２８に触れることによって、ユーザが表示インターフェースをナビゲートすることを可能にする。

一実施形態では、入力構造体１４は、音声入力装置を含むことができる。例えば、電子装置１０に、１つ以上のマイクロホンなどの１つ以上の音声キャプチャ装置を設けることができる。音声キャプチャ装置は、電子装置１０に内蔵してもよく、あるいは、例えば、Ｉ／Ｏポート１２を経由して電子装置１０に結合された外部装置とすることもできる。電子装置１０は、音声データ及び画像データ（例えば、ビデオデータ）をキャプチャするために、音声入力装置と撮影装置３０の両方を含むことができ、キャプチャされたビデオデータと音声データとの同期を行うように構成されたロジックを含むことができる。

入力構造体１４を介して受信された種々の入力信号を処理することに加えて、プロセッサ１６は、装置１０の全般的な動作を制御することができる。例えば、プロセッサ１６は、オペレーティングシステム、プログラム、ユーザとアプリケーションとのインターフェース、及び電子装置１０の任意の他の機能を実行するための処理能力を提供することができる。１つ以上の）プロセッサ１６は、１つ以上の「汎用」マイクロプロセッサ、１つ以上の専用マイクロプロセッサ及び／又は特定用途向けマイクロプロセッサ（ＡＳＩＣ）あるいはそのような処理構成要素の組み合わせなどの１つ以上のマイクロプロセッサを含むことができる。例えば、プロセッサ１６は、１つ以上の命令セット（例えば、ＲＩＳＣ）プロセッサ、並びにグラフィックプロセッサ（ＧＰＵ）、ビデオプロセッサ、音声プロセッサ及び／又は関連するチップセットを含むことができる。了解されるように、プロセッサ１６は、装置１０の種々の構成要素間でデータ及び命令を転送するための１つ以上のデータバスに結合することができる。特定の実施形態では、プロセッサ１６は、Ａｐｐｌｅ社から市販されているＰｈｏｔｏ Ｂｏｏｔｈ（登録商標）、Ａｐｅｒｔｕｒｅ（登録商標）、ｉＰｈｏｔｏ（登録商標）又はＰｒｅｖｉｅｗ（登録商標）、あるいはＡｐｐｌｅ社により提供され、かつ、ｉＰｈｏｎｅ（登録商標）又はｉＰａｄ（登録商標）のモデル上で利用可能な「カメラ」及び／又は「写真」アプリケーションなどの電子装置１０上の撮影アプリケーションを実行するための処理能力を提供することができる。

プロセッサ１６によって処理される命令又はデータは、メモリ装置１８などのコンピュータ可読媒体に記憶することができる。メモリ装置１８は、ランダムアクセスメモリ（ＲＡＭ）などの揮発性メモリとして、又は読み出し専用メモリ（ＲＯＭ）などの不揮発性メモリとして、あるいは１つ以上のＲＡＭ装置とＲＯＭ装置との組み合わせとして提供することができる。メモリ１８は、種々の情報を記憶でき、様々な目的に使用し得る。例えば、メモリ１８は、基本入出力システム（ＢＩＯＳ）、オペレーティングシステム、種々のプログラム、アプリケーション、あるいはユーザインターフェース機能及びプロセッサ機能などを含む電子装置１０で実行される任意の他のルーチンなど、電子装置１０に対するファームウェアを記憶することができる。更に、メモリ１８は、電子装置１０の動作中のバッファリング又はキャッシュするために使用することもできる。例えば、一実施形態では、メモリ１８は、ビデオデータをディスプレイ２８に出力する際にビデオデータをバッファリングするための１つ以上のフレームバッファを含む。

メモリ装置１８に加えて、電子装置１０は、データ及び／又は命令を永続的に記憶するための不揮発性記憶装置２０を更に含むことができる。不揮発性記憶装置２０は、フラッシュメモリ、ハードディスク、あるいは任意の他の光記憶媒体、磁気記憶媒体及び／又は固体記憶媒体、あるいはそれらの何らかの組み合わせを含むことができる。本開示の態様によれば、不揮発性記憶装置２０及び／又はメモリ装置１８に記憶された画像データは、ディスプレイ上に出力する前に、画像信号プロセッサ３２によって処理することができる。

また、電子装置１０は、ネットワークデバイス２４を含み、ネットワークデバイス２４は、無線８０２．１１規格、あるいは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ＧＳＭ（登録商標）進化のためのエンハンストデータレート（ＥＤＧＥ）ネットワーク、３Ｇデータネットワーク又はインターネットなどの任意の他の好適なネットワーキング規格上でのネットワーク接続性を提供することができるネットワークコントローラ又はネットワークインターフェースカード（ＮＩＣ）とすることができる。ネットワーク装置２４は、Ｗｉ−Ｆｉ装置、無線周波数装置、Ｂｌｕｅｔｏｏｔｈ（登録商標）装置、セルラー通信装置などとすることができる。

装置１０の電源２６は、非ポータブル設定とポータブル設定の両方で装置１０に電力を供給する能力を含むことができる。例えば、ポータブル設定では、装置１０は装置１０に電力を供給するためのリチウムイオン電池などの１つ以上のバッテリを含む。そのバッテリは、装置１０を壁面コンセントなどの外部電源に接続することによって充電される。非ポータブル設定では、電源２６は、壁面コンセントから電力を引き出し、かつ、デスクトップコンピューティングシステムなどの非携帯型電子装置の種々の構成要素に電力を分配するように構成された電源ユニット（ＰＳＵ）を含む。

以下に更に論じるように、ディスプレイ２８を使用して、オペレーティングシステムに対するＧＵＩ又は画像信号プロセッサ３２によって処理された（静止画及びビデオデータを含む）画像データなど、装置１０によって生成された種々の画像を表示することができる。上述のように、画像データは、撮影装置３０を使用して取得された画像データ、あるいはメモリ１８及び／又は不揮発性記憶装置２０から検索された画像データを含むことができる。ディスプレイ２８は、例えば、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ又は有機発光ダイオード（ＯＬＥＤ）ディスプレイなどの任意の好適なタイプのディスプレイとすることができる。更に、上記で論じたように、ディスプレイ２８は、電子装置１０に対する制御インターフェースの一部として機能することができる上述のタッチ感知機構（例えば、タッチスクリーン）とともに設けることができる。

図示した撮影装置３０は、静止画と動画（例えば、ビデオ）の両方を取得するように構成されたデジタルカメラとして提供することができる。カメラ３０は、レンズと、光をキャプチャし、それを電気信号に変換するように構成された１つ以上の画像センサとを含むことができる。例として、画像センサは、ＣＭＯＳ画像センサ（例えば、ＣＭＯＳ能動画素センサ（ＡＰＳ））又はＣＣＤ（電荷結合デバイス）センサを含むことができる。一般に、カメラ３０中の画像センサは、画素のアレイを有する集積回路を含み、各画素は、光を感知するための受光器を含む。当業者に了解されるように、撮像画素中の受光器は、一般に、カメラレンズを介してキャプチャされる光の強度を検出する。しかしながら、受光器は、一般的には、キャプチャされた光の波長をそれ自体では検出することができず、したがって、色情報を判定することができない。

したがって、画像センサは、色情報をキャプチャするために、画像センサの画素アレイの上に重ねることができる、又は画素アレイ上に配設することができるカラーフィルタアレイ（ＣＦＡ）を更に含むことができる。カラーフィルタアレイは、小さいカラーフィルタのアレイを含むことができ、各カラーフィルタは、画像センサのそれぞれの画素に重なり、キャプチャされた光を波長によりフィルタリングすることができる。したがって、カラーフィルタアレイ及び受光器は、一緒に使用すると、カメラを通してキャプチャされた光に関する波長情報及び強度情報を提供することができ、それらの情報は、キャプチャされた画像を表すことができる。

一実施形態では、カラーフィルタアレイは、５０％が緑色要素であり、２５％が赤色要素であり、２５％が青色要素であるフィルタパターンを提供するベイヤーカラーフィルタアレイを含むことができる。例えば、図２には、ベイヤーＣＦＡの２×２画素ブロックは、２つの緑色要素（Ｇｒ及びＧｂ）と１つの赤色要素（Ｒ）と１つの青色要素（Ｂ）とを含んでいることが示されている。したがって、ベイヤーカラーフィルタアレイを利用する画像センサは、緑色波長、赤色波長及び青色波長における、カメラ３０が受光した光の強度に関する情報を提供することができ、それにより、各画像画素は３色（ＲＧＢ）のうちの１色のみを記録する。次いで、この情報は、「生画像データ」又は「生領域」中のデータとも呼ばれることもあり、一般的には各画素についての赤色値と緑色値と青色値との集合を補間することによって、生画像データをフルカラー画像に変換するために、１つ以上のデモザイク処理技術を使用してこの情報を処理することができる。そのようなデモザイク処理技術は、画像信号プロセッサ３２によって実行することができる。

説明を続ける前に、以下に論じる種々の画像処理技術の種々の実施形態は、ベイヤーＣＦＡを利用することができるが、本明細書に開示される技術は、その点に限定されることを意図するものではないことを留意されたい。実際には、当業者には、本明細書に提供される画像処理技術は、ＲＧＢＷフィルタ及びＣＹＧＭフィルタなどを含む任意の好適なタイプのカラーフィルタアレイに適用可能であり得ることが了解されよう。

電子装置１０を再び参照すると、図３〜図６には、電子装置１０がとり得る種々の形態が示されている。上述のように、電子装置１０は、一般的には携帯型である（ラップトップコンピュータ、ノートブックコンピュータ及びタブレットコンピュータなどの）コンピュータ、並びに一般的には非携帯型である（デスクトップコンピュータ、ワークステーション及び／又はサーバなどの）コンピュータ、あるいはハンドヘルドポータブル電子装置（例えば、デジタルメディアプレーヤ又はモバイル電話）などの他のタイプの電子装置を含むコンピュータの形態をとることができる。詳細には、図３には、ラップトップコンピュータ４０の形態の電子装置１０が示されており、図４には、デスクトップコンピュータ５０の形態の電子装置がそれぞれ示されている。図５には、ハンドヘルドポータブル装置６０の形態の電子装置１０の正面図が示され、図６には、その背面図が示されている。

図３に示すように、図示したラップトップコンピュータ４０は、筐体４２と、ディスプレイ２８と、Ｉ／Ｏポート１２と、入力構造体１４とを含む。入力構造体１４は、筐体４２と一体のキーボード及びタッチパッドマウスを含む。更に、入力構造体１４は、ＧＵＩ又はコンピュータ４０上で実行するアプリケーションを動作させるためにコンピュータの電源を投入すること、又はコンピュータを始動すること、並びにコンピュータ４０の動作に関係する種々の他の側面（例えば、音量、ディスプレイの明るさなど）を調整することなど、コンピュータ４０と対話するために使用される種々の他のボタン及び／又はスイッチを含むことができる。また、コンピュータ４０は、上記で論じたように、ＦｉｒｅＷｉｒｅ（登録商標）又はＵＳＢポート、高品位マルチメディアインターフェース（ＨＤＭＩ（登録商標））ポート、あるいは外部装置に接続するのに好適な任意の他のタイプのポートなど、追加の装置に対する接続性を提供する種々のＩ／Ｏポート１２を更に含むことができる。更に、図１に関して上述したように、コンピュータ４０は、ネットワーク接続性（例えば、ネットワーク装置２６）、メモリ（例えば、メモリ２０）及び記憶機能（例えば、記憶装置２２）を含むことができる。

更に、図示した実施形態では、ラップトップコンピュータ４０は、内蔵撮影装置３０（例えば、カメラ）を含むことができる。他の実施形態では、ラップトップコンピュータ４０は、内蔵カメラ３０の代わりに、又は内蔵カメラ３０に加えて、１つ以上のＩ／Ｏポート１２に接続された外部カメラ（例えば、外部ＵＳＢカメラ又は「ｗｅｂｃａｍ」）を利用することができる。例えば、外部カメラは、Ａｐｐｌｅ社から市販されているｉＳｉｇｈｔ（登録商標）カメラとすることができる。カメラ３０は、内蔵カメラであるか外部カメラであるかにかかわらず、画像のキャプチャ及び記録を行うことができる。次いで、そのような画像を、ユーザが画像閲覧アプリケーションを使用して閲覧することができ、あるいは、Ａｐｐｌｅ社から市販されているｉＣｈａｔ（登録商標）などのテレビ会議アプリケーション、並びにＡｐｐｌｅ社から市販されているＰｈｏｔｏ Ｂｏｏｔｈ（登録商標）、Ａｐｅｒｔｕｒｅ（登録商標）、ｉＰｈｏｔｏ（登録商標）又はＰｒｅｖｉｅｗ（登録商標）などの画像編集／閲覧アプリケーションを含む他のアプリケーションによって、そのような画像を利用することができる。特定の実施形態では、図示したラップトップコンピュータ４０は、Ａｐｐｌｅ社から市販されているＭａｃＢｏｏｋ（登録商標）、ＭａｃＢｏｏｋ（登録商標）Ｐｒｏ、ＭａｃＢｏｏｋ Ａｉｒ（登録商標）又はＰｏｗｅｒＢｏｏｋ（登録商標）のモデルとすることができる。更に、一実施形態では、コンピュータ４０は、同じくＡｐｐｌｅ社から市販されているｉＰａｄ（登録商標）タブレットコンピュータなどのポータブルタブレットコンピューティングデバイスとすることができる。

更に、図４には、デスクトップコンピュータ５０として電子装置１０が提供される実施形態が示されている。理解されるように、デスクトップコンピュータ５０は、図４に示したラップトップコンピュータ４０によって提供される特徴と全般的に類似し得る多くの特徴を含むが、フォームファクタ全体は、全般的により大きくなり得る。図示のように、デスクトップコンピュータ５０は、ディスプレイ２８並びに図１に示したブロック図に関して上記で論じた種々の他の構成要素を含むエンクロージャ４２に格納することができる。更に、デスクトップコンピュータ５０は、１つ以上のＩ／Ｏポート１２（例えば、ＵＳＢ）を介してコンピュータ５０に結合することができる、又はコンピュータ５０と無線（例えば、ＲＦ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）で通信することができる外部キーボード及びマウス（入力構造体１４）を含むことができる。上記で論じたように、デスクトップコンピュータ５０は、内蔵カメラ又は外部カメラとすることができる撮影装置３０を更に含む。特定の実施形態では、図示したデスクトップコンピュータ５０は、Ａｐｐｌｅ社から市販されているｉＭａｃ（登録商標）、Ｍａｃ（登録商標）ｍｉｎｉ又はＭａｃ Ｐｒｏ（登録商標）のモデルとすることができる。

更に図示するように、ディスプレイ２８は、ユーザが閲覧することができる種々の画像を生成するように構成することができる。例えば、コンピュータ５０の動作中、ディスプレイ２８は、オペレーティングシステム及び／又はコンピュータ５０上で実行するアプリケーションとユーザが対話できるようにするグラフィカルユーザインターフェース（「ＧＵＩ」）５２を表示することができる。ＧＵＩ ５２は、表示装置２８の全体又は一部に表示され得るレイヤ、ウィンドウ、画面、テンプレート又は他の図形要素を含むことができる。例えば、図示した実施形態では、オペレーティングシステムＧＵＩ ５２は、種々のグラフィックアイコン５４を含むことができ、各アイコンは、（例えば、キーボード／マウス入力又はタッチスクリーン入力を介した）ユーザ選択の検出時に開かれ得る又は実行され得る種々のアプリケーションに対応することができる。アイコン５４は、ドック５６に表示されても、あるいは画面に表示された１つ以上のグラフィックウィンドウ要素５８内に表示されてもよい。いくつかの実施形態では、アイコン５４の選択は、階層ナビゲーション処理につながることができ、したがって、アイコン５４を選択すると、ある画面に進むか、あるいは１つ以上の追加のアイコン又は他のＧＵＩ要素を含む別のグラフィックウィンドウが開かれる。例として、図４に表示されたオペレーティングシステムＧＵＩ ５２は、Ａｐｐｌｅ社から市販されているＭａｃ ＯＳ（登録商標）オペレーティングシステムのバージョンによるものである。

図５及び図６に進むと、ポータブルハンドヘルド電子装置６０の形態の電子装置１０が更に示されており、ハンドヘルド装置６０は、Ａｐｐｌｅ社から市販されているｉＰｏｄ（登録商標）又はｉＰｈｏｎｅ（登録商標）のモデルとすることができる。図示した実施形態では、ハンドヘルド装置６０は、物理的損傷から内部構成要素を保護し、かつ、電磁妨害からそれらを遮蔽するように機能することができるエンクロージャ４２を含む。エンクロージャ４２は、プラスチック、金属又は複合材料などの任意の好適な材料又は材料の組み合わせから形成することができ、図５に示すように、無線ネットワーク信号などの特定の周波数の電磁放射を、エンクロージャ４２内に配設され得る無線通信回路系（例えば、ネットワーク装置２４）まで通過させることができる。

また、エンクロージャ４２は、ユーザがハンドヘルド装置６０とインターフェースすることができる種々のユーザ入力構造体１４を更に含む。例えば、各入力構造体１４は、押下された時又は起動された時に１つ以上のそれぞれの装置を制御するように構成することができる。例として、１つ以上の入力構造体１４は、スリープモード、起動モード又は電源オン／オフモードをトグルすること、セルラー電話アプリケーションに対する呼び出し音を消すこと、音量出力を増大又は低下させることなどのために表示される「ホーム」画面４２又はメニューを呼び出すように構成することができる。図示した入力構造体１４は例示的なものにすぎず、また、ハンドヘルド装置６０は、ボタン、スイッチ、キー、ノブ及びスクロールホイールなどを含む種々の形態で存在する任意の数の好適なユーザ入力構造体を含み得ることを理解されたい。

図５に示すように、ハンドヘルド装置６０は種々のＩ／Ｏポート１２を含むことができる。例えば、図示したＩ／Ｏポート１２は、データファイルを送信及び受信するための、又は電源２６を充電するための自社開発の接続ポート１２ａと、装置６０を音声出力装置（例えば、ヘッドホン又はスピーカ）に接続するための音声接続ポート１２ｂとを含むことができる。

ＬＣＤ、ＯＬＥＤ又は任意の好適なタイプのディスプレイとすることができる表示装置２８は、ハンドヘルド装置６０によって生成された種々の画像を表示することができる。例えば、ディスプレイ２８は、電力状態、信号強度及び外部装置接続などのハンドヘルド装置６０の１つ以上の状態に関して、ユーザにフィードバックを提供する種々のシステム標識６４を表示することができる。ディスプレイはまた、図４を参照して上記で論じたように、ユーザが装置６０と対話できるようにするＧＵＩ ５２を表示することもできる。ＧＵＩ ５２は、それぞれのアイコン５４のユーザ選択の検出時に開かれ得る又は実行され得る種々のアプリケーションに対応するアイコン５４などのグラフィック要素を含むことができる。例として、アイコン５４のうちの１つは、画像を取得するためのカメラ３０ともに使用することができるカメラアプリケーション６６を表すことができる。図６を参照すると、図５に示したハンドヘルド電子装置６０の背面図が示されており、カメラ３０は、筐体４２に内蔵されており、かつ、ハンドヘルド装置６０の背面に配置されているものとして示されている。

上述したように、カメラ３０を使用して取得された画像データは、（例えば、エンクロージャ４２内に配設された）ハードウェア、並びに／あるいは装置６０の１つ以上の記憶装置（例えば、メモリ１８又は不揮発性記憶装置２０）に記憶されたソフトウェアを含む画像信号プロセッサ３２を使用して処理することができる。カメラアプリケーション６６及びカメラ３０を使用して取得された画像は、装置６０に（例えば、記憶装置２０に）記憶することができ、写真閲覧アプリケーション６８を使用して後で閲覧することができる。

また、ハンドヘルド装置６０は、種々の音声入力及び出力要素を含むことができる。例えば、全般的に参照番号７０で示した音声入出力要素は、１つ以上のマイクロホンなどの入力受信機を含むことができる。例えば、ハンドヘルド装置６０がセル電話機能性を含む場合、入力受信機は、ユーザの声などのユーザ音声入力を受信するように構成することができる。更に、音声入出力要素７０は、１つ以上の出力送信機を含むことができる。そのような出力送信機は、メディアプレーヤアプリケーション７２を使用した音楽データの再生中などにユーザに音声信号を送信するように機能することができる１つ以上のスピーカを含むことができる。更に、ハンドヘルド装置６０がセル電話アプリケーションを含む実施形態では、図５に示したように、追加の音声出力送信機７４を備えることができる。音声入出力要素７０の出力送信機のように、出力送信機７４はまた、通話中に受信した音声データなどの音声信号をユーザに送信するように構成された１つ以上のスピーカを含むことができる。したがって、音声入出力要素７０及び７４は、電話の音声受信及び送信要素として機能するように連携して動作することができる。

電子装置１０がとり得る種々の形態に関して何らかの状況を提供してきたが、次に、図１に示した撮影装置３０及び画像信号プロセッサ３２に焦点を当てて論じる。上述したように、撮影装置３０及び画像信号プロセッサ３２によって実行されるロジックは、ハードウェアコンポーネント及び／又はソフトウェアコンポーネントを使用して実装することができ、それらのうちのいくつかは、画像信号処理（ＩＳＰ）パイプラインを規定する種々の処理ユニットを含み得る。詳細には、本開示に記載する画像処理技術の態様、特に、撮影装置３０から画像信号プロセッサ３２に画像データを転送することに関係する態様に焦点を当てて以下に論じる。

画像データ転送システム
次に図７を参照すると、本明細書に開示される技術の一実施形態による、撮影装置３０及び画像信号プロセッサ３２の一部として実装され得るいくつかの機能構成要素を示す簡略化された上位レベルのブロック図７８が示されている。特に、図７は、少なくとも一実施形態にしたがって、どのように撮影装置３０から画像信号プロセッサ３２に画像データを転送することができるかについて例示することを意図とするものである。一般的な概要を提供するために、画像データを転送するためにこれらの機能構成要素がどのように動作するかについて、図７を参照して全般的に記載する一方で、画像センサ８２については、より具体的に以下に記載する。

図示した実施形態を参照すると、撮影装置３０は、１つ以上のレンズ８０と画像センサ８２とを有するカメラを含むことができる。一実施形態では、画像センサ８２は、画像センサ８２によって取得された生画像データを処理することができる水平方向スケーラ８４を含むことができる。上記で論じたように、画像センサ８２は、カラーフィルタアレイ（例えば、バイヤーフィルタ）を含むことができ、したがって、画像センサ８２の各撮像画素によってキャプチャされた光の強度情報と波長情報の両方を提供することができる。光の強度情報及び波長情報は、生画像データとして１つにパッケージング化することができ、生画像データは、処理するために、センサ−画像信号プロセッサ（ＩＳＰ）データリンク８６を介して画像信号プロセッサ３２に送ることができる。

生画像データを処理した後、画像信号プロセッサ３２は、処理した画像データをディスプレイ２８に送ることができる。画像データ量が小さい場合には、画像信号プロセッサ３２及びセンサ−ＩＳＰデータリンク８６は、生画像データを処理するのに十分な処理リソースを有することができ、それにより、ディスプレイ２８は、画像データ中に示された画像を受け取り、それを表示することができる。しかしながら、画像データ量が大きい（例えば、高解像度画像又はビデオデータ）場合には、画像信号プロセッサ３２及びセンサ−ＩＳＰデータリンク８６は、生画像データ中に示された画像をディスプレイ２８が効果的に表示するために、非常に高い速度で生画像データを処理しなければならないことがある。上記で論じたように、大量の生画像データを処理するために、画像センサ８２は、生画像データの解像度を低減することができ、より低い解像度の、つまり修正された画像データをセンサ−ＩＳＰデータリンク８６を介して画像信号プロセッサ３２に送ることができる。

生画像データをビニングする代わりに、センサ−ＩＳＰデータリンク８６及び画像信号プロセッサ３２が標準的な速度で生画像データを処理できるようにすることができるように、画像センサ８２は、生画像データを水平方向にダウンスケールすることができる。この場合、画像センサ８２は、水平方向スケーラ８４を使用して、生画像データを水平方向にダウンスケール又はダウンサンプリングし、アナモフィック画像データ９２を生成することができる。次いで、水平方向スケーラ８４は、処理するために、センサ−ＩＳＰデータリンク８６を介して、アナモフィック画像データ９２を画像信号プロセッサ３２に送ることができる。このようにすると、アナモフィック画像データ９２は、センサ−ＩＳＰデータリンク８６上で、生画像データの半分の帯域幅しか消費しない。

アナモフィック画像データ９２は、一方向（すなわち、水平方向）にしかスケーリングされていないので、アナモフィック画像データ９２は、２つの方向（すなわち、水平方向及び垂直方向）に関してスケーリングされたビニング画像データと比較して、より多くの画像情報又は詳細を含むことができる。アナモフィック画像データ９２を受け取った後に、画像信号プロセッサ３２は、時間フィルタリングなどの１つ以上の画像処理操作を実行することによって、アナモフィック画像データ９２を処理することができる。次いで、処理されたアナモフィック画像データを、垂直方向スケーラ９４に入力するか、又はメモリに送ることができる。垂直方向スケーラ９４は、処理されたアナモフィック画像データを垂直方向にダウンスケール又はダウンサンプリングすることができ、ディスプレイ２８上に表示することができる最終解像度画像データ９６を生成することができる。

いくつか方法では、画像信号プロセッサ３２にデータを送る前に生画像データを水平方向にスケーリングすることは、送る前に生画像データの画像解像度を低減しようと試みるという点で、生画像データをビニングすることに類似している。しかしながら、水平方向スケーリング動作と垂直方向スケーリング動作とは、画像センサ８２と画像信号プロセッサ３２とに分かれるので、画像センサ８２上でのみ実行すること（例えば、ビニングすること）とは対照的に、画像センサ８２及び画像信号プロセッサ３２を使用すると、ビニングと比較して、より高品質の画像をより効率的に表示することができる。

実際には、高品質のダウンスケールされた画像データを生成するために、水平方向スケーラ８４は、多数の「タップ」又は遅延を有する１つ以上のリサンプリングフィルタを使用することができる。リサンプリングフィルタで使用されるタップは、スケーリング動作のためにそれぞれの画素データを記憶することができる生画像データの画素のアレイ内のロケーションを示す。リサンプリングフィルタは、ある範囲の近くの入力画素に基づいて１つの出力画素を生成するフィルタリング機能を使用することによって、ダウンスケールされた画像データを生成することができる。一実施形態では、高品質フィルタは、多くのタップを使用して、多くの入力画素（例えば、１２画素）に関する情報を記憶し、１つの出力画素を生成することができる。対照的に、低品質フィルタは、少数のタップを使用して、少数の入力画素に関する情報を記憶し、１つの出力画素を生成することができる。低品質フィルタからの得られた画像は、エイリアシングアーチファクト又は過剰なブレを含むことがある。いずれの場合にも、各出力画素は多くの近くの入力画素に依存するので、各入力画素は、複数の出力画素について、フィルタへの入力として使用される。したがって、各入力画素についての画像データは、それが依存するすべての出力画素を処理し終わるまで、フィルタによって保持又は記憶することができる。

画像センサ８２は水平方向に画素を走査するので、水平方向リサンプリングフィルタは、水平方向リサンプリングフィルタが使用することができる水平方向隣接画素の範囲の画像データを保持するために、大容量の内部記憶装置を必要としない。その代わり、水平方向リサンプリングフィルタは、少数の画素についての画像データを、単純なレジスタ記憶要素にラッチすることができる。しかしながら、垂直方向リサンプリングフィルタは、垂直方向隣接画素を使用して、出力画素を生成することができる。垂直方向隣接画素は、画像走査線全体によって時間的に分離されている。したがって、垂直方向リサンプリングフィルタは、そのフィルタリング機能を実行するために、垂直方向隣接画素の各々についての画像画素行全体の画像データを保持することができる。したがって、垂直方向リサンプリングフィルタは、水平方向リサンプリングフィルタと比較して、著しく余分なメモリ量を使用することがある。

更に、効率的な垂直方向リサンプリングフィルタは、画像データをリサンプリングするために多くの（例えば、１２個以上の）タップを使用するので、効率的な垂直方向リサンプリングフィルタを生画像データに適用するために比較的大きいメモリ量が使用され得る。しかしながら、画像センサ８２のメモリ量は、効率的な垂直方向リサンプリングフィルタを採用するのに十分ではないことがある。例えば、画像センサ８２は、少数の画素についての画像データを単純なレジスタ記憶要素にラッチするのに（すなわち、水平方向リサンプリングフィルタには）十分であり得るオンセンサＲＡＭアレイを含むことができる。しかしながら、画像センサ８２が使用し得るシリコンプロセスは、大容量のメモリ（例えば、効果的な大型ＲＡＭアレイ）を有することにはつながらないことがあるので、オンセンサＲＡＭアレイは、効果的な垂直方向リサンプリングフィルタを採用するのに十分でないことがある。その代わりに、大容量のメモリが必要とする画像センサ８２上の面積はかなり大きくなり、より多くのセンサ画素を実装するために利用可能な面積は小さくなる。したがって、画像センサ８２は、水平方向スケーリングを実行するが、垂直方向スケーリングを画像信号プロセッサ３２に委ねることがある。すなわち、画像センサ８２は、センサ−ＩＳＰデータリンク８６及び画像信号プロセッサ３２に生画像データ（すなわち、アナモフィック画像データ９２）を送る前に、水平方向スケーラ８４を使用して生画像データを水平方向にダウンスケールすることができる。図８及び図９を参照して、水平方向スケーラ８４に関するさらなる詳細を以下に説明する。

アナモフィック画像データ９２を受け取った後に、画像信号プロセッサ３２は、アナモフィック画像データ９２を処理し、処理したアナモフィック画像データを垂直方向スケーラ９４に転送することができる。垂直方向スケーラ９４は、処理されたアナモフィック画像データに垂直方向リサンプリングフィルタを適用して、最終出力画像データ９６を生成することができ、最終出力画像データ９６は、ディスプレイ２８上に表示することができる。垂直方向リサンプリングフィルタを適用することは、水平方向リサンプリングフィルタを適用することと比較して、比較的大きいメモリ量を必要とし得るが、画像信号プロセッサ３２は、高品質の画像を生成するために、適切な量の垂直方向タップで垂直方向リサンプリングフィルタを適用するのに十分なメモリ量をすでに含んでいることがある。

生画像データを水平方向にダウンスケールすることに加えて、水平方向スケーラ８４は、生画像データ中の欠陥画素を識別し、それを補正することができ、かつ、水平方向にダウンスケールされた画像データ（すなわち、アナモフィック画像データ９２）の画質を向上させるために、生画像データを前処理することができる。図８は、これらの動作を実行するために使用することができる水平方向スケーラ８４中の構成要素のブロック図を示している。例えば、一実施形態では、水平方向スケーラ８４は、生画像データ９８を受け取り、欠陥画素補正ユニット１００、デモザイクユニット１０２、ミキサ１０４、マルチプレクサ１０６及び水平方向スケーラユニット１０８を使用してそれを処理することができる。図８に示したように、生画像データ９８は、水平方向スケーラユニット１０８によって水平方向にダウンスケールする前に、欠陥画素補正ユニット１００及びデモザイクユニット１０２によって処理することができる。ただし、いくつかの実施形態では、水平方向スケーラ８４は、欠陥画素補正ユニット１００、デモザイクユニット１０２、又はそれらをいずれも含まないことがあることに留意されたい。したがって、生画像データ中の欠陥画素を補正すること又は生画像データをデモザイク処理することは、水平方向スケーラ８４の任意選択の処理ステップとすることができる。次に、欠陥画素補正ユニット１００と、デモザイクユニット１０２と、ミキサ１０４と、マルチプレクサ１０６と、水平方向スケーラユニット１０８とを含む水平方向スケーラ８４によって実行される処理ステップについて、図９を参照して詳細に記載する。

水平方向スケーラユニット
図９に、画像センサ８２から画像信号プロセッサ３２に画像データを転送するための方法１１２のフローチャートを示す。方法１１２は特定の動作順序を示しているが、方法１１２は、図示された順序に限定されるものではないことを理解されたい。その代わりに、方法１１２は、任意の好適な順序で実行することができる。一実施形態では、方法１１２は、画像センサ８２によって、詳細には、水平方向スケーラ８４によって実行することができる。

ブロック１１４において、画像センサ８２は、生画像データをキャプチャすることができる。上述のように、画像センサ８２は、画像センサ８２の各撮像画素によってキャプチャされた光の強度情報と波長情報の両方を提供することができるカラーフィルタアレイを含むことができる。したがって、生画像データは、画像センサ８２の各撮像画素のための光強度情報と波長情報の両方を含むデータのセットを含むことができる。一実施形態では、生画像データは、ベイヤーカラーフィルタアレイデータに対応し得る。したがって、生画像データ中の各走査線（すなわち、画素行）は、緑色画素値と赤色画素値か、あるいは緑色画素値及び青色画素値を含み得る。

ブロック１１６において、水平方向スケーラ８４は水平方向スケーラユニット１０８を使用して、生画像データを水平方向にダウンスケールすることができる。水平方向スケーラユニット１０８は、生ベイヤー領域において水平方向ダウンスケール動作を実行することができる。したがって、水平方向スケーラユニット１０８は、生画像データの各走査線中の両方の色の画素値を使用して、生画像データを水平方向にダウンスケールすることができる。

一実施形態では、水平方向スケーラユニット１０８は、マルチタップ多相フィルタなどの水平方向リサンプリングフィルタを使用して、生画像データを水平方向にダウンスケールすることができる。マルチタップ多相フィルタは、生画像データ中の各画素値に、（負であり得る）重み付け（又は係数（coefficient））係数（factor）を乗算することができる。次いで、マルチタップ多相フィルタは、重み付けされた水平方向隣接画素を合計して、それぞれの画素についての画素値を求めることができる。重み付けされた水平方向隣接画素に対応する画素は、それぞれの画素の位置と水平方向リサンプリングフィルタにおいて使用されるタップの数とに依存し得る。重み付け係数は、表に記憶することができ、現在の画素間少数位置に基づいて決定することができる。

重み付け係数は、ローパス（すなわち、アンチエイリアシング）デジタルフィルタを生産するための多くの周知のフィルタ設計技術のうちの１つを使用して決定することができる。一実施形態では、ローパスデジタルフィルタは、理想的なローパスフィルタ関数（例えば、ｓｉｎｃ関数）にウィンドウイング関数を適用することによってその係数が生じ得るように、有限インパルス応答フィルタとすることができる。ローパスフィルタは、出力画像中のエイリアスを生成し得る高周波成分を画像データから除去することができる。

別の実施形態では、水平方向リサンプリングフィルタは、生画像データ中のそれぞれの画素行の両方の色のストリームに対する水平ローパスフィルタとすることができる。水平ローパスフィルタは、生画像データの２：１ダウンスケールを実行するのに好適な１／２パス０位相フィルタとすることができる。１／２パスフィルタは、生画像データ中のそれぞれの画素行の２色ストリーム間の高周波情報を保存することができ、高周波情報は、次いで、画像信号プロセッサ３２によって復元することができる。

生画像を水平方向にダウンスケールするとき、水平方向スケーラユニット１０８は、デジタル微分解析機（ＤＤＡ）を使用して、生画像データのスケーリング動作全体にわたって、それぞれの画素の現在の位置を制御することができる。したがって、水平方向スケーラユニット１０８によって実行される水平方向スケーリング動作は、（１）ＤＤＡを初期化することと、（２）ＤＤＡの整数部分及び小数部分を使用して生画像データのマルチタップ多相フィルタリングを実行することと、（３）ＤＤＡにステップ値を加えることと、生画像データ中の各画素について要素（２）及び要素（３）を反復することと、を含み得る。

要素（２）のマルチタップ多相フィルタリングプロセスは、それぞれの画素を取り囲んでいる画素のソース画素値を取得することと、そのソース画素値に適切な重み又は係数を乗算することと、を含み得る。一実施形態では、水平方向リサンプリングフィルタは、１５個のタップを有し得る。ここで、１５タップフィルタは、中心画素値（すなわち、それぞれの画素）及び中心画素の両側の７つのさらなる画素値（例えば、−７、−６、−５、−４、−３、−２、−１、０、＋１、＋２、＋３、＋４、＋５、＋６、＋７）を使用して、生画像データを水平方向にダウンスケールすることができる。

生画像データを水平方向にダウンスケールした後、水平方向スケーラユニット１０８は、アナモフィック画像データ９２としての入力画素と同じベイヤー順序で画素を出力することができる。ブロック１１８において、水平方向スケーラユニット１０８は、センサ−ＩＳＰデータリンク８６を介して、アナモフィック画像データ９２を画像信号プロセッサ３２に送ることができる。

欠陥画素補正ユニット
上記で論じたように、水平方向スケーラ８４は、生画像データを水平方向にダウンスケールすることに加えて、方法１１２のブロック１２０に関して後述するように、生画像データ中の欠陥画素を識別し、それを補正することができる。ただし、水平方向スケーラ８４は、必ずしも、ブロック１２０に関して記載したように生画像データ中の欠陥画素を補正するとは限らないことを留意されたい。換言すると、その代わりに、欠陥画素を補正することなく、生画像データを水平方向にダウンスケールすることができる。

水平方向スケーラ８４が欠陥画素補正を実行するとき、画像センサ８２は、ブロック１２０において生画像データに１次元欠陥画素補正を適用するために、水平方向スケーラ８４中の欠陥画素補正ユニット１００を使用することができる。１次元欠陥画素補正は、それぞれの画素と同じ走査線に位置する画素に基づいて、生画像データ中の欠陥画素を識別することができる。一実施形態では、欠陥画素補正ユニット１００は、生画像データ中の欠陥画素を検出し、それを補正するために、図１０にフローチャートとして示される方法１３０を採用することができる。

図１０に示すように、欠陥画素補正ユニット１００は、ブロック１３２において、生画像データ中のそれぞれの画素についての画素値を受け取ることができる。ブロック１３４において、欠陥画素補正ユニット１００は、受け取った画素値とその水平方向に隣接する隣接画素の値の各々との差がしきい値をよりも大きいかどうかを判定することができる。その差がしきい値以下である場合、欠陥画素補正ユニット１００は、生画像データ中の次の画素に移動し（判断ブロック１３６）、次の画素値を受け取ることができる（ブロック１３２）。しかしながら、その差がしきい値よりも大きい場合（判断ブロック１３６）、欠陥画素補正ユニット１００は、可能な欠陥画素としてそれぞれの画素にフラグを立てることができる（ブロック１３８）。次いで、欠陥画素補正ユニット１００は、フラグを立てた画素のロケーションをバッファに保存することができる（例えば、１画素当たり１ビット）。画素が生画像データのエッジにある場合、欠陥画素補正ユニット１００は、２エッジ画素を複製することによって、少なくとも４画素分、画像を拡張することができる。

一実施形態では、正しく検出された欠陥画素の数を最大にし、誤検出された画素の数を最小にするために、サンプル画像の統計解析を使用してしきい値を選択することができる。特定の実施形態では、しきい値は、定数でなくてもよい。その代わりに、しきい値は、画像データのシーンコンテンツ（例えば、露出など）に基づいて変動し得る。

ブロック１４０において、欠陥画素補正ユニット１００は、フラグを立てた画素の水平方向に直に隣接する隣接画素、垂直方向に直に隣接する隣接画素、又は対角的に直に隣接する隣接画素に可能な欠陥画素として事前にフラグが立てられているかどうかを判定することができる。画像センサ８２は、水平方向の線ごとに生画像データを出力するので、欠陥画素補正ユニット１００は、１画素離れて位置する５つの直に隣の画素（すなわち、それぞれの画素の左側の画素、右側の画素、左上の画素、上方の画素、右上の画素）に、ブロック１３８のようにフラグが立てられているかどうかに関するデータのみを有することができる。画素が生画像データの第１の行にある場合、欠陥画素補正ユニット１００は、第１の画素行がその上に位置する仮想画素行を有し、それにより、前の行の画素のいずれにもフラグが立てられていないとみなすことができる。５つの直に隣の画素のいずれかにフラグが立てられていると欠陥画素補正ユニット１００が判定した場合、欠陥画素補正ユニット１００は、生画像データ中の次の画素に移動することができる（ブロック１３６）。

代替的には、５つの直に隣の画素のいずれにもフラグが立てられていないと欠陥画素補正ユニット１００が判定した場合、欠陥画素補正ユニット１００は、それぞれのフラグを立てた画素を欠陥と指定することができる。次いで、ブロック１４２において、欠陥画素補正ユニット１００は、欠陥画素を補正することができる。一実施形態では、欠陥画素補正ユニット１００は、以下の等式１に示すように、線形フィルタ及び欠陥画素の隣の画素の画素値とを使用して欠陥画素を置換することができる。
Ｐｃ（ｉ，ｊ）＝（Ｐ（ｉ，ｊ−３）^*ＤＰＣＦ（ｃｏｍｐ，０）＋Ｐ（ｉ，ｊ−１）^*ＤＰＣＦ（ｃｏｍｐ，１）＋Ｐ（ｉ，ｊ＋１）^*ＤＰＣＦ（ｃｏｍｐ，２）＋Ｐ（ｉ，ｊ＋３）^*ＤＰＣＦ（ｃｏｍｐ，３）＋（（Ｐ（ｉ，ｊ−２）＋Ｐ（ｉ，ｊ＋２））＜＜１１＋２＾１１）＞＞１２ （１）

等式１において、ｃｏｍｐは、画素（ｉ，ｊ）のベイヤー成分（Ｇｒ／Ｒ／Ｂ／Ｇｂ）を指し、関数ＤＰＣＦ［４］［４］は、欠陥画素補正フィルタ係数を指す。欠陥画素補正フィルタ係数は、１２ビットの小数部をもつ符号付き１６ビット数とすることができ、各色成分は、それ自体のフィルタ係数のセットを有することができる。生画像データはベイヤーカラーフィルタアレイにしたがって構成され得るので、Ｐ（ｉ，ｊ−２）とＰ（ｉ，ｊ＋２）とは、Ｐ（ｉ，ｊ）の同じ色である。

図８を再び簡潔に参照すると、一実施形態では、欠陥画素を補正した後、欠陥画素補正ユニット１００は、マルチプレクサ１０６を介して、補正した生画像データを水平方向スケーラユニット１０８に送ることができる。別の実施形態では、水平方向スケーラ８４は、生画像データ９２から得た欠陥画素についての元の画素値と、欠陥画素補正ユニット１００によって決定された置換画素値とを、ミキサ１０４に送ることができる。図８に示すように、ミキサ１０４は、任意の好適な重み付けにしたがって種々の画像データを混合した後、マルチプレクサ１０６を介して、混合した画像データを水平方向スケーラユニット１０８に転送することができる。以下に示すように、欠陥画素補正ユニット１００は、時々、全く存在しない場合に欠陥画素と識別することによって、過剰補正することがある。生画像データ９８と欠陥画素補正ユニット１００によって出力された画像データとを混合することにより、そのような欠陥画素の過剰補正が生じたときに失われた画像情報の一部を画像データに戻すことが可能になり得る。生画像データ９８中の実際の欠陥画素データは画像品質を低減するが、ミキサ１０４によって出力された得られたデータは、欠陥画素補正がまったく行われなかった場合よりも問題を含まないことがある。

１次元欠陥画素補正の方法１３０に留意しながら、図１１に、方法１３０を使用して解析され得る生画像データ９８を表す画素アレイ１５０の一例を示す。方法１３０のブロック１３２を参照すると、欠陥画素補正ユニット１００は、最初に、画像センサ８２によって出力された第１の画素に対応する画素１５２Ａの画素値を受け取ることができる。画素１５２Ａは、隣の画素１５２Ｂと実質的に同様であるので、画素１５２Ａの画素値と画素１５２Ｂの画素値との差は、０になる可能性があり、ブロック１３４のしきい値よりも小さくなる可能性がある。したがって、欠陥画素補正ユニット１００は、画素１５２Ｂに移動することができ（ブロック１３６）、画素１５２Ｂの画素値とその隣の画素の画素値との差がしきい値よりも大きいかどうかを判定することができる（ブロック１３４）。

欠陥画素補正ユニット１００が画素１５４Ｃの画素値を受け取ると、欠陥画素補正ユニット１００は、画素１５４Ｂ（白色画素）の画素値が画素１５４Ｃ（黒色画素）と比較して著しく異なるので、画素１５４Ｂの画素値と画素１５４Ｃの画素値との差がしきい値よりも大きくなり得ると判定することができる。しかしながら、画素１５４Ｃとその次の隣の画素（画素１５４Ｄ）は両方とも黒いので、それらの差は０になる可能性がある。したがって、画素１５４Ｃの画素値と画素１５４Ｄの画素値との差は、しきい値よりも小さくなる可能性がある。画素１５４Ｃの画素値とその隣の画素の両方の画素値との差がしきい値よりも小さいので、欠陥画素補正ユニット１００は、次の画素に移動することができる（ブロック１３６）。

画素１５４Ｈは、欠陥画素を表している。欠陥画素補正ユニット１００は、画素１５４Ｈ（黒色画素）の画素値が画素１５４Ｇ（白色画素）と比較して著しく異なるので、画素１５４Ｈの画素値と画素１５４Ｇの画素値と差がしきい値よりも大きいと最初に判定することによって、画素１５４Ｈを欠陥画素と識別することができる。同様に、欠陥画素補正ユニット１００は、画素１５４Ｈ（黒色画素）の画素値が画素１５４Ｉ（白色画素）と比較して著しく異なるので、画素１５４Ｈの画素値と画素１５４Ｉの画素値との差がしきい値よりも大きくなり得ると判定することができる。したがって、画素１５４の画素値とその隣の画素の各々の画素値との差がしきい値よりも大きいので、欠陥画素補正ユニット１００は、可能な欠陥画素として画素１５４Ｈにフラグを立てることができる（ブロック１３８）。次いで、欠陥画素補正１００は、後で参照するために、フラグを立てた画素のロケーションをバッファに記憶することができる。

欠陥画素補正ユニット１００は、任意の他のフラグを立てられた画素に直に隣接しているかどうかに基づいて、画素１５４Ｈが実際に欠陥画素であると判定することができる（ブロック１４０）。上述のように、画像センサ８２は、生画像データを水平方向画素行として出力するので、欠陥画素補正ユニット１００は、画素１５４Ｈの左側、右側、左上、上方、及び右上に１画素離れて位置するフラグを立てられた画素に関係する情報のみを有することができる。したがって、欠陥画素補正ユニット１００は、画素１５２Ｇ、１５２Ｈ、１５２Ｉ、１５２Ｇ及び１５４Ｉにそのバッファにしたがって事前にフラグが立てられているかどうかを判定することができる。図１１に示すように、画素１５４Ｈに直に隣接する画素のいずれにも事前にフラグが立てられていないので、欠陥画素補正ユニット１００は、画素１５４Ｈを欠陥画素と指定することができる。

欠陥画素を識別した後に、欠陥画素補正ユニット１００は、画素１５４Ｈの隣の画素を線形フィルタリングすることによって、画素１５４Ｈについての置換画素値を判定することによって、画素１５４Ｈを補正することができる。
画素１５４Ｈとは異なり、画素１５６Ｈは欠陥画素でない。実際には、画素１５６Ｈは、同様の色の垂直方向の画素の線で第１の画素を表すことができる。そのような画像は、撮影装置３０が、白い背景に対して真っ黒な文字を有し得る紙面のテキスト画像をキャプチャしたときに得ることができる。しかしながら、欠陥画素補正ユニット１００は、その画素値（すなわち、黒色画素）とその水平方向に隣の画素（すなわち、白色画素）の各々の画素値との差がしきい値よりも大きく、１５６Ｈに直に隣接する（前の行又は同じ行の）画素のいずれにも可能な欠陥画素としてフラグが立てられていないので、画素１５６Ｈを欠陥画素と識別することができる。欠陥画素補正ユニット１００は、画素１５６Ｈを欠陥画素と誤って識別することがあるが、この誤指定は、同様の別個の画素の垂直方向の線の１つの画素のみに制限される。例えば、欠陥画素補正ユニット１００が、方法１３０を使用して画素１５８Ｈを評価するときには、欠陥画素補正ユニット１００は、可能な欠陥画素として画素１５８Ｈにフラグを立てるが（ブロック１３４）、その直に上の画素（画素１５６Ｇ）に事前にフラグが立てられているので（ブロック１４０）、画素１５８Ｈを欠陥画素と指定しない。同様に、欠陥画素補正ユニット１００は、画素１５６Ｈ及び画素１５８Ｈの直に下の他の画素の各々には、画素１５６Ｈ及び画素１５８Ｈと同様に、欠陥がある可能性があるとしてフラグが立てられるので、それらの画素を欠陥画素と識別しない。したがって、図１０のブロック１４０を参照して上記で論じたように、それぞれの画素の直に上の画素にフラグが立てられるので、それぞれの画素は欠陥画素として識別されない。

そのメモリリソースが限定されていると仮定すると、画像センサ８２は、方法１３０で採用される１次元欠陥画素補正プロセスよりも効果的であり得る２次元欠陥画素補正プロセスを採用することができないことがある。しかしながら、生画像データに対して何らかの欠陥画素補正プロセスを実行することによって、画像センサ８２は、より高品質の画像データを画像信号プロセッサ３２に送ることができ、より高品質の画像をディスプレイ２８上にもたらすことができる。

デモザイクユニット
再び方法１１２を参照すると、ブロック１２０において生画像データ中の欠陥画素を補正する代わりに、画像センサ１８２は、図８に示したデモザイクユニット１０２を使用して、生画像データに対して１次元デモザイク動作を実行することができる（ブロック１２２）。画像信号プロセッサ３２は、水平方向にダウンスケールする前に生画像データをデモザイク処理することによって、１次元デモザイク動作よりも効果的であり得るデモザイク処理動作を実行することが可能であり得るが、デモザイクユニット１０２により、水平方向スケーラユニット１０８が、画像信号プロセッサ３２に送られたアナモフィック画像データ９２よりも多くの水平方向の詳細を保持できるようにすることができる。したがって、ディスプレイ２８に表示された生画像データのビニングバージョンと比較して、ディスプレイ２８に表示された得られた画像を著しく改善することができる。ただし、代替実施形態は、ブロック１２２に関して記載したように生画像データをデモザイク処理することに関与しなくてもよく、生画像データをデモザイクすることなく、その代わりに生画像データを水平方向にダウンスケールしてもよいことを留意されたい。

例示を目的として、生画像データをビニングすることの効果の一例を図１２Ａに示す。図１２Ａに示すように、生画像データの行１７０は、赤色画素１７２と緑色画素１７４とを含むことができる。行１７０のビニング画像データは、同様の色の隣接画素の画素値に基づいて生成することができる。例えば、行１７０は、赤色画素と緑色画素とが交互に配置されているので、ビニングされた赤色画素（例えば、画素１７６Ａ及び画素１７６Ｂ）は各々、隣接する赤色画素（例えば、画素１７２Ａと画素１７２Ｂ、又は画素１７２Ｃと画素１７２Ｄ）の画素値に基づいて決定することができる。その結果、ビニング画像データは、赤色画素１７２Ａ及び１７２Ｂに基づいて決定することができる赤色画素１７６Ａを含むことができる。同様に、ビニング画像データは、緑色画素１７４Ａ及び１７４Ｂに基づいて決定することができる緑色画素１７８Ａを含むことができる。得られたビニング画像データは、生画像データがビニングされた方法に起因するサンプリング位相誤差を含む。位相誤差に加えて、得られたビニング画像データは、異なる色チャネル間には相互相関がないので、画像の詳細をも失う。すなわち、生画像データは、その画素解像度に関して高周波詳細を有し得るが、この解像度の大部分は、ビニングプロセスが同じ色の比較的遠い画素の画素値を平均化するので、ビニングにおいて失われる。

一実施形態では、デモザイクユニット１０２は、得られた画像データが、生画像データのビニングバージョンと比較してより多くの水平方向の詳細を保持するように、生画像データの各走査線に対して１次元水平方向デモザイクアルゴリズムを適用することができる。ここで、デモザイクユニット１０２は、生画像データからバイヤー画素のストリームを受け取ることができ、２色画素値のストリームを出力することができる。２色画素値の各々は、行の異なる色成分の元の画素値と補間値とを含むことができる。

１つの例を提供するために、図１２Ｂに、赤色画素と緑色画素とが交互に配置されている生画像データの行１７０を示す。図１２Ａに示したようなビニングとは対照的に、デモザイクユニット１０２は、赤色画素と緑色画素の両方を使用して、各画素値を補間することができる。つまり、デモザイクユニット１０２は、画素１７２Ａの元の赤色画素値と緑についての補間値（すなわち、Ｇ’）とを含むように画素１８０Ａを生成することができる。一実施形態では、それぞれの画素の隣接する色の補間は、水平方向線形フィルタを使用して実行することができる。水平方向線形フィルタは、それぞれの画素の他の色成分についての補間値を決定するために、それぞれの画素に水平方向に隣接する画素（すなわち、両方の色の画素）を相互相関させることができる。画素が画像のエッジにある場合、デモザイクユニット１０２は、２エッジ画素を複製することによって、４画素分、画像を拡張することができる。デモザイクユニット１０２は、線形の補間方法を使用して画素の色を補間するものとして記載してきたが、いくつかの実施形態では、画素の色の補間は、非線形の補間方法（すなわち、エッジ感知式方法）によって実行することができることに留意されたい。

得られたデモザイクされた画像データ１８４中の各画素は、元の画素の色についての元の画素値とそれぞれの画素の隣接する色についての補間画素値とを含むことができる。次いで、デモザイクユニット１０８は、デモザイクされた画像データ１８４をマルチプレクサ１０６に送ることができ、マルチプレクサ１０６は、デモザイクされた画像データ１８４を水平方向スケーラユニット１０８に転送することができる。

再び図８を簡潔に参照すると、水平方向スケーラユニット１０８が、デモザイクされた画像データ１８４を水平方向にダウンスケールした後、センサ−ＩＳＰデータリンク８６を介して、得られたアナモフィック画像データ９２を画像信号プロセッサ３２に送ることができる。アナモフィック画像データ９２を受け取ると、画像信号プロセッサ３２は、アナモフィック画像データ９２を処理すること、及び／又は得られた画像データを垂直方向スケーラ９４に送ることができ、垂直方向スケーラ９４は、画像データを垂直方向にダウンスケールして、最終解像度画像データ９６を生成することができる。デモザイクされた画像データ１８４は、各画素の元の画素値とその周囲の画素の値に関係する補間画素値とに関係する情報を含むので、最終解像度画像データ９６は、生画像データのビニングバージョンと比較して、元の生画像に関するさらなる水平方向の詳細を含むことができる。したがって、最終解像度画像データ９６は、ディスプレイ２８上での画像の品質を、生画像データのビニングバージョンと比較して著しく高くすることができる。

また、一実施形態では、マルチプレクサは、元の生画像データと補正された欠陥画素とに関係する情報を含み得る入力を、ミキサ１０４から受け取ることができる。更に、方法１１２のブロック１２０及びブロック１２２は、互いの代わりに実行されるものとして記載してきたが、方法１１２は、ブロック１２０及びブロック１２２に記載したように、生画像データ中の欠陥画素を修正することによって、並びに、生画像データをデモザイク処理することによって実行することもできる。

上記の特定の実施形態は、例として示されており、これらの実施形態が様々な変更や代替的な形態が可能であることが理解されよう。更に、特許請求の範囲は、開示された特定の形態に限定されるものではなく、むしろ、本開示の趣旨及び範囲内の全ての変更、均等物、及び代替物を網羅することを意図していることが理解されよう。

Claims (25)

1. 画像センサよって取得された画像データを受け取るステップと、
   １次元欠陥画素補正アルゴリズムに基づいて、前記画像データ中の１つ以上の欠陥画素を補正するステップ、
   １次元水平方向デモザイクアルゴリズムに基づいて、前記画像データを水平方向にデモザイク処理するステップ、又は
   前記欠陥画素を補正するステップと前記画像データを水平方向にデモザイク処理するステップとの組み合わせ
   によって、前記画像センサにおいて前記画像データを処理するステップと、
   前記画像センサにおいて、前記処理された画像データを水平方向にダウンスケールするステップと、
   表示装置で閲覧するために表示されるように、画像信号プロセッサにおいて、前記水平方向にダウンスケールされた画像データを垂直方向にダウンスケールするステップと、
   を含む、方法。
2. 前記欠陥画素を補正するステップが、
   前記画像データ中のそれぞれの画素についてのそれぞれの画素値を受け取るステップと、
   前記それぞれの画素値と前記それぞれの画素に水平方向に隣接する各画素の各画素値との差を決定するステップと、
   前記差がしきい値よりも大きい場合、前記それぞれの画素にフラグを立てるステップと、
   前記それぞれの画素にフラグが立てられ、かつ、前記それぞれの画素に隣接する少なくとも５つの画素にはフラグが立てられていないとき、線形フィルタと、前記それぞれの画素に水平方向に隣接する１つ又は２つの画素に対応する１つ又は２つの画素値のみとを使用して、前記それぞれの画素値を置換するステップ、
   を含む、請求項１に記載の方法。
3. 前記それぞれの画素値と前記それぞれの画素に水平方向に隣接する各画素の各画素値との前記差を決定するステップが、前記それぞれの画素が前記画像データのエッジに位置する場合、少なくとも４画素分、前記画像データを拡張するステップを含む、請求項２に記載の方法。
4. 前記画像データを拡張するステップが、前記画像データの前記エッジの少なくとも２つの画素に対応する２つの画素値を複製するステップを含む、請求項３に記載の方法。
5. 前記少なくとも５つの画素が、
   前記それぞれの画素の左側に位置する第１の画素と、
   前記それぞれの画素の右側に位置する第２の画素と、
   前記それぞれの画素の左上に位置する第３の画素と、
   前記それぞれの画素の上方に位置する第４の画素と、
   前記それぞれの画素の右上に位置する第５の画素と、
   を含む、請求項２に記載の方法。
6. 前記画像データを水平方向にデモザイク処理するステップが、前記画像データ中の各画素についての２色値を決定するステップを含む、請求項１に記載の方法。
7. 各画素についての２色値が、それぞれの画素の元の色と、前記それぞれの画素に水平方向に隣接する画素の色に対する補間色とを備える、請求項６に記載の方法。
8. 前記画像データを水平方向にデモザイク処理するステップが、前記画像データの１つ以上の走査線に、１次元水平方向デモザイクアルゴリズムを適用するステップを含む、請求項１に記載の方法。
9. 前記処理された画像データを水平方向にダウンスケールするステップが、前記処理された画像データを、前記処理された画像データ中の各画素行の２色ストリームに対するローパスフィルタを通過させるステップを含む、請求項１に記載の方法。
10. 前記ローパスフィルタが、前記処理された画像データの２：１ダウンスケールを実行するように構成された０位相ハーフパスフィルタである、請求項９に記載の方法。
11. 前記ローパスフィルタが、前記処理された画像データ中の各画素行の前記２色ストリーム間での高周波情報を保存するように構成される、請求項９に記載の方法。
12. 前記処理された画像データを水平方向にダウンスケールするステップが、前記処理された画像データに水平方向リサンプリングフィルタを適用するステップを含む、請求項１に記載の方法。
13. 前記水平方向リサンプリングフィルタが、複数のタップを含む、請求項１２に記載の方法。
14. 前記水平方向リサンプリングフィルタが、マルチタップ多相フィルタである、請求項１２に記載の方法。
15. 前記マルチタップ多相フィルタが、１５個のタップを有する、請求項１４に記載の方法。
16. 前記水平方向リサンプリングフィルタを適用するステップが、
    前記処理された画像データ中の各画素値に、それぞれの重み付け係数を乗算し、それにより、１つ以上の重み付けされた画素値を求めるステップと、
    それぞれの画素と水平方向に隣接する１つ以上の画素の前記重み付けされた画素値のうちの１つ以上を合計するステップと、
    前記処理された画像データ中の各画素について、前記加合計するステップを繰り返すステップと、
    を含む、請求項１２に記載の方法。
17. 前記それぞれの重み付け係数が、現在の画素間少数位置に基づいて決定される、請求項１６に記載の方法。
18. 前記水平方向にダウンスケールされた画像データを垂直方向にダウンスケールするステップが、前記水平方向にダウンスケールされた画像データに、複数の垂直方向タップで垂直方向リサンプリングフィルタを適用するステップを含む、請求項１に記載の方法。
19. システムであって、
    １つ以上の画像を表示するための表示装置と、
    前記１つ以上の画像を前記表示装置に送るように構成された画像信号プロセッサと、
    画像データを受け取り、
    前記画像データを水平方向にデモザイク処理し、
    前記デモザイク処理された画像データを水平方向にダウンスケールし、
    前記水平方向にダウンスケールされた画像データを前記画像信号プロセッサに送る、
    ように構成された画像センサと、
    を備え、前記画像信号プロセッサが、
    前記水平方向にダウンスケールされた画像データを受け取り、
    前記水平方向にダウンスケールされた画像データを垂直方向にダウンスケールし、１つ以上の画像を生成し、
    前記１つ以上の画像を前記表示装置に送る、
    ように構成される、システム。
20. 前記水平方向にダウンスケールされた画像データを、前記画像信号プロセッサから前記画像センサに移送するように構成されたセンサ−画像信号プロセッサデータリンクを備える、請求項１９に記載のシステム。
21. 前記画像センサが、前記画像データを水平方向にデモザイク処理する前に、前記画像データ中の１つ以上の欠陥画素を補正するように構成される、請求項１９に記載のシステム。
22. 電子装置であって、
    １つ以上の画像を表示するように構成されたディスプレイと、
    前記ディスプレイに前記１つ以上の画像を送るように構成された画像信号プロセッサと、
    画像データを受け取り、
    前記画像データ中の１つ以上の欠陥画素を補正し、
    前記欠陥画素補正された画像データを水平方向にダウンスケールし、
    前記水平方向にダウンスケールされた画像データを前記画像信号プロセッサに送る、
    ように構成された画像センサと、を備え、前記画像信号プロセッサが、
    前記水平方向にダウンスケールされた画像データを受け取り、
    前記水平方向にダウンスケールされた画像データを垂直方向にダウンスケールして、前記１つ以上の画像を生成し、
    前記１つ以上の画像を前記表示装置に送る、
    ように構成される、電子装置。
23. 前記画像センサが、ラインバッファ中の前記欠陥画素の１つ以上の位置を記憶する、請求項２２に記載の電子装置。
24. 画像データ中の１つ以上の欠陥画素を補正するステップ、
    前記画像データを水平方向にデモザイク処理するステップ、又は
    前記欠陥画素を補正するステップと前記画像データを水平方向にデモザイク処理するステップとの組み合わせ
    によって、画像データを処理し、
    前記処理された画像データを水平方向にダウンスケールし、
    前記水平方向にダウンスケールされた画像データを画像信号プロセッサに送る、
    ように構成された、画像センサを備える、撮影装置。
25. 画像センサによって取得された画像データを受け取るステップと、
    １次元欠陥画素補正アルゴリズムに基づいて、前記画像データ中の１つ以上の欠陥画素を補正するステップ、
    １次元水平方向デモザイクアルゴリズムに基づいて、前記画像データを水平方向にデモザイク処理するステップ、又は
    前記欠陥画素を補正するステップと前記画像データを水平方向にデモザイク処理するステップとの組み合わせ
    によって、前記画像データを処理するステップと、
    前記処理された画像データを水平方向にダウンスケールするステップと、
    前記水平方向にダウンスケールされた画像データを処理するステップと、
    前記処理された水平方向にダウンスケールされた画像を垂直方向にダウンスケールするステップと、
    を含む、方法。

Images