JP2009515486A - グラフィックスプロセッシングユニットの使用方法および装置 - Google Patents

Abstract

描画される画像の品質を向上させるために画像データを処理するグラフィックスプロセッシングユニット（ＧＰＵ）を含む装置（ディジタルカメラ内蔵携帯電話）。ＧＰＵによって提供される処理能力は、例えば、受け入れられない画素値（例えば、正常に機能していない検出器エレメントに関連する画素値）を識別してその他の画素値を平均することによって決定された新しい値に置き換えることができることを意味する。また、例えば、装置は、それぞれの検出器エレメントごとの補正係数を生成するために、ベンチマークデータと比較して較正されてもよい。補正係数は、画素ごとに画像データに適用されてもよい。また、装置が、ディジタルオーディオファイルを録音および／または再生するように適合されるならば、装置のオーディオ性能は、オーディオ周波数範囲のための補正係数を決定するように較正されてもよい。
【選択図】 図１

Description

分野

[0001]本明細書で説明する実施形態は、一般的には、ディジタル画像データおよびディジタルオーディオデータを含むデータの処理に関する。本明細書は、ビデオデータおよびオーディオデータを補正するために、グラフィックスプロセッシングユニットを使用することを開示する。

[0002]携帯電話として一般的に知られている今日の無線電話は、ディジタルカメラのような多くの新しい特徴を備えている。しかしながら、そのような「カメラ付き携帯電話」を用いて撮られた写真の品質は、消費者がより小さくより軽い装置を好むことよって決定されるコスト、重量、および、寸法に関する制約によって損なわれる。製造業者は、より高い品質のレンズまたは検出器アレイのようなより高い品質のカメラ部品を用いることによって、画質を向上させてもよい。しかしながら、製造業者は、より高い品質の部品のより高いコストを補填するために、その製造業者の製品の価格を上げるか、または、増加したコストを相殺するために、また、現在の価格設定を維持するために、その他の特徴の数を減少させなければならず、いずれの場合においても、製造業者は、競争上、不利な立場におかれる。

[0003]さらにまた、カメラ付き携帯電話内に含まれる写真撮影部品の品質に関係なく、そのような部品は、時間とともに劣化することがあり、画質を低下させる。例えば、カメラ付き携帯電話は、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）素子のような検出器アレイを用いて、画像を取り込む。画素に相当する検出器エレメントは、反復して使用することによって故障または劣化することがあり、取り込まれた画像データすなわち描画された画像内にデッドスポットをもたらす。ユーザは、低い品質の画像を我慢すること、あるいは、新しいカメラ付き携帯電話を購入することに直面している。

[0004]また、故障または劣化した検出器エレメントは、製造プロセス中になされる品質検査の結果として検出されるかもしれない。典型的には、検出器アレイが、あまりにも多くの故障または劣化した検出器エレメントを含む場合、その検出器アレイは、製造業者によって廃棄される。品質検査に不合格の部品、とりわけ、すれすれで不合格となった部品を廃棄することは、製造コストすなわち製品の価格を増加させるかもしれない。

概要

[0005]したがって、価格、重量、または、寸法をそれ相応に増大させることなくカメラ付き携帯電話のような装置において画質を改善することのできる装置および／または方法は、有益なものである。この利点を達成することができ、かつ、経時的な部品の劣化を補償することのできる装置および／または方法は、さらなる利点を有する。上述したことおよび低い廃棄率を達成することのできる装置および／または方法は、またさらなる利点を有する。本発明による実施形態は、これらの利点およびその他の利点を提供するものである。

[0006]大まかには、本発明による実施形態は、限定はされないが、カメラ付き携帯電話のような、グラフィックスプロセッシングユニット（ＧＰＵ）を含む携帯情報端末に関連する。一実施形態においては、ＧＰＵは、製造欠陥、低価格部品の使用、または、部品の経時的な劣化から発生する画質の低下を補正または補償するために、画像データを後処理するのに使用される。

[0007]一実施形態においては、画像データの第１のフレームを構成する第１の複数の画素値が、検出器エレメントのアレイを用いて、取り込まれる。本発明の実施形態によれば、画素値は、受け入れられない画素値、例えば、明らかに故障しているかさもなければ正常に機能していない検出器エレメントに対応する画素値を識別するために、ＧＰＵによって処理される。受け入れられない画素値を識別すると、ＧＰＵは、その画素のための新しい値を決定する。一実施形態においては、新しい値は、故障しているかまたは正常に機能していない検出器エレメントに隣接する検出器エレメントに関連する画素値を平均することによって、決定される。

[0008]そのような一実施形態においては、ＧＰＵは、第１の複数の画素値を第２の複数の画素値と比較することによって、受け入れられない画素値を識別し、第２の複数の画素値は、画像データの第２のフレームを構成し、第２のフレームは、時系列的に第１のフレームに続く次のフレームである。同じ検出器エレメントに対応する画素値が、第１のフレームから第２のフレームまで同じものであれば、これらの画素値は、受け入れられない可能性のある画素値であると判定される。

[0009]別のそのような実施形態においては、画素値は、新しい画像データのフレームが捕捉されるたびにリアルタイムで、上で説明されたようにして、画像データの連続するフレームにわたって比較される。それぞれの検出器エレメントに関連するのは、カウンターである。カウンターの値は、同じ検出器エレメントに対応する画素値が、連続するフレームのそれぞれの対において同じものであるたびに、増分される。カウンター値が、しきい値を超えれば、その検出器エレメントに対応する画素値は、受け入れられないものであるとみなされる。カウンター値は、同じ検出器エレメントに対応する画素値が、フレームごとに変化するたびに、ゼロにリセットされる。

[0010]別の実施形態においては、隣接するいくつかの受け入れられない画素値が、識別されたならば（例えば、近接する正常に機能していない検出器エレメントに関連する画素値のグループが識別されたならば）、マルチパス処理が、新しい画素値を決定するのに使用される。それぞれのパスにおいて、少なくとも１つの新しい画素値が、その他の画素値を平均することによって決定され、その新しい画素値は、さらに別の画素値を決定するためのその後のパスに使用されてもよい。このようにして、検出器エレメントが、故障しているかまたは正常に機能していない検出器エレメントだけによって取り囲まれていたとしても、その検出器エレメントに対応する画素値を決定することができる。

[0011]さらに別の実施形態においては、製造プロセス中、例えば、カメラ付き携帯電話は、ベンチマーク画像と比較して較正され、写真撮影部品のばらつきによって発生する何らかの影響が、定量化される。例えば、レンズの傷は、画像データをひずませるかもしれない。補正係数が、アレイ内に存在する検出器エレメントごとに決定され、例えば、ルックアップテーブル（ＬＵＴ）に記憶されてもよい。そのような実施形態においては、ＧＰＵは、検出器エレメントに関連する補正係数をＬＵＴから読み出し、そして、その検出器エレメントに対応する画素値にその補正係数を適用する。このようにして、限定はされないが、色収差および幾何学ひずみのような作用を画像データにおいて補正することができる。

[0012]もう１つの実施形態においては、オーディオデータが、補正され、録音部品または再生部品によって発生することのあるばらつきが、補償される。例えば、製造プロセス中、定義された理想値からの振幅のばらつきが、オーディオ周波数範囲全体において定量化されてもよい。この情報を用いて、周波数の関数としての補正係数が、例えば、ＬＵＴに記憶され、そして、録音中または再生中に、ＧＰＵによってオーディオデータに適用されてもよい。

[0013]要するに、本発明の実施形態によれば、カメラ付き携帯電話、オーディオプレーヤー、および、類似する種類の装置におけるＧＰＵは、装置のコスト、重量、または、寸法をそれ相応に増大させることなく、画像データまたはオーディオデータの品質を改善するのに使用することができる。実際に、ＧＰＵをこのように使用することは、純原価の節減をもたらす。なぜなら、画質または音質に影響を与えることなく、低品質で低価格の部品を使用することができるからである。すなわち、ＧＰＵは、低品質／低価格の部品によって発生するかもしれない影響をもしあれば補償することができ、それによって、全体的品質は、高品質で高価格の部品を使用して実現された品質と事実上見分けがつかないものとなる。

[0014]コストは、特定の部品の廃棄率を減少させることによって、さらに減少させることができる。例えば、製造中、検出器アレイが、いくつかの不良エレメントを有すると判定されたとしても、そのアレイは、必ずしも廃棄されなくてもよい。なぜなら、ＧＰＵが、不良エレメントを補償することができるからである。要するに、ＧＰＵによって提供されるさらなる能力は、検出器アレイのような部品においてより多くの数の欠陥を許容することができることを意味する。廃棄率が、低下するので、製造コスト、そして、最終的には、消費者に対するコストを減少させることができる。また、例えば、検出器アレイが、劣化し始めたとして、装置は、必ずしも交換されなくてもよいので、消費者に対するコストは、減少する。それどころか、ＧＰＵは、検出器アレイの劣化によって発生する画像データの欠損を補償することができる。その結果として、描画される画像の品質が、影響を受ける前に、より多くの数の故障した検出器エレメントを許容することができ、それによって、装置の寿命を延ばす。

[0015]本発明の様々な実施形態のこれらのおよびその他の側面および意図される利点が、添付の様々な図面に示された実施形態の以下の詳細な説明を読むことによって、当業者によって理解される。

[0016]本明細書に組み込まれかつその一部を構成する添付の図面は、本発明の実施形態を示し、以下の説明とともに、本発明の原理を説明するのに役立つ。

詳細説明

[0026]ここで、本発明の様々な実施形態に関して詳細に言及され、それらの実施形態のいくつかの例が、添付の図面に示される。本発明が、これらの実施形態を参照して説明されるが、それらの実施形態は本発明をそれらの実施形態に限定しようとするものではないことが理解されよう。それどころか、本発明は、変形、変更、および、同等のものを網羅しようとするものであり、それらは、添付の特許請求の範囲に記載される本発明の精神および範囲内に含まれる。さらにまた、本発明の以下の詳細な説明においては、本発明をより完璧に理解するために、多くの細部が、具体的に説明される。しかしながら、本発明はこれらの具体的な細部を備えることなく実施されてもよいことが理解されよう。場合によっては、よく知られている方法、手順、部品、および、回路は、本発明の態様をいたずらに曖昧なものにしないように、詳細には説明されない。

[0027]以下の詳細な説明のいくつかの部分は、手順、論理ブロック、処理、および、コンピュータメモリ内のデータビットに対する処理を表現するその他の記号として提供される。これらの説明および表現は、データ処理技術に精通する当業者の製作物の実体をその他の当業者に最も効率的に伝達するためにそれらの当業者によって使用される手段である。本出願においては、手順、論理ブロック、処理、などは、所望の結果を得るステップまたは命令からなる自己矛盾のないシーケンスであると考えられる。これらのステップは、物理量の物理的な操作を利用するものである。必ずしもそうではないが、通常、これらの量は、コンピュータシステムにおいて、記憶され、転送され、組み合わせられ、比較され、さもなければ、操作されることの可能な電気的または磁気的な信号の形態を有する。場合によっては、主として一般的に使用するために、これらの信号を、トランザクション、ビット、値、構成要素、記号、文字、サンプル、画素、などと呼ぶのが都合がよいことが知られている。

[0028]しかしながら、これらのおよび類似する用語のすべては、適切な物理量に関連するものであり、かつ、これらの量に付されたただ単に都合のよいラベルであることに注意すべきである。特段の説明がなされない限り、以下の説明から明らかなように、本発明の全体を通して、「生成する」、「記憶する」、「表示する」、「識別する（判定する）」、「決定する」、「平均する」、「比較する」、「増分する」、「セットする」、「選択する」、「送信する」、「受信する」、「適用する」、「調節する」、「アクセスする」、などのような用語を使用する説明は、コンピュータシステムまたは類似する電子計算装置またはプロセッサの動作および処理（例えば、図７、図８、および、図９のそれぞれのフローチャート７０、８０、および、９０）を意味することがわかる。コンピュータシステムまたは類似する電子計算装置は、コンピュータシステムのメモリ、レジスタ、または、情報記憶装置、送信装置、または、表示装置内などにおいて物理量として表現されたデータを操作および変換する。

[0029]図１は、本発明による実施形態が実施されてもよい例としての携帯情報端末１０のブロック図である。図１の例においては、装置１０は、所定の機能ブロックを有するものとして説明される。装置１０は、本明細書で説明されるもの以外の機能を含んでもよいことが理解される。

[0030]一実施形態においては、装置１０は、無線電話または携帯電話であり、ディジタルカメラまたはディジタルビデオレコーダーを含む。別の実施形態においては、装置１０は、オーディオレコーダーおよびオーディオプレーヤー（例えば、ＭＰ３プレーヤー）を含む携帯電話である。さらに別の実施形態においては、装置１０は、ディジタルカメラかまたはディジタルビデオレコーダー、および、オーディオレコーダー／プレーヤーの両方を含む携帯電話である。装置１０は、また、ディジタルカメラまたはオーディオレコーダー／プレーヤーであってもよい。装置１０は、まさに本明細書で説明されるもの以外の特徴または機能を含んでもよい。また、例えば、装置１０は、ビデオゲームプレーヤーコンソールまたはリモート制御装置であってもよい。

[0031]携帯電話およびディジタルカメラを含む実施形態においては、装置１０は、画像取り込み装置１１（例えば、検出器アレイまたはセンサアレイ）を含み、その画像取り込み装置１１は、電荷結合素子（ＣＣＤ）イメージまたは相補型金属酸化膜半導体（ＣＭＯＳ）イメージであってもよい。画像取り込み装置１１は、レンズおよびその他の従属部品を含んでもよい。

[0032]本実施形態においては、装置１０は、また、画像データの処理前、処理中、および、処理後にその画像データを記憶するメモリ１４を含む。メモリ１４は、ＲＯＭ（リードオンリーメモリ）およびフラッシュメモリを含んでもよい。

[0033]一実施形態においては、装置１０は、また、取り込まれかつ画像データによって表現される画像を表示するための、また、ユーザインタフェースの一部としてメニューおよびコマンドを表示するための表示装置１３を含む。画像データは、「静止」画像を表現してもよい。画像データは、また、ビデオまたは映画を表現してもよい。なぜなら、ビデオは、本質的に、一連の静止画像であるからである。

[0034]携帯電話として、装置１０は、無線送信機１６および無線受信機１７を含む。ユーザは、マイク１８に向かって話し、そのメッセージは、信号に変換され、その信号は、無線送信機１６を介して送信される。無線受信機１７を介して受信されたメッセージは、可聴なものにされ、スピーカー１９を介してユーザに放送される。携帯電話として、装置１０は、また、独立したディジタル信号プロセッサ９を含んでもよい。装置１０は、アナログディジタル変換器のような、本明細書では説明されないがこの分野において知られているその他の携帯電話部品を含んでもよい。

[0035]装置１０がオーディオレコーダー／プレーヤーをさらに含む実施形態においては、オーディオファイルは、メモリ１４に記憶され、スピーカー１９を用いて、可聴なものにされてもよい。

[0036]装置１０は、また、本明細書で説明される画像データおよびオーディオデータ処理方法を実施するのに必要なハードウェア、ソフトウェア、および／または、ファームウェアを含むグラフィックスプロセッシングユニット（ＧＰＵ）１２を含む。随意的に、装置１０は、また、ＧＰＵ１２と並列に動作する中央処理装置（ＣＰＵ）１５を含む。

[0037]ビデオ処理ユニットまたはＶＰＵとも呼ばれてもよいＧＰＵ１２は、様々なテレビゲームおよびその他のアプリケーションにおいて関心のあるグラフィックス画像を操作および描画するときにきわめて効率的なものであるマイクロプロセッサであり、それらのテレビゲームおよびその他のアプリケーションについては、以下でさらに説明される。ＧＰＵ１２は、画素データが流れるパイプラインとして設計されてもよい。ＧＰＵ１２は、ソフトウェアアプリケーションのようなホストから命令およびデータ（例えば、図形要素）を受け取る。それらのデータは、生成および表示されるべき画像を定義するのに使用される。それらの命令は、描画される画像を生成するためにデータを変更するのに必要な計算および演算を指示するのに使用される。

[0038]ＧＰＵ１２の専門的特質は、画像データまたはオーディオデータを処理することに関連する複雑な一連の処理を制御するのをＣＰＵ１５より効率的なものにする。本発明の実施形態によれば、画像（例えば、画素）データまたはオーディオデータは、それらのデータをどのように処理するかに関する命令を備えたＧＰＵ１２のパイプラインに挿入されてもよい。ＧＰＵ１２によって実行される処理の種類は、図３〜図９を参照して以下でより詳細に説明される。

[0039]図２は、画像取り込み装置（または、検出器アレイ）１１における検出器エレメントを、本発明の一実施形態に基づいて、画像フレーム２０における画素または画素値にマッピングすることを示す。検出器アレイ１１は、検出器エレメント２１によって例示される多くの検出器エレメントまたは光センサを含む。本実施形態においては、検出器エレメントごとに、対応する画素値が、生成され、それらの画素値は、画素値２２によって例示される。検出器アレイ１１は、検出器エレメントの実際の物理的なアレイであるが、画像データのフレーム２０は、図２に示されるように、画素値の仮想アレイとして表現されてもよい。

[0040]図３は、本発明の一実施形態による画像データの連続するフレーム３０、３１、および、３２を示す。すなわち、時系列的に、フレーム３２は、フレーム３１に続き、フレーム３１は、フレーム３０に続く。フレーム３０、３１、および、３２は、ビデオシーケンスにおける連続的なフレームを表現してもよく、したがって、比較的に小さい時間間隔によって分離されてもよい。あるいは、フレーム３０、３１、および、３２は、３つの静止画像を表現してもよく、そのようなものとして、任意の時間量によって分離されてもよい。

[0041]図３の例においては、フレーム３０は、例としての２つの画素値３３および３４を含み、フレーム３１は、例としての２つの画素値３５および３６を含み、フレーム３２は、例としての２つの画素値４１および４２を含む。画素値３３、３５、および、４１は、検出器アレイ（例えば、図２の検出器アレイ１１）の同じ検出器エレメントに対応し、画素値３４、３６、および、４２は、検出器アレイ１１の同じ検出器（しかしながら、画素値３３、３５、および、４１に関連する検出器エレメントとは異なる検出器エレメントである）に対応する。

[0042]カウンター３７は、例としてのカウンター値３８および３９を含むカウンター値の仮想アレイを表現する。カウンター値３８は、画素値３３、３５、および、４１に対応する検出器エレメントに対応し、カウンター値３９は、画素値３４、３６、および、４２に対応する検出器エレメントに対応する。

[0043]画素値３３と３５は「等しいとみなされない」が、画素値３４と３６は「等しいとみなされる」例を考える。本明細書で使用される場合、「等しいとみなされる」という用語は、画素値が、正確に等しいこと、または、ほぼ等しい（例えば、予め定められた許容範囲内において）ことのいずれかを指示するのに使用される。以下の説明を簡潔にするために、「等しい」が、「等しいとみなされる」の代わりに使用される。

[0044]図３の例においては、画素値３３と３５は等しくないので、カウンター値３８は増分されない。しかしながら、画素値３４と３６は等しいので、カウンター値３９は増分される。一般的には、連続する２つのフレームからの画素値が等しい場合、画素値の両方が同じ検出器エレメントに対応し、かつ、それらのフレームが時系列的なものであれば、その検出器エレメントに対応するカウンター値は、増分される。

[0045]図３の例によって説明される処理は、捕捉された画像データの新しいフレームごとに続行される。すなわち、一実施形態においては、画像データの別の新しいフレームが捕捉されたとき、それまでに「新しかった」フレーム３１は「最後」のフレームとなり、新しく捕捉されたフレーム（例えば、フレーム３２）は、「新しい」フレームとなる。これら２つの最近のフレーム（例えば、フレーム３１および３２）間の画素値を比較することが、上述したように実行される。

[0046]図３の例においては、画素値３５と４１が等しければ、カウンター値３８は、増分される。それらの画素値３５と４１が等しくなければ、カウンター値３８はゼロのままである。画素値３６と４２が等しければ、カウンター値３９は、再び増分される（例えば、カウンター値３９は＋２の値を有する）。重要なこととして、画素値３６と４２が等しくなければ、カウンター値３９はゼロにリセットされる。

[0047]このように、本発明の実施形態によれば、カウンター値（例えば、カウンター値３９）は、そのカウンター値に対応する画素値がフレームごとに次々に同じままであれば、捕捉された画像データの新しいフレームごとに増加し続ける。一実施形態においては、しきい値が定められ、それによって、カウンター値がしきい値に到達すれば、そのカウンター値に対応する画素値は、「受け入れられないものである」とみなされる。すなわち、同じ検出器エレメントに関連する画素値は、しきい値数だけ連続するフレームにわたって同じままなので、これらの画素値は、故障している検出器エレメントに関連していると推定され、そのようなものとして、これらの画素値は、誤りのあるものまたは受け入れられないものであるとみなされる。このようにして、故障した検出器エレメントは、その検出器エレメントに関連する画素値がしきい値数だけ連続する（時系列的に）フレームにわたって同じままであることに注意することによって、識別される。

[0048]一実施形態においては、カウンター値が、しきい値に到達すれば、故障した検出器エレメントであると判定し、カウンター値は、画素値が変化した場合にだけゼロにリセットされ、そして、上述した処理が、反復される。その結果として、検出器エレメントが、故障したエレメントであると誤って判定されたとしても、その検出器エレメントは、その後に、正常に機能しているエレメントであると再判定される。

[0049]検出器エレメントが、故障したエレメントであると判定されると、その検出器エレメントに関連する画素値は、誤りのあるものであると推定される。本発明の実施形態によれば、故障した検出器エレメントのための新しい画素値が、その故障した検出器エレメントを取り囲み、そのエレメントに隣接し、あるいは、そのエレメントに近接する検出器エレメントに関連する画素値を平均または補間することによって、決定される。その結果として、不良検出器エレメントの影響が、描画される画像において隠蔽される。

[0050]図４は、隣接または近接する検出器エレメントのグループ４１が故障していると判定された状況を示す。このような状況においては、故障した検出器エレメントおよび正常に機能している検出器エレメントの両方によって隣接された検出器エレメントが、グループ内に存在するかもしれず、また、故障したエレメントによって完全に取り囲まれた検出器エレメントも、グループ内に存在するかもしれない。図４において、符号を付されていないエレメントは、正常に機能している検出器エレメントを指示している。

[0051]一実施形態においては、図４に例示される状況は、故障した検出器エレメントＸおよびＹのための画素値を決定するためのマルチパスアプローチを用いて解決される。第１のパスにおいて、正常に機能している検出器エレメントに隣接する故障した検出器エレメントＸのための画素値が、正常に機能している検出器エレメントに対応する画素値を平均または補間することによって、決定される。次のパスにおいて、故障した検出器エレメントＹのための画素値が、検出器エレメントＸのために決定された画素値（または、これらの値の部分集合）を用いて、決定される。

[0052]このようにして、ＧＰＵ１２は、画像取り込み装置１１における欠陥を補償することができる。欠陥は、画像取り込み装置１１が時間とともに劣化するにつれて、発生する可能性がある。しかしながら、ＧＰＵ１２は、欠陥を識別し、それらの欠陥を補償することができるので、画像品質を著しく低下させることなく、装置１０の寿命を延ばすことができる。すなわち、欠陥が、画像取り込み装置１１においていつ発生し始めても、ユーザは、低品質の画像を我慢しなくてもよく、あるいは、新しい装置を購入しなくてもよい。

[0053]また、欠陥は、製造プロセス中に実行される品質検査によって、画像取り込み装置１１において検出されるかもしれない。しかしながら、ＧＰＵ１２は、欠陥を識別し、それらの欠陥を補償することができるので、画像取り込み装置１１を必ずしも廃棄しなくてもよい。換言すれば、ＧＰＵ１２は、ある程度の数の欠陥を補償することができるので、画像取り込み装置１１は、通常許容されるものよりも多くの数の欠陥を有してもよく、したがって、より多くの装置が、品質検査に合格する。そのために、廃棄率は減少し、コストを下げる。

[0054]図５は、本発明の一実施形態に基づいて画像取り込み装置（例えば、図１の画像取り込み装置１１）を較正するための処理の例を示す。ベンチマーク画像５１は、画像取り込み装置１１を較正するための基準を提供する既知の標準画像を表現する。例えば、ベンチマーク５１は、直線であることが知られておりかつ既知の距離だけ離れた一組のグリッド線を含んでもよい。製造プロセス中、ベンチマーク５１の写真（例えば、テスト画像５２）が、装置１０（図１）を用いて捕捉される。テスト画像５２は、ベンチマーク５１と比較され、画像取り込み装置１１によってまたはカメラレンズのような何らかのその他の部品によって発生するひずみが、測定される。オーバーレイ５３は、ベンチマーク５１とテスト画像５２との比較を示す。

[0055]図５の参照を続行すると、画像データのフレームにおけるそれぞれの点または画素値に関連する変位ΔｘおよびΔｙ、したがって、図１の画像取り込み装置１１におけるそれぞれの検出器エレメントごとの変位ΔｘおよびΔｙが、テスト画像５２とベンチマーク５１とを比較することによって決定される。すなわち、変位ΔｘおよびΔｙは、ベンチマーク５１における点とテスト画像５２におけるそれに対応する点との差を測定することによって、点ごと（画素ごと）に決定される。検出器エレメントのアレイ全体の変位マップを生成するために、グリッド線間の点が、補間されてもよい。あるいは、検出器エレメントのアレイ全体の変位マップを生成するために、それぞれがお互いにわずかにずれたベンチマーク５１の複数の写真が、撮影されてもよい。変位値ΔｘおよびΔｙのいずれかまたは両方は、ゼロの値を有する可能性がある。

[0056]そして、本実施形態においては、変位ΔｘおよびΔｙを補償する補正係数が、それぞれの検出器エレメントごとに決定される。一実施形態においては、補正係数は、検出器エレメントごとにインデックスを付されたルックアップテーブル（ＬＵＴ）に記憶される。すなわち、ＬＵＴは、それぞれの検出器エレメントごとの補正係数を含む。

[0057]一実施形態においては、補正係数は、様々なカメラ設定（例えば、様々な焦点距離および絞り設定）ごとに決定される。そのような実施形態においては、ＬＵＴは、検出器エレメントごとにインデックスを付されるだけではなく、カメラ設定ごとにもインデックスを付される。

[0058]動作中、補正係数は、以下のように使用されてもよい。画素値（図２に示されるような画素値）の仮想アレイを生成するために、装置１０（図１）を用いて、画像が取り込まれる（写真が撮影される）。それぞれの画素値は、画像データからなるフレーム内における位置に対応し、また、検出器アレイ１１内における特定の検出器エレメントに対応する（図２によって示されるように）。補正係数は、画像データからなるフレーム内のそれぞれの画素値、すなわち、それぞれの検出器エレメントに対応する。適切な補正係数（検出器エレメントごとにインデックスを付された）が、ＬＵＴから読み出され、ＧＰＵ１２によって、適切な画素値に適用され、画像データ内における画素値の位置を補正する。実際には、画素値は、取り込まれた画像データにおけるその画素値の位置から、レンズがひずみを発生させなければ、その画素値が当然ながら存在するであろう位置まで動かされる。要するに、補正係数は、撮影された対象物をより正確に描写するために、画像データのインスタンス（例えば、画素値）が画素値のアレイ内において配置される位置を、画像データのインスタンスが描画される画像内において存在すべき位置にマッピングする。

[0059]このようにして、ＧＰＵ１２は、ひずみと、ひずみ、および、レンズのような撮像部品に存在するかもしれない傷によって発生するその他の影響とを補償することができる。したがって、低品質すなわち低価格の部品が、使用されてもよく、コストをさらに節減するために、レンズのような部品に関する製造許容差を増加させてもよい。ＧＰＵ１２は、結果として得られる全体的品質がより高いコストでより高い品質の部品と事実上見分けがつかないことを保証する。さらに、受け入れることができないとこれまでは考えられてきたかもしれない部品をこれからは使用することができるので、廃棄率を減少させることができ、また、コストを減少させることができる。

[0060]ひずみ影響以外の影響を補償する補正係数が、決定され、そして、同じように、適用され、それによって、上述したような利点を提供してもよい。例えば、検出器アレイ内のそれぞれの検出器エレメントごとに、色収差および色ずれを補償するための補正係数を決定するために、装置１０（図１）は、ベンチマークと比較して較正されてもよい。色収差は、画像取り込み装置１１（図１）によって取り込まれた色と真の色（例えば、撮影された対象物の実際の色）との間の色の違いを意味する。色ずれは、異なる色の波長がレンズを経由して異なって伝達されるために発生する作用を意味する。

[0061]補正係数は、様々なカメラ設定（例えば、異なる焦点距離および絞り設定）ごとに決定されてもよい。異なる補正係数が、画素値のそれぞれの色成分ごとに決定されてもよい（例えば、赤成分、緑成分、および、青成分ごとの補正係数）。ＧＰＵ１２は、色収差および色ずれを画素値ごとに後処理してもよい。

[0062]また、球面収差、非点収差、および、コマ収差のような作用を補正するために、カメラ設定に応じて、画像データの選択された部分に鮮鋭化フィルターを適用することによって、補正係数が、決定されてもよい。

[0063]図６は、本発明の一実施形態に基づいてオーディオ装置（例えば、図１の装置１０）を較正するための処理の例を示す。理想的には、録音または再生されるオーディオの振幅は、適用周波数の範囲全体にわたって一定である。実際には、振幅は、周波数とともに変化する。一実施形態においては、製造プロセス中、振幅対周波数の実際の曲線が、録音中に、また、録音の再生中に、装置１０ごとに決定される。実際の振幅と定義された理想的な振幅とを周波数の関数として一致させる補正係数が、決定され、そして、一実施形態においては、ＬＵＴに（例えば、図１のメモリ１４に）記憶される。動作中、オーディオデータのインスタンスが、再生される（可聴なものにされる）とき、このデータのインスタンスに関連する周波数が決定され、適切な補正係数が、ＧＰＵ１２によってＬＵＴから読み出され、このデータのインスタンスに適用される。

[0064]図７は、本発明の一実施形態に基づいて画像データを処理するためにＧＰＵによって使用される方法のフローチャート７０である。一実施形態においては、フローチャート７０は、装置１０のコンピュータ可読メモリユニットに記憶されかつＧＰＵ１２（図１）によって実行されるプログラム命令として実施される。

[0065]図７のブロック７１において、画像取り込み装置（例えば、検出器エレメントのアレイ）は、画像データの第１のフレームを構成する第１の複数の画素値と、画像データの第２のフレームを構成する第２の複数の画素値とを生成する。一実施形態においては、第２のフレームは、時系列的に、第１のフレームの直後のフレームである。第１の複数の画素値における第１の画素値が、第２の複数の画素値における第２の画素値と比較される。第１の画素値と第２の画素値とは、検出器アレイ内の同じ検出器エレメントに対応する。

[0066]ブロック７２において、同じ検出器エレメントに対応する画素値が時系列的に連続する２つのフレームにおいて等しいとみなされるたびに、その同じ検出器エレメントに関連するカウンター値が、増分される。すなわち、例えば、上述した第１の画素値と第２の画素値とが、等しいとみなされたならば、第１および第２の画素値に対応する検出器エレメントに関連するカウンター値は、増分される。

[0067]ブロック７３において、同じ検出器エレメントに対応する画素値が、時系列的に連続する２つのフレームにおいて等しくないとみなされるたびに、カウンター値は、ゼロにセットされる。上の例においては、第１の画素値と第２の画素値とが、等しいとみなされないならば、第１および第２の画素値に対応する検出器エレメントに関連するカウンター値は、ゼロにセットされる。

[0068]ブロック７４において、カウンター値が、しきい値を満たせば、そのカウンター値に関連する画素値は、受け入れられない画素値であると判定される。この例においては、第１および第２の画素に関連するカウンター値が、しきい値に到達すれば、第１および第２の画素値は、受け入れられないものであると定義される。その結果として、第１および第２の画素値に対応する検出器エレメントは、故障しているかまたは正常に機能していないとみなされる。

[0069]ブロック７５において、受け入れられない画素値のための新しい値を決定するために、有効な画素値が、平均または補間される。この例においては、第１の画素のための新しい値を決定するために、第１の複数の画素値の部分集合が、平均される。同様に、第２の画素のための新しい値を決定するために、第２の複数の画素値の部分集合が、平均される。それぞれの部分集合に存在する画素値は、第１および第２の画素値に関連する検出器エレメントに隣接する検出器エレメントに対応する。

[0070]一実施形態においては、図７のブロック７６において、図４を参照して上で説明されたように、複数の受け入れられない画素値が識別される。複数の受け入れられない画素値は、検出器アレイ内に存在するいくつかの近接する検出器エレメントに対応する。受け入れられない画素値の中の第１の画素値が、選択される。受け入れられない画素値の中の第１の画素値のための第１の新しい画素値を決定するために、第１の複数の画素値の部分集合が、平均される。画素値の部分集合は、受け入れられない画素値の中の第１の画素値に対応する検出器エレメントに隣接するいくつかの検出器エレメントに対応する。受け入れられない画素値の中の第２の画素値のための新しい画素値を決定するために、画素値の第２の部分集合が、平均され、ここで、その第２の部分集合は、第１の新しい画素値を含む。画素値の第２の部分集合は、受け入れられない画素値の中の第２の画素値に対応する検出器エレメントに隣接する検出器エレメントに対応する。

[0071]図８は、本発明の別の実施形態に基づいて画像データを処理するためにＧＰＵによって使用される方法のフローチャート８０である。一実施形態においては、フローチャート８０は、装置１０のコンピュータ可読メモリユニットに記憶されかつＧＰＵ１２（図１）によって実行されるプログラム命令として実施される。

[0072]図８のブロック８１において、画像取り込み装置（例えば、検出器エレメントのアレイ）は、画像データのフレームを構成する複数の画素値を生成する。検出器アレイ内の検出器エレメントに対応する画素値が、アクセスされる。

[0073]ブロック８２において、検出器エレメントに対応する補正係数が、アクセスされる。一実施形態においては、補正係数は、検出器エレメントごとにインデックスを付されたＬＵＴから読み出される。別の実施形態においては、補正係数は、装置１０（図１）の実際の性能をベンチマークと比較することによって、決定される。

[0074]図８のブロック８３において、補正係数は、画素値に適用される。このようにして、画素値は補償され、それによって、ひずみ影響、鮮鋭度の欠如、色収差、および、色ずれのような作用が除去される。

[0075]図９は、本発明の一実施形態に基づいてオーディオデータを処理するためにＧＰＵによって使用される方法のフローチャート９０である。一実施形態においては、フローチャート９０は、装置１０のコンピュータ可読メモリユニットに記憶され、かつＧＰＵ１２（図１）によって実行されるプログラム命令として実施される。

[0076]図９のブロック９１において、オーディオファイルを構成するオーディオデータが、録音または再生中にアクセスされる。オーディオデータのインスタンスに関連する周波数が、決定される。

[0077]ブロック９２において、周波数に対応する補正係数が、アクセスされる。補正係数は、振幅を調節するのに使用される。一実施形態においては、補正係数は、周波数ごとにインデックスを付されたＬＵＴから読み出される。別の実施形態においては、補正係数は、装置１０のオーディオ性能をベンチマークと比較することによって、決定される。

[0078]ブロック９３において、補正係数は、オーディオデータのインスタンスに適用される。このようにして、オーディオデータのインスタンスに関連する振幅は補償され、オーディオの録音または録音の再生における欠点に起因する定義された理想的振幅からのずれが、除去される。

[0079]具体的なステップが、フローチャート７０、８０、および、９０において開示されたが、そのようなステップは、例として開示されたものである。すなわち、本発明は、その他の様々なステップ、または、フローチャート７０、８０、および、９０において説明されたステップの変形を実行するのにきわめて適している。フローチャート７０、８０、および、９０のステップは、図示されたものとは異なる順序で実行されてもよいこと、および、フローチャート７０、８０、および、９０のステップは、必ずしも図示された順序で実行されないことがわかる。

[0080]要するに、本発明の実施形態によれば、カメラ付き携帯電話、オーディオプレーヤー、および、それらに類似する種類の装置におけるＧＰＵは、装置のコスト、重量、寸法をそれ相応に増大させることなく、画像データまたはオーディオデータの品質を改善するのに使用することができる。また、ＧＰＵは、画像取り込み装置（例えば、検出器アレイ）の劣化によって発生する画像データの欠損を補償することができ、装置の寿命を延ばす。さらに、ＧＰＵを本明細書で説明されたように使用することは、製造中の廃棄率を減少させる。要するに、ＧＰＵによって提供されるさらなる能力は、検出器アレイのような部品においてより多くの数の欠陥を許容することができることを意味し、その結果として、これまでに廃棄されていた部品をこれからは使用できる可能性がある。廃棄率が、低下するので、製造コスト、そして、最終的には、消費者に対するコストを減少させることができる。

[0081]さらにまた、カメラ付き携帯電話のような携帯情報端末にＧＰＵを導入するコストは、相殺される。なぜなら、画質または音質に影響を与えることなく、その他の低コストの部品を使用することができるからである。すなわち、ＧＰＵは、低品質または低価格の部品によって発生し得る影響をもしあれば補償することができ、それによって全体的品質は大きな影響を受けることがない。

本明細書で説明されたことの概観として、以下のことが、注記される。説明されたことは、描画される画像の品質を向上させるために画像データを処理するグラフィックスプロセッシングユニット（ＧＰＵ）を内蔵した装置（例えば、ディジタルカメラを含む携帯電話）である。ＧＰＵによって提供される処理能力は、例えば、受け入れられない画素値（例えば、正常に機能していないかまたは故障の検出器エレメントに関連する画素値）を識別してその他の画素値を平均することによって決定された新しい値に置き換えることができることを意味する。また、例えば、装置は、ベンチマークデータと比較して較正されることが可能であり、それによって、それぞれの検出器エレメントごとの補正係数が生成される。補正係数は、画素ごとに画像データに適用されてもよい。また、装置が、ディジタルオーディオファイルを録音および／または再生するように適合されるのであれば、装置のオーディオ性能が、較正され、オーディオ周波数範囲のための補正係数が決定されてもよい。

[0082]上述したように、本発明の実施形態が、説明された。本発明が、特定の実施形態において説明されたが、本発明は、当然ながら、そのような実施形態によって限定的に解釈されるのではなく、添付の特許請求の範囲に基づいて解釈されることを理解すべきである。

本発明による実施形態が実施されてもよい、例としての携帯情報端末のブロック図である。 本発明の一実施形態による検出器アレイ内に存在する検出器エレメントと画像フレームにおける画素および画素値とのマッピングを示す図である。 本発明の一実施形態による画像データの連続するフレームおよびカウンターを示す図である。 本発明による検出器アレイの一実施形態における故障した検出器エレメントのグループを示す図である。 本発明の一実施形態による画像取り込み装置を較正するための例としての処理を示す図である。 本発明の一実施形態によるオーディオ装置を較正するための例としての処理を示す図である。 本発明の一実施形態に基づいて画像データを処理するためにＧＰＵによって使用されるコンピュータ実施方法のフローチャートである。 本発明の別の実施形態に基づいて画像データを処理するためにＧＰＵによって使用されるコンピュータ実施方法のフローチャートである。 本発明の一実施形態に基づいてオーディオデータを処理するためにＧＰＵによって使用されるコンピュータ実施方法のフローチャートである。

Claims (20)

1. 画像データの第１のフレームを構成する対応する第１の複数の画素値を生成する検出器エレメントのアレイを備えた画像取り込み装置と、
   前記第１の複数の画素値を記憶することのできるメモリと、
   前記第１の複数の画素値に基づいて画像を表示することのできる表示装置と、
   前記第１の複数の画素値を処理する方法を実行することのできるグラフィックスプロセッシングユニット（ＧＰＵ）と
   を備える装置であって、
   前記方法が、
   受け入れられない画素値を識別するステップであり、前記受け入れられない画素値が、所定の基準を満たせば、受け入れられないものであるとみなされる、前記識別するステップと、
   前記受け入れられない画素値のための新しい値を決定するステップと
   を備える、装置。
2. 前記決定するステップが、前記第１の複数の画素値の部分集合を平均する工程をさらに備え、前記部分集合内に存在する画素値が、前記受け入れられない画素値に対応する検出器エレメントに隣接する検出器エレメントに対応する、請求項１に記載の装置。
3. 前記識別するステップが、
   時系列的に前記第１のフレームの直後に存在する画像データの第２のフレームを構成する第２の複数の画素値にアクセスする工程と、
   前記第１の複数の画素値内に存在する第１の画素値を前記第２の複数の画素値内に存在する第２の画素値と比較する工程と
   をさらに備え、
   前記第１の画素値と前記第２の画素値とが、同じ検出器エレメントに対応している、請求項１に記載の装置。
4. 前記第１の画素値と前記第２の画素値とが等しいとみなされた場合に、前記基準が満たされる、請求項３に記載の装置。
5. 前記方法が、
   前記同じ検出器エレメントに対応する画素値が、時系列的に２つの連続するフレームにわたって等しいとみなされるたびに、カウンター値を増分するステップであり、前記カウンター値が、しきい値に一致したならば、前記基準が、満たされる、前記増分するステップと、
   前記同じ検出器エレメントに対応する画素値が、時系列的に２つの連続するフレームにわたって等しくないとみなされるたびに、前記カウンター値をリセットするステップと、
   をさらに備える、請求項３に記載の装置。
6. 前記方法が、
   近接するいくつかの検出器エレメントに対応する複数の受け入れられない画素値を識別するステップであり、前記複数の受け入れられない画素値が、前記基準に基づいて受け入れられないものであるとみなされる、前記識別するステップと、
   前記受け入れられない画素値の中の第１の画素値を選択するステップと、
   前記第１の複数の画素値の第１の部分集合を平均し、前記受け入れられない画素値の中の第１の画素値のための第１の新しい画素値を決定するステップであり、前記第１の部分集合内に存在する画素値が、前記受け入れられない画素値の中の前記第１の画素値に対応する検出器エレメントに隣接する検出器エレメントに対応する、前記決定するステップと、
   前記第１の新しい画素値を含む画素値の第２の部分集合を平均し、前記受け入れられない画素値の中の第２の画素値のための第２の新しい画素値を決定するステップであり、前記第２の部分集合内に存在する画素値が、前記受け入れられない画素値の中の前記第２の画素値に対応する検出器エレメントに隣接する検出器エレメントに対応する、前記決定するステップと
   をさらに備える、請求項１に記載の装置。
7. 第１のオーディオ入力を受け取るためのマイクと、
   前記第１のオーディオ入力を構成する信号を送信するための無線送信機と、
   第２のオーディオ入力を構成する無線信号を受信するための受信機と、
   前記第２のオーディオ入力を聞き取ることができるように再生するためのスピーカーと
   を有する無線携帯電話をさらに備える、請求項１に記載の装置。
8. 前記方法が、
   検出器エレメントに対応する画素値にアクセスするステップと、
   前記検出器エレメントに対応する補正係数にアクセスするステップと、
   前記補正係数を前記画素値に適用するステップと
   をさらに備える、請求項１に記載の装置。
9. 画像データのフレームを構成する対応する複数の画素値を生成する検出器エレメントのアレイを備えた画像取り込み装置と、
   前記画素値を記憶することのできるメモリと、
   前記画素値を用いて生成される画像を表示することのできる表示装置と、
   前記画素値を処理する方法を実行することのできるグラフィックスプロセッシングユニット（ＧＰＵ）と
   を備える装置であって、
   前記方法が、
   検出器エレメントに対応する画素値にアクセスするステップと、
   前記検出器エレメントに対応する補正係数にアクセスするステップと、
   前記補正係数を前記画素値に適用するステップと
   を備える、装置。
10. 前記補正係数が、検出器エレメントごとにインデックスを付された複数の補正係数を備えたルックアップテーブルから読み出される、請求項９に記載の装置。
11. 前記補正係数が、光を前記画像取り込み装置へ伝達するレンズによって発生する影響を補償する、請求項９に記載の装置。
12. 前記影響が、変位作用であり、前記レンズにおけるひずみが、前記ひずみを通過する光に方向を変えさせる、請求項１１に記載の装置。
13. 前記影響が、前記レンズを通過する光の異なる色波長によって発生する色ずれ作用であり、さらに、補償係数が、前記画素値のそれぞれの色成分に適用される、請求項１１に記載の装置。
14. 前記補正係数が、前記画素値によって表現される色とベンチマークカラー値との間の色の違いを補償する、請求項９に記載の装置。
15. 前記補正係数が、ベンチマークと比較した鮮鋭度の低下を補償する、請求項９に記載の装置。
16. 第１のオーディオ入力を受け取るためのマイクと、
    前記第１のオーディオ入力を構成する信号を送信するための無線送信機と、
    第２のオーディオ入力を構成する無線信号を受信するための受信機と、
    前記第２のオーディオ入力を聞き取ることができるように再生するためのスピーカーと
    を有する無線携帯電話をさらに備える、請求項９に記載の装置。
17. ディジタルオーディオデータを含むオーディオファイルを記憶することのできるメモリと、
    前記オーディオデータを処理する方法を実行することのできるグラフィックスプロセッシングユニット（ＧＰＵ）と
    を備える装置であって、
    前記方法が、
    前記オーディオデータのインスタンスに関連する周波数を決定するステップと、
    前記周波数に対応する補正係数にアクセスするステップであり、前記補正係数が、振幅を調節するためのものである、前記アクセスするステップと、
    前記補正係数をオーディオデータの前記インスタンスに適用するステップと
    を備える、装置。
18. 画像データのフレームを構成する対応する複数の画素値を生成することのできる検出器エレメントのアレイを備えたディジタルカメラをさらに備える、請求項１７に記載の装置。
19. 前記方法が、画素値を調節するステップをさらに備える、請求項１８に記載の装置。
20. 第１のオーディオ入力を受け取ることのできるマイクと、
    前記第１のオーディオ入力を構成する信号を送信することのできる無線送信機と、
    第２のオーディオ入力を構成する無線信号を受信することのできる受信機と、
    前記第２のオーディオ入力を聞き取ることができるように再生することのできるスピーカーと
    を有する無線携帯電話をさらに備える、請求項１７に記載の装置。

Images