JP2011139523A - 画像処理装置 - Google Patents

Abstract

【課題】画像センサーの様々なデータ読出しパターンに対応可能な画像処理装置の提供。
【解決手段】Ｈカウンタ１及びＶカウンタ２のカウント値の両最下位ビットを合わせて、２×２の繰り返し範囲を規定するタイミング信号ＣＬＢＡＳＥＴを生成する。入力チャンネル毎に、タイミングレジスタＴＲＣＨが配備されている。各タイミングレジスタは、繰り返し範囲内の各場所の色を決めるデータを格納する４個のレジスタを有する。セレクタＴＳＥＬＣＨは、信号ＣＬＢＡＳＥＴに基づきタイミングレジスタの出力を選択して、入力チャンネル毎に独立なある時点での画素の色を指定する信号Ｃ０ＣＳ，Ｃ１ＣＳを生成する。各色の黒レベル補正データを格納するレジスタＢＬＲは、各入力チャンネルに共通である。入力チャンネル毎に独立に、ある時点での黒レベル補正データが対応する信号Ｃ０ＣＳ，Ｃ１ＣＳによって選択されて、各入力チャンネルの前処理回路に入力される。
【選択図】図３

Description

この発明は、複数の画像データ読み出しチャンネルを有する画像センサーに特有の補正処理（黒レベル補正、ホワイトバランス補正等）を行う画像処理装置に関する。

図２３は、従来技術に於ける、デジタル（スチル、ビデオ）カメラ用画像処理ＬＳＩの構成を模式的に示すブロック図である。本装置に於いては、画像センサーＰＩＳの画像データ読み出しチャンネルＲＣＨ０は１チャンネルであり、その結果、各画素に於ける画像データは線順位にラスタースキャンされて順次に読み出される。そして、画像センサーＰＩＳの有効画素領域内の各画素に設けられた色フィルタの配列（色の並び方）は、所謂、ＲＧＢ Ｂａｙｅｒ（ＲＧＢベイヤー）配列となっている。

画素クロック（図示せず）に応じて画像センサーＰＩＳから順次に読み出された画像データは先ずＡ／Ｄ変換器３００ＰによってＡ／Ｄ変換された上で、Ｃ−ＭＯＳ ＬＳＩ上の画像センサーデータ前処理ユニット（以下、ＳＰＵ（センサープロセッシングユニット）と言う。）１００Ｐに入力される。ＳＰＵ１００Ｐは、本来的な画像処理を行う回路では無く、画像センサーＰＩＳに特有の問題点に起因した処理を、即ち、黒レベル補正、ホワイトバランス補正及び欠陥画素補正を画像センサーＰＩＳからの入力画像データに対して実行して、正規化されたＲＧＢ Ｂａｙｅｒ信号を得るユニットである。

画像センサーＰＩＳから入力されるＲＧＢ Ｂａｙｅｒ信号の正規化処理を模式的に示した図が図２４であり、本図２４は後述する実施の形態１に於いても援用される図面である。図２４（ａ）に示されるＲ（赤）、Ｇ（緑）及びＢ（青）の各色信号は線形性を有することが前提となっており、各色信号は黒レベル補正を施されて、それらの原点が揃えられる（図２４（ｂ）参照。）。更に、各色信号はホワイトバランス補正を施されて、それらの特性は重なり合い、正規化される（図２４（ｃ）参照。）。

正規化されたＲＧＢ Ｂａｙｅｒ信号は、次にＲＰＵ２００Ｐに入力されて、γ補正等の本来的な画像処理を施される。

図２５は、従来技術に於けるＳＰＵ１００Ｐの主要部分の構成を模式的に示すブロック図である。同図に於いて、グローバルＨカウンタ１は、画素クロックＣＬＫを入力信号としてその受信数をカウントすることでカウント値ＨＣＮＴを生成して、画像センサーＰＩＳからの画像データの水平方向に於ける読み出しタイミングを定義乃至は管理するグローバル水平方向カウンタである。又、グローバルＶカウンタ２は、画素クロックＣＬＫに同期して、グローバルＨカウンタ１のキャリーアウトＣＯから出力されるリセット信号を受信する毎にそのカウント値ＶＣＮＴを１ずつインクリメントすることで、画像センサーＰＩＳからの画像データの垂直方向に於ける読み出しタイミングを定義乃至は管理するグローバル垂直方向カウンタである。尚、両カウンタ１，２は後述する実施の形態１でも適用される構成要素である。ＳＰＵ１００Ｐでは、画像センサーＰＩＳの読み出しチャンネルが１チャンネルであるため、ＲＧＢ Ｂａｙｅｒ配列の下では、補正データを読み出すためのタイミング信号の繰り返し範囲は、２×２で良い。従って、グローバルＨカウンタ１のカウント値ＨＣＮＴの最下位ビットＨＣＮＴ（０）とグローバルＶカウンタ２のカウント値ＶＣＮＴの最下位ビットＶＣＮＴ（０）との合成によって、２ビットの色選択タイミング信号ＣＯＬＳＥＬが生成される。又、予め、黒レベル補正値用レジスタＢＬＲが、ＳＰＵ１００Ｐ内に配備されている。ここで、黒レベル補正値用レジスタＢＬＲは、ＲＧＢ Ｂａｙｅｒ配列下での各色（全４色）が割り当てられる上記２×２の繰り返し範囲の各場所に於ける黒レベル補正値をそれぞれ格納するレジスタＢＬ０〜ＢＬ３を有する。即ち、レジスタＢＬ０は、上記繰り返し範囲内の００位置に於ける色Ｒの黒レベル補正値を格納しており、レジスタＢＬ１は、上記繰り返し範囲内の０１位置に於ける色Ｇｒの黒レベル補正値を格納しており、レジスタＢＬ２は、上記繰り返し範囲内の１０位置に於ける色Ｇｂの黒レベル補正値を格納しており、レジスタＢＬ３は、上記繰り返し範囲内の１１位置に於ける色Ｂの黒レベル補正値を格納している。同様に、ホワイトバランス補正値用レジスタＷＢＲも、ＳＰＵ１００Ｐ内に配備されている。そして、ＳＰＵ１００Ｐで特筆すべき点は、図２５に示されている通り、各色の各場所に於ける黒レベル補正値及びホワイトバランス補正値が共に、対応するセレクタ１１Ｐ，１２Ｐを介して、色選択タイミング信号ＣＯＬＳＥＬによって直接的に選択されているところにある。尚、参照符号１３Ｐ及び１４Ｐは、それぞれ、黒レベル補正処理部及びホワイトバランス補正処理部である。

＜問題点その１＞
より高画質の画像生成を求めて、画像センサー（ＣＣＤセンサー又はＣＭＯＳセンサー等）の高精細化、従って、画素数の増大化が求められている。斯かる要求に応じて、画素数が８Ｍピクセルあるいは１０Ｍピクセル以上の画像センサーが実現されるに至っている。この様な画像センサーの画素数の増大化に対して、斯かる画像センサーを使用するデジタルスチルカメラメーカーは、単位時間当たりのコマ数、即ち、連写速度の維持乃至は更なる向上を追及している。このため、例えば、画素数が３Ｍピクセルの場合に連写速度が１０コマ／秒であるとしたときには、データレート乃至は画像データ読み出しレートは３０Ｍピクセル／秒となり、この連写速度を維持するならば、画素数が５Ｍピクセルの場合には画像データ読み出しレートは５０Ｍピクセル／秒に、画素数が８Ｍピクセルの場合には画像データ読み出しレートは８０Ｍピクセル／秒に、画素数が１０Ｍピクセルの場合には画像データ読み出しレートは１００Ｍピクセル／秒にも達する。それにも拘らず、ＣＣＤセンサーの動作スピードの最大値は３５ＭＨｚ程度であり、又、ＣＭＯＳセンサーの場合には、その最大値は５０ＭＨｚ〜１００ＭＨｚ程度である。又、Ｃ−ＭＯＳ ＬＳＩの動作速度は約１００ＭＨｚ程度である。画像センサーを低価格で且つ低消費電力で作成しようとする場合には、画像センサーの動作スピードの最大値は４０ＭＨｚ程度であることが望ましい。そうすると、１チャンネルで画像データを画像センサーから読み出している限り、既述した読み出しレートが５０Ｍピクセル／秒以上となる連写速度を維持・実現することは不可能となる。この様な問題点を根本的に解決するためには、画像センサーの画像データの読み出しチャンネル数を増やす必要性がある。斯かる必要性に応じて、昨今では、複数の読み出しチャンネルを有する画像センサーが実現されるに至っている。

この様な読み出しチャンネル数の増大化に伴い、様々な画像データの読み出しパターンが提案・実現されるに至っており、この様な画像データの読み出しパターンの多様化に如何に対応すべきかと言う新たな問題点が生じている。この点につき、読み出しチャンネル数が２である場合について以下に簡単に考察することとする。

例えば、ＲＧＢ Ｂａｙｅｒ配列の下に於いて、読み出しチャンネル数が２である場合の読み出しパターンとして、図２６に示すパターンが一例として考えられる。この読み出しパターンでは、第１番目の読み出しチャンネルＲＣＨ０より、画像センサーのある偶数ラインに属するＲ色の画像データのみを読み出す一方、第２番目の読み出しチャンネルＲＣＨ１より、当該偶数ラインに属するＧｒ色の画像データのみを読み出す。次の奇数ラインでは、第１番目の読み出しチャンネルＲＣＨ０よりＧｂ色の画像データのみを読み出し、第２番目の読み出しチャンネルＲＣＨ１よりＢ色の画像データのみを読み出す。あるいは、その変形例として、画像センサーのある偶数ラインに属するＲ色及びＧｒ色の画像データを第１番目の読み出しチャンネルＲＣＨ０より読み出す一方、次の奇数ラインに属するＧｂ色及びＢ色の画像データを第２番目の読み出しチャンネルＲＣＨ１より読み出すと言うパターン例も有り得る。

ＲＧＢ Ｂａｙｅｒ配列下に於いて、更なる一例として、図２７に示すパターンが考えられる。更に、図２８に示す様に、画像センサーのＲＧＢ Ｂａｙｅｒ配列をその中央より左右に２分化して、あるラインに於いて左側から順次に読み出す一方、右側からも順次に読み出すと言う読み出しパターンも提案・実現されている。更には、画像センサーのＲＧＢ Ｂａｙｅｒ配列のある領域では縦方向に読み出す一方、その他の領域では水平方向に読み出すと言う読み出しパターンも提案されている。

この様に、読み出しチャンネル数が２である場合でも上記の通り様々な読み出しパターンが提案されている。そうすると、読み出しチャンネル数がそれ以上に増えるときには、読み出しパターンはより複雑化して、その数は鰻登りに増大化する。

以上の通り、画像センサーのメーカー毎に、あるいは、同一メーカー内の製品であってもその型番毎に、画像センサーからの読み出しパターンは千差万別であると言える。従って、画像センサーから読み出された画像データに対して画像処理を施す汎用ＬＳＩ（画像処理装置）を設計・製作する側から見れば、デジタルカメラメーカーが採用する画像センサーが如何なる画像読み出しパターンを有していようとも、その画像読み出しパターンに対して常に対応可能な汎用性に富んだ画像処理ＬＳＩを提供する必要性が有ると言える。この様な問題点は早急に対応を求められる課題である。

＜問題点その２＞
既述の通り、画像センサーに於ける画素数の増大化に伴い、画像センサーの有効画素領域は同じであるため、画像センサーに於ける各セルのサイズはより一層小さくならざるを得なくなる。この様に画像センサーの各セルの微細化に伴い、各セルの出力信号のレベルは相対的に小さくなり、従って、出力信号の線形性も損なわれて来る。このため、画像センサーの有効画素領域内の場所毎に、あるいは、ライン毎に、その特性が異なるセルが頻出して来る。そのため、画像センサーの有効画素領域内の場所毎に、各画素のＲＧＢ Ｂａｙｅｒ信号を正規化するために必要な黒レベル補正値及びホワイトバランス補正値が異なって来ることとなる。この様な画像センサーの各セルの微細化に伴い生じる上記の問題点を克服して、各画素のＲＧＢ Ｂａｙｅｒ信号を高精度で補正することが求められる。

この発明は、既述した懸案事項に対処すべく成されたものであり、その目的の第１は上記の問題点その１を克服した画像処理装置を提供する点にあり、その目的の第２は上記の問題点その２を克服した画像処理装置を提供する点にある。

請求項１に係る発明は、画像処理装置であって、画像センサーが有する複数の画像データ読み出しチャンネルの各々から同期して読み出された各画像信号を当該画像データ読み出しチャンネルに対応する入力チャンネルで画素クロック毎に受信して、受信した画像データに対して前記画像センサーに特有の問題点に起因した所定の画像処理を前記画素クロック毎に並列的に実行するパイプライン型の複数の画像センサー前処理ユニットと、前記複数の画像センサー前処理ユニットの各々の入力チャンネル毎に独立に、ある時点に於ける画素の色を指定する色選択タイミング信号を生成して、各画像センサー前処理ユニットに対して対応する色選択タイミング信号を出力する色タイミングアレンジメント部とを備え、前記各画像センサー前処理ユニットは当該ユニットに対応する前記色選択タイミング信号に応じて前記所定の画像処理を実行し、各入力チャンネルに共通な、前記所定の画像処理の実行に必要な各色用の補正データを格納しており、その出力の全ては前記各画像センサー前処理ユニットに入力される補正データ用レジスタを更に備えており、前記複数の画像センサー前処理ユニットの各々は、前記補正データ用レジスタの出力を当該ユニットに対応する前記色選択タイミング信号によって選択出力するセレクタと、前記セレクタが選択出力する補正データを用いて前記画像データに対して前記所定の画像処理を実行する画像処理回路とを備えることを特徴とする。

以下、この発明の主題の様々な具体化を、添付図面を基に、その効果・利点と共に、詳述する。

請求項１に係る発明によれば、複数の画像データ読み出しチャンネルを有する画像センサーからの様々の読み出しパターンに対応可能な、画像センサーに起因した所定の画像処理を実行する画像処理装置を提供することが出来る。

また、請求項１に係る発明によれば、補正データ用レジスタは各画像センサー前処理ユニットの外側に配備されて各ユニットに共通のレジスタとして用いられるため、補正データ用レジスタを各ユニット内に配備する場合と比較して、レジスタを構成するゲート数を格段に削減化して省電力化を図ることが出来る。

画像センサーの読み出しチャンネルと本実施の形態に係る画像処理装置の入力チャンネルとの関係を示すブロック図である。 画像処理装置のＳＰＵ回路の構成例を示すブロック図である。 カラータイミングアレンジメント部の動作原理を示すブロック図である。 カラータイミングアレンジメント部の主要部分の構成例を示すブロック図である。 カラータイミングアレンジメント部の一部の構成を示すブロック図である。 図４の回路のローカルＨカウンタ及びローカルＶカウンタで設定可能な任意の大きさの繰り返し範囲の一例を示す図である。 ３種類の繰り返し範囲を示す図である。 画面全体に渡って発生する黒レベル信号のオフセットドリフトを模式的に例示する図である。 黒レベル補正処理部の構成の一例を示すブロック図である。 黒レベル補正処理部の構成の他の例を示すブロック図である。 変調回路に於ける変調データを求める方法の原理を示す図である。 変調回路に於ける変調データを求める他の方法の原理を示す図である。 １次元での線形補間（内挿補間）の一例を示す図である。 変調回路に於ける変調データを求める実用的な方法を示す図である。 変調回路の構成例を示すブロック図である。 図１５の変調回路に於いて変調範囲を２５６×２５６と設定した場合の変調データを求める実用的な方法を示す図である。 図１５の変調回路に於いて変調範囲の物理的な広さを変更可能とする方法を示す図である。 尾引き補正の方法を示す図である。 リニアライゼーション処理の方法を示す図である。 各入力チャンネルのＳＰＵ回路に於けるリニアライゼーション処理回路の構成例を示すブロック図である。 リニアライゼーション特性を折れ線で分割した場合を示す図である。 各入力チャンネルのＳＰＵ回路の主要な一部の実装例を示すブロック図である。 従来技術に於ける画像センサーの読み出しチャンネルと画像処理装置の入力チャンネルとの関係を示すブロック図である。 ＲＧＢ Ｂａｙｅｒ信号の正規化処理を示す図である。 従来技術に於けるＳＰＵ回路の構成例を示すブロック図である。 画像データ読み出しパターンの一例を示す図である。 画像データ読み出しパターンの一例を示す図である。 画像データ読み出しパターンの一例を示す図である。

（実施の形態１）
＜複数入力チャンネル下での色選択タイミング信号のプログラマブルな構成＞
図１は、本実施の形態に係るデジタル（スチル、ビデオ）カメラ用画像処理ＬＳＩの構成を模式的に示すブロック図である。図１の一例では、画像センサー（例えばＣＣＤセンサー又はＣＭＯＳセンサー等の固体撮像デバイス）ＩＳの画像データ読み出しチャンネルＲＣＨ０〜ＲＣＨ３の数は４チャンネルである。そして、画像センサーＩＳの有効画素領域内の各画素に設けられた色フィルタの配列（色の並び方）は、既述したＲＧＢ Ｂａｙｅｒ配列となっている。ＲＧＢ Ｂａｙｅｒ配列においては、図１に太線で示す様に、Ｒ（赤）色の隣に配置されるＧ（緑）色はＲ色の影響を受けるため、Ｇｒ色として表示され、又、Ｒ色の直下に配置されるＧ色は、その隣に位置するＢ（青）色の影響を受けるため、Ｇｂ色として表示される。

画素クロック（ここでは図示せず。）に応じて各画像データ読み出しチャンネルＲＣＨ０〜ＲＣＨ３から並列的に読み出された画像データは、当該画像データ読み出しチャンネルに対応したＡ／Ｄ変換器３００〜３０３によってＡ／Ｄ変換された上で、Ｃ−ＭＯＳ ＬＳＩ上のＳＰＵ（画像センサーデータ前処理ユニット）１００に入力される。ここで、ＳＰＵ１００は、図２３のＳＰＵ１００Ｐと同様に、画像センサーＩＳに特有の問題点に起因して生じる画像データの補正処理（黒レベル補正、ホワイトバランス補正、欠陥画素補正等の所定の画像処理）を行って、入力したＲＧＢ Ｂａｙｅｒ信号（１０ビット〜１６ビットのデータ）を正規化する第１画像処理部である（この点に関して既述した図２４を参照。）。又、Ｃ−ＭＯＳ ＬＳＩ上のＲＰＵ２００は、図２３のＲＰＵ２００Ｐと同様に、各画像データ読み出しチャンネルＲＣＨ０〜ＲＣＨ３毎に正規化されたＲＧＢ Ｂａｙｅｒ信号に対して本来の画像処理（ガンマ補正、色空間変換処理等）を実施する第２画像処理部である。尚、図１では、図示の便宜上、ＳＰＵ１００の４チャンネルの出力は１本の信号として擬似的に描かれている。本実施の形態の中核部は、ＳＰＵ１００の内部構成にあるので、以下では、ＳＰＵ１００の構成・動作を詳述する。

図２は、ＳＰＵ１００の構成の主要部を模式的に示すブロック図である。ＳＰＵ１００は、大別して、（１）画像センサーの画像データ読み出しチャンネル数に対応して４個のユニットから成る第１乃至第４チャンネル用補正処理部ＳＰＵ−Ｃ０〜ＳＰＵ−Ｃ３と、（２）３ビット信号である各チャンネル用色選択タイミング信号Ｃ０ＣＳ〜Ｃ３ＣＳを生成・出力するカラータイミングアレンジメント部１０と、（３）第１乃至第４チャンネル用補正処理部ＳＰＵ−Ｃ０〜ＳＰＵ−Ｃ３の各々に共通して用いられる、８種類の各色の黒レベル補正データＤＬ０〜ＤＬ７（１８ビット信号）及び８種類の各色のホワイトバランス補正データＷＢ０〜ＷＢ７（１８ビット信号）を格納するＳＰＵレジスタ９とから成る。ここで、Ｂａｙｅｒ配列では基本的にＲ，Ｇｒ，Ｇｂ，Ｂの４色で各画素の色が特定されるけれども、本実施の形態では、ＳＰＵ１００は８種類の色に対応可能である。これは、既述した図２８に示された読み出しパターンにも対応可能とするためである。

これらの構成要素の内で、第１乃至第４チャンネル用補正処理部ＳＰＵ−Ｃ０〜ＳＰＵ−Ｃ３は、画像センサーＩＳが有する複数の画像データ読み出しチャンネルの各々から画素クロックに同期して読み出された各画像信号を、当該画像データ読み出しチャンネルに対応する入力チャンネルで画素クロック毎に受信して、受信した画像データ（Ｃ０Ｉｎｐｕｔ〜Ｃ３Ｉｎｐｕｔ）に対して、上記色選択タイミング信号（Ｃ０ＣＳ〜Ｃ３ＣＳ）に応じて、上記所定の画像処理を画素クロック毎に並列的に実行する、パイプライン型の複数の入力チャンネル用画像センサー前処理ユニットに該当する。

又、カラータイミングアレンジメント部１０は、本実施の形態の特徴的構成要素の一つであり、画像センサーＩＳからの画像データの読み出しタイミングを定義・管理する水平カウンタ及び垂直カウンタ（何れもこの段階で図示せず。）の両カウント値に基づいて、各入力チャンネル毎に独立にある時点に於ける画素の色を指定する色選択タイミング信号Ｃ０ＣＳ〜Ｃ３ＣＳを生成して、各入力チャンネル用画像センサー前処理ユニットＳＰＵ−Ｃ０〜ＳＰＵ−Ｃ３に対して対応する色選択タイミング信号を出力する回路である。

第１乃至第４チャンネル用補正処理部ＳＰＵ−Ｃ０〜ＳＰＵ−Ｃ３の各々の入力チャンネルには、画像センサーＩＳから画素クロックに応じて読み出された各画像データＣ０Ｉｎｐｕｔ〜Ｃ３Ｉｎｐｕｔが並列的に入力する。又、各チャンネル用補正処理部ＳＰＵ−Ｃ０〜ＳＰＵ−Ｃ３の内部構成は互いに同等であるので、それぞれの補正処理部の内部構成の記載を第１チャンネル用補正処理部ＳＰＵ−Ｃ０の内部構成の記載で以って代表させることとする。図２に示す様に、第１セレクタ１１Ｃ０は、入力する８種類の各色の黒レベル補正データＤＬ０〜ＤＬ７の内から、この時点で入力した画像データＣ０Ｉｎｐｕｔを与える画素位置の色に対応した黒レベル補正データを、入力する第１チャンネル用色選択タイミング信号Ｃ０ＣＳの指定値に基づいて選択・出力する。そして、黒レベル補正処理部１３Ｃ０は、黒レベル補正データＤＬ０〜ＤＬ７の内からセレクトされた黒レベル補正データに基づき入力画像データＣ０Ｉｎｐｕｔに対して黒レベル補正を実行する。更に、第２セレクタ１２Ｃ０は、入力する８種類の各色のホワイトバランス補正データＷＢ０〜ＷＢ７の内から、この時点で入力した画像データＣ０Ｉｎｐｕｔを与える画素位置の色に対応したホワイトバランス補正データを、同じく第１チャンネル用色選択タイミング信号Ｃ０ＣＳの指定値に基づいて選択・出力する。その結果、ホワイトバランス補正処理部１４Ｃ０は、ホワイトバランス補正データＷＢ０〜ＷＢ７の内からセレクトされたホワイトバランス補正データに基づき入力画像データＣ０Ｉｎｐｕｔに対してホワイトバランス補正データを施して、入力した画像データＣ０Ｉｎｐｕｔを正規化する。尚、その後に実行される欠陥画素補正処理等の他の処理は、図２では省略されている。

図２に示す通り、本ＳＰＵ１００の特徴点の別の一つは、ＳＰＵレジスタ９が、各チャンネル用補正処理部ＳＰＵ−Ｃ０〜ＳＰＵ−Ｃ３の内部に配備されるのではなくて、第１乃至第４各チャンネル用補正処理部ＳＰＵ−Ｃ０〜ＳＰＵ−Ｃ３の外部に別途配備されている点にある。この様なＳＰＵレジスタ９が保有する補正データの共有化により、レジスタを構成するゲート数を格段に削減化して、本ＳＰＵ１００の低消費電力化を達成することが可能となる。

以下では、中核部の一つであるカラータイミングアレンジメント部１０の構成・動作を記載することとする。

先ず、カラータイミングアレンジメント部１０の基本的な構成及び動作を理解し易くすると言う観点から、画像読み出しチャンネル数を２とし、且つ、Ｂａｙｅｒ配列の下で水平方向に２画素分で垂直方向にも２画素分から構成される２×２の繰り返し範囲乃至は周期で以って画像データを読み出していく場合を想定することとする。その様なケースに於けるカラータイミングアレンジメント部の構成及び繰り返し範囲を図示した図面が、図３である。

図３に於いて、グローバルＨカウンタ１及びグローバルＶカウンタ２は、それぞれ、図２５で既述したグローバルＨカウンタ１及びグローバルＶカウンタ２に該当する。図３の場合では、画像読み出しの繰り返し範囲は２×２の領域となるので、ある時点に於ける繰り返し範囲内の画素位置を特定するカラーベースタイミング信号ＣＬＢＡＳＥＴは２ビットの信号で良い。従って、図３の基本例では、カラーベースタイミング信号ＣＬＢＡＳＥＴは、グローバルＨカウンタ１のカウント値ＨＣＮＴの最下位ビット信号ＨＣＮＴ（０）と、グローバルＶカウンタ２のカウント値ＶＣＮＴの最下位ビット信号ＶＣＮＴ（０）との合成で以って生成される。又、Ｂａｙｅｒ配列下に於ける４色の各色の黒レベル補正データはそれぞれレジスタＢＬ０〜ＢＬ３内に予め格納されており、４個のレジスタＢＬ０〜ＢＬ３から成る黒レベル補正データ用レジスタ部ＢＬＲは、各入力チャンネルＣＨ０，ＣＨ１に共通に使用される。そして、図３の装置で特筆すべき点は、各入力チャンネルＣＨ０，ＣＨ１毎に別個に、タイミングレジスタＴＲＣＨ０，ＴＲＣＨ１及びタイミングレジスタ用セレクタＴＳＥＬＣＨ０，ＴＳＥＬＣＨ１を配設している点にある。ここで、第１画像データ読み出しチャンネルに対応した第１チャンネルＣＨ０用のタイミングレジスタＴＲＣＨ０は、カラーベースタイミング信号ＣＬＢＡＳＥＴの上記繰り返し範囲内の各場所に於ける色（Ｂａｙｅｒ配列下に於ける４色中の何れかの色）を与える４個のレジスタＴ０１〜Ｔ０４（その値はＣＰＵ（図示せず）によって格納される。）を有している。即ち、タイミングレジスタＴＲＣＨ０は、各カウンタの最下位１ビットで以ってそれぞれのレジスタＴ０１〜Ｔ０４の位置を選定しておいた上で、それぞれの位置に対応した色の値を選定したレジスタ内にＣＰＵによって格納して成る、いわゆる「インデックスレジスタ」である。又、第２画像データ読み出しチャンネルに対応した第２チャンネルＣＨ１用のタイミングレジスタＴＲＣＨ１も、タイミングレジスタＴＲＣＨ０と同様な構成を、タイミングレジスタＴＲＣＨ０とは独立して有する。そして、第１チャンネルＣＨ０用セレクタＴＳＥＬＣＨ０は、タイミングレジスタＴＲＣＨ０内のレジスタＴ０１〜Ｔ０４の内から、画素クロックＣＬＫの両カウンタ１，２への入力に応じて出力されるカラーベースタイミング信号ＣＬＢＡＳＥＴの指令値に対応するレジスタの値を選択して、その被選択信号（２ビット）を第１チャンネルＣＨ０用の色選択タイミング信号Ｃ０ＣＳとして第１チャンネルＣＨ０用の補正処理部ＳＰＵ−Ｃ０内のセレクタＢＬＳＥＬＣＨ０に出力する。この色選択タイミング信号Ｃ０ＣＳは、ある時点に於いて第１画像データ読み出しチャンネルからその画像データが読み出された画素の色を指定する。同様に、第２チャンネルＣＨ１に関しても、第１チャンネルＣＨ０とは独立して、第２チャンネルＣＨ１用セレクタＴＳＥＬＣＨ１は、タイミングレジスタＴＲＣＨ１内のレジスタＴ１１〜Ｔ１４の内から、カラーベースタイミング信号ＣＬＢＡＳＥＴの指令値に対応するレジスタの値を選択して、その被選択信号（２ビット）を第２チャンネルＣＨ１用の色選択タイミング信号Ｃ１ＣＳとして第２チャンネルＣＨ１用の補正処理部ＳＰＵ−Ｃ１内のセレクタＢＬＳＥＬＣＨ１に出力する。この色選択タイミング信号Ｃ１ＣＳもまた、第１チャンネルＣＨ０とは独立して、上記ある時点に於いて並列的に第２画像データ読み出しチャンネルからその画像データが読み出された画素の色を指定する。

図３の回路の特徴点は、上記の通り、一旦、カラーベースタイミング信号ＣＬＢＡＳＥＴで以ってタイミングレジスタ内の複数個のレジスタの中から該当するレジスタを選択した上で、当該選択により生成された色選択タイミング信号によって、ある時点に於ける画素の色に対応する黒レベル補正データを適切に選択する点にある。換言すれば、図３の回路は、先ず画像データの読み出しのタイミングを選択しておき、次にこの選択したタイミングに於ける黒レベル補正データを選択すると言う構成を採用している。この構成により、繰り返し範囲を任意に設定可能とすることで、ＳＰＵ１００は様々な画像読み出しパターンにも対応可能となる。これに対して、既述した図２５の従来構成では、両カウンタ１，２から生成した色選択信号ＣＯＬＳＥＬによって各チャンネル用の黒レベル補正データをレジスタＢＬＲからダイレクトに読み出すため、ＳＰＵ１００Ｐは様々な画像読み出しパターンに対応することが出来なくなっている。

以上の記載の理解を前提として、次に、図２のカラータイミングアレンジメント部１０の実装例を検討する。

図４及び図５は、カラータイミングアレンジメント部１０の実装例を示すブロック図である。図４の回路に於ける追加的特徴点は、図５のグローバルＨカウンタ１及びグローバルＶカウンタ２に加えて、ローカルＨカウンタ５及びローカルＶカウンタ６を設けて、これらのカウンタ５，６からカラーベースタイミング信号ＣＬＢＡＳＥＴを生成している点にある。ここで、図５のグローバルＨカウンタ１及びグローバルＶカウンタ２は、それぞれ、図２５及び図３で既述したグローバルＨカウンタ１及びグローバルＶカウンタ２に該当しており、画像センサーＩＰの有効画素領域全体中での読み出し対象画素の位置を決定している。

これらの構成要素の内で、ローカルＨカウンタ５は、図５のグローバルＨカウンタ１のキャリーアウト端子ＣＯから出力される水平方向リセット信号ＨＲＥＳＥＴ、及び、画像センサーＩＳの有効画素領域全体のリセット信号ＨＶＲＥＳＥＴによってリセットされ、且つ、カラーベースタイミング信号ＣＬＢＡＳＥＴの繰り返し範囲の水平方向に於ける周期を最大ｎビット（ｎ≧１）の範囲内で以って決定するローカル水平方向カウンタである。ここで、リセット信号ＨＶＲＥＳＥＴは、図５に示す通り、水平方向リセット信号ＨＲＥＳＥＴ及びグローバル垂直方向カウンタ２のキャリーアウト端子ＣＯから出力される垂直方向リセット信号ＶＲＥＳＥＴをその入力信号とするＡＮＤ回路３の出力信号である。上記の通り、ローカルＨカウンタ５は、最大ｎビットの範囲内で、繰り返し範囲の水平方向に於ける周期を任意値に設定することが出来る。即ち、図４に示す通り、ローカルＨカウンタ５は、その内部に、最大値ｎビットまで指定することが可能な、繰り返し範囲の水平方向に於ける周期のデータ（予めＣＰＵによって格納される。）が格納されているレジスタ５Ｒを有しており、本実装例では、レジスタ５Ｒに格納されているデータはｎ＝３ビット、即ち８（＝０７）であるため、ローカルＨカウンタ５は、繰り返し範囲の水平方向の周期に関しては、３ビットのカウント値を出力する（ＨＣ（０），ＨＣ（１），ＨＣ（２））。他方、ローカルＶカウンタ６は、ＡＮＤ回路３の出力信号ＨＶＲＥＳＥＴによってリセットされ、且つ、カラーベースタイミング信号ＣＬＢＡＳＥＴの上記繰り返し範囲の垂直方向に於ける周期を最大ｍビット（ｍ≧１）の範囲内で以って決定するローカル垂直方向カウンタであり、最大ｍビットの範囲内で、繰り返し範囲の垂直方向に於ける周期を任意値に設定することが出来る。即ち、図４に示す通り、ローカルＶカウンタ６は、その内部に、最大値ｍビットまで指定することが可能な、繰り返し範囲の垂直方向に於ける周期のデータ（予めＣＰＵによって格納される。）が格納されているレジスタ６Ｒを有しており、本実装例では、レジスタ５Ｒに格納されているデータはｍ＝ｎ＝３ビット、即ち８（＝０７）であるため、ローカルＶカウンタ６は、繰り返し範囲の垂直方向の周期に関しては、３ビットのカウント値を出力する（ＶＣ（０），ＶＣ（１），ＶＣ（２））。

例えば、レジスタ５Ｒ，６Ｒ内の値をそれぞれ２，２にＣＰＵで以って設定すると、ローカルＨカウンタ５及びローカルＶカウンタ６の両カウント値で生成されるカラーベースタイミング信号ＣＬＢＡＳＥＴの繰り返し範囲は、図６の（ａ）に示される３×３の領域となる。又、レジスタ５Ｒ，６Ｒ内の値をそれぞれ２，３にＣＰＵで以って設定すれば、繰り返し範囲は、図６の（ｂ）に示される３×４の領域となる。この様に、各レジスタ５Ｒ，６Ｒ内に設定する値を適宜に定めることによって、本ＳＰＵ１００のユーザーは、最大８×８の範囲内で以って、任意の大きさ乃至は任意のパターンの繰り返し範囲を容易に実現することが出来、その様な任意のパターンの繰り返し範囲の利用によって様々な画像データの読み出しパターンに対応出来ることとなる。

以上の通り、図４の回路では、ローカルな任意の周期の繰り返し範囲を生成するために、ローカルＨカウンタ５及びローカルＶカウンタ６を組み込んでいる。即ち、ＡＮＤ回路３は、水平方向リセット信号ＨＲＥＳＥＴ及びグローバルＶカウンタ２のキャリーアウト端子ＣＯから出力される垂直方向リセット信号ＶＲＥＳＥＴを、その入力信号とする。そして、ローカルＨカウンタ５は、グローバルＨカウンタ１のリセットに同期してリセットされ、即ち、水平方向リセット信号ＨＲＥＳＥＴ及びＡＮＤ回路３の出力信号ＨＶＲＥＳＥＴによってリセットされ、且つ、カラーベースタイミング信号の繰り返し範囲の水平方向に於ける周期を最大ｎビット（ｎ≧１）の範囲内で以って決定する。更に、ローカルＶカウンタ６は、グローバルＶカウンタ２のリセットに同期してリセットされ、即ち、ＡＮＤ回路３の出力信号ＨＶＲＥＳＥＴによってリセットされ、且つ、カラーベースタイミング信号の繰り返し範囲の垂直方向に於ける周期を最大ｍビット（ｍ≧１）の範囲内で以って決定する。

上記の通り、ローカルＨカウンタ５及びローカルＶカウンタ６の両カウント値で以って実現可能な最大の大きさ８×８の繰り返し範囲では（各ローカルカウンタの下位３ビットずつを使用する場合）、色の値を定める６４個の場所が与えられるが、この様な６４個もの大きな場所は実際の読み出しパターンを考えると、不要である。実際には、水平方向に長く延びて繰り返す読み出しパターンでは、逆に垂直方向に関しては繰り返しの長さ乃至は周期は相対的に短くなる。同様に、垂直方向に長く延びて繰り返す読み出しパターンでは、水平方向に関しては繰り返しの長さ乃至は周期は相対的に短くなる。この様な読み出しパターンの構造上の特徴を考慮するならば、本願発明者は、カラーベースタイミング信号ＣＬＢＡＳＥＴの繰り返し範囲に含まれる場所の数は１６個で十分ではないかと、考えた。繰り返し範囲に含まれる場所の数が１６個の場合には、４×４、８×２及び２×８の３種類の繰り返し範囲のみが設定可能である。そこで、図４の回路では、両カウント値ＨＣ（１）及びＶＣ（２）をそれぞれ入力信号とし、ＣＰＵで設定される信号ＶＬＥＮをそのセレクト信号とする第１セレクタ７、及び、両カウント値ＨＣ（２）及びＶＣ（１）をそれぞれ入力信号とし、ＣＰＵで設定される信号ＨＬＥＮをそのセレクト信号とする第２セレクタ８を、ローカルＨカウンタ５及びローカルＶカウンタ６の出力側に配備して、４個のカウント信号ＣＬＢＡＳＥＴ（０）＝ＨＣ（０）、第１セレクタ７の出力信号ＣＬＢＡＳＥＴ（１）、第２セレクタ８の出力信号ＣＬＢＡＳＥＴ（３）及びカウント信号ＣＬＢＡＳＥＴ（２）＝ＶＣ（０）を合わせることで、８ビットのカラーベースタイミング信号ＣＬＢＡＳＥＴを生成している。従って、カラーベースタイミング信号ＣＬＢＡＳＥＴは、１６個の場所から成る繰り返し範囲内の、ある時点に於ける場所を示すタイミング信号である。

ユーザーが使用する画像センサーＩＳの実際の画像データ読み出しパターンを踏まえて、ＣＰＵ（図示せず。）によって設定するセレクト信号ＶＬＥＮ、ＨＬＥＮの組合せは、図４の回路に於いては、図７に示す通りである。即ち、図７（ａ）に示す様に、ＶＬＥＮ＝０、ＨＬＥＮ＝０、従って、ローカルＨカウンタ５及びローカルＶカウンタ６の各々の下位２ビットの組合せによって、４×４のサイズの繰り返し範囲を実現することが出来る。あるいは、図７（ｂ）に示す様に、ＶＬＥＮ＝０、ＨＬＥＮ＝１に設定することで、水平方向に８画素ずつ繰り返しし、垂直方向に２画素乃至は２ライン分繰り返す、８×２のサイズの繰り返し範囲を実現することが出来る。あるいは、図７（ｃ）に示す様に、ＶＬＥＮ＝１、ＨＬＥＮ＝０に設定することで、水平方向に２画素ずつ繰り返しし、垂直方向に８画素ずつ繰り返す、２×８のサイズの繰り返し範囲を実現することが出来る。この様に、ローカルＨカウンタ５及びローカルＶカウンタ６の各々の下位２ビットを選択的に割り当てることにより、カラーベースタイミング信号ＣＬＢＡＳＥＴの繰り返し範囲を適宜に変更することが出来る。もちろん非常に複雑な読み出しパターンが必要である場合には、本発明の水平及び垂直のカウンタのビット長を拡張し、８×８、１６×１６等の繰り返し範囲を実現しても構わない。

以上の様な３種類のカラーベースタイミング信号ＣＬＢＡＳＥＴの繰り返し範囲を適宜に選択・設定することで、図４の回路を有するＳＰＵ１００は、画像センサーＩＳの様々な画像データ読み出しパターンに対応することが可能となる。

図４に示す通り、各入力チャンネルＣＨ０，ＣＨ１，ＣＨ２，ＣＨ３毎に独立に、タイミングレジスタＴＲ０〜ＴＲ３及びタイミングレジスタ用セレクタＴＲＳ０〜ＴＲＳ３が配備されている。図３に関して既述した通り、各タイミングレジスタＴＲ０〜ＴＲ３はインデックスレジスタであり、カラーベースタイミング信号ＣＬＢＡＳＥＴの繰り返し範囲内の場所数が１６個であるため、１６個のレジスタを有している。従って、ユーザーは、両カウンタ１，２の下位２ビットの合成で得た信号で以って１６個の各レジスタの位置をそれぞれ選択した上で、ＣＰＵによって、選択した各位置のレジスタに対応する繰り返し範囲内の各場所の色のデータを格納する。その結果、各タイミングレジスタＴＲ０〜ＴＲ３は、ある読み出し時点に於ける繰り返し範囲内の該当場所に於ける色の種類を決定する１６個のレジスタの出力（当該各出力は色の種類が８種類であるため８ビット信号である。）を備える。そして、各セレクタＴＲＳＸ（Ｘ：０〜３）は、対応するタイミングレジスタＴＲＸ（Ｘ：０〜３）の１６個の出力の中から、入力するカラーベースタイミング信号ＣＬＢＡＳＥＴのレベルに応じて、それぞれの読み出し時点に於ける繰り返し範囲内の該当場所に於ける色の種類を与えるレジスタの出力を選択して、選択したレジスタの出力を各入力チャンネルＣＨＸ（Ｘ：０〜３）に於ける色選択タイミング信号ＣＸＣＳ（Ｘ：０〜３）として出力する。各セレクタＴＲＳＸから出力された色選択タイミング信号ＣＸＣＳが、図２に於ける色選択タイミング信号Ｃ０ＣＳ，Ｃ１ＣＳ，Ｃ２ＣＳ，Ｃ３ＣＳ（３ビット信号）である。

以上の記載から明らかな通り、各構成要素１，２，３，４，５，６，７，８から成る回路部分は、水平カウンタの出力信号の内で少なくとも最下位ビットを含む下位ビット（１ビット以上）と垂直カウンタの出力信号の内で少なくとも最下位ビットを含む下位ビット（１ビット以上）とを合わせることにより、その繰り返し範囲が規定されるカラーベースタイミング信号ＣＬＢＡＳＥＴを生成する「カラーベースタイミング信号生成部」を成す。尚、図７の（ａ）、（ｂ）及び（ｃ）の繰り返し範囲のパターンを採用する限りにおいては、ローカルＨカウンタ５及びローカルＶカウンタ６を適用する必然性は無く、その代わりに、図５のグローバルＨカウンタ１及びグローバルＶカウンタ２のカウント値を用いて図７の（ａ）、（ｂ）及び（ｃ）の繰り返し範囲のパターンを実現するカラーベースタイミング信号ＣＬＢＡＳＥＴを生成することが出来る。その意味で、上記に言う「水平カウンタ」にはグローバルＨカウンタ１のみを使用する場合及びローカルＨカウンタ５をも使用する場合の両者を包摂する技術用語である。同様に、上記に言う「垂直カウンタ」も、グローバルＶカウンタ２のみを使用する場合及びローカルＶカウンタ６をも使用する場合の両者を包摂する技術用語である。又、図４の両セレクタ７，８を「セレクタ部」と総称する。

図２のＳＰＵ１００が実現出来る機能乃至は利点は、以上の記載から明白な通り、８個の色に対応可能であり、且つ、色を与えるタイミング信号は各入力チャンネル毎に独立であるので、繰り返し範囲内の色の種類をチャンネル毎に別々に独立して設定できる点である。従って、各入力チャンネル用補正処理部ＳＰＵ―ＣＸ（Ｘ：０〜３）の外側に設けられたＳＰＵレジスタ９に格納されている８個の黒レベル補正データ（あるいは８個のホワイトバランス補正データ）を繰り返し範囲内の場所毎にセレクトしていくこととなる。重複して言えば、本ＳＰＵ１００は、任意のタイミングに於いて、４入力チャンネルの補正処理部のそれぞれに独立に、読み出しパターンに対応した色を割り当てる処理を実行することが出来る。

＜黒レベルの２次元変調補正＞
既述した通り、画像センサーＩＳの画素数の増大化に伴う微細化の影響により、あるいは、半導体ウエハから画像センサーＩＳのチップを切り出す場所による影響により、ＲＧＢ Ｂａｙｅｒ信号の正規化処理の第１段階である黒レベル補正に於ける各色の黒レベル補正データを画面全体に於いて常に一定値と看做すことが出来なくなって来ている。即ち、画像センサーＩＳの画面全体に渡って、各色の黒レベル補正データには微妙な歪みが生じている（一様ではない。）。換言すれば、画面全体に渡って、各色の黒レベル補正データには、オフセットドリフトが発生しているのである。例えば、図８に例示する様に、有効画素領域ＥＰＲ内に於いて、４色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）の内の各色ｉのｘ方向及びｙ方向に於ける黒レベル補正データＤＬｉｘ，ＤＬｉｙには、オフセット値ΔＭｘ，ΔＭｙが生じており、しかも、オフセット値ΔＭｘ，ΔＭｙは、有効画素領域ＥＰＲの全体に渡って、微妙に変化している。この様な各色の黒レベル補正データのオフセットドリフトを除去するには、全ての画素毎に、当該画素の位置に於ける黒レベル補正データＤＬｉｘ，ＤＬｉｙのオフセット値ΔＭｘ，ΔＭｙを変調データとして一定値の黒レベル補正データＤＬｉｘ，ＤＬｉｙから逐一差し引いてやれば良い。しかし、その様な画素毎の且つ色毎の逐次補正は、画像センサーＩＳの画素数を考えれば、非現実的な方法であると言わざるを得ない。そのため、図８に例示した様な画面全体に渡って発生する黒レベル補正データのオフセットドリフトを有効に軽減出来る実用的な対策が要求されている。

そこで、本実施の形態では、図２に示す、各入力チャンネルのＳＰＵ回路ＳＰＵ−ＣＸ（Ｘ：０〜３）に於ける黒レベル補正処理部１３ＣＸ（Ｘ：０〜３）は、グローバル水平カウンタ１及びグローバル垂直カウンタ２で規定される位置座標内に離散的に配置された複数個の黒レベル変調データを保有しておき、入力画像信号に対応する画素の位置に於ける黒レベル補正データの変調データを、上記複数個の黒レベル変調データを用いた内挿補間によって求めることとしている。この近似方法によれば、各ＳＰＵ回路ＳＰＵ−ＣＸは上記複数個の黒レベル変調データを保有しておけば足りる。

各入力チャンネルＣＨＸの黒レベル補正処理部１３ＣＸ（Ｘ：０〜３）の回路構成としては、２種類のタイプを考えることが出来る。その第１のタイプとして、例えば、図９に例示する様に、入力画像データＣＸＩｎｐｕｔ（Ｘ：０〜３）から、色選択タイミング信号ＣＸＣＳ（Ｘ：０〜３）の指令値に応じてセレクタ１１ＣＸ（Ｘ：０〜３）が選択した、入力画像データＣＸＩｎｐｕｔに対応する画素の色に関する一定値の黒レベル補正データＤＬｉ（ｉ：０〜３）を減算器２８で差し引いた上で、更に変調回路２ＤＣＯＲが内挿補間によって算出した当該画素の変調データＭＤＬｉ（ｉ：０〜３）を減算器２８の出力から減算器２９で差し引くこととしても良い。この場合、減算器２８，２９の前後が逆転しても黒レベル信号の変調結果は同様である。尚、図９では、便宜上、ＳＰＵレジスタ９は、４色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）の黒レベル補正データＤＬ０，ＤＬ１，ＤＬ２，ＤＬ３をそれぞれ格納する４個のレジスタ９１〜９４を有するものとしている。

あるいは、その第２のタイプとして、例えば、図１０に例示する様に、各入力チャンネルＣＨＸの黒レベル補正処理部１３ＣＸ（Ｘ：０〜３）を構成しても良い。この例では、乗算器３０は、変調回路２ＤＣＯＲが内挿補間によって算出した当該画素の変調データＭＤＬｉＰ（ｉ：０〜３）とセレクタ１１ＣＸ（Ｘ：０〜３）が選択した当該画素の色の黒レベル補正データ（一定値）ＤＬｉとを乗算して変調データＭＤＬｉ（ｉ：０〜３）を求めた上で、その値を減算器３１に於いて入力画像データＣＸＩｎｐｕｔから差し引いている。

何れのタイプに於いても、各入力チャンネルＣＨＸの黒レベル補正処理部１３ＣＸ（Ｘ：０〜３）は、入力画像信号に対応する画素の位置に応じて、当該入力画像信号に対応する色の一定の黒レベル補正データを変調して、当該変調データを入力画像信号から減算していると、言える。以下の記載では、便宜上、図９のタイプの構成を考えることとする。

図１１は、変調回路２ＤＣＯＲに於ける変調データの算出方法を模式的に示す図であり、横軸はグローバルＨカウンタ（以下、単にＨ（水平）カウンタと言う。）１のカウント値ＨＣＮＴ（Ｘ）を示し、縦軸はグローバルＶカウンタ（以下、単にＶ（垂直）カウンタと言う。）２のカウント値ＶＣＮＴ（Ｙ）を示している。しかも、図１１では、便宜上、ベストなケースとして、画像センサーＩＳの有効画素領域ＥＰＲの４隅の各々の画素位置に、黒レベル変調データＰ（００），Ｐ（０１），Ｐ（１０），Ｐ（１１）が配置されている。ここで、４個の黒レベル変調データＰ（００），Ｐ（０１），Ｐ（１０），Ｐ（１１）は、変調回路２ＤＣＯＲが有するレジスタ（図示せず。）内に予めＣＰＵ（図示せず。）によって格納されている。そして、各黒レベル変調データＰ（００），Ｐ（０１），Ｐ（１０），Ｐ（１１）は、それぞれ、デジタルカメラメーカーが予め２次元的に一様でないオフセット値を持つ画像センサーＩＳの画面に対して各画素位置の黒レベル信号を測定し、それらの測定結果に基づいて、各画素位置（１０,１０）、（２０５８,１０）、（１０,１５１０）、（２０５８，１５１０）に於けるオフセット値（図８のオフセット値ΔＭｘ，ΔＭｙ参照。）に該当するデータを算出した後に、算出値を対応する上記のレジスタ内に設定したものである。

図１１に於いて、変調回路２ＤＣＯＲは、ある画素位置（Ｘ，Ｙ）に於ける黒レベルの変調データＰ（Ｘ，Ｙ）を、予め設定された４点での黒レベル変調データＰ（００），Ｐ（０１），Ｐ（１０），Ｐ（１１）を用いて内挿補間、即ち、線形補間によって算出する内挿補間演算部を有する。例えば、各黒レベル変調データＰ（００），Ｐ（０１），Ｐ（１０），Ｐ（１１）が１００，２０，２０，１０となる様に、黒レベル信号にオフセットドリフトが生じている場合には、有効画素領域ＥＰＲの中心位置に於ける変調データＰ（Ｘ，Ｙ）の値は、線形補間で近似した場合には、３７．５となる。この様に、本実施の形態に係る変調回路２ＤＣＯＲは、図１１の場合においては、予め設定された４個の黒レベル変調データＰ（００），Ｐ（０１），Ｐ（１０），Ｐ（１１）を用いた内挿補間演算により、各画素位置の変調データＰ（Ｘ，Ｙ）の値を決定する。この場合、変調回路２ＤＣＯＲは、４個の黒レベル変調データＰ（００），Ｐ（０１），Ｐ（１０），Ｐ（１１）のみをデータとして保有しておけば良いので、現実的且つ簡単に各画素位置に於ける変調データＰ（Ｘ，Ｙ）を求めることが出来る。

図１２は、各画素位置に於ける変調データＰ（Ｘ，Ｙ）を内挿補間演算により求める他の一例を示す図である。図１２に於いては、予めデジタルカメラメーカーによって設定されている黒レベル変調データの数は９個であり、しかも、図１１と同様に有効画素領域ＥＰＲの各隅に４個の黒レベル変調データＰ（００），Ｐ（０２），Ｐ（２０），Ｐ（２２）が配置され、更に有効画素領域ＥＰＲの各辺の真ん中にも４個の黒レベル変調データＰ（０１），Ｐ（１０），Ｐ（２１），Ｐ（１２）が配置されると共に、有効画素領域ＥＰＲの中心位置にも黒レベル変調データＰ（１１）が配置されている。その結果、有効画素領域ＥＰＲは、９個の上記黒レベル変調データによって、４個のブロック＜Ｒ０＞，＜Ｒ１＞，＜Ｒ２＞，＜Ｒ３＞に分割される。図１２の場合には、変調回路２ＤＣＯＲは、各ブロック＜Ｒｉ＞（ｉ：０〜３）に属する画素位置（Ｘ，Ｙ）に於ける変調データＰ（Ｘ，Ｙ）を、当該ブロック＜Ｒｉ＞の４隅に配置された４個の黒レベル変調データを用いた内挿補間演算により求める。例えば、ブロック＜Ｒ０＞に属する画素位置（Ｘ，Ｙ）に於ける変調データＰ（Ｘ，Ｙ）は、４個の黒レベル変調データＰ（００），Ｐ（０１），Ｐ（１０），Ｐ（１１）を用いた内挿補間演算により求められる。又、ブロック＜Ｒ１＞に属する画素位置（Ｘ，Ｙ）に於ける変調データＰ（Ｘ，Ｙ）は、４個の黒レベル変調データＰ（０１），Ｐ（０２），Ｐ（１１），Ｐ（１２）を用いた内挿補間演算により求められる。その他のブロック＜Ｒ２＞及び＜Ｒ３＞についても、同様である。この様に、本実施の形態に係る変調回路２ＤＣＯＲは、図１２の一例の場合においては、予め設定された９個の黒レベル変調データＰ（００），Ｐ（０１），Ｐ（１０），Ｐ（１１），Ｐ（０２），Ｐ（１２），Ｐ（２０），Ｐ（２１），Ｐ（２２）を用いた内挿補間演算により、各画素位置の変調データＰ（Ｘ，Ｙ）の値を決定する。この場合、変調回路２ＤＣＯＲは、上記９個の黒レベル変調データのみをデータとして保有しておけば良いので、同じく、現実的且つ比較的簡単に、各画素位置に於ける変調データＰ（Ｘ，Ｙ）を求めることが出来る。

本実施の形態に係る変調回路２ＤＣＯＲに於ける各画素位置の変調データ（オフセット値）を算出する方法の原理は以上の通りであるが、そこには次の様な問題点がある。

即ち、複数個の黒レベル変調データから各画素位置の変調データを内挿補間する際には、常に内挿補間の演算式中に割り算処理が入って来る。例えば、図１３に示す１次元での内挿補間に於いても見受けられる通り、２点（０、Ａ），（Ｌ，Ｂ）間に位置する任意の点Ｐ（Ｘ，Ｙ）を与える演算式は、Ｙ＝Ａ＋（Ｂ−Ａ）／Ｌ×Ｘとなり、この式にも１／Ｌと言う除算処理が入って来る。この様な割り算処理（除算）では、ＬＳＩで以ってＳＰＵ１００を設計・製作するに当たっては、ゲート数の増大に伴う回路規模の大型化が発生し、除算は一般的にＬＳＩ回路にとって厄介な処理であると、言える。

しかし、内挿補間の演算式から除算を除く事は出来ないので、その代わりに、内挿補間の演算式に現れる除算式を１／２ⁿと言う形式の除算式で与えることが出来るならば、ＬＳＩ回路ではシフトレジスタを用いたシフト処理で以って容易に対処可能となる（例えば、２進数の１００は１０進数では４であり、２進数の１００を右側に１ビットだけシフトさせた２進数の０１０は１０進数では２であるので、２進数のデータを右側に１ビットシフトさせる処理は１０進数では１／２の処理に該当するのである。）。

そこで、本実施の形態の変調回路２ＤＣＯＲに於いては、図１４に示す様に、予め設定される複数個の黒レベル変調データで規定される変調範囲を、対角線上に隣り合う場合を除いて、互いに隣り合う黒レベル変調データ同士の配置位置の間隔が常に２ⁿ（ｎは正の整数）に成る様に配置された範囲に設定する。この様な黒レベル変調データの配置により、変調範囲は、図１４の通り、黒レベル変調データＭ２ＤＲ１１が配置された位置に該当する変調範囲の中心位置から、水平方向及び垂直方向にそれぞれ位置間隔２ⁿだけ離隔した各位置に対称的に各黒レベル変調データが配置されて成る、且つ、その各々が４個の黒レベル変調データで規定される４個のゾーン乃至は小領域に分割された、領域となる。図１４の一例では、９個の黒レベル変調データがそこに配置された変調範囲は４０９６×４０９６のサイズの正方形であるので、画像センサーＩＳの有効画素領域ＥＰＲ中の画素数は約１０Ｍピクセルとなる。

ここで留意すべき点は、９個の黒レベル変調データが図１４に示す通りに配置された変調範囲の中心位置座標と、画像センサーＩＳの有効画素領域ＥＰＲの中心位置座標とは、一般的に一致しないことである。この様な両中心位置座標の齟齬が存在する場合には補正精度が低下するため、Ｈカウンタ１のカウント値ＨＣＮＴ（Ｘ）及びＶカウンタ２のカウント値ＶＣＮＴ（Ｙ）で規定される位置座標軸の物理的な原点Ｐｏｒｉｇｉｎａｌを、変調範囲の中心位置座標と使用する画像センサーＩＳの有効画素領域ＥＰＲの中心位置座標とが互いに一致する様に、シフトさせる。図１４では、その様なシフト処理後の位置座標軸の仮想的な原点は点Ｐ（０，０）として表現されている。斯かる位置座標軸の原点のシフト処理は、後述する通り、図１４に示す９個の黒レベル変調データで規定される（換言すれば、Ｈカウンタ１のカウント値ＨＣＮＴ（Ｘ）及びＶカウンタ２のカウント値ＶＣＮＴ（Ｙ）の上位ビットで規定される）変調範囲の中心の位置座標と、使用する画像センサーの有効画素領域の中心の位置座標とを求めた上で、両中心の位置座標が互いに一致する様な、正及び負の値を取り得るオフセット値を算出し、その後、算出したオフセット値をＨカウンタ１及びＶカウンタ２の各々の出力値に独立に加算することで、達成される。その結果、図１４に示す通り、シフト後（オフセット値加算後）の仮想的な原点Ｐ（０，０）から水平方向にｘだけ、且つ、垂直方向にｙだけ離れた画素位置に於ける、黒レベルのオフセット値である変調データＭ２ＤＲＥＳは、左上のゾーンの４隅に配置された黒レベル補正データＭ２ＤＲＯＯ，Ｍ２ＤＲ０１，Ｍ２ＤＲ１０，Ｍ２ＤＲ１１から内挿補間されて求められる。その他のゾーンに属する画素位置に於ける変調データの算出も、同様に、当該ゾーンの４隅にある黒レベル補正データから内挿補間されて求められる。

図１５は、図１４で示した変調データの内挿補間方法を実行する変調回路２ＤＣＯＲの具体的構成例を示すブロック図である。図１５に於いて、レジスタ１ＯＲは、既述した、Ｈカウンタ１のカウント値ＨＣＮＴ（Ｘ）及びＶカウンタ２のカウント値ＶＣＮＴ（Ｙ）で規定される位置座標軸の物理的な原点Ｐｏｒｉｇｉｎａｌを、変調範囲の中心位置座標と使用する画像センサーＩＳの有効画素領域ＥＰＲの中心位置座標とが互いに一致する様にシフトさせる際の水平方向に於けるシフト量、即ちオフセット値Ｈｏｆｆ（＋／−）（図１４のオフセット値Ｍ２ＤＨＣＯＦに相当）を保有する。加算器３２は、Ｈカウンタ１のカウント値ＨＣＮＴ（１３ビット信号）にオフセット値Ｈｏｆｆ（＋／−）を加算する。同様に、レジスタ２ＯＲは、位置座標軸の物理的な原点Ｐｏｒｉｇｉｎａｌを、変調範囲の中心位置座標と使用する画像センサーＩＳの有効画素領域ＥＰＲの中心位置座標とが互いに一致する様にシフトさせる際の垂直方向に於けるシフト量、即ちオフセット値Ｖｏｆｆ（＋／−）（図１４のオフセット値Ｍ２ＤＶＣＯＦに相当）を保有する。そして、加算器３３は、Ｖカウンタ２のカウント値ＶＣＮＴ（１３ビット信号）にオフセット値Ｖｏｆｆ（＋／−）を加算する。

図１５の回路例では、オフセット値Ｈｏｆｆ（＋／−）を加算された１３ビット信号のカウント値ＨＣＮＴは、３個のカウンタ出力信号ＨＣＮＴ[１２：４]，ＨＣＮＴ[１１：３]，ＨＣＮＴ[１０：２]に分別される。ここでは、説明の便宜上、３個のカウンタ出力信号ＨＣＮＴ[１２：４]，ＨＣＮＴ[１１：３]，ＨＣＮＴ[１０：２]は、共に８ビットの信号とされている。そして、セレクタ３４は、ＣＰＵ（図示せず。）が発するセレクト信号ＳＥＬＨの指令値に応じて、３個のカウンタ出力信号ＨＣＮＴ[１２：４]，ＨＣＮＴ[１１：３]，ＨＣＮＴ[１０：２]を選択する。この選択により、後述する通り、変調範囲の水平方向に於ける物理的な広さが規定される。同様に、オフセット値Ｖｏｆｆ（＋／−）を加算された１３ビット信号のカウント値ＶＣＮＴは、共に８ビットの信号である、３個のカウンタ出力信号ＶＣＮＴ[１２：４]，ＶＣＮＴ[１１：３]，ＶＣＮＴ[１０：２]に分別される。そして、セレクタ３５は、ＣＰＵ（図示せず。）が発するセレクト信号ＳＥＬＶの指令値に応じて、３個のカウンタ出力信号ＶＣＮＴ[１２：４]，ＶＣＮＴ[１１：３]，ＶＣＮＴ[１０：２]を選択する。同様に、この選択により、後述する通り、変調範囲の垂直方向に於ける物理的な広さが規定される。

ここでは、便宜上、セレクタ３４の出力信号ＡＨＣ（８ビット信号）としてカウンタ出力信号ＨＣＮＴ[１２：４]が選択され、且つ、セレクタ３５の出力信号ＡＶＣ（８ビット信号）としてカウンタ出力信号ＶＣＮＴ[１２：４]が選択されるものとする。この様な選択の場合には、両カウンタ出力信号ＨＣＮＴ[１２：４]，ＶＣＮＴ[１２：４]で規定される変調範囲は、図１６に例示される通り、２５６×２５６の正方形となる。そして、この例では、当該２５６×２５６の変調範囲は、総数９個の黒レベル変調データ、即ち、当該変調範囲の中心位置に於ける黒レベル変調データＰ１１，各４隅の位置に於ける４個の黒レベル変調データＰ００，Ｐ０２，Ｐ２０，Ｐ２２，各辺の中央位置に於ける４個の黒レベル変調データＰ０１，Ｐ１０，Ｐ１２，Ｐ２１によって規定される。その結果、当該変調範囲は、それぞれが１２８（２⁷）×１２８（２⁷）の広さの正方形である、４個のゾーン乃至は領域＜Ｒ０＞〜＜Ｒ３＞に分割される。

上記の９個の黒レベル変調データＰ１１，Ｐ００，Ｐ０２，Ｐ２０，Ｐ２２，Ｐ０１，Ｐ１０，Ｐ１２，Ｐ２１は、図１５の回路では、それぞれに対応するレジスタＭＲ１〜ＭＲ９に予めＣＰＵ（図示せず。）によって格納されている。そして、セレクタ３４の出力信号ＡＨＣ（カウンタ出力信号ＨＣＮＴ[１２：４]に相当）の最上位ビットＡＨＣ（７）とセレクタ３５の出力信号ＡＶＣ（カウンタ出力信号ＶＣＮＴ[１２：４]に相当）の最上位ビットＡＶＣ（７）とが合成され、合成後の２ビット信号は、各セレクタ３６，３７，３８，３９のセレクト信号となる。従って、出力信号ＡＨＣの最上位ビットＡＨＣ（７）と出力信号ＡＶＣの最上位ビットＡＶＣ（７）との合成信号は、Ｈカウンタ１及びＶカウンタ２で以ってその位置が定義される、各着目画素が、図１６に示される４個の領域＜Ｒ０＞〜＜Ｒ３＞の何れに属するかを規定する。即ち、各セレクタ３６，３７，３８，３９の０の値が選択された場合には、図１６の領域＜Ｒ０＞に着目画素が位置していることが決定される。又、各セレクタ３６，３７，３８，３９の１の値が選択された場合には、図１６の領域＜Ｒ１＞に着目画素が位置していることが決定される。又、各セレクタ３６，３７，３８，３９の２の値が選択された場合には、図１６の領域＜Ｒ２＞に着目画素が位置していることが決定される。又、各セレクタ３６，３７，３８，３９の３の値が選択された場合には、図１６の領域＜Ｒ３＞に着目画素が位置していることが決定される。

そして、出力信号ＡＨＣの残りの下位ビット信号ＡＨＣ[６：０]は、当該着目画素が属する領域＜Ｒｊ＞（ｊ：０〜３）のローカルな原点、即ち、当該領域の左上の隅の位置から水平方向にｘだけ離れた位置を規定する。同様に、出力信号ＡＶＣの残りの下位ビット信号ＡＶＣ[６：０]は、当該着目画素が属する領域＜Ｒｊ＞（ｊ：０〜３）のローカルな原点、即ち、当該領域の左上の隅の位置から垂直方向にｙだけ離れた位置を規定する。

図１６に示す変調範囲では、対角線上に隣り合う場合を除いて、互いに隣り合う黒レベル変調データ同士の配置位置の間隔が常に２⁷に成る様に、９個の黒レベル変調データが配置されているので、４個の領域＜Ｒ０＞〜＜Ｒ３＞の内のある領域＜Ｒｊ＞（ｊ：０〜３）に着目画素が属している場合には、図１５の内挿補間演算部４０は、

で与えられる式に基づいて、当該着目画素のローカルな画素位置（ｘ、ｙ）に於ける変調データＰｏｕｔを算出し、算出結果ＰｏｕｔをデータＭＤＬｉ（図９参照）として減算器２９に出力する。その際、内挿補間演算部４０は、シフト処理によって、数１で与えられる式中の除算を実行する。そのため、ＬＳＩで除算を行う際に問題となる回路規模の増大化は回避される。内挿補間演算部４０による演算・出力の結果、ローカルな画素位置（ｘ、ｙ）に於ける黒レベル信号のオフセット値が除去乃至は軽減される。

尚、図１６の変調範囲を１６分割に設定する場合には、出力信号ＡＨＣの最上位ビットＡＨＣ（７）とその次の上位ビットＡＨＣ（６）から成る２ビット信号と、出力信号ＡＶＣの最上位ビットＡＶＣ（７）とその次の上位ビットＡＶＣ（６）から成る２ビット信号との合成信号を各セレクタのセレクト信号として用いれば良い。

図１５の回路に於いて、セレクタ３４が信号ＨＣＮＴ[１１：３]を選択し、且つ、セレクタ３５が信号ＶＣＮＴ[１１：３]を選択する様にＣＰＵ（図示せず。）がセレクト信号ＳＥＬＨ，ＳＥＬＶを制御する場合には、変調範囲は、図１７に示す様に、第１変調範囲＜Ｒ＞の１／４の領域に該当する第２変調範囲＜Ｒ０Ａ＞に縮小される。更に、セレクタ３４が信号ＨＣＮＴ[１０：２]を選択し、且つ、セレクタ３５が信号ＶＣＮＴ[１０：２]を選択する場合には、変調範囲は、第２変調範囲＜Ｒ０Ａ＞の１／４の領域に該当する第３変調範囲＜Ｒ０ＡＡ＞に更に縮小される。更にカウント値ＨＣＮＴ[１２：０],ＶＣＮＴ[１２：０]を細かく分別すれば、更にその物理的範囲が狭くなる変調範囲を実現出来る。あるいは、カウント値ＨＣＮＴ[１２：０],ＶＣＮＴ[１２：０]から分別される信号のビット数を増やせば、図１７の第１変調範囲＜Ｒ＞よりも更にその物理的範囲が広くなる変調範囲を実現出来る。この様に、使用する画像センサーＩＳの有効画素領域ＥＰＲの寸法乃至は大きさに応じて、カウント値ＨＣＮＴ[１２：０],ＶＣＮＴ[１２：０]の上位ビットを適宜に選択することによって、変調範囲の物理的な広さを変更することが出来る。

＜ホワイトバランスゲインの２次元変調補正＞
既述の通り、画素数増大化のための画像センサーＩＳの微細化は、ホワイトバランス補正に於いても、その補正データが画面全体に渡ってドリフトを生じさせると言う影響をもたらす。そこで、ホワイトバランス補正データに関しても、＜黒レベルの２次元変調補正＞の欄で記載した解決手段を全面的に採用する。即ち、各入力チャンネルのホワイトバランス補正処理部１４Ｃｉ（ｉ：０〜３）（図２参照）は、入力する画像信号に対応する画素の位置に応じて、当該入力画像信号に対応する色の一定のホワイトバランス補正データを変調して、当該変調データを当該入力画像信号に乗算する。

より詳細には、ホワイトバランス補正処理部は、水平カウンタ１及び垂直カウンタ２で規定される位置座標内に離散的に配置された複数のホワイトバランス変調データを保有しており、入力画像信号に対応する画素の位置に於ける変調データを、複数のホワイトバランス変調データを用いた内挿補間によって求める。その際、ホワイトバランス補正処理部は、対角線上に隣り合う場合を除いて、互いに隣り合うホワイトバランス変調データ同士の配置位置の間隔が常に２ⁿ（ｎは正の整数）に成る様に配置された複数のホワイトバランス変調データを用いて上記内挿補間を行う。そして、内挿補間に際して、ホワイトバランス補正処理部は、水平カウンタ１及び垂直カウンタ２の上位ビットを選択して、変調範囲の物理的な広さを規定すると共に、正及び負の値を取り得るオフセット値を水平カウンタ１及び垂直カウンタ２の各々の出力値に独立に加算して、複数のホワイトバランス変調データで規定される変調範囲の中心を画像センサーＩＳの有効画素領域ＥＰＲの中心に一致させた後に、上記内挿補間の演算を行う。

尚、ホワイトバランス補正処理部の構成及び変調方法は黒レベル補正データの変調回路の構成及び動作と基本的に同一であるため、その図示化を割愛する。

＜尾引き補正ゲインの２次元変調補正＞
画像センサーＩＳの画素数増大化に伴う特性の劣化によって、図１８に示す様に、ＳＰＵ回路１００（図２）の各入力チャンネル用ＳＰＵ回路ＳＰＵ−Ｃｉ（ｉ：０〜３）に入力する画像データの波形に尾引きが生じる。この様な波形の立ち上がり及び立下りのなまりを補正するべく、各入力チャンネル用ＳＰＵ回路ＳＰＵ−Ｃｉ（ｉ：０〜３）は、尾引き補正処理部（後記の実装例の図２２を参照。）を有する。即ち、尾引き補正処理部は、画素クロックＣＬＫ毎に、ある着目画素の画像信号Ｐ_nと着目画素の近傍の同色の画素の画像信号Ｐ_n-1との差分信号（Ｐ_n-1−Ｐ_n）に一定の尾引き補正ゲインαを乗算して得られる尾引き補正値αΔを、受信した画像データＰ_nに加算する（図１８を参照。）、尾引き補正処理を実行する。ところが、この様な尾引き補正処理で用いられる上記尾引き補正ゲインα自体にもまた、黒レベル補正データと同様に、微細化の影響により、画面全体に渡ってドリフトが発生する。

そこで、本実施の形態では、尾引き補正ゲインαに対しても、＜黒レベルの２次元変調補正＞の欄で記載した解決手段を全面的に採用する。即ち、尾引き補正処理部は、入力する画像信号に対応する着目画素の位置に応じて、当該入力画像信号に対応する色の尾引き補正ゲインを変調して、当該被変調補正ゲインを上記差分信号に乗算することで尾引き補正値を得る。

より詳細には、尾引き補正処理部は、水平カウンタ１及び垂直カウンタ２で規定される位置座標内に離散的に配置された複数の尾引き補正ゲイン変調データを保有しており、入力画像信号に対応する着目画素の位置に於ける被変調補正ゲインを、複数の尾引き補正ゲイン変調データを用いた内挿補間によって求める。特に、内挿補間式中の除算をＬＳＩのシフト処理で実行可能とするために、尾引き補正処理部は、対角線上に隣り合う場合を除いて、互いに隣り合う尾引き補正ゲイン変調データ同士の配置位置の間隔が常に２ⁿ（ｎは正の整数）に成る様に配置された複数の尾引き補正ゲイン変調データを用いて上記内挿補間を行う。その際、尾引き補正処理部は、水平カウンタ１及び垂直カウンタ２の上位ビットを選択することで、変調範囲の物理的な広さを規定する。そして、尾引き補正処理部は、正及び負の値を取り得るオフセット値を水平カウンタ１及び垂直カウンタ２の各々の出力値に独立に加算して、複数の尾引き補正ゲイン変調データで規定される変調範囲の中心を画像センサーＩＳの有効画素領域ＥＰＲの中心に一致させた後に、上記内挿補間の演算を行う。

＜リニアライゼーション処理＞
以下に記載の処理の要点は、入力チャンネル毎に於いて、色毎に異なるリニアライゼーション特性を定義しておき、既述した色選択タイミング信号によってリニアライゼーション特性を切替えてリニアライゼーション処理を実行可能とする点にある。この点につき、図面を用いてリニアライゼーション処理の説明を展開する。

既述した通り、画像センサーの画素数の増大化を実現するための画像センサーの微細化に伴い、画像センサーの各画素を構成する半導体エレメントに於ける特性の内で相対的にレベルの小さい部分を用いざるを得ない状況となっている。このため、従来では各色の明るさと出力値との特性は線形性を有していたのが、昨今では各色の明るさと出力値との特性は非線形となっている。

例えば、図１９の（ａ）に模式的に例示する様に、Ｒ色の明るさと出力値との特性Ｒ０は実際には非線形になっている。その他の色（Ｇｒ，Ｇｂ，Ｂ色）についても、同様に、明るさと出力値との特性は非線形になっている。

そこで、図１９の（ｂ）に模式的に例示する様に、Ｒ色に関して、特性Ｒ０とは逆特性の関係となる曲線ＲＣをリニアライゼーション特性として定義することにする。その様な定義のリニアライゼーション特性ＲＣを補正用特性として用いれば、両特性Ｒ０，Ｒｃは互いに相殺し合って、結果的に得られる特性は、図１９の（ｃ）の様な線形性を有する直線Ｒとなる。この様な原理をここでは基本的に用いてリニアライゼーション処理を行う。具体的な回路構成は、次の通りである。

図２０は、各入力チャンネルＸ（Ｘ：０〜３）用補正処理部ＳＰＵ−ＣＸが有するリニアライゼーション処理を実行する回路部分の構成を示すブロック図である（この様な回路構成が入力チャンネルＸ（Ｘ：０〜３）毎に設けられている。）。本リニアライゼーション処理部の中核部を成すのが、リニアライゼーション用テーブルレジスタＬＴＲである。図２０に示す様に、リニアライゼーション用テーブルレジスタＬＴＲは、４種類（Ｒ，Ｇｒ，Ｇｂ、Ｂ）の色毎に、各色用リニアライゼーション用テーブルレジスタ１７，１８，１９，２０を有している。例えば、Ｒ用リニアライゼーション用テーブルレジスタ１７は、図１９の（ｂ）に示した様なリニアライゼーション特性ＲＣのデータを保有している（予めＣＰＵ（図示せず）によって書き込まれている。）。実際には、Ｒ用リニアライゼーション用テーブルレジスタ１７は、図２１に例示する様に、画像センサーＩＳに於けるＲ色の明るさと出力値との非線形性を逆特性で以って補正するリニアライゼーション特性ＲＣの曲線を、例えば３２本の折れ線グラフで以って分割された３３個の折れ線データＲＣＡとして保有している。この点は、その他の色のリニアライゼーション用テーブルレジスタ１８〜２０に関しても同様である。そして、各色のリニアライゼーション用テーブルレジスタ１７〜２０の出力データ（１６ビット信号）が、第１セレクタ２１に入力されている。

第１セレクタ２１は、基本的な動作として、既述した当該入力チャンネルＸ（ＣＨ０〜ＣＨ３）に対応する色選択タイミング信号ＣＸＣＳ（Ｘ：０〜３）を選択信号ＳＥＬ１として受信して、リニアライゼーション用テーブルレジスタ１７〜２０の出力の内で、色選択タイミング信号ＣＸＣＳが指令するある時点に於ける画素の色に応じたリニアライゼーション用テーブルレジスタ１７〜２０を選択・出力する。その結果、リニアライゼーション処理部２６は、第１セレクタ２１が選択・出力する３３個のリニアライゼーション特性データを用いて、図１９に於いて既述した補正原理に従って、入力画像データＣＸＩｎｐｕｔ（Ｘ：０〜３）の非線形性を補正し、その後、線形化された入力画像データＣＸＩｎｐｕｔをホワイトバランス補正部（図示せず。）に出力する。

これにより、画像センサーＩＳからの画像データの読み出しパターンが如何なるパターンであろうとも、入力チャンネル毎に且つ色毎に、画像センサーＩＳの微細化に起因した、色の明るさと出力値との非線形特性を確実に補正することが出来る。

追加的な構成要素として、図２０に示す様に、固定リニアライゼーションパラメータ用レジスタ１５及び第２セレクタ１６を設けても良い。ここでの視点は、各入力チャンネルに入力する画像データの非線形性は、画像センサーＩＳの微細化に起因したものの他に、画像センサーＩＳの各読み出しチャンネル側に設けられている増幅器等の特性に起因したものもあるという点である。特に、後者の、画像センサーＩＳの出力側の回路系統等その他の原因に起因した非線形特性は、読み出しチャンネル毎に異なる。そこで、固定リニアライゼーションパラメータ用レジスタ１５には、４チャンネルＣＨ０〜ＣＨ３の各チャンネルに固有な値として、既述した４個のリニアライゼーション用テーブルレジスタ１７〜２０の内の何れか一つのテーブルレジスタの特性を、後者の原因に起因した非線形特性を補正するための当該チャンネル用のリニアライゼーション特性として指定する値が、予めＣＰＵ（図示せず。）によって格納されている。そして、第２セレクタ１６は、（１）上記の前者（画像センサーＩＳの微細化）の原因に起因した非線形特性を補正するときには、ＣＰＵ（図示せず。）が発するセレクト信号ＳＥＬ２のレベル（指令値）に応じて、当該チャンネルの色選択タイミング信号ＣＸＣＳを選択する一方（既述したリニアライゼーション補正が実行される。）、（２）上記の後者（読み出し経路上の構成要素の特性）の原因に起因した非線形特性を補正するときには、ＣＰＵ（図示せず。）が発するセレクト信号ＳＥＬ２は固定リニアライゼーションパラメータ用レジスタ１５の出力値を選択する様に指令し、その結果、固定リニアライゼーションパラメータ用レジスタ１５の出力値（パラメータ）が第１セレクタ２１のセレクト信号ＳＥＬ１となるので、リニアライゼーション用テーブルレジスタ１７〜２０の出力の内で、セレクト信号ＳＥＬ１によって選択された当該チャンネルに特定のリニアライゼーション用テーブルレジスタの出力がリニアライゼーション処理部２６に入力され、同部２６は後者に起因した非線形特性を補正する処理を実行する。

この様に、（１）複数のリニアライゼーションテーブル用レジスタ１７〜２０の出力の内で当該ユニットに対応する特定の出力を指定する固定リニアライゼーションパラメータを保有する「レジスタ１５」と、（２）レジスタ１５の出力及び当該ユニットに対応する色選択タイミング信号ＣＸＣＳの何れか一方を選択・出力する「第２セレクタ１６」を、本補正処理部ＳＰＵ−ＣＸ内に更に具備させることで、画像センサーの微細化に起因した非線形特性の補正のみならず、入力チャンネル毎に、画像センサーの出力側の回路系統等その他の原因に起因した非線形特性をも選択的に補正することが可能となる。

更なる追加的構成要素として、図２０に示す様に、各色用のリミッタ用レジスタ２２〜２５と第３セレクタ２７とから成るリミット部ＬＭＩＰを設けても良い。ここでの視点は、図２１に例示する様に（各折れ線の水平ピッチは均等である。）、３２本の折れ線グラフで分割されたリニアライゼーション特性に対してリミット値を設けて、その値を越えるとリニアライゼーション処理を終了させることにある。即ち、図２０に示す通り、（１）４個のリミッタ用レジスタ２２〜２５は、色毎に設けられており、その各々は、色毎に、当該色のリニアライゼーション特性を分割する３２本の折れ線の内のある折れ線のあるレベルをリミット値として保有している。そして、（２）第３セレクタ２７は、第２セレクタ１６の出力値に応じて、４個のリミッタ用レジスタ２２〜２５の出力を選択して、選択したリミット値（１６ビット信号）ＬＭＩをリニアライゼーション処理部２６に出力する。その結果、リニアライゼーション処理部２６は、入力画像データＣＸＩｐｕｔが第３セレクタ２７の出力ＬＭＩが与えるリミット値以上となるときには、その補正処理をクリップする。

＜実装例＞
図２２は、各入力チャンネルのＳＰＵ回路ＳＰＵ−ＣＸ（Ｘ：０〜３）の主要な一部の実装例を示すブロック図である。図２２に於いて、前段の回路Ｃ１は尾引き補正処理部であり、次段の回路Ｃ２は黒レベル補正処理部であり、その次の回路Ｃ３はリニアライゼーション処理実行回路であり、図示していないが、回路Ｃ３の後に、ホワイトバランス補正処理部が配設されている。

（付記）
以上、本発明の実施の形態を詳細に開示し記述したが、以上の記述は本発明の適用可能な局面を例示したものであって、本発明はこれに限定されるものではない。即ち、記述した局面に対する様々な修正や変形例を、この発明の範囲から逸脱することの無い範囲内で考えることが可能である。

この発明は、例えばデジタル（スチル、ビデオ）カメラが有する画像センサーの各読み出しチャンネルから読み出された画像データに対して読み出したデータを大容量メモリ上にバッファリングせずに画像処理を画素クロック毎に並列に実行する完全リアルタイムパイプライン型の画像処理装置用ＬＳＩに適用して好適である。

１００ ＳＰＵ
ＩＳ 画像センサー
９ ＳＰＵレジスタ
１０ カラータイミングアレンジメント部
Ｃ０Ｉｎｐｕｔ 画像データ
ＳＰＵ−Ｃ０ 第１入力チャンネル用ＳＰＵ回路部
１３Ｃ０ 黒レベル補正処理部
１４Ｃ０ ホワイトバランス補正処理部
１ グローバルＨカウンタ
２ グローバルＶカウンタ
ＣＬＢＡＳＥＴ カラーベースタイミング信号
ＴＲ０ 第１入力チャンネル用タイミングレジスタ
ＴＲＳ０ タイミングレジスタ用セレクタ
Ｃ０ＣＳ 第１入力チャンネル用色選択タイミング信号
５ ローカルＨカウンタ
６ ローカルＶカウンタ

Claims (1)

1. 画像センサーが有する複数の画像データ読み出しチャンネルの各々から同期して読み出された各画像信号を当該画像データ読み出しチャンネルに対応する入力チャンネルで画素クロック毎に受信して、受信した画像データに対して前記画像センサーに特有の問題点に起因した所定の画像処理を前記画素クロック毎に並列的に実行するパイプライン型の複数の画像センサー前処理ユニットと、
   前記複数の画像センサー前処理ユニットの各々の入力チャンネル毎に独立に、ある時点に於ける画素の色を指定する色選択タイミング信号を生成して、各画像センサー前処理ユニットに対して対応する色選択タイミング信号を出力する色タイミングアレンジメント部とを備え、
   前記各画像センサー前処理ユニットは当該ユニットに対応する前記色選択タイミング信号に応じて前記所定の画像処理を実行し、
   各入力チャンネルに共通な、前記所定の画像処理の実行に必要な各色用の補正データを格納しており、その出力の全ては前記各画像センサー前処理ユニットに入力される補正データ用レジスタを更に備えており、
   前記複数の画像センサー前処理ユニットの各々は、
   前記補正データ用レジスタの出力を当該ユニットに対応する前記色選択タイミング信号によって選択出力するセレクタと、
   前記セレクタが選択出力する補正データを用いて前記画像データに対して前記所定の画像処理を実行する画像処理回路とを備えることを特徴とする、
   画像処理装置。

Images