JP2009094675A - 撮像装置、画像信号処理回路、および画像信号処理方法、並びにコンピュータ・プログラム - Google Patents

撮像装置、画像信号処理回路、および画像信号処理方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP2009094675A
JP2009094675A JP2007261780A JP2007261780A JP2009094675A JP 2009094675 A JP2009094675 A JP 2009094675A JP 2007261780 A JP2007261780 A JP 2007261780A JP 2007261780 A JP2007261780 A JP 2007261780A JP 2009094675 A JP2009094675 A JP 2009094675A
Authority
JP
Japan
Prior art keywords
image
signal processing
input
level
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007261780A
Other languages
English (en)
Inventor
Shigeru Hagiwara
茂 萩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007261780A priority Critical patent/JP2009094675A/ja
Publication of JP2009094675A publication Critical patent/JP2009094675A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】撮像素子の分割領域に共通するパラメータを使用した画像補正処理によりバランスのとれた黒レベル制御を行なう。
【解決手段】撮像素子の分割領域各々に対応する出力信号を入力して補正処理を実行する構成において、DSPが、分割領域各々に対する画像補正処理に際して、分割領域共通の補正パラメータを入力し、入力補正パラメータを各分割領域共通の目標黒レベルとして設定した画像補正を実行する。具体的には、撮像素子内に構成されたオプティカルブラック領域の出力に基づいて得られるクランプレベルを適用した自動制御を行う場合において、各分割領域に共通する目標黒レベルを設定した画像補正を実行して画像全体に渡ってバランスのとれた黒レベル制御を実現する。
【選択図】図4

Description

本発明は、撮像装置、画像信号処理回路、および画像信号処理方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、複数の出力チャンネルを有する撮像素子の黒レベル調整を行う撮像装置、画像信号処理回路、および画像信号処理方法、並びにコンピュータ・プログラムに関する。
例えばビデオカメラやスチルカメラなどにおける撮像素子としてCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)が広く用いられている。例えば従来の一般的なCCDは、1画面分の撮影情報を多数のフォトディテクタ(PD:Photo Detector)によって受光し、光電変換によって得られる電荷信号を垂直レジスタと水平レジスタとによって読み出してデータストリームに変換して1つの出力チャンネルから出力していた。このような1チャンネル出力型のCCDおよび信号処理構成について図1を参照して説明する。
図1に示すCCD10は、CCDを構成する撮像素子としてのフォトディテクタ(PD)に蓄積された電荷を垂直方向に転送する垂直レジスタ11と、垂直レジスタ11により転送された電荷を水平方向に1ラインずつ転送する1つの水平レジスタ12と水平レジスタ12の電荷を電圧に変換する出力アンプ13を有し、出力アンプ13の出力を信号処理部21に入力する構成である。
信号処理部21は、入力信号中のノイズ除去を実行するCDS回路、AD変換を行なうADC等によって構成される。信号処理部12において信号処理のなされたデジタル信号は、DSP(Digital Signal Processor(デジタル信号処理部))22に入力されて画素値補正処理などを含む出力画像生成処理がなされて出力され、例えば図に示す出力画像30が得られる。
近年、画像の多画素化のために撮像素子の大型化が進み、さらに出力画像のフレームレートも高速化されている。図1に示すような1つの出力アンプを有する撮像素子では高フレームレートを維持するためにはより高速に画像を出力する必要があるが、物理的な限界があり高速化が難しくなっていた。そこで、撮像素子に出力アンプを複数設定しスループットを向上させて画像の高速出力を可能にした構成が利用されるようになっている。例えば、撮像素子を2分割して各分割領域毎に出力する2チャンネル出力とすれば、1チャンネル出力の場合と比較して1/2の動作周波数で出力データの信号処理を行うことができる。
2チャンネル出力対応のCCDおよび信号処理構成について図2を参照して説明する。図2に示すCCD50は、CCDを構成するフォトディテクタ(PD)に蓄積された電荷を垂直方向に転送する垂直レジスタ51と、垂直レジスタ51により転送された電荷を水平方向に1ラインずつ転送する2つの水平レジスタ52,53を有する。第1水平レジスタ52はCCDを構成するフォトディテクタの左半分の出力、第2水平レジスタ53は右半分のフォトディテクタの出力を入力する。
第1水平レジスタ52の蓄積データは、出力アンプ54によって電荷が電圧に変換されて信号処理部61に入力される。また、第2水平レジスタ53の蓄積データは、出力アンプ55によって電荷が電圧に変換されて信号処理部62に入力される。2つの信号処理部61,62は、それぞれCCDの構成画素の半分の出力データを並列に処理する。この処理によって高速な処理が実現される。
信号処理部61,62において信号処理のなされたデジタル信号は、DSP(Digital Signal Processor)63に入力されて画素値補正処理などを含む出力画像の生成処理がなされて出力される。その結果、例えば図2に示す出力画像70が得られる。
信号処理部61,62は、それぞれCCDの構成画素の半分の出力データを並列に処理し、各構成画素の画素値レベルを示す例えば14ビットのデジタルデータを生成する。この処理に際して、図示しない制御部(MPU)からクランプレベル値、すなわち、黒レベルの調整に用いられるクランプレベル値(暗電流値)が入力されて画素値調整が行われ、黒レベルが決定される。
しかし、このような2チャンネル出力の撮像部を持つ構成では、CCDの各領域が有する出力アンプの特性差などに起因して左右それぞれのCCD出力信号レベルが異なり、制御部(MPU)から左右画像に対して同じクランプレベル値を与えても、左右それぞれの黒レベルを一致させることは難しい。結果として左右画像領域の黒レベルが異なる画像が出力されてしまうことになる。
一般的に黒レベルは撮像素子上に構成されるオプティカルブラック(OB)領域、すなわち、有効画像領域の周囲に遮光領域として設定されるオプティカルブラック(OB)領域の電流値(暗電流)データを基準データとして使用して制御する処理が行われ、各チャンネルとも黒レベルを一定とする制御がなされるが、実際には、露光期間中や電荷を垂直レジスタや水平レジスタによって転送している間に、リーク電流などを主要因とする雑音が漏れ込み適確な制御が困難となる場合がある。また、有効領域内の画素値レベルは遮光していても若干のレベルを持ち、複数チャンネル出力構成を持つ撮像素子では、このレベルが異なる場合があり、この差異を考慮した制御が必要となる。
複数の出力チャンネルを有する撮像素子は、図3に示すように、撮影処理において入力する光を受光し、画像形成要の信号を蓄積する有効画像領域80と、有効画像領域80の周辺に設定され、基本的に撮影処理に際して光を入力しない遮光領域であるオプティカルブラック(OB:Optical Black)領域91,92を有する。有効画像領域80は、画像境界85の左側の左画像領域81と画像境界85の右側の右画像領域82とによって構成される。
図3に示すように、オプティカルブラック(OB:Optical Black)領域は左画像OB(オプティカルブラック)領域91と、右画像OB(オプティカルブラック)領域92として各画像領域に対応して設定されている。前述したように、撮像素子は左画像と右画像とで、異なる出力経路を介して出力される。図3の撮像素子において、画像境界85の左側の左画像領域81と左画像OB領域91の信号は、図2に示す出力アンプ54を介して信号処理部62に入力され、画像境界85の右側の右画像領域82と右画像OB領域92の信号は、図2に示す出力アンプ55を介して信号処理部61に入力されて信号処理がなされる。
このような構成では、オプティカルブラック(OB)領域91,92内のフォトディテクタ(PD:Photo Detector)から出力アンプまでの距離は短く、雑音を拾う可能性が少なくて済むが、有効画像領域80の左画像領域81と右画像領域82は、フォトディテクタ(PD:Photo Detector)から出力アンプまで転送する距離が長く、雑音を受ける可能性がオプティカルブラック(OB)領域の撮像素子よりも高くなってしまう。この結果、オプティカルブラック(OB)領域91,92と有効画像領域80の全てを遮光していても有効画像領域80の撮像素子の画素値レベルが高くなり、オプティカルブラック(OB)領域の電流値(暗電流)データを基準データとして使用した黒レベル制御では、良好な制御ができなくなる場合がある。
複数チャンネル出力を持つ撮像素子における黒レベル調整手法を開示した従来技術として特許文献1(特開2006−86971号公報)がある。この特許文献1は複数出力を有する撮像素子上に構成されるオプティカルブラック(OB)領域、すなわち、有効画像領域の周囲に遮光領域として設定されるオプティカルブラック(OB)領域の電流値(暗電流)データを利用してクランプレベルを決定する構成であり、各画像領域に対応する全てのチャンネルに対応するオプティカルブラック(OB)領域から得られる複数のデータを平均化して、目標クランプレベルとの差分を算出して最終的なクランプレベルを決定する構成を開示している。しかし、このような平均値を用いる構成では、映像信号のリニアリティが各チャンネルで異なる場合などにおいて、各画像領域に対して不適切なクランプレベルの設定がなされてしまう場合がある。
特開2006−86971号公報
本発明は、このような問題点に鑑みてなされたものであり、複数の分割出力を持つCCDやCMOSなどの撮像素子からの出力信号に対する信号処理に際して各分割領域の適切な黒レベル調整を行うことを可能とした撮像装置、画像信号処理回路、および画像信号処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の一実施例においては、各分割領域に対応する各チャンネルのオプティカルブラック(OB)領域データのクランプレベルを検出し、検出したクランプレベルを適用して各チャンネル対応の処理を行う自動(AUTO)制御と、ユーザが直接黒レベルを指定するマニュアル(MANUAL)制御を選択可能として、適切な黒レベル調整を行うことを可能とした撮像装置、画像信号処理回路、および画像信号処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第1の側面は、
撮像素子の分割領域各々に対応する信号を出力する複数チャンネル出力型の撮像部と、
前記撮像素子の複数チャンネルの出力信号を個別に入力して画素値対応のデジタルデータを生成する複数の信号処理部と、
前記複数の信号処理部の生成する画素値データを入力して画像補正処理を実行するデジタル信号処理部を有し、
前記デジタル信号処理部は、
前記分割領域各々に対する画像補正処理に際して、目標黒レベルに相当する分割領域共通の補正パラメータを入力して、該入力補正パラメータを各分割領域共通の目標黒レベルとして設定した画像補正を実行する構成であることを特徴とする撮像装置にある。
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、黒レベルの制御態様の設定情報を入力する入力部を有し、前記入力部は、
(a)前記撮像素子内に構成されたオプティカルブラック領域の出力に基づいて得られるクランプレベルを適用して黒レベルを制御する自動制御、
(b)ユーザの入力するユーザ指定データに基づいて黒レベルを制御するマニュアル制御、
上記の各制御態様を選択指定可能な構成を有し、前記デジタル信号処理部は、前記入力部を介して入力される制御態様設定情報に応じて、前記クランプレベルを適用して算出したデータ、または、前記ユーザ指定データのいずれかを前記補正パラメータとして入力して画像補正を実行する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記デジタル信号処理部は、前記クランプレベルを適用して算出したデータを前記補正パラメータとして入力して画像補正を実行する場合、前記撮像素子の分割領域各々に対応して設定された複数のオプティカルブラック領域から選択された1つのオプティカルブラック領域の出力から得られるクランプレベルを適用して算出された補正パラメータを入力して処理を行う構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記デジタル信号処理部は、前記クランプレベルを適用して算出したデータを前記補正パラメータとして入力して画像補正を実行する場合、
(a)1つのオプティカルブラック領域の出力から得られるクランプレベル、
(b)前記クランプレベルと目標黒レベルとの差分値、
上記(a)と(b)の各値の加算値を補正パラメータとして入力し、該補正パラメータに基づいて決定される黒レベルを基準とした画像補正を実行する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記デジタル信号処理部は、前記マニュアル制御を行う場合、前記撮像素子の分割領域各々に対応する個別のユーザ指定データを入力し、分割領域各々に対応する個別のユーザ指定データに基づいて決定される黒レベルを基準として各分割領域各々に対する画像補正を実行する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記デジタル信号処理部は、入力画像データの構成画素中、目標黒レベル以上の画素値を有する画素のみを選択してゲイン制御により入力画素値の区間を引き伸ばすレベル伸張処理を行うゲイン制御部を有し、目標黒レベル以上の画素値を持つ画素についての前記ゲイン制御の結果データと、入力画像データの構成画素中、目標黒レベル未満の画素値は、その画素値を維持して出力する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記撮像部は、左画像と右画像に2分割された撮像素子を有し、左画像と右画像各々に対応する複数の出力信号を出力する構成であり、前記デジタル信号処理部は、前記分割領域各々に対する画像補正処理に際して、各分割領域に共通する補正パラメータを入力して画像補正を行う構成であることを特徴とする。
さらに、本発明の第2の側面は、
撮像素子の分割領域各々に対応する信号を個別に入力して画素値対応のデジタルデータを生成する複数の信号処理部と、
前記複数の信号処理部の生成する画素値データを入力して画像補正処理を実行するデジタル信号処理部を有し、
前記デジタル信号処理部は、
前記複数の信号処理部の生成する画素値データを入力して画像補正処理を実行するデジタル信号処理部を有し、
前記デジタル信号処理部は、
前記分割領域各々に対する画像補正処理に際して、目標黒レベルに相当する分割領域共通の補正パラメータを入力して、該入力補正パラメータを各分割領域共通の目標黒レベルとして設定した画像補正を実行する構成であることを特徴とする画像信号処理回路にある。
さらに、本発明の第3の側面は、
画像処理装置において実行する画像信号処理方法であり、
複数の信号処理部が、撮像素子の分割領域各々に対応する信号を個別に入力して画素値対応のデジタルデータを生成する信号処理ステップと、
デジタル信号処理部が、前記複数の信号処理部の生成する画素値データを入力して画像補正処理を実行するデジタル信号処理ステップを有し、
前記デジタル信号処理ステップは、
前記分割領域各々に対する画像補正処理に際して、目標黒レベルに相当する分割領域共通の補正パラメータを入力して、該入力補正パラメータを各分割領域共通の目標黒レベルとして設定した画像補正を実行するステップであることを特徴とする画像信号処理方法にある。
さらに、本発明の第4の側面は、
画像処理装置において画像信号処理を実行させるコンピュータ・プログラムであり、
複数の信号処理部に、撮像素子の分割領域各々に対応する信号を個別に入力して画素値対応のデジタルデータを生成させる信号処理ステップと、
デジタル信号処理部に、前記複数の信号処理部の生成する画素値データを入力して画像補正処理を実行させるデジタル信号処理ステップを有し、
前記デジタル信号処理ステップは、
前記分割領域各々に対する画像補正処理に際して、目標黒レベルに相当する分割領域共通の補正パラメータを入力して、該入力補正パラメータを各分割領域共通の目標黒レベルとして設定した画像補正を実行させるステップであることを特徴とするコンピュータ・プログラムにある。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の一実施例の構成によれば、撮像素子の分割領域各々に対応する出力信号を入力して補正処理を実行する構成において、デジタル信号処理部(DSP)が、分割領域各々に対する画像補正処理に際して、目標黒レベルに相当する分割領域共通の補正パラメータを入力し、入力補正パラメータを各分割領域共通の目標黒レベルとして設定した画像補正を実行する。具体的には、撮像素子内に構成されたオプティカルブラック領域の出力に基づいて得られるクランプレベルを適用した自動制御を行う場合において、各分割領域に共通する目標黒レベルを設定した画像補正を実行して画像全体に渡ってバランスのとれた黒レベル制御を実現する。
以下、図面を参照しながら本発明の撮像装置、画像信号処理回路、および画像信号処理方法、並びにコンピュータ・プログラムの詳細について説明する。まず、図4を参照して、本発明の一実施例に係る撮像装置、画像信号処理回路の構成例について説明する。
図4に示すCCD100は、先に図2を参照して説明したCCDの構成と同様、複数に分割された2チャンネル出力構成、すなわち撮像素子の分割領域単位の信号を出力する複数チャンネル出力構成を有する。
本発明の撮像装置における黒レベル調整処理は、
以下の2つの制御態様のいずれかを選択して実行することができる。
(1)自動(AUTO)制御:オプティカルブラック(OB)領域データのクランプレベルを検出し、検出したクランプレベルを適用して各チャンネルに対応する画素領域の信号処理を行う。
(2)マニュアル(MANUAL)制御:ユーザが直接黒レベルを指定して指定情報に従って各チャンネルに対応する画素領域の信号処理を行う。
上記(1)自動(AUTO)制御と、(2)マニュアル(MANUAL)制御とを選択的に実行可能とした構成である。
これら(1)〜(2)の2つの処理が選択可能な構成となっている。
なお、(1)、(2)のどちらの場合であっても左右画像の黒レベル調節をそれぞれ独立して制御できるようになっている。
図4に示す入力部153に、例えば図5に示すような設定画面(UI)を表示して、ユーザの入力に従って図4に示す制御部(MPU)150が制御態様を決定する。
自動(AUTO)制御とするか、マニュアル(MANUAL)制御とするかを決定し、UIに表示された選択欄181,182に入力することで、図4に示す制御部(MPU)150が制御態様を決定することになる。なお、マニュアル(MANUAL)制御の場合には、ユーザの設定する黒レベル数値を図5に示す設定画面(UI)のレベル入力領域183に入力し、図4に示す制御部(MPU)150がこの入力値に基づく制御を行うことになる。
なお、2つのチャンネルに対応する左右の画像領域のバランス調整を行う場合については、自動(AUTO)制御を選択した場合については、利用するクランプレベルの値は、例えば図3を示した構成のように複数の画像領域に対応するオプティカルブラック(OB)領域が存在する場合、いずれか一方のオプティカルブラック(OB)領域データのクランプレベルのみを利用する。あるいは、2つのオプティカルブラック(OB)領域データのクランプレベルの平均値を利用する構成としてもよい。
マニュアル(MANUAL)制御を選択した場合については左右の画像領域のバランス調整を行わない場合と同様である。
CCD100の詳細構成について、図6を参照して説明する。なお、以下の実施例では、撮像素子としてCCDを用いた構成例について説明するが、本発明はCCDに限らずCMOSを撮像素子として用いた場合でも適用可能である。
図6に示すようにCCD100は、光電変換素子であるフォトディテクタ(PD)200を多数有し、これらのフォトディテクタ(PD)200に蓄積された電荷に基づく電圧信号を出力する構成となっている。CCD100は、1画面分の撮像領域を水平方向の中心で2分割して、それぞれ異なるチャンネルから画素情報を出力する。
なお、先に図3を参照して説明したように、CCDの左右両端部には、基本的に撮影処理に際して光を入力しない遮光領域であるオプティカルブラック(OB:Optical Black)領域が形成され、中央部が画像の撮影領域として利用される有効画像領域に設定されている。
CCD100は、垂直レジスタ101と、1ライン分の水平レジスタ102,103を有する。垂直レジスタ101は、フォトディテクタ(PD)200に蓄積された電荷を1ライン単位で垂直方向に転送するレジスタである。
水平レジスタ102,103は、垂直レジスタ101から転送されてきた1ライン分の電荷を水平方向に1画素単位で転送して、電荷情報を電圧に変換して増幅する出力アンプ104,105に入力する。出力アンプ104,105は、それぞれの分割画像に対応する電荷情報を電圧信号として出力する。このようにCCD100のフォトディテクタ(PD)200の生成した画像情報は、2つの出力アンプ104,105を介した2つの出力チャンネルから出力される。
すなわち、第1水平レジスタ102は、左画像の領域に含まれるフォトディテクタ(PD)200から出力される電荷情報に基づく信号を第1出力アンプ104を介して出力し、第2水平レジスタ103は、右画像の領域に含まれるフォトディテクタ(PD)200から出力される電荷情報に基づく信号を第2出力アンプ105を介して出力する。
図4に戻り、これらの出力アンプ104,105の出力信号の処理について説明する。CCD100の左側画像に対応する画像信号情報である第1出力アンプ104の出力は信号処理部111に入力される。信号処理部111は、入力信号中のノイズ除去を実行するCDS回路、AD変換を行なうADC等によって構成され、これらの各回路によって信号処理がなされ、アナログ信号から例えば14ビットのデジタル信号が生成されてDSP(Digital Signal Processor(デジタル信号処理部))120に入力されて画素値補正処理などを含む出力画像生成処理がなされて出力される。
一方、CCD100の右側画像に対応する画像信号情報である第2出力アンプ105の出力は信号処理部113に入力される。信号処理部113も、入力信号中のノイズ除去を実行するCDS回路、AD変換を行なうADC等によって構成され、これらの各回路によって信号処理がなされ、例えば14ビットのデジタル信号が生成されてDSP120に入力されて画素値補正処理などを含む出力画像生成処理がなされて出力される。
上記の処理構成において、信号処理部111は、CCD100の左画像データを入力して信号処理を行い、信号処理部112は、CCD100の右画像データを入力して信号処理を行う。すなわち、各信号処理部111,112は、それぞれの画像領域に含まれる画素の画素値を示すアナログデータをデジタルデータに変換して出力し、その後、デジタルデータがDSP120に入力されて画像補正処理が行われる。
撮像装置は複数の出力チャンネルを有しており、図4に示すように撮像部100が複数の領域に分割され、各チャンネルのデータ出力に対して特性の異なる出力アンプが用いられる構成である。従って出力アンプ104,105の特性差などに起因する出力画像の特性差が存在する可能性がある。本発明の撮像装置では、信号処理部111,112、およびDSP120の処理によって、このような特性差が存在する場合でも、左右画像領域各々について適切な黒レベルを決定した品質の高いバランスのとれた出力画像を生成することを可能としている。以下、この処理の詳細について説明する。
信号処理部111,112において生成されたデジタルデータは、DSP120に入力されて画像補正処理が行われる。DSP120では、左右各画像領域に設定された遮光領域としてのオプティカルブラック(OB:Optical Black)領域に対応する出力を読み取って左右画像領域各々のクランプレベルを算出する。
遮光領域としてのオプティカルブラック(OB:Optical Black)領域は左画像領域、右画像領域の各々に設定されている。図7に、本発明の撮像装置に用いる撮像素子250の構成例を示す。撮像素子250は、撮影処理において入力する光を受光し、画像形成要の信号を蓄積する有効画像領域251と、有効画像領域251の周辺に設定され、基本的に撮影処理に際して光を入力しない遮光領域であるオプティカルブラック(OB:Optical Black)領域271,272を有する。有効画像領域251は、画像境界252の左側の左画像領域261と画像境界252の右側の右画像領域262とによって構成される。
図7に示すように、オプティカルブラック(OB:Optical Black)領域は左画像OB(オプティカルブラック)領域271と、右画像OB(オプティカルブラック)領域272として各画像領域に対応して設定されている。前述したように、撮像素子は左画像と右画像とで、異なる出力経路を介して出力される。図7の撮像素子において、画像境界252の左側の左画像領域261と左画像OB領域271の信号は、図4、図6に示す出力アンプ104を介して信号処理部111に入力され、画像境界252の右側の右画像領域262と右画像OB領域272の信号は、図4、図6に示す出力アンプ105を介して信号処理部112に入力されて信号処理がなされる。
先に説明したように、このような構成では、オプティカルブラック(OB)領域271,272内のフォトディテクタ(PD:Photo Detector)から出力アンプまでの距離は短く、雑音を拾う可能性が少なくて済むが、有効画像領域251の左画像領域261と右画像領域262は、フォトディテクタ(PD:Photo Detector)から出力アンプまで転送する距離が長く、雑音を受ける可能性がオプティカルブラック(OB)領域の撮像素子よりも高くなってしまう。この結果、オプティカルブラック(OB)領域の電流値(暗電流)データを基準データとして使用した黒レベル制御では、良好な制御ができなくなる場合がある。本発明の撮像装置では、このような撮像素子構成においても良好な制御を可能としている。
DSP120は、図7に示す左右各画像領域に設定された遮光領域である左画像OB領域271と、右画像OB領域272に対応するデジタル出力を読み取って左右画像領域各々のクランプレベルを算出する。このクランプレベルは、光を入射しない場合でも潜在的に発生する電流値(暗電流)に対応する画素値レベルを示すデジタル値である。
DSP120における左画像領域のクランプレベル(OBL)と、右画像領域のクランプレベル(OBR)の読み取りタイミングについて図8を参照して説明する。図8に示す例では、左画像OB領域271と、右画像OB領域272はそれぞれ40画素、有効画素領域251は左右画像それぞれ1228画素である。
DSP120は、左画像OB領域271と、右画像OB領域272の各々に対応する画素レベルを示すデジタルデータを読み取り、読み取り信号を左右画像領域各々のクランプレベルとする。
DSP120が、左画像OB領域271と、右画像OB領域272の各々において、クランプレベルを読み込むタイミングは、図8に示すように、左画像OB領域271と、右画像OB領域272の各々40画素中の中央の30画素とする。DSP120のクランプレベルの読み込みタイミングは、図8中のHiレベルに対応する。
DSP120が計測した左画像領域のクランプレベル(OBL)と、右画像領域のクランプレベル(OBR)は、制御部(MPU)150を介してメモリ152に格納される。
前述したように、本発明の撮像装置における黒レベル調整処理は、
(1)自動(AUTO)制御:オプティカルブラック(OB)領域データのクランプレベルを検出し、検出したクランプレベルを適用して各チャンネルに対応する画素領域の信号処理を行う。
(2)マニュアル(MANUAL)制御:ユーザが直接黒レベルを指定して指定情報に従って各チャンネルに対応する画素領域の信号処理を行う。
このれら(1)〜(2)の2つの処理が選択可能な構成となっている。
先に説明したように、図4に示す入力部153に、例えば図5に示すような設定画面(UI)を表示して、ユーザが、自動(AUTO)制御とするか、マニュアル(MANUAL)制御とするかを決定し、UIに表示された選択欄181,182を選択することで、図4に示す制御部(MPU)150が制御態様を決定することになる。なお、マニュアル(MANUAL)制御の場合には、ユーザの設定する黒レベル数値を図5に示す設定画面(UI)のレベル入力領域183に入力し、図4に示す制御部(MPU)150がこの入力値に基づく制御を行うことになる。自動(AUTO)制御を行う場合は、メモリ152に格納されたクランプレベルが出力されて画像補正処理が実行されることになる。
DSP120における画像補正処理は、これら2つの処理態様に応じて異なる処理となる。以下、DSP120における画像補正処理の詳細について説明する。
DSP120における画像補正処理の態様としては、上述したように2つの処理態様がある。まず、左画像については、左側のオプティカルブラック(OB)領域データのクランプレベルを適用し、右画像については、右側のオプティカルブラック(OB)領域データのクランプレベルを適用して調整を行う処理態様の処理例について説明する。
前述したように、クランプレベルは、撮像部に構成される遮光領域としてのオプティカルブラック(OB:Optical Black)領域の電流値(暗電流)に基づいて決定される。図7に示すように、画像境界252の左側の左画像OB(オプティカルブラック)領域271、右画像OB(オプティカルブラック)領域272からクランプレベルの読み取りが行われる。
DSP120における画像補正処理の詳細について説明する。まず、目標とする黒レベルをあらかじめ決定する。例えば、信号処理部111,112が各画素値のデジタルデータとして14ビットデータを出力する場合、画素値レベルは最低輝度〜最高輝度として、0〜16383のデジタル値を持つが、このような設定において、例えば、目標とする黒レベルの輝度値を[960]として設定する。
図9には、縦軸に画素値(輝度)0〜16383を示し、左画像と右画像をそれぞれ示している。目標黒レベル[960]を示すラインを目標黒レベル301として示している。
次に、左右画像領域に対応するクランプレベル(OBL)(OBR)を計測する。これは、遮光状態における電流に基づいて発生する信号レベルに相当し、基本的には、図7に示す左画像OB(オプティカルブラック)領域271から得られる信号によって得られるデジタル値が図9に示す左画像クランプレベル311[輝度レベル=910]であり、図7に示す右画像OB(オプティカルブラック)領域272から得られる信号によって得られるデジタル値が図9に示す右画像クランプレベル312[輝度レベル=950]に相当する。なお、図9に示す[左画像OB(オプティカルブラック)レベル]は、左画像領域のクランプレベルを意味し、[右画像OB(オプティカルブラック)レベル]は、右画像領域のクランプレベルを意味している。
次に、撮像装置をレンズキャップなどで遮光し、光を露光しないようにセットし、左右画像領域に対応する各チャンネルから出力されるデジタル画像データが、目標黒レベル[960]になるようにカメラから出力された画像を表示部に出力して表示画像を観察しながら各チャンネルのクランプレベルを調節し、目標黒レベルとの差分を算出する。
たとえば、図9に示すようにカメラから出力される有効画像領域251の表示が黒レベル目標値[輝度レベル=960]となるように、
左画像領域のクランプレベルを、図9に示すように左画像クランプレベル311[輝度レベル=910]、
右画像領域のクランプレベルを、図9に示すように右画像クランプレベル311[輝度レベル=950]、
となるように調節する。
このとき、左右各画像領域に対応する各出力チャンネルのクランプレベルと、目標黒レベルとの差分は、以下の式によって算出される。
左画像クランプレベル[OBL=910]と、目標黒レベル[960]の差分である左画像差分[DIFFL]は、
DIFFL=目標黒レベル−左画像クランプレベル
=960−910
=50
となる。
右画像クランプレベル[OBR=950]と、目標黒レベル[960]の差分である右画像差分[DIFFR]は、
DIFFL=目標黒レベル−左画像クランプレベル
=960−950
=10
となる。
これらの差分値[DIFFL],[DIFFR]は、図4に示す撮像装置のメモリ152に格納する。メモリに格納された左画像差分[DIFFL]と,右画像差分[DIFFR]の値は、DSP120に出力されて画素値補正に利用される。なお、上記例では、左画像差分[DIFFL]と,右画像差分[DIFFR]は、いずれも0以上の正値として算出されているがマイナスの値になっても問題はない。DSP120やメモリ152には2の補数で表現された2進数データとして保持、利用されるため問題はない。
左画像差分[DIFFL]と,右画像差分[DIFFR]の各値は、DSP120に入力して画素値補正に利用されるが、本発明の一実施例に係る撮像装置では、さらに、上記の差分値[DIFFL],[DIFFR]に対して、ユーザ入力部などを介した外部入力によって補正量を増減させることを可能としている。
すなわち、DSP120の実行する画像補正処理に利用する左右画像の各画像修正差分を、
左画像修正差分[DIFFL(new)]、
右画像修正差分[DIFFR(new)]、
とし、
外部入力する補正量を、
左画像用補正量[CORR_LEFT]
右画像用補正量[CORR_RIGHT]
とした場合、左画像修正差分[DIFFL(new)]、右画像修正差分[DIFFR(new)]は、左画像差分[DIFFL]と,右画像差分[DIFFR]、および、左画像用補正量[CORR_LEFT]と、右画像用補正量[CORR_RIGHT]を利用した式として、以下のように示される。
DIFFL(new)=[DIFFL]+[CORR_LEFT]、
DIFFR(new)=[DIFFR]+[CORR_RIGHT]、
とする。
なお、左画像用補正量[CORR_LEFT]や、右画像用補正量[CORR_RIGHT]を定義しているのは、黒レベルをユーザが微調節できるようにしたものである。これらの補正量の基本値は[0]として利用しない構成としてもよい。ただし、左画像用補正量[CORR_LEFT]や、右画像用補正量[CORR_RIGHT]を利用することで、ユーザの好みに応じた画像を出力でき、左右独立で補正量を規定して細やかな黒レベル調整が可能となる。
DSP120は、左画像の画像補正において、左画像修正差分[DIFFL(new)]、すなわち、
(L1)DIFFL(new)=[DIFFL]+[CORR_LEFT]、
と、
(L2)左画像のクランプレベル(OBL)
これらを左画像補正パラメータとして入力して左画像の補正を実行する。
また、右画像の画像補正において、右画像修正差分[DIFFR(new)]、すなわち、
(R1)DIFFR(new)=[DIFFR]+[CORR_RIGHT]、
と、
(R2)右画像のクランプレベル(OBR)
これらを右画像補正パラメータとして入力して右画像の補正を実行する。
DSP120の画像補正処理は、左右画像それぞれのクランプレベルを用いて左右それぞれの黒レベルを忠実に再現することを可能にするものであるが、左右の段差が発生しないように、図7に示す有効画像領域251の左画像については、左画像OB領域の信号レベルに相当するクランプレベル(OBL)を用いて左画像用パラメータ[DIFFL(new)]を決定し、有効画像領域251の右画像については、右画像OB領域の信号レベルに相当するクランプレベル(OBR)を用いて右画像用パラメータ[DIFFR(new)]を決定しており、結果的には左右領域間の黒レベルの段差は生じない。
DSP120は左右それぞれのOB部のレベルを読み込んでこれをそれぞれ平均化することで各チャンネルのOB部のレベルを算出するが、この値をそのまま用いると先述のとおり有効画素領域の画面中央の領域境界におけるレベルとOB部から読み込んだ黒レベルとは差が生じるので、先に計算したDIFFL(new)、DIFFR(new)を読み込んでこれを各チャンネルのOB部のレベルと足し合わせることで、各補正対象ラインにおける正確な黒レベルを知ることができる。
左側のクランプレベルをOBL,右側のクランプレベルをOBR、決定される黒レベルをBLACKとすると、決定する黒レベルは、次式で表わされる。
BLACK=OBL+DIFFL(new)=OBR+DIFFR(new)
図10を参照して、DSP120の実行する画像補正処理の詳細について説明する。なお、図10を参照して説明する処理例は、本発明の処理例とは異なり、左右画像それぞれの画像領域に対して、個別のクランプレベルを利用した処理を実行する場合の例である。本発明に従った処理例、すなわち、左右画像それぞれの画像領域に対して1つのクランプレベルを利用した処理によって、左右バランス調整を行う処理については図12を参照して説明する。
図10には、
(1)DSP120の処理構成、
(2)DSPの入出力、処理過程の画像信号の推移、
を示している。
図10(1)は、左画像のデジタルデータを生成する信号処理部111から入力する左画像データに基づくDSP120の処理例を示している。DSP120は、左画像を入力した場合は、左画像補正パラメータ501を入力して補正を行う。左画像補正パラメータ501は、前述したように、
左画像修正差分[DIFFL(new)]、すなわち、
(L1)DIFFL(new)=[DIFFL]+[CORR_LEFT]、
と、
(L2)左画像のクランプレベル(OBL)
これらの両者の加算値[OBL+DIFFL(new)]である。
図10(1)に示すように、DSP120は、減算部521、ゲイン調整部522、加算523を有する。図10(1)に示す(S1)〜(S4)の各信号経路に対応する画像信号を図10(2)に示している。すなわち、
(S1)信号処理部111からの出力(DSP120に対する入力)
(S2)減算部521の出力
(S3)ゲイン調整部522の出力
(S4)加算部523の出力(DSP120の出力)
これらの各画像信号を示している。図10(2)に示す信号は、ある1ライン(水平方向のライン)における画素位置と画素値(輝度レベル)の対応を示すグラフである。点線のラインは目標黒レベル(BLACK)であり、例えば信号処理部111が14ビットの画素データ(0〜16383)を出力する場合に輝度レベル[960]に設定される。
まず、
(S1)信号処理部111からの出力(DSP120に対する入力)
この信号は、図10(2)の(S1)に示すデータであり、様々な画素値を持つ画素が1つのライン上に存在する。
このデータがDSP120に入力されると、まず減算部521において、このデータから、OBL+DIFFL(new)=960=目標黒レベル(BLACK)以上のデータ部分を抽出して、左画像補正パラメータ501、すなわち、
[OBL+DIFFL(new)]
この画素値を減算する処理を行う。例えば、図9に示す例では、
OBL=910、
DIFFL=50、
であり、外部入力の補正量が0である場合、
OBL+DIFFL(new)=960=目標黒レベル(BLACK)
となる。
減算部521において、入力画像信号、すなわち図10(2)の信号(S1)から左画像補正パラメータ[OBL+DIFFL(new)=960]を減算すると、図10(2)の信号(S2)の信号が生成されて、この信号がゲイン調整部522に入力される。
信号(S2)は、低輝度部分(輝度レベル960(目標黒レベル)を含まない、輝度レベル960以上の画素値が(元の画素値−960)として残されたデータとなる。なお、輝度レベル960以下の画素値を持つ画素データは処理対象外データとしてそのまま保持しておく。
低輝度部分(輝度レベル960(目標黒レベル)を含まない、輝度レベル960以上の画素値が(元の画素値−960)として残されたデータ信号(S2)がゲイン調整部522に入力される。ゲイン調整部522では、入力信号(S2)のゲイン増幅、すなわち、入力された画素値の区間を引き伸ばすレベル伸張処理を行う。例えば、入力信号(S2)に含まれる画素値が0〜1000であった場合、これを0〜1500の区間に引き伸ばす処理を行う。
この結果、図10(2)の(S3)に示す信号が生成される。なお、本例では、輝度レベルのみを持つモノクロデータを例として説明しており、ゲイン調整部522は1つのゲイン調整レベルに基づくゲイン調整を行う構成としているが、例えばカラー画像の補正を行う場合は、R,G,B画素ごとに異なるゲインレベルを設定してゲイン調整を行なう構成とすることが好ましい。
ゲイン調整により、図10(2)の(S3)に示すように、(S2)に示す画素値レベルが大きくなった信号が生成される。このゲイン調整対象となるのは、元々黒レベル(960)以上の画素値を持つ画素のみとなる。
次に、信号(S3)は、加算部523に入力される。加算部523では、黒レベル(BLACK=960)以上の画素に対するゲイン調整のなされた信号に、黒レベル(BLACK=960)BLACKレベルを加算し、さらに、処理対象外データとしてそのまま保持されていた元々輝度レベル960以下の画素値を持つ画素データを追加して信号(S4)を生成して、これを出力データとする。
なお、図10に示す例は、左画像に対する処理として説明したが、右画像についても同様の処理が実行される。ただし、右画像に対する処理に際しては、右画像補正パラメータ、すなわち、
OBR+DIFFR(new)
を入力して処理が行われる。
また、上記処理例では、修正差分値「DIFFL(new)」を利用した処理例を説明したが、補正量を含まない差分値[DIFFL]を利用した処理として実行してもよい。
マニュアル(MANUAL)制御を選択した場合については、左画像に対しては
目標黒レベル(BLACK)=ユーザ左黒レベル指定値
右画像に対しては
目標黒レベル(BLACK)=ユーザ右黒レベル指定値
として処理される。
以上、2つのチャンネルに対応する左右の画像領域のバランス調整を行わず、各チャンネル対応のオプティカルブラック(OB)領域データのクランプレベルを検出し、左画像については、左側のオプティカルブラック(OB)領域データのクランプレベルを適用し、右画像については、右側のオプティカルブラック(OB)領域データのクランプレベルを適用して調整を行う処理例について説明した。これらは自動(AUTO)制御を選択した場合についての処理である。マニュアル(MANUAL)制御を選択した場合については、左右画像のそれぞれのBLACKを制御部(MPU)150から直接指定すれば、上記の動作と全く同じ原理で黒レベル調節が行われる。
しかし、このように左右画像それぞれの画像領域に対して、個別のクランプレベルを利用した制御を行うと、左右画像それぞれについて個別の黒レベル調整が行われ、左右画像の特性差に起因するレベル差が残存してしまう場合がある。例えば図11(a)は左右バランス調整を行っていない場合の画素レベル分布を示し、図11(b)は左右バランス調整を行った場合の画素レベル分布を示している。
図11(a)は左右バランス調整を行っていない場合の画素レベル分布は、左チャンネルに対応する左画像の画素レベル(輝度)が右チャンネルに対応する右画像の画素レベル(輝度)よりも全体的に大きくなっている。
一方、図11(b)は左右バランス調整を行った場合の画素レベル分布を示している。この場合の画素レベル分布は、左チャンネルに対応する左画像の画素レベル(輝度)と右チャンネルに対応する右画像の画素レベル(輝度)は一致しており、左右の画素レベル調整が均一化されている。
左右バランス調整を実現する方法としては、右チャンネルに対応する右画像の画素レベル(輝度)と同じになるように左チャンネルに対応する左画像の全体の画素レベル(輝度)を増減するといった、DSP120による信号処理を行う方法が考えられる。
このような均一化を行う場合のDSP120の信号処理例について以下説明する。
2つのチャンネルに対応する左右の画像領域のバランス調整を行う場合、前述したように、以下の2つの制御態様のいずれかを選択して実行することができる。
(1)自動(AUTO)制御:オプティカルブラック(OB)領域データのクランプレベルを検出し、検出したクランプレベルを適用して各チャンネルに対応する画素領域の信号処理を行う。
(2)マニュアル(MANUAL)制御:ユーザが直接黒レベルを指定して指定情報に従って各チャンネルに対応する画素領域の信号処理を行う。
上記(1)自動(AUTO)制御と、(2)マニュアル(MANUAL)制御とが選択的に実行可能である。
図12を参照して、2つのチャンネルに対応する左右の画像領域のバランス調整を行う場合にDSP120の実行する画像補正処理の詳細について説明する。図12には、先に説明した図10と同様、
(1)DSP120の処理構成、
(2)DSPの入出力、処理過程の画像信号の推移、
を示している。
先に図10を参照して説明した処理では、左画像データに対するDSP120の処理においては、左画像に対応する左画像補正パラメータ、すなわち左側のオプティカルブラック(OB)領域から得られたデータ、
(L1)DIFFL(new)=[DIFFL]+[CORR_LEFT]、
と、
(L2)左画像のクランプレベル(OBL)
これらの両者の加算値[OBL+DIFFL(new)]を入力して補正処理を実行し、
右画像データに対するDSP120の処理においては、右画像に対応する左画像補正パラメータ、すなわち右側のオプティカルブラック(OB)領域から得られたデータ、
(R1)DIFFR(new)=[DIFFR]+[CORR_RIGHT]、
と、
(R2)右画像のクランプレベル(OBR)
これらの両者の加算値[OBR+DIFFR(new)]を入力して補正処理を実行していた。
これに対して、図12に示す2つのチャンネルに対応する左右の画像領域のバランス調整を行う場合には、DSP120は、自動(AUTO)制御を選択した場合については、左画像および右画像、いずれの処理に際しても1つの補正用パラメータ601を入力して補正を行う。
マニュアル(MANUAL)制御を選択した場合については、左右の画像領域のバランス調整を行っていたとしても、ユーザが直接黒レベルを指定して指定情報に従って各チャンネルに対応する画素領域の信号処理を行う。
例えば、
(1)自動(AUTO)制御の場合は、
左側のオプティカルブラック(OB)領域から得られたデータ、
(L1)DIFFL(new)=[DIFFL]+[CORR_LEFT]と、
(L2)左画像のクランプレベル(OBL)
これらの両者の加算値[OBL+DIFFL(new)]を黒レベル、すなわち、
BLACK=[OBL+DIFFL(new)]
として、これを唯一の補正パラメータ601として、左画像および右画像の両画像に対する補正を実行する。
または、右側のオプティカルブラック(OB)領域から得られたデータ、
(R1)DIFFR(new)=[DIFFR]+[CORR_RIGHT]と、
(R2)右画像のクランプレベル(OBR)
これらの両者の加算値[OBR+DIFFR(new)]を黒レベル、すなわち、
BLACK=[OBR+DIFFR(new)]
として、これを唯一の補正パラメータ601として、左画像および右画像の両画像に対する補正を実行する。
なお、DIFFL(new)、DIFFR(new)については、左画像用補正量[CORR_LEFT]や、右画像用補正量[CORR_RIGHT]を含まない差分[DIFFL]や[DIFFR]を利用してもよい。
このように、(1)自動(AUTO)制御の場合は、左右いずれか一方のオプティカルブラック(OB)領域から得られたクランプレベルを適用して算出される黒レベル、すなわち、
BLACK=[OBL+DIFFL(new)]、または、
BLACK=[OBR+DIFFR(new)]、
これらのいずれかを唯一の補正パラメータ601として、左画像および右画像に対する補正を実行する。
一方、(2)マニュアル(MANUAL)制御の場合、すなわち、ユーザが直接黒レベルを指定して指定情報に従って各チャンネルに対応する画素領域の信号処理を行う場合には、図5を参照して説明したUIを介してユーザが入力した値を用いて、左画像および右画像に対する補正を実行する。すなわち、
左画像の場合は、BLACK=左黒レベル指定値
右画像の場合は、BLACK=右黒レベル指定値
これらの補正パラメータを算出してDSP120に入力して、この補正パラメータを目標黒レベルとした補正を行う。
2つのチャンネルに対応する左右の画像領域のバランス調整を行う場合、このように、DSP120に対する入力補正パラメータが変更される。その後のDSP120の処理は、図10を参照して説明したと同様の処理となる。
すなわち、本処理例では、DSP120に入力する補正パラメータ601が図10の処理例とは異なるが、その後の処理は図10を参照して説明した処理と同様の処理となる。以下、DSP120の処理について説明する。
図12(1)に示すように、DSP120は、減算部521、ゲイン調整部522、加算523を有する。図12(1)に示す(S1)〜(S4)の各信号経路に対応する画像信号を図12(2)に示している。すなわち、
(S1)信号処理部111からの出力(DSP120に対する入力)
(S2)減算部521の出力
(S3)ゲイン調整部522の出力
(S4)加算部523の出力(DSP120の出力)
これらの各画像信号を示している。図12(2)に示す信号は、ある1ライン(水平方向のライン)における画素位置と画素値(輝度レベル)の対応を示すグラフである。点線のラインは目標黒レベル(BLACK)であり、例えば信号処理部111が14ビットの画素データ(0〜16383)を出力する場合に輝度レベル[960]に設定される。
まず、
(S1)信号処理部111からの出力(DSP120に対する入力)
この信号は、図12(2)の(S1)に示すデータであり、様々な画素値を持つ画素が1つのライン上に存在する。
このデータがDSP120に入力されると、まず減算部521において、このデータから、目標黒レベル(BLACK)以上のデータ部分を抽出して、DSP120に入力される補正パラメータ601を減算する処理が行われる。
例えば、目標黒レベル(BLACK)=960とした場合、
目標黒レベル(BLACK)=960以上のデータ部分を抽出して、補正パラメータ601、すなわち、
(a)BLACK=[OBL+DIFFL(new)]、または、
(b)BLACK=[OBR+DIFFR(new)]、または、
(c)BLACK=ユーザ指定値
これら(a)〜(c)のいずれかの画素値を減算する処理を行う。
例えば、
(a)BLACK=[OBL+DIFFL(new)]を補正パラメータ601として入力した場合、図9に示す例では、
OBL=910、
DIFFL=50、
であり、外部入力の補正量が0である場合、
OBL+DIFFL(new)=960=目標黒レベル(BLACK)
となる。
減算部521において、入力画像信号、すなわち図12(2)の信号(S1)から像補正パラメータ[例えばBLACK=960]を減算すると、図12(2)の信号(S2)の信号が生成されて、この信号がゲイン調整部522に入力される。
信号(S2)は、低輝度部分(輝度レベル960(目標黒レベル)を含まない、輝度レベル960以上の画素値が(元の画素値−960)として残されたデータとなる。なお、輝度レベル960以下の画素値を持つ画素データは処理対象外データとしてそのまま保持しておく。
低輝度部分(輝度レベル960(目標黒レベル)を含まない、輝度レベル960以上の画素値が(元の画素値−960)として残されたデータ信号(S2)がゲイン調整部522に入力される。ゲイン調整部522では、入力信号(S2)のゲイン増幅、すなわち、入力された画素値の区間を引き伸ばすレベル伸張処理を行う。例えば、入力信号(S2)に含まれる画素値が0〜1000であった場合、これを0〜1500の区間に引き伸ばす処理を行う。
この結果、図12(2)の(S3)に示す信号が生成される。なお、本例では、輝度レベルのみを持つモノクロデータを例として説明しており、ゲイン調整部522は1つのゲイン調整レベルに基づくゲイン調整を行う構成としているが、例えばカラー画像の補正を行う場合は、R,G,B画素ごとに異なるゲインレベルを設定してゲイン調整を行なう構成とすることが好ましい。
ゲイン調整により、図12(2)の(S3)に示すように、(S2)に示す画素値レベルが大きくなった信号が生成される。このゲイン調整対象となるのは、元々黒レベル(960)以上の画素値を持つ画素のみとなる。
次に、信号(S3)は、加算部523に入力される。加算部523では、黒レベル(BLACK=960)以上の画素に対するゲイン調整のなされた信号に、黒レベル(BLACK=960)BLACKレベルを加算し、さらに、処理対象外データとしてそのまま保持されていた元々輝度レベル960以下の画素値を持つ画素データを追加して信号(S4)を生成して、これを出力データとする。
DSP120では左画像に対する処理と右画像に対する処理を行う際、自動(AUTO)制御の場合は、利用する補正パラメータ601として同じデータを利用する。すなわち、
(a)BLACK=[OBL+DIFFL(new)]、または、
(b)BLACK=[OBR+DIFFR(new)]、
これら(a)〜(b)のいずれか1つを左右画像両者に対する統一した補正パラメータ601として利用する。この処理によって、図11(b)に示すように、左右バランス調整を行った場合の画素レベル分布が得られる。すなわち、左チャンネルに対応する左画像の画素レベル(輝度)と右チャンネルに対応する右画像の画素レベル(輝度)は一致しており、左右の画素レベル調整が均一化された画像が得られる。
マニュアル(MANUAL)制御を選択した場合については、ユーザが直接黒レベルを指定して、指定情報に従って各チャンネルに対応する画素領域の信号処理を行う。すなわち、
(c)左画像に対しては、BLACK=左画像に対する黒レベル指定値
(d)右画像に対しては、BLACK=右画像に対する黒レベル指定値
これら(c)〜(d)を左右それぞれの画像に対する補正パラメータ601として利用する。
図12を参照して説明した2つのチャンネルに対応する左右の画像領域のバランス調整を行う場合のDSP120の実行する画像補正処理のシーケンスについて、図13に示すフローを参照して説明する。図13に示すフローは、制御部(MPU)150とDSP120の処理によって行われる。
まず、ステップS101において、DSP120に対して入力する補正パラメータを決定する。すなわち、
(a)BLACK=[OBL+DIFFL(new)]、または、
(b)BLACK=[OBR+DIFFR(new)]、または、
(c)BLACK=ユーザ指定値
これら(a)〜(c)のいずれを入力するかを決定する。これは、先に図5を参照して説明しUIを介するユーザの入力に基づいて決定される。なお、自動(AUTO)制御を指定された場合、
(a)BLACK=[OBL+DIFFL(new)]、または、
(b)BLACK=[OBR+DIFFR(new)]、または、
上記(a),(b)のいずれを適用するかは予め決定しておく。図13に示すフローでは、クランプレベルを利用した処理を指定された場合、
(a)BLACK=[OBR+DIFFR(new)]、
を利用する設定とした処理である。
クランプレベルを利用した処理を行う場合は、ステップS102に進み、補正パラメータとしての目標黒レベル[BLACK]を、
BLACK=OBR+DIFFR(new)
としてこの補正パラメータを入力する。
一方、マニュアル(MANUAL)制御を行う場合は、ステップS103に進み、
(c)左画像に対しては、BLACK=左画像に対する黒レベル指定値
(d)右画像に対しては、BLACK=右画像に対する黒レベル指定値
上記(c)〜(d)を左右それぞれの画像に対する補正パラメータとして入力する。
ステップS104〜S108の処理はDSP120において実行する画像補正処理であり、先に図12を参照して説明した処理に対応する。まず、ステップS104において、入力画像データから目標黒レベル[BLACK]以上の画素値を持つ画素を選択し、その画素に対してステップS105〜S107の処理を行う。
ステップS105の処理は、図12に示すDSP120の減算部521の処理であり、目標黒レベル[BLACK]以上の画素値を持つ画素データから、目標黒レベル[BLACK]、すなわち、
BLACK=OBR+DIFFR(new)、または、
BLACK=左画像に対する黒レベル指定値、または、
BLACK=右画像に対する黒レベル指定値
これらのいずれかを減算する。すなわち図12(2)の信号(S1)から図12(2)の信号(S2)を生成する。
次にステップS106ではゲイン調整を行う。この処理は、図12に示すDSP120のゲイン調整部522の処理であり、入力信号(図12(2)の(S2))のゲイン増幅、すなわちレベル伸張処理を行う。この結果、図12(2)の(S3)に示す信号が生成される。
次にステップS107では加算処理を行う。この処理は、図12に示すDSP120の加算部523の処理であり、加算部523では、黒レベル(例えばBLACK=960)以上の画素に対するゲイン調整のなされた信号に、黒レベル(例えばBLACK=960)BLACKレベルを加算する。
一方、ステップS104において、処理対象外データとしてそのまま保持されていた元々輝度レベル960以下の画素値を持つ画素データは、ステップS108でそのままの画素値のまま追加して出力信号とされる。この結果、図12(2)の(S4)に示す信号が出力データとされる。
なお、上述した処理シーケンスでは、画像補正パラメータとして、修正差分値「DIFFL(new)」または「DIFFR(new)」を利用した処理例を説明したが、補正量を含まない差分値[DIFFL]や[DIFFR]を利用した処理として実行してもよい。
また、図13に示すフローは、処理対象となる画像の各ラインごとに繰り返し実行され、
(a)自動(AUTO)制御、または、
(b)マニュアル(MANUAL)制御、
これらのいずれかを選択して利用することが可能である。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の一実施例の構成によれば、撮像素子の分割領域各々に対応する出力信号を入力して補正処理を実行する構成において、デジタル信号処理部(DSP)が、分割領域各々に対する画像補正処理に際して、目標黒レベルに相当する分割領域共通の補正パラメータを入力し、入力補正パラメータを各分割領域共通の目標黒レベルとして設定した画像補正を実行する。具体的には、撮像素子内に構成されたオプティカルブラック領域の出力に基づいて得られるクランプレベルを適用した自動制御を行う場合において、各分割領域に共通する目標黒レベルを設定した画像補正を実行して画像全体に渡ってバランスのとれた黒レベル制御を実現する。
1チャンネル出力型のCCDおよび信号処理構成について説明する図である。 2チャンネル出力型のCCDおよび信号処理構成について説明する図である。 撮像素子の構成について説明する図である。 本発明の一実施例に係る撮像装置、画像信号処理回路の構成例について説明する図である。 本発明の一実施例に係る撮像装置の入力部に表示する設定画面(UI)の例について説明する図である。 撮像素子の詳細構成について説明する図である。 撮像素子の領域構成について説明する図である。 オプティカルブラック(OB)量位基のデータ読み込み処理について説明する図である。 撮像装置、画像信号処理回路における処理の一例について説明する図である。 撮像装置、画像信号処理回路におけるDSPの画像補正処理の一例について説明する図である。 画像信号処理回路における画像補正処理結果の比較例について説明する図である。 撮像装置、画像信号処理回路におけるDSPの画像補正処理の一例について説明する図である。 撮像装置、画像信号処理回路における画像補正処理シーケンスの一例について説明するフローチャートを示す図である。
符号の説明
10 CCD
11 垂直レジスタ
12 水平レジスタ
13 出力アンプ
21 信号処理部
22 DSP
30 出力画像
50 CCD
51 垂直レジスタ
52,53 水平レジスタ
54,55 出力アンプ
61,62 信号処理部
63 DSP
70 出力画像
100 CCD
101 垂直レジスタ素
102,103 水平レジスタ
104,105 出力アンプ
111,112 信号処理部
120 DSP
150 制御部(MPU)
152 メモリ
153 入力部
181,182 選択欄
183 レベル入力領域
200 フォトディテクタ(PD)
250 撮像素子
251 画像境界
261 左画像領域
262 右画像領域
271 左画像OB領域
272 右画像OB領域
301 目標黒レベル
311 左画像クランプレベル
312 右画像クランプレベル
521 減算部
522 ゲイン調整部
523 加算部
601 補正パラメータ

Claims (10)

  1. 撮像素子の分割領域各々に対応する信号を出力する複数チャンネル出力型の撮像部と、
    前記撮像素子の複数チャンネルの出力信号を個別に入力して画素値対応のデジタルデータを生成する複数の信号処理部と、
    前記複数の信号処理部の生成する画素値データを入力して画像補正処理を実行するデジタル信号処理部を有し、
    前記デジタル信号処理部は、
    前記分割領域各々に対する画像補正処理に際して、目標黒レベルに相当する分割領域共通の補正パラメータを入力して、該入力補正パラメータを各分割領域共通の目標黒レベルとして設定した画像補正を実行する構成を有することを特徴とする撮像装置。
  2. 前記撮像装置は、
    黒レベルの制御態様の設定情報を入力する入力部を有し、
    前記入力部は、
    (a)前記撮像素子内に構成されたオプティカルブラック領域の出力に基づいて得られるクランプレベルを適用して黒レベルを制御する自動制御、
    (b)ユーザの入力するユーザ指定データに基づいて黒レベルを制御するマニュアル制御、
    上記の各制御態様を選択指定可能な構成を有し、
    前記デジタル信号処理部は、
    前記入力部を介して入力される制御態様設定情報に応じて、前記クランプレベルを適用して算出したデータ、または、前記ユーザ指定データのいずれかを前記補正パラメータとして入力して画像補正を実行する構成であることを特徴とする請求項1に記載の撮像装置。
  3. 前記デジタル信号処理部は、
    前記クランプレベルを適用して算出したデータを前記補正パラメータとして入力して画像補正を実行する場合、
    前記撮像素子の分割領域各々に対応して設定された複数のオプティカルブラック領域から選択された1つのオプティカルブラック領域の出力から得られるクランプレベルを適用して算出された補正パラメータを入力して処理を行う構成であることを特徴とする請求項2に記載の撮像装置。
  4. 前記デジタル信号処理部は、
    前記クランプレベルを適用して算出したデータを前記補正パラメータとして入力して画像補正を実行する場合、
    (a)1つのオプティカルブラック領域の出力から得られるクランプレベル、
    (b)前記クランプレベルと目標黒レベルとの差分値、
    上記(a)と(b)の各値の加算値を補正パラメータとして入力し、該補正パラメータに基づいて決定される黒レベルを基準とした画像補正を実行する構成であることを特徴とする請求項2に記載の撮像装置。
  5. 前記デジタル信号処理部は、
    前記マニュアル制御を行う場合、
    前記撮像素子の分割領域各々に対応する個別のユーザ指定データを入力し、分割領域各々に対応する個別のユーザ指定データに基づいて決定される黒レベルを基準として各分割領域各々に対する画像補正を実行する構成であることを特徴とする請求項2に記載の撮像装置。
  6. 前記デジタル信号処理部は、
    入力画像データの構成画素中、目標黒レベル以上の画素値を有する画素のみを選択してゲイン制御により入力画素値の区間を引き伸ばすレベル伸張処理を行うゲイン制御部を有し、
    目標黒レベル以上の画素値を持つ画素についての前記ゲイン制御の結果データと、入力画像データの構成画素中、目標黒レベル未満の画素値は、その画素値を維持して出力する構成であることを特徴とする請求項1に記載の撮像装置。
  7. 前記撮像部は、
    左画像と右画像に2分割された撮像素子を有し、左画像と右画像各々に対応する複数の出力信号を出力する構成であり、
    前記デジタル信号処理部は、
    前記分割領域各々に対する画像補正処理に際して、各分割領域に共通する補正パラメータを入力して画像補正を行う構成であることを特徴とする請求項1に記載の撮像装置。
  8. 撮像素子の分割領域各々に対応する信号を個別に入力して画素値対応のデジタルデータを生成する複数の信号処理部と、
    前記複数の信号処理部の生成する画素値データを入力して画像補正処理を実行するデジタル信号処理部を有し、
    前記デジタル信号処理部は、
    前記複数の信号処理部の生成する画素値データを入力して画像補正処理を実行するデジタル信号処理部を有し、
    前記デジタル信号処理部は、
    前記分割領域各々に対する画像補正処理に際して、目標黒レベルに相当する分割領域共通の補正パラメータを入力して、該入力補正パラメータを各分割領域共通の目標黒レベルとして設定した画像補正を実行する構成であることを特徴とする画像信号処理回路。
  9. 画像処理装置において実行する画像信号処理方法であり、
    複数の信号処理部が、撮像素子の分割領域各々に対応する信号を個別に入力して画素値対応のデジタルデータを生成する信号処理ステップと、
    デジタル信号処理部が、前記複数の信号処理部の生成する画素値データを入力して画像補正処理を実行するデジタル信号処理ステップを有し、
    前記デジタル信号処理ステップは、
    前記分割領域各々に対する画像補正処理に際して、目標黒レベルに相当する分割領域共通の補正パラメータを入力して、該入力補正パラメータを各分割領域共通の目標黒レベルとして設定した画像補正を実行するステップであることを特徴とする画像信号処理方法。
  10. 画像処理装置において画像信号処理を実行させるコンピュータ・プログラムであり、
    複数の信号処理部に、撮像素子の分割領域各々に対応する信号を個別に入力して画素値対応のデジタルデータを生成させる信号処理ステップと、
    デジタル信号処理部に、前記複数の信号処理部の生成する画素値データを入力して画像補正処理を実行させるデジタル信号処理ステップを有し、
    前記デジタル信号処理ステップは、
    前記分割領域各々に対する画像補正処理に際して、目標黒レベルに相当する分割領域共通の補正パラメータを入力して、該入力補正パラメータを各分割領域共通の目標黒レベルとして設定した画像補正を実行させるステップであることを特徴とするコンピュータ・プログラム。
JP2007261780A 2007-10-05 2007-10-05 撮像装置、画像信号処理回路、および画像信号処理方法、並びにコンピュータ・プログラム Pending JP2009094675A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007261780A JP2009094675A (ja) 2007-10-05 2007-10-05 撮像装置、画像信号処理回路、および画像信号処理方法、並びにコンピュータ・プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007261780A JP2009094675A (ja) 2007-10-05 2007-10-05 撮像装置、画像信号処理回路、および画像信号処理方法、並びにコンピュータ・プログラム

Publications (1)

Publication Number Publication Date
JP2009094675A true JP2009094675A (ja) 2009-04-30

Family

ID=40666217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007261780A Pending JP2009094675A (ja) 2007-10-05 2007-10-05 撮像装置、画像信号処理回路、および画像信号処理方法、並びにコンピュータ・プログラム

Country Status (1)

Country Link
JP (1) JP2009094675A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9565378B2 (en) 2013-09-09 2017-02-07 Olympus Corporation Imaging device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01114173A (ja) * 1987-10-27 1989-05-02 Sony Corp 固体撮像装置の出力回路
JP2000184272A (ja) * 1998-12-17 2000-06-30 Konica Corp デジタルスチルカメラ
JP2002300477A (ja) * 2001-03-29 2002-10-11 Canon Inc 信号処理装置及び信号処理方法並びに撮像装置
JP2006101498A (ja) * 2004-09-02 2006-04-13 Ricoh Co Ltd 画像読取装置
JP2006217471A (ja) * 2005-02-07 2006-08-17 Sanyo Electric Co Ltd 電子カメラ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01114173A (ja) * 1987-10-27 1989-05-02 Sony Corp 固体撮像装置の出力回路
JP2000184272A (ja) * 1998-12-17 2000-06-30 Konica Corp デジタルスチルカメラ
JP2002300477A (ja) * 2001-03-29 2002-10-11 Canon Inc 信号処理装置及び信号処理方法並びに撮像装置
JP2006101498A (ja) * 2004-09-02 2006-04-13 Ricoh Co Ltd 画像読取装置
JP2006217471A (ja) * 2005-02-07 2006-08-17 Sanyo Electric Co Ltd 電子カメラ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9565378B2 (en) 2013-09-09 2017-02-07 Olympus Corporation Imaging device

Similar Documents

Publication Publication Date Title
JP4434250B2 (ja) 画像信号処理回路、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
US8798395B2 (en) Image processing apparatus, image processing method, and program
JP5852324B2 (ja) 撮像装置及びその制御方法、プログラム
JP4768448B2 (ja) 撮像装置
US20090284618A1 (en) Image processing device and method, and computer-readable recording medium containing program
JP4192985B2 (ja) 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
CN101753843A (zh) 摄像设备及其控制方法
JP4656115B2 (ja) 撮像装置、画像信号処理回路、および画像信号処理方法、並びにコンピュータ・プログラム
US10630924B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium
JP5091550B2 (ja) ホワイトバランス調整装置およびホワイトバランス調整方法
JP2010118876A (ja) 撮像装置及びその制御方法
JP4784161B2 (ja) 撮像装置
JP2020115604A (ja) 撮像装置およびその制御方法
JP4581633B2 (ja) 色信号補正方法、装置及びプログラム
JP2009094675A (ja) 撮像装置、画像信号処理回路、および画像信号処理方法、並びにコンピュータ・プログラム
JP2006074172A (ja) 画像信号処理回路、カメラ、及び画像信号処理方法
JP5950552B2 (ja) 撮像装置、及び撮像装置の制御方法
JP6090565B2 (ja) 撮像装置、撮像方法及びプログラム
JP2011009834A (ja) 撮像装置及び撮像方法
JP2007243637A (ja) 固体撮像装置および撮像方法
JP5445053B2 (ja) 撮像装置及び画像補正プログラム
JP2008219117A (ja) 画像処理装置および画像処理方法
JP6837652B2 (ja) 撮像装置及び信号処理方法
JP2010251855A (ja) 撮像装置
JP2015154200A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120710