JP2004048616A - センサモジュール - Google Patents
センサモジュール Download PDFInfo
- Publication number
- JP2004048616A JP2004048616A JP2002206413A JP2002206413A JP2004048616A JP 2004048616 A JP2004048616 A JP 2004048616A JP 2002206413 A JP2002206413 A JP 2002206413A JP 2002206413 A JP2002206413 A JP 2002206413A JP 2004048616 A JP2004048616 A JP 2004048616A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sensor module
- detection unit
- cmos sensor
- effective screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】高輝度の点滅照明下におけるCMOSセンサによる撮像に対して、フリッカをキャンセルすることができるセンサモジュールを提供する。
【解決手段】CMOSセンサカメラに適用されるセンサモジュールであって、有効画面部、輝度検出部、黒レベル検出部などを備えたCMOSセンサ1と、このCMOSセンサ1の検出結果に基づいて次画面の各ラインの露光量を予測し、この予測結果に基づいて次画面の各ラインの増幅係数を計算し、この計算結果に基づいてCMOSセンサ1からの次画面の各ラインの信号を増幅してフリッカをキャンセルする機能などを備えた信号処理回路2などからなり、これらのCMOSセンサ1、信号処理回路2、レンズが一体化されて構成される。
【選択図】 図1
【解決手段】CMOSセンサカメラに適用されるセンサモジュールであって、有効画面部、輝度検出部、黒レベル検出部などを備えたCMOSセンサ1と、このCMOSセンサ1の検出結果に基づいて次画面の各ラインの露光量を予測し、この予測結果に基づいて次画面の各ラインの増幅係数を計算し、この計算結果に基づいてCMOSセンサ1からの次画面の各ラインの信号を増幅してフリッカをキャンセルする機能などを備えた信号処理回路2などからなり、これらのCMOSセンサ1、信号処理回路2、レンズが一体化されて構成される。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、センサモジュールに関し、特にCMOSセンサを有するセンサモジュールに適用して有効な技術に関する。
【0002】
【従来の技術】
本発明者が検討したところによれば、センサモジュールに関しては、以下のような技術が考えられる。
【0003】
たとえば、センサモジュールを用いたカメラシステムにおいて、蛍光灯を照明に用いている室内における撮像では、蛍光灯の点滅により発生するフリッカをいかに取り除くかが常に問題となる。従来のCCD撮像素子を用いたカメラシステムでは、1枚のフレーム単位でシャッタを同タイミング、同期間で切るのに対し、CMOSセンサを用いたカメラシステムでは、各素子のシャッタ開き期間は同じものの、シャッタタイミングはライン毎に違う、いわゆるスクロールシャッタ方式を採っている。
【0004】
【発明が解決しようとする課題】
ところで、前記のようなセンサモジュールについて、本発明者が検討した結果、以下のようなことが明らかとなった。
【0005】
たとえば、前記のCCD撮像素子を用いたカメラシステムと、前記のCMOSセンサを用いたカメラシステムにおいて、CCD撮像素子とCMOSセンサではフリッカの発生の仕方が異なってくるため、CMOSセンサのフリッカキャンセル方法を、CCD撮像素子を用いたカメラシステムで実施されている方法と全く異なった方法で実施する必要がある。
【0006】
前記のようなCMOSセンサを用いたカメラシステムにおいて、スクロールシャッタ方式を用いた撮像素子は、たとえば図17に一例を示す通り、露光時間を蛍光灯の点滅する周期の整数倍に設定することにより、各ラインの露光量を等しくすることができる。これにより、フリッカをキャンセルすることができる。
【0007】
しかしながら、照度が高い場合は、露光時間を照明点滅の1周期より短くしなければならず、この場合はフリッカをキャンセルすることができない。
【0008】
そこで、本発明の目的は、高輝度の点滅照明下におけるCMOSセンサによる撮像に対して、フリッカをキャンセルすることができるセンサモジュールを提供することにある。
【0009】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【0010】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
【0011】
本発明は、CMOSセンサと信号処理回路とが一体化されているセンサモジュールに適用され、対象物を撮像する有効画面部と、この有効画面部の各ラインの露光量を検出する輝度検出部とを備えたCMOSセンサと、輝度検出部の検出結果に基づいて次画面の各ラインの露光量を予測し、この予測結果に基づいて次画面の各ラインの増幅係数を計算し、この計算結果に基づいて有効画面部からの次画面の各ラインの信号を増幅してフリッカをキャンセルする信号処理回路とを有するものである。さらに、CMOSセンサは、信号の基準レベルを設定する黒レベル検出部を有するものである。
【0012】
また、本発明のセンサモジュールにおいて、信号処理回路は、有効画面部の複数ライン数のうち、低周波の50または60Hzの半サイクル部の露光量を検出するライン数で予測して、有効画面部の複数ラインのフリッカをキャンセルするようにしたものである。
【0013】
また、本発明のセンサモジュールにおいては、輝度検出部が、有効画面部と異なる領域、あるいは同じ領域に設けられ、さらに黒レベル検出部と同じ領域、あるいは異なる領域に設けられるものである。また、輝度検出部は、有効画面部の所定ライン数分の領域で設けられ、有効画面部の所定ライン数分毎に露光量の検出処理を繰り返すようにしたり、あるいは有効画面部の全ライン数分以上の領域で設けられ、有効画面部の各ライン毎に平均化して露光量を求めるようにしたものである。
【0014】
よって、本発明のセンサモジュールによれば、特にスクロールシャッタ方式のCMOSセンサにおける各ラインの明るさを補正することができる。これにより、高輝度の点滅照明のフリッカをキャンセルすることができる。この結果、明るい室内においても、フリッカがキャンセルされた画像を撮像することが可能となる。
【0015】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一機能を有する部材には同一の符号を付し、その繰り返しの説明は省略する。
【0016】
(実施の形態1)
まず、図1により、本発明の実施の形態1のセンサモジュールの構成の一例を説明する。併せて、図2により、CMOSセンサにおける各ラインの露光量の補正方法を説明する。図1は本実施の形態のセンサモジュールの構成図、図2はCMOSセンサにおける各ラインの露光量の補正方法の説明図をそれぞれ示す。
【0017】
本実施の形態のセンサモジュールは、たとえばCMOSセンサカメラに適用され、有効画面部、輝度検出部、黒レベル検出部などを備えたCMOSセンサ1と、このCMOSセンサ1の検出結果に基づいて次画面の各ラインの露光量を予測し、この予測結果に基づいて次画面の各ラインの増幅係数を計算し、この計算結果に基づいてCMOSセンサ1からの次画面の各ラインの信号を増幅してフリッカをキャンセルする機能などを備えた信号処理回路2などからなり、これらのCMOSセンサ1、信号処理回路2などは図示しないレンズとともに一体化されて構成される。
【0018】
CMOSセンサ1は、たとえばスクロールシャッタ方式のセンサからなり、MOSトランジスタがアレイ状に配置されて構成される。詳細は後述するが、このCMOSセンサ1には、MOSトランジスタがアレイ状に配置された複数の画素からなる、有効画面部、輝度検出部、黒レベル検出部などが設けられている。また、CMOSセンサ1の受光面には、対象物の撮影像を結像させるレンズが設けられている。
【0019】
信号処理回路2は、たとえばCMOSセンサ1の輝度検出部により検出された有効画面部の各ラインの露光量(照度)を保持する各ライン照度保持回路11と、この各ライン照度保持回路11で保持された露光量に基づいて次画面の各ラインの増幅係数を演算する増幅係数演算回路12と、この増幅係数演算回路12で演算された増幅係数に基づいてCMOSセンサ1の有効画面部からの次画面の各ラインの信号を増幅して出力する信号増幅回路13などから構成される。
【0020】
増幅係数演算回路12には、各ライン照度保持回路11で保持された露光量に基づいて次画面の各ラインの露光量を予測する次画面各ライン露光量予測回路14と、この次画面各ライン露光量予測回路14で予測された予測値に基づいて次画面の各ラインの増幅係数を計算する各ライン増幅係数計算回路15と、1画面当たりのライン数をカウントするラインカウンタ16などが設けられている。
【0021】
以上のように構成されるセンサモジュールにおいて、CMOSセンサ1における各ラインの露光量の補正方法は、以下のようにして行われる。
【0022】
まず、CMOSセンサ1の輝度検出部により検出された有効画面部の各ラインの露光量を、信号処理回路2の各ライン照度保持回路11に保持する。この際に、CMOSセンサ1からのラインバリッド信号によりラインカウンタ16をカウントアップしていき、順に有効画面部の各ラインの露光量を各ライン照度保持回路11に保持する。この各ライン照度保持回路11に保持された現画面の各ラインの露光量分布は、たとえば図2に破線で示すような曲線となる。
【0023】
続いて、各ライン照度保持回路11で保持された露光量に基づいて、次画面の各ラインの増幅係数を増幅係数演算回路12で演算する。この際に、増幅係数演算回路12では、各ライン照度保持回路11で保持された露光量に基づいて次画面の各ラインの露光量を次画面各ライン露光量予測回路14で予測する。この次画面各ライン露光量予測回路14で予測された次画面の各ラインの露光量分布は、たとえば図2に破線で示した現画像の曲線の終点につながり、同じように破線で示すような曲線となる。
【0024】
さらに、次画面各ライン露光量予測回路14で予測された予測値に基づいて、次画面の各ラインの増幅係数を各ライン増幅係数計算回路15で計算し、この増幅係数を信号増幅回路13に供給する。この各ライン増幅係数計算回路15で計算された増幅係数は、たとえば図2に一点鎖線で示す各ラインの露光量分布までの距離に相当する値となる。すなわち、一点鎖線の曲線は、次画面の各ラインの露光量分布を予測した破線の曲線を反転した曲線となり、補正をするために必要な露光量分布を表す。
【0025】
そして、信号増幅回路13では、増幅係数演算回路12から供給された増幅係数に基づいて、次画面に対応するCMOSセンサ1の有効画面部からの各ラインの信号を増幅し、センサモジュールから出力信号として出力する。このセンサモジュールから出力される出力信号は、たとえば図2に実線で示す補正された露光量分布(各ラインで等しい露光量)における信号となる。これにより、次画面においては、照明に対応して各ラインの露光量を補正することで、高輝度の点滅照明下におけるフリッカをキャンセルすることができる。
【0026】
なお、このCMOSセンサ1における各ラインの露光量の補正においては、フレームレートを照明の点滅周期に合わせ、この点滅の1周期分の時間に相当する複数ライン数の信号増幅率を任意に設定する。あるいは、有効画面部の複数ライン数のうち、低周波の50または60Hzの半サイクル部の露光量を検出するライン数で予測して信号増幅率を決定する。
【0027】
次に、図3により、CMOSセンサの構成の一例を説明する。図3はCMOSセンサの構成図を示す。
【0028】
CMOSセンサ1は、センサアレイ21と、このセンサアレイ21の左側、右側および下側に配置された周辺回路22などから構成される。
【0029】
センサアレイ21には、対象物を撮像する有効画面部23と、この有効画面部23の各ラインの露光量を検出する輝度検出部24と、信号の基準レベルを設定する黒レベル検出部25などが備えられている。図3では、輝度検出部24は、有効画面部23と異なる領域に設けられ、かつ黒レベル検出部25と同じ領域に1箇所に集めて設けられている。
【0030】
周辺回路22には、センサアレイ21の有効画面部23、輝度検出部24、黒レベル検出部25などからの信号を受けて、この信号を増幅する増幅器26、この増幅した信号を変換するA/D変換器27、有効画面部23の各ラインに対応する輝度検出部24の検出画素のアドレス割り付けなどを行うためのタイミングジェネレータ28などが備えられている。
【0031】
このCMOSセンサ1においては、各有効ラインと同じ露光量を出力する場合に適用される。たとえば、VGAならば、30fps、10msecで144ライン分必要である(0.01×30×480=144本)。絵柄の影響を受けないようにするため、極力同じ位置に露光量の検出画素を固める。たとえば、露光量を検出する輝度検出部24の形を18×8または9×16の形にすることが望ましい。
【0032】
次に、図4により、CMOSセンサにおける輝度検出部の構成の一例を説明する。図4はCMOSセンサにおける輝度検出部の構成図を示す。
【0033】
CMOSセンサ1における輝度検出部24には、有効画面部23の各ラインに対応する露光量の検出画素が備えられ、最上段の左側から順にライン1、ライン2、・・・,ラインxに対応する画素が配置され、2段目には左側から順にラインx+1、ラインx+2、・・・,ライン2xに対応する画素が配置され、以下同様に、最下段には左側から順にライン(n−1)x+1、ライン(n−1)x+2、・・・,ラインnxに対応する画素が配置されている。
【0034】
次に、図5および図6により、CMOSセンサにおいて、露光時間、データ読み出しタイミング、データ出力タイミングの一例を説明する。図5は有効画面画素と露光量検出画素との露光時間の関係とデータ読み出しタイミングの説明図、図6はデータ出力タイミングの説明図をそれぞれ示す。
【0035】
図5に示すように、たとえばラインmに関しては、ラインmの先頭画素の露光時間、2番目の画素の露光時間、・・・、最後の画素の露光時間が順に取られ、続けて、このラインmの露光量を検出する検出画素の露光時間が取られる。この際に、データの読み出しは、ラインmの先頭画素の露光時間、2番目の画素の露光時間、・・・、最後の画素の露光時間、このラインmの露光量を検出する検出画素の露光時間の終了後に直ちに、データが読み出される。続く、ラインm+1に関しても同様に行われる。
【0036】
図6に示すように、CMOSセンサ1からのデータの出力は、データ有効表示信号(ラインバリッド信号)がHighの期間に行われ、ラインmの先頭画素、2番目の画素、・・・、最後の画素のデータが順に出力され、続けて、このラインmの露光量を検出する検出画素の輝度検出データが出力される。続く、ラインm+1に関しても同様に行われる。
【0037】
次に、図7により、CMOSセンサにおいて、黒レベル検出部による黒レベルの検出タイミングの一例を説明する。図7は黒レベル検出部による黒レベルの検出タイミングの説明図である。
【0038】
前記図3のように、輝度検出部24が黒レベル検出部25と同じ領域に設けられている場合には、輝度検出部24の領域で黒レベルの検出が停止される。たとえば、図7に示すように、ライン1〜ラインNの1フレームにおいて、ライン1〜ラインKの領域に輝度検出部24が配置されている場合には、このライン1、ライン2、・・・、ラインKの各ラインの画素データと輝度検出データを検出するタイミングは黒レベル検出停止領域となり、これに続くラインK+1、ラインK+2、・・・、ラインNの各ラインの画素データと輝度検出データを検出するタイミングで黒レベル検出部25によって黒レベルが検出される。
【0039】
従って、本実施の形態によれば、信号処理回路2に、各ライン照度保持回路11と、次画面各ライン露光量予測回路14および各ライン増幅係数計算回路15などからなる増幅係数演算回路12と、信号増幅回路13などを設けることにより、CMOSセンサ1の検出結果に基づいて、信号処理回路2において、次画面の各ラインの露光量を予測し、この予測結果に基づいて次画面の各ラインの増幅係数を計算し、この計算結果に基づいてCMOSセンサ1からの次画面の各ラインの信号を増幅することができるので、スクロールシャッタ方式のCMOSセンサ1の各ラインの明るさを補正することができる。これにより、高輝度の点滅照明のフリッカをキャンセルすることができる。この結果、明るい室内においても、フリッカがキャンセルされた画像を撮像することが可能となる。
【0040】
また、CMOSセンサ1において、有効画面部23の各ラインの露光量を検出する輝度検出部24を画面上の1箇所に集めることにより、撮像する対象物の絵柄の影響を極力抑えることが可能となる。
【0041】
(実施の形態2)
本実施の形態のセンサモジュールは、前記実施の形態1と同様に、たとえばCMOSセンサ、信号処理回路などがレンズとともに一体化されて構成され、前記実施の形態1との相違点は、CMOSセンサにおいて、輝度検出部が黒レベル検出部と異なる領域に設けられている点である。前記実施の形態1では、露光量検出部を黒レベル検出部の領域に置いたため、ラインKまでの黒レベル検出精度の劣化が懸念されるが、この対応策として本実施の形態が考えられる。
【0042】
すなわち、本実施の形態のCMOSセンサ1aは、たとえば図8に一例を示すように、対象物を撮像する有効画面部23、信号の基準レベルを設定する黒レベル検出部25が備えられたセンサアレイ21と、このセンサアレイ21の左側、右側および下側に配置された周辺回路22と、右側の周辺回路22の上側に配置され、有効画面部23の各ラインの露光量を検出する輝度検出部24などから構成される。
【0043】
以上のように構成されるCMOSセンサ1aにおいて、黒レベル検出部25による黒レベルの検出タイミングは、たとえば図9に一例を示すように、ライン1〜ラインNの1フレームにおいて、ライン1、ライン2、・・・、ラインKの各ラインの画素データと輝度検出データを検出するタイミング、これに続くラインK+1、ラインK+2、・・・、ラインNの各ラインの画素データと輝度検出データを検出するタイミングで黒レベル検出部25によって黒レベルが検出される。
【0044】
従って、本実施の形態によれば、前記実施の形態1と同様の効果を得ることができ、特に輝度検出部24を黒レベル検出部25と異なる領域に設けているので、前記実施の形態1に比べて黒レベルの検出精度を向上させることができる。
【0045】
(実施の形態3)
本実施の形態のセンサモジュールは、前記実施の形態1と同様に、たとえばCMOSセンサ、信号処理回路などがレンズとともに一体化されて構成され、前記実施の形態1との相違点は、CMOSセンサにおいて、輝度検出部が有効画面部の所定ライン数分の領域で設けられ、有効画面部の所定ライン数分毎に露光量の検出処理を繰り返すようにした点である。
【0046】
すなわち、本実施の形態のCMOSセンサ1bは、たとえば図10に一例を示すように、対象物を撮像する有効画面部23、信号の基準レベルを設定する黒レベル検出部25が備えられたセンサアレイ21と、このセンサアレイ21の左側、右側および下側に配置された周辺回路22と、右側の周辺回路22の上側一部分に配置され、有効画面部23の所定ライン数分、ここでは1ライン分毎の露光量を検出する輝度検出部24などから構成される。
【0047】
このCMOSセンサ1bにおいては、1ラインのトータル露光量を出力する場合に適用される。精度を取るための必要点を設ける。トータル露光量は後段の回路にて計算する。露光時間が1ライン分の時間のみであるため、暗い部分はたとえば50または60Hz地域の場合、10msec、20msec、40msecなどの露光時間の固定モードと併用する。
【0048】
以上のように構成されるCMOSセンサ1bにおいて、輝度検出部24による輝度検出信号の読み出しタイミングは、たとえば図11に一例を示すように、ライン1〜ラインNの1フレームにおいて、ライン1の画素データの検出、このライン1の輝度検出データの検出、これに続くライン2の画素データの検出、このライン2の輝度検出データの検出、・・・、ラインNの画素データの検出、この輝度検出データの検出を順に行う。この際に、ライン1、ライン2、・・・、ラインNの各ラインの輝度検出データを検出するタイミングで黒レベル検出部25によって黒レベルが検出される。
【0049】
この時に、輝度検出部24の制御は、たとえば図12に一例を示すように、ライン1のリセット、露光および読み出し、これに続くライン2のリセット、露光および読み出し、・・・、ラインNのリセット、露光および読み出しを繰り返して順に行う。
【0050】
このように、本実施の形態においては、露光時間に合わせ、検出した各ラインの輝度を露光時間分足し算して、各ラインの露光量を求める。たとえば、露光時間が3ライン分である場合、各ラインの画素の露光量は、図13のように計算される。すなわち、ライン1〜ライン3の検出値の足し算=ライン3の画素の露光量、ライン2〜ライン4の検出値の足し算=ライン4の画素の露光量、ライン3〜ライン5の検出値の足し算=ライン5の画素の露光量となる。
【0051】
従って、本実施の形態によれば、前記実施の形態1および2と同様の効果を得ることができ、特に輝度検出部24を有効画面部23の所定ライン数分の領域にしているので、前記実施の形態1および2に比べて輝度検出部24の面積を縮小することができる。
【0052】
(実施の形態4)
本実施の形態のセンサモジュールは、前記実施の形態1と同様に、たとえばCMOSセンサ、信号処理回路などがレンズとともに一体化されて構成され、前記実施の形態1との相違点は、CMOSセンサにおいて、輝度検出部が有効画面部の全ライン数分以上の領域で設けられ、有効画面部の各ライン毎に平均化して露光量を求めるようにした点である。
【0053】
すなわち、本実施の形態のCMOSセンサ1cは、たとえば図14に一例を示すように、対象物を撮像する有効画面部23、信号の基準レベルを設定する黒レベル検出部25が備えられたセンサアレイ21と、このセンサアレイ22の左側、右側および下側に配置された周辺回路22と、右側の周辺回路22の左側に配置され、有効画面部23の全ライン数分以上の大きな面積で露光量を検出する輝度検出部24などから構成される。
【0054】
従って、本実施の形態によれば、前記実施の形態1および2と同様の効果を得ることができ、特に輝度検出部24を有効画面部23の全ライン数分以上の大きな面積にしているので、前記実施の形態1および2に比べて絵柄に左右されないようにすることができる。
【0055】
(実施の形態5)
本実施の形態のセンサモジュールは、前記実施の形態1と同様に、たとえばCMOSセンサ、信号処理回路などがレンズとともに一体化されて構成され、前記実施の形態1との相違点は、CMOSセンサにおいて、輝度検出部が有効画面部と同じ領域に設けられている点である。
【0056】
すなわち、本実施の形態のCMOSセンサ1dは、たとえば図15に一例を示すように、対象物を撮像する有効画面部23、信号の基準レベルを設定する黒レベル検出部25、有効画面部23の一部を共有し、有効画面部23の各ラインの露光量を検出する輝度検出部24が備えられたセンサアレイ21と、このセンサアレイ21の左側、右側および下側に配置された周辺回路22などから構成される。
【0057】
このCMOSセンサ1dにおいては、露光センサを特別に持たず、画像から取得する場合に適用される。1画面中の1箇所のみからデータを取得し、そのデータを用いて次画面の全ラインの露光強度を推定、設定する。1画面中の1箇所のみからデータを取得することにより、絵柄の影響を最少にすることができる。
【0058】
たとえば、図16に示すように、1画面中の1箇所の輝度検出部24で露光量を検出する際に、フレームのタイミングと蛍光灯の周期をわざとずらし、1フレームに1回、露光量の変化をサンプリングして求める。1周期のサンプリングデータを取り終わった後は、次のフレームの先頭ラインの露光強度とその後の露光量の変化を予測できるため、その予測値に合わせて増幅係数を決定する。
【0059】
従って、本実施の形態によれば、前記実施の形態1と同様の効果を得ることができ、特に輝度検出部24が有効画面部23の一部を共有しているので、有効画面部23の外側に特別に輝度検出部24を設ける必要がない。
【0060】
以上、本発明者によってなされた発明をその実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【0061】
たとえば、本発明によるセンサモジュールは、CMOSセンサを用いたカメラの他、このCMOSセンサカメラを搭載した携帯電話などの携帯端末システムなどに広く適用することができる。
【0062】
【発明の効果】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、以下のとおりである。
【0063】
(1)CMOSセンサに有効画面部と輝度検出部を備え、信号処理回路において、輝度検出部の検出結果に基づいて次画面の各ラインの露光量を予測し、この予測結果に基づいて次画面の各ラインの増幅係数を計算し、この計算結果に基づいて有効画面部からの次画面の各ラインの信号を増幅することで、CMOSセンサにおける各ラインの明るさを補正することができるので、高輝度の点滅照明のフリッカをキャンセルすることが可能となる。
【0064】
(2)前記(1)により、明るい室内においても、フリッカがキャンセルされた画像を撮像することが可能となる。
【0065】
(3)前記(1),(2)により、特にスクロールシャッタ方式のCMOSセンサに適用し、高輝度の点滅照明下におけるCMOSセンサによる撮像に対して、フリッカをキャンセルすることができるセンサモジュールを実現することが可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態1のセンサモジュールを示す構成図である。
【図2】本発明の実施の形態1のセンサモジュールにおいて、CMOSセンサにおける各ラインの露光量の補正方法を示す説明図である。
【図3】本発明の実施の形態1のセンサモジュールにおいて、CMOSセンサを示す構成図である。
【図4】本発明の実施の形態1のセンサモジュールにおいて、CMOSセンサにおける輝度検出部を示す構成図である。
【図5】本発明の実施の形態1のセンサモジュールにおいて、有効画面画素と露光量検出画素との露光時間の関係とデータ読み出しタイミングを示す説明図である。
【図6】本発明の実施の形態1のセンサモジュールにおいて、データ出力タイミングを示す説明図である。
【図7】本発明の実施の形態1のセンサモジュールにおいて、黒レベル検出部による黒レベルの検出タイミングを示す説明図である。
【図8】本発明の実施の形態2のセンサモジュールを示す構成図である。
【図9】本発明の実施の形態2のセンサモジュールにおいて、黒レベル検出部による黒レベルの検出タイミングを示す説明図である。
【図10】本発明の実施の形態3のセンサモジュールを示す構成図である。
【図11】本発明の実施の形態3のセンサモジュールにおいて、輝度検出部による輝度検出信号の読み出しタイミング、黒レベル検出部による黒レベルの検出タイミングを示す説明図である。
【図12】本発明の実施の形態3のセンサモジュールにおいて、輝度検出部の制御を示す説明図である。
【図13】本発明の実施の形態3のセンサモジュールにおいて、各ラインの画素の露光量の計算を示す説明図である。
【図14】本発明の実施の形態4のセンサモジュールを示す構成図である。
【図15】本発明の実施の形態5のセンサモジュールを示す構成図である。
【図16】本発明の実施の形態5のセンサモジュールにおいて、露光量のサンプリング方法を示す説明図である。
【図17】本発明において、CMOSセンサにおけるフリッカのキャンセル原理を示す説明図である。
【符号の説明】
1,1a,1b,1c,1d CMOSセンサ
2 信号処理回路
11 各ライン照度保持回路
12 増幅係数演算回路
13 信号増幅回路
14 次画面各ライン露光量予測回路
15 各ライン増幅係数計算回路
16 ラインカウンタ
21 センサアレイ
22 周辺回路
23 有効画面部
24 輝度検出部
25 黒レベル検出部
26 増幅器
27 A/D変換器
28 タイミングジェネレータ
【発明の属する技術分野】
本発明は、センサモジュールに関し、特にCMOSセンサを有するセンサモジュールに適用して有効な技術に関する。
【0002】
【従来の技術】
本発明者が検討したところによれば、センサモジュールに関しては、以下のような技術が考えられる。
【0003】
たとえば、センサモジュールを用いたカメラシステムにおいて、蛍光灯を照明に用いている室内における撮像では、蛍光灯の点滅により発生するフリッカをいかに取り除くかが常に問題となる。従来のCCD撮像素子を用いたカメラシステムでは、1枚のフレーム単位でシャッタを同タイミング、同期間で切るのに対し、CMOSセンサを用いたカメラシステムでは、各素子のシャッタ開き期間は同じものの、シャッタタイミングはライン毎に違う、いわゆるスクロールシャッタ方式を採っている。
【0004】
【発明が解決しようとする課題】
ところで、前記のようなセンサモジュールについて、本発明者が検討した結果、以下のようなことが明らかとなった。
【0005】
たとえば、前記のCCD撮像素子を用いたカメラシステムと、前記のCMOSセンサを用いたカメラシステムにおいて、CCD撮像素子とCMOSセンサではフリッカの発生の仕方が異なってくるため、CMOSセンサのフリッカキャンセル方法を、CCD撮像素子を用いたカメラシステムで実施されている方法と全く異なった方法で実施する必要がある。
【0006】
前記のようなCMOSセンサを用いたカメラシステムにおいて、スクロールシャッタ方式を用いた撮像素子は、たとえば図17に一例を示す通り、露光時間を蛍光灯の点滅する周期の整数倍に設定することにより、各ラインの露光量を等しくすることができる。これにより、フリッカをキャンセルすることができる。
【0007】
しかしながら、照度が高い場合は、露光時間を照明点滅の1周期より短くしなければならず、この場合はフリッカをキャンセルすることができない。
【0008】
そこで、本発明の目的は、高輝度の点滅照明下におけるCMOSセンサによる撮像に対して、フリッカをキャンセルすることができるセンサモジュールを提供することにある。
【0009】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【0010】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
【0011】
本発明は、CMOSセンサと信号処理回路とが一体化されているセンサモジュールに適用され、対象物を撮像する有効画面部と、この有効画面部の各ラインの露光量を検出する輝度検出部とを備えたCMOSセンサと、輝度検出部の検出結果に基づいて次画面の各ラインの露光量を予測し、この予測結果に基づいて次画面の各ラインの増幅係数を計算し、この計算結果に基づいて有効画面部からの次画面の各ラインの信号を増幅してフリッカをキャンセルする信号処理回路とを有するものである。さらに、CMOSセンサは、信号の基準レベルを設定する黒レベル検出部を有するものである。
【0012】
また、本発明のセンサモジュールにおいて、信号処理回路は、有効画面部の複数ライン数のうち、低周波の50または60Hzの半サイクル部の露光量を検出するライン数で予測して、有効画面部の複数ラインのフリッカをキャンセルするようにしたものである。
【0013】
また、本発明のセンサモジュールにおいては、輝度検出部が、有効画面部と異なる領域、あるいは同じ領域に設けられ、さらに黒レベル検出部と同じ領域、あるいは異なる領域に設けられるものである。また、輝度検出部は、有効画面部の所定ライン数分の領域で設けられ、有効画面部の所定ライン数分毎に露光量の検出処理を繰り返すようにしたり、あるいは有効画面部の全ライン数分以上の領域で設けられ、有効画面部の各ライン毎に平均化して露光量を求めるようにしたものである。
【0014】
よって、本発明のセンサモジュールによれば、特にスクロールシャッタ方式のCMOSセンサにおける各ラインの明るさを補正することができる。これにより、高輝度の点滅照明のフリッカをキャンセルすることができる。この結果、明るい室内においても、フリッカがキャンセルされた画像を撮像することが可能となる。
【0015】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一機能を有する部材には同一の符号を付し、その繰り返しの説明は省略する。
【0016】
(実施の形態1)
まず、図1により、本発明の実施の形態1のセンサモジュールの構成の一例を説明する。併せて、図2により、CMOSセンサにおける各ラインの露光量の補正方法を説明する。図1は本実施の形態のセンサモジュールの構成図、図2はCMOSセンサにおける各ラインの露光量の補正方法の説明図をそれぞれ示す。
【0017】
本実施の形態のセンサモジュールは、たとえばCMOSセンサカメラに適用され、有効画面部、輝度検出部、黒レベル検出部などを備えたCMOSセンサ1と、このCMOSセンサ1の検出結果に基づいて次画面の各ラインの露光量を予測し、この予測結果に基づいて次画面の各ラインの増幅係数を計算し、この計算結果に基づいてCMOSセンサ1からの次画面の各ラインの信号を増幅してフリッカをキャンセルする機能などを備えた信号処理回路2などからなり、これらのCMOSセンサ1、信号処理回路2などは図示しないレンズとともに一体化されて構成される。
【0018】
CMOSセンサ1は、たとえばスクロールシャッタ方式のセンサからなり、MOSトランジスタがアレイ状に配置されて構成される。詳細は後述するが、このCMOSセンサ1には、MOSトランジスタがアレイ状に配置された複数の画素からなる、有効画面部、輝度検出部、黒レベル検出部などが設けられている。また、CMOSセンサ1の受光面には、対象物の撮影像を結像させるレンズが設けられている。
【0019】
信号処理回路2は、たとえばCMOSセンサ1の輝度検出部により検出された有効画面部の各ラインの露光量(照度)を保持する各ライン照度保持回路11と、この各ライン照度保持回路11で保持された露光量に基づいて次画面の各ラインの増幅係数を演算する増幅係数演算回路12と、この増幅係数演算回路12で演算された増幅係数に基づいてCMOSセンサ1の有効画面部からの次画面の各ラインの信号を増幅して出力する信号増幅回路13などから構成される。
【0020】
増幅係数演算回路12には、各ライン照度保持回路11で保持された露光量に基づいて次画面の各ラインの露光量を予測する次画面各ライン露光量予測回路14と、この次画面各ライン露光量予測回路14で予測された予測値に基づいて次画面の各ラインの増幅係数を計算する各ライン増幅係数計算回路15と、1画面当たりのライン数をカウントするラインカウンタ16などが設けられている。
【0021】
以上のように構成されるセンサモジュールにおいて、CMOSセンサ1における各ラインの露光量の補正方法は、以下のようにして行われる。
【0022】
まず、CMOSセンサ1の輝度検出部により検出された有効画面部の各ラインの露光量を、信号処理回路2の各ライン照度保持回路11に保持する。この際に、CMOSセンサ1からのラインバリッド信号によりラインカウンタ16をカウントアップしていき、順に有効画面部の各ラインの露光量を各ライン照度保持回路11に保持する。この各ライン照度保持回路11に保持された現画面の各ラインの露光量分布は、たとえば図2に破線で示すような曲線となる。
【0023】
続いて、各ライン照度保持回路11で保持された露光量に基づいて、次画面の各ラインの増幅係数を増幅係数演算回路12で演算する。この際に、増幅係数演算回路12では、各ライン照度保持回路11で保持された露光量に基づいて次画面の各ラインの露光量を次画面各ライン露光量予測回路14で予測する。この次画面各ライン露光量予測回路14で予測された次画面の各ラインの露光量分布は、たとえば図2に破線で示した現画像の曲線の終点につながり、同じように破線で示すような曲線となる。
【0024】
さらに、次画面各ライン露光量予測回路14で予測された予測値に基づいて、次画面の各ラインの増幅係数を各ライン増幅係数計算回路15で計算し、この増幅係数を信号増幅回路13に供給する。この各ライン増幅係数計算回路15で計算された増幅係数は、たとえば図2に一点鎖線で示す各ラインの露光量分布までの距離に相当する値となる。すなわち、一点鎖線の曲線は、次画面の各ラインの露光量分布を予測した破線の曲線を反転した曲線となり、補正をするために必要な露光量分布を表す。
【0025】
そして、信号増幅回路13では、増幅係数演算回路12から供給された増幅係数に基づいて、次画面に対応するCMOSセンサ1の有効画面部からの各ラインの信号を増幅し、センサモジュールから出力信号として出力する。このセンサモジュールから出力される出力信号は、たとえば図2に実線で示す補正された露光量分布(各ラインで等しい露光量)における信号となる。これにより、次画面においては、照明に対応して各ラインの露光量を補正することで、高輝度の点滅照明下におけるフリッカをキャンセルすることができる。
【0026】
なお、このCMOSセンサ1における各ラインの露光量の補正においては、フレームレートを照明の点滅周期に合わせ、この点滅の1周期分の時間に相当する複数ライン数の信号増幅率を任意に設定する。あるいは、有効画面部の複数ライン数のうち、低周波の50または60Hzの半サイクル部の露光量を検出するライン数で予測して信号増幅率を決定する。
【0027】
次に、図3により、CMOSセンサの構成の一例を説明する。図3はCMOSセンサの構成図を示す。
【0028】
CMOSセンサ1は、センサアレイ21と、このセンサアレイ21の左側、右側および下側に配置された周辺回路22などから構成される。
【0029】
センサアレイ21には、対象物を撮像する有効画面部23と、この有効画面部23の各ラインの露光量を検出する輝度検出部24と、信号の基準レベルを設定する黒レベル検出部25などが備えられている。図3では、輝度検出部24は、有効画面部23と異なる領域に設けられ、かつ黒レベル検出部25と同じ領域に1箇所に集めて設けられている。
【0030】
周辺回路22には、センサアレイ21の有効画面部23、輝度検出部24、黒レベル検出部25などからの信号を受けて、この信号を増幅する増幅器26、この増幅した信号を変換するA/D変換器27、有効画面部23の各ラインに対応する輝度検出部24の検出画素のアドレス割り付けなどを行うためのタイミングジェネレータ28などが備えられている。
【0031】
このCMOSセンサ1においては、各有効ラインと同じ露光量を出力する場合に適用される。たとえば、VGAならば、30fps、10msecで144ライン分必要である(0.01×30×480=144本)。絵柄の影響を受けないようにするため、極力同じ位置に露光量の検出画素を固める。たとえば、露光量を検出する輝度検出部24の形を18×8または9×16の形にすることが望ましい。
【0032】
次に、図4により、CMOSセンサにおける輝度検出部の構成の一例を説明する。図4はCMOSセンサにおける輝度検出部の構成図を示す。
【0033】
CMOSセンサ1における輝度検出部24には、有効画面部23の各ラインに対応する露光量の検出画素が備えられ、最上段の左側から順にライン1、ライン2、・・・,ラインxに対応する画素が配置され、2段目には左側から順にラインx+1、ラインx+2、・・・,ライン2xに対応する画素が配置され、以下同様に、最下段には左側から順にライン(n−1)x+1、ライン(n−1)x+2、・・・,ラインnxに対応する画素が配置されている。
【0034】
次に、図5および図6により、CMOSセンサにおいて、露光時間、データ読み出しタイミング、データ出力タイミングの一例を説明する。図5は有効画面画素と露光量検出画素との露光時間の関係とデータ読み出しタイミングの説明図、図6はデータ出力タイミングの説明図をそれぞれ示す。
【0035】
図5に示すように、たとえばラインmに関しては、ラインmの先頭画素の露光時間、2番目の画素の露光時間、・・・、最後の画素の露光時間が順に取られ、続けて、このラインmの露光量を検出する検出画素の露光時間が取られる。この際に、データの読み出しは、ラインmの先頭画素の露光時間、2番目の画素の露光時間、・・・、最後の画素の露光時間、このラインmの露光量を検出する検出画素の露光時間の終了後に直ちに、データが読み出される。続く、ラインm+1に関しても同様に行われる。
【0036】
図6に示すように、CMOSセンサ1からのデータの出力は、データ有効表示信号(ラインバリッド信号)がHighの期間に行われ、ラインmの先頭画素、2番目の画素、・・・、最後の画素のデータが順に出力され、続けて、このラインmの露光量を検出する検出画素の輝度検出データが出力される。続く、ラインm+1に関しても同様に行われる。
【0037】
次に、図7により、CMOSセンサにおいて、黒レベル検出部による黒レベルの検出タイミングの一例を説明する。図7は黒レベル検出部による黒レベルの検出タイミングの説明図である。
【0038】
前記図3のように、輝度検出部24が黒レベル検出部25と同じ領域に設けられている場合には、輝度検出部24の領域で黒レベルの検出が停止される。たとえば、図7に示すように、ライン1〜ラインNの1フレームにおいて、ライン1〜ラインKの領域に輝度検出部24が配置されている場合には、このライン1、ライン2、・・・、ラインKの各ラインの画素データと輝度検出データを検出するタイミングは黒レベル検出停止領域となり、これに続くラインK+1、ラインK+2、・・・、ラインNの各ラインの画素データと輝度検出データを検出するタイミングで黒レベル検出部25によって黒レベルが検出される。
【0039】
従って、本実施の形態によれば、信号処理回路2に、各ライン照度保持回路11と、次画面各ライン露光量予測回路14および各ライン増幅係数計算回路15などからなる増幅係数演算回路12と、信号増幅回路13などを設けることにより、CMOSセンサ1の検出結果に基づいて、信号処理回路2において、次画面の各ラインの露光量を予測し、この予測結果に基づいて次画面の各ラインの増幅係数を計算し、この計算結果に基づいてCMOSセンサ1からの次画面の各ラインの信号を増幅することができるので、スクロールシャッタ方式のCMOSセンサ1の各ラインの明るさを補正することができる。これにより、高輝度の点滅照明のフリッカをキャンセルすることができる。この結果、明るい室内においても、フリッカがキャンセルされた画像を撮像することが可能となる。
【0040】
また、CMOSセンサ1において、有効画面部23の各ラインの露光量を検出する輝度検出部24を画面上の1箇所に集めることにより、撮像する対象物の絵柄の影響を極力抑えることが可能となる。
【0041】
(実施の形態2)
本実施の形態のセンサモジュールは、前記実施の形態1と同様に、たとえばCMOSセンサ、信号処理回路などがレンズとともに一体化されて構成され、前記実施の形態1との相違点は、CMOSセンサにおいて、輝度検出部が黒レベル検出部と異なる領域に設けられている点である。前記実施の形態1では、露光量検出部を黒レベル検出部の領域に置いたため、ラインKまでの黒レベル検出精度の劣化が懸念されるが、この対応策として本実施の形態が考えられる。
【0042】
すなわち、本実施の形態のCMOSセンサ1aは、たとえば図8に一例を示すように、対象物を撮像する有効画面部23、信号の基準レベルを設定する黒レベル検出部25が備えられたセンサアレイ21と、このセンサアレイ21の左側、右側および下側に配置された周辺回路22と、右側の周辺回路22の上側に配置され、有効画面部23の各ラインの露光量を検出する輝度検出部24などから構成される。
【0043】
以上のように構成されるCMOSセンサ1aにおいて、黒レベル検出部25による黒レベルの検出タイミングは、たとえば図9に一例を示すように、ライン1〜ラインNの1フレームにおいて、ライン1、ライン2、・・・、ラインKの各ラインの画素データと輝度検出データを検出するタイミング、これに続くラインK+1、ラインK+2、・・・、ラインNの各ラインの画素データと輝度検出データを検出するタイミングで黒レベル検出部25によって黒レベルが検出される。
【0044】
従って、本実施の形態によれば、前記実施の形態1と同様の効果を得ることができ、特に輝度検出部24を黒レベル検出部25と異なる領域に設けているので、前記実施の形態1に比べて黒レベルの検出精度を向上させることができる。
【0045】
(実施の形態3)
本実施の形態のセンサモジュールは、前記実施の形態1と同様に、たとえばCMOSセンサ、信号処理回路などがレンズとともに一体化されて構成され、前記実施の形態1との相違点は、CMOSセンサにおいて、輝度検出部が有効画面部の所定ライン数分の領域で設けられ、有効画面部の所定ライン数分毎に露光量の検出処理を繰り返すようにした点である。
【0046】
すなわち、本実施の形態のCMOSセンサ1bは、たとえば図10に一例を示すように、対象物を撮像する有効画面部23、信号の基準レベルを設定する黒レベル検出部25が備えられたセンサアレイ21と、このセンサアレイ21の左側、右側および下側に配置された周辺回路22と、右側の周辺回路22の上側一部分に配置され、有効画面部23の所定ライン数分、ここでは1ライン分毎の露光量を検出する輝度検出部24などから構成される。
【0047】
このCMOSセンサ1bにおいては、1ラインのトータル露光量を出力する場合に適用される。精度を取るための必要点を設ける。トータル露光量は後段の回路にて計算する。露光時間が1ライン分の時間のみであるため、暗い部分はたとえば50または60Hz地域の場合、10msec、20msec、40msecなどの露光時間の固定モードと併用する。
【0048】
以上のように構成されるCMOSセンサ1bにおいて、輝度検出部24による輝度検出信号の読み出しタイミングは、たとえば図11に一例を示すように、ライン1〜ラインNの1フレームにおいて、ライン1の画素データの検出、このライン1の輝度検出データの検出、これに続くライン2の画素データの検出、このライン2の輝度検出データの検出、・・・、ラインNの画素データの検出、この輝度検出データの検出を順に行う。この際に、ライン1、ライン2、・・・、ラインNの各ラインの輝度検出データを検出するタイミングで黒レベル検出部25によって黒レベルが検出される。
【0049】
この時に、輝度検出部24の制御は、たとえば図12に一例を示すように、ライン1のリセット、露光および読み出し、これに続くライン2のリセット、露光および読み出し、・・・、ラインNのリセット、露光および読み出しを繰り返して順に行う。
【0050】
このように、本実施の形態においては、露光時間に合わせ、検出した各ラインの輝度を露光時間分足し算して、各ラインの露光量を求める。たとえば、露光時間が3ライン分である場合、各ラインの画素の露光量は、図13のように計算される。すなわち、ライン1〜ライン3の検出値の足し算=ライン3の画素の露光量、ライン2〜ライン4の検出値の足し算=ライン4の画素の露光量、ライン3〜ライン5の検出値の足し算=ライン5の画素の露光量となる。
【0051】
従って、本実施の形態によれば、前記実施の形態1および2と同様の効果を得ることができ、特に輝度検出部24を有効画面部23の所定ライン数分の領域にしているので、前記実施の形態1および2に比べて輝度検出部24の面積を縮小することができる。
【0052】
(実施の形態4)
本実施の形態のセンサモジュールは、前記実施の形態1と同様に、たとえばCMOSセンサ、信号処理回路などがレンズとともに一体化されて構成され、前記実施の形態1との相違点は、CMOSセンサにおいて、輝度検出部が有効画面部の全ライン数分以上の領域で設けられ、有効画面部の各ライン毎に平均化して露光量を求めるようにした点である。
【0053】
すなわち、本実施の形態のCMOSセンサ1cは、たとえば図14に一例を示すように、対象物を撮像する有効画面部23、信号の基準レベルを設定する黒レベル検出部25が備えられたセンサアレイ21と、このセンサアレイ22の左側、右側および下側に配置された周辺回路22と、右側の周辺回路22の左側に配置され、有効画面部23の全ライン数分以上の大きな面積で露光量を検出する輝度検出部24などから構成される。
【0054】
従って、本実施の形態によれば、前記実施の形態1および2と同様の効果を得ることができ、特に輝度検出部24を有効画面部23の全ライン数分以上の大きな面積にしているので、前記実施の形態1および2に比べて絵柄に左右されないようにすることができる。
【0055】
(実施の形態5)
本実施の形態のセンサモジュールは、前記実施の形態1と同様に、たとえばCMOSセンサ、信号処理回路などがレンズとともに一体化されて構成され、前記実施の形態1との相違点は、CMOSセンサにおいて、輝度検出部が有効画面部と同じ領域に設けられている点である。
【0056】
すなわち、本実施の形態のCMOSセンサ1dは、たとえば図15に一例を示すように、対象物を撮像する有効画面部23、信号の基準レベルを設定する黒レベル検出部25、有効画面部23の一部を共有し、有効画面部23の各ラインの露光量を検出する輝度検出部24が備えられたセンサアレイ21と、このセンサアレイ21の左側、右側および下側に配置された周辺回路22などから構成される。
【0057】
このCMOSセンサ1dにおいては、露光センサを特別に持たず、画像から取得する場合に適用される。1画面中の1箇所のみからデータを取得し、そのデータを用いて次画面の全ラインの露光強度を推定、設定する。1画面中の1箇所のみからデータを取得することにより、絵柄の影響を最少にすることができる。
【0058】
たとえば、図16に示すように、1画面中の1箇所の輝度検出部24で露光量を検出する際に、フレームのタイミングと蛍光灯の周期をわざとずらし、1フレームに1回、露光量の変化をサンプリングして求める。1周期のサンプリングデータを取り終わった後は、次のフレームの先頭ラインの露光強度とその後の露光量の変化を予測できるため、その予測値に合わせて増幅係数を決定する。
【0059】
従って、本実施の形態によれば、前記実施の形態1と同様の効果を得ることができ、特に輝度検出部24が有効画面部23の一部を共有しているので、有効画面部23の外側に特別に輝度検出部24を設ける必要がない。
【0060】
以上、本発明者によってなされた発明をその実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【0061】
たとえば、本発明によるセンサモジュールは、CMOSセンサを用いたカメラの他、このCMOSセンサカメラを搭載した携帯電話などの携帯端末システムなどに広く適用することができる。
【0062】
【発明の効果】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、以下のとおりである。
【0063】
(1)CMOSセンサに有効画面部と輝度検出部を備え、信号処理回路において、輝度検出部の検出結果に基づいて次画面の各ラインの露光量を予測し、この予測結果に基づいて次画面の各ラインの増幅係数を計算し、この計算結果に基づいて有効画面部からの次画面の各ラインの信号を増幅することで、CMOSセンサにおける各ラインの明るさを補正することができるので、高輝度の点滅照明のフリッカをキャンセルすることが可能となる。
【0064】
(2)前記(1)により、明るい室内においても、フリッカがキャンセルされた画像を撮像することが可能となる。
【0065】
(3)前記(1),(2)により、特にスクロールシャッタ方式のCMOSセンサに適用し、高輝度の点滅照明下におけるCMOSセンサによる撮像に対して、フリッカをキャンセルすることができるセンサモジュールを実現することが可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態1のセンサモジュールを示す構成図である。
【図2】本発明の実施の形態1のセンサモジュールにおいて、CMOSセンサにおける各ラインの露光量の補正方法を示す説明図である。
【図3】本発明の実施の形態1のセンサモジュールにおいて、CMOSセンサを示す構成図である。
【図4】本発明の実施の形態1のセンサモジュールにおいて、CMOSセンサにおける輝度検出部を示す構成図である。
【図5】本発明の実施の形態1のセンサモジュールにおいて、有効画面画素と露光量検出画素との露光時間の関係とデータ読み出しタイミングを示す説明図である。
【図6】本発明の実施の形態1のセンサモジュールにおいて、データ出力タイミングを示す説明図である。
【図7】本発明の実施の形態1のセンサモジュールにおいて、黒レベル検出部による黒レベルの検出タイミングを示す説明図である。
【図8】本発明の実施の形態2のセンサモジュールを示す構成図である。
【図9】本発明の実施の形態2のセンサモジュールにおいて、黒レベル検出部による黒レベルの検出タイミングを示す説明図である。
【図10】本発明の実施の形態3のセンサモジュールを示す構成図である。
【図11】本発明の実施の形態3のセンサモジュールにおいて、輝度検出部による輝度検出信号の読み出しタイミング、黒レベル検出部による黒レベルの検出タイミングを示す説明図である。
【図12】本発明の実施の形態3のセンサモジュールにおいて、輝度検出部の制御を示す説明図である。
【図13】本発明の実施の形態3のセンサモジュールにおいて、各ラインの画素の露光量の計算を示す説明図である。
【図14】本発明の実施の形態4のセンサモジュールを示す構成図である。
【図15】本発明の実施の形態5のセンサモジュールを示す構成図である。
【図16】本発明の実施の形態5のセンサモジュールにおいて、露光量のサンプリング方法を示す説明図である。
【図17】本発明において、CMOSセンサにおけるフリッカのキャンセル原理を示す説明図である。
【符号の説明】
1,1a,1b,1c,1d CMOSセンサ
2 信号処理回路
11 各ライン照度保持回路
12 増幅係数演算回路
13 信号増幅回路
14 次画面各ライン露光量予測回路
15 各ライン増幅係数計算回路
16 ラインカウンタ
21 センサアレイ
22 周辺回路
23 有効画面部
24 輝度検出部
25 黒レベル検出部
26 増幅器
27 A/D変換器
28 タイミングジェネレータ
Claims (9)
- 対象物を撮像する有効画面部と、前記有効画面部の各ラインの露光量を検出する輝度検出部とを備えたCMOSセンサと、
前記輝度検出部の検出結果に基づいて次画面の各ラインの露光量を予測し、この予測結果に基づいて前記次画面の各ラインの増幅係数を計算し、この計算結果に基づいて前記有効画面部からの前記次画面の各ラインの信号を増幅する信号処理回路とを有し、
前記CMOSセンサと前記信号処理回路とが一体化されていることを特徴とするセンサモジュール。 - 請求項1記載のセンサモジュールにおいて、
前記CMOSセンサは、信号の基準レベルを設定する黒レベル検出部をさらに有することを特徴とするセンサモジュール。 - 請求項2記載のセンサモジュールにおいて、
前記信号処理回路は、前記有効画面部の複数ライン数のうち、50または60Hzの半サイクル部の露光量を検出するライン数で予測して、前記有効画面部の複数ラインのフリッカをキャンセルすることを特徴とするセンサモジュール。 - 請求項2記載のセンサモジュールにおいて、
前記輝度検出部は、前記有効画面部と異なる領域に設けられることを特徴とするセンサモジュール。 - 請求項2記載のセンサモジュールにおいて、
前記輝度検出部は、前記有効画面部と同じ領域に設けられることを特徴とするセンサモジュール。 - 請求項2記載のセンサモジュールにおいて、
前記輝度検出部は、前記黒レベル検出部と同じ領域に設けられることを特徴とするセンサモジュール。 - 請求項2記載のセンサモジュールにおいて、
前記輝度検出部は、前記黒レベル検出部と異なる領域に設けられることを特徴とするセンサモジュール。 - 請求項2記載のセンサモジュールにおいて、
前記輝度検出部は、前記有効画面部の所定ライン数分の領域で設けられ、前記有効画面部の所定ライン数分毎に露光量の検出処理を繰り返すことを特徴とするセンサモジュール。 - 請求項2記載のセンサモジュールにおいて、
前記輝度検出部は、前記有効画面部の全ライン数分以上の領域で設けられ、前記有効画面部の各ライン毎に平均化して露光量を求めることを特徴とするセンサモジュール。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002206413A JP2004048616A (ja) | 2002-07-16 | 2002-07-16 | センサモジュール |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002206413A JP2004048616A (ja) | 2002-07-16 | 2002-07-16 | センサモジュール |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004048616A true JP2004048616A (ja) | 2004-02-12 |
Family
ID=31711404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002206413A Pending JP2004048616A (ja) | 2002-07-16 | 2002-07-16 | センサモジュール |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004048616A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008147713A (ja) * | 2006-12-05 | 2008-06-26 | Canon Inc | 撮像装置及び判定方法 |
JP2009089249A (ja) * | 2007-10-02 | 2009-04-23 | Canon Inc | 撮像装置及びその制御方法 |
JP2011091775A (ja) * | 2009-10-26 | 2011-05-06 | Toshiba Corp | 固体撮像装置 |
JP2012109794A (ja) * | 2010-11-17 | 2012-06-07 | Toshiba Corp | 固体撮像装置 |
WO2018008426A1 (ja) * | 2016-07-08 | 2018-01-11 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置および方法、並びに撮像装置 |
-
2002
- 2002-07-16 JP JP2002206413A patent/JP2004048616A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008147713A (ja) * | 2006-12-05 | 2008-06-26 | Canon Inc | 撮像装置及び判定方法 |
JP2009089249A (ja) * | 2007-10-02 | 2009-04-23 | Canon Inc | 撮像装置及びその制御方法 |
JP2011091775A (ja) * | 2009-10-26 | 2011-05-06 | Toshiba Corp | 固体撮像装置 |
US8456540B2 (en) | 2009-10-26 | 2013-06-04 | Kabushiki Kaisha Toshiba | Solid-state imaging device |
US8570395B2 (en) | 2009-10-26 | 2013-10-29 | Kabushiki Kaisha Toshiba | Solid-state imaging device |
JP2012109794A (ja) * | 2010-11-17 | 2012-06-07 | Toshiba Corp | 固体撮像装置 |
US8730346B2 (en) | 2010-11-17 | 2014-05-20 | Kabushiki Kaisha Toshiba | Solid-state imaging apparatus |
WO2018008426A1 (ja) * | 2016-07-08 | 2018-01-11 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置および方法、並びに撮像装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4840578B2 (ja) | 撮像装置のフリッカ検出方法と装置 | |
JP4856765B2 (ja) | 撮像装置及びフリッカ検出方法 | |
JP4106554B2 (ja) | 撮影環境判定方法および撮像装置 | |
US7884868B2 (en) | Image capturing element, image capturing apparatus, image capturing method, image capturing system, and image processing apparatus | |
JP4979369B2 (ja) | イメージセンサのフリッカー検出回路及び方法 | |
JP5644451B2 (ja) | 画像処理装置および画像処理方法、ならびに、撮像装置 | |
JP2004112739A (ja) | 固体イメージセンサ | |
WO2005125185A1 (ja) | 撮像装置 | |
JP2009077057A (ja) | 撮像装置、撮像装置の制御方法 | |
JP2007174537A (ja) | 撮像装置 | |
JP4854531B2 (ja) | 位相調整装置およびデジタルカメラ | |
KR101570923B1 (ko) | 고체 촬상 장치 | |
JP2004048616A (ja) | センサモジュール | |
JP2008113237A (ja) | 撮像装置におけるフリッカ検出方法と装置 | |
US20020067415A1 (en) | Image sensors with multiple integration/read cycles | |
JP2004118424A (ja) | 動き検出装置,動き検出方法,動き検出システム,およびプログラム | |
JP2007329604A (ja) | 蛍光灯フリッカ検出回路 | |
JP5097048B2 (ja) | 撮像装置及びそのスミア補正方法 | |
JP2007081453A (ja) | 撮像装置及び信号処理方法並びにプログラム | |
WO2003075558A1 (fr) | Imageur et procede d'elimination du bruit de bande | |
JP2004247880A (ja) | シェーディング補正方法およびその装置 | |
JP2003333423A (ja) | 撮像装置及びその縞状雑音除去方法 | |
JP2009253808A (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
JP2000165752A (ja) | 固体撮像装置の信号処理方法及び固体撮像装置 | |
JP2007139874A (ja) | 撮像装置 |