JP2012195677A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2012195677A JP2012195677A JP2011056630A JP2011056630A JP2012195677A JP 2012195677 A JP2012195677 A JP 2012195677A JP 2011056630 A JP2011056630 A JP 2011056630A JP 2011056630 A JP2011056630 A JP 2011056630A JP 2012195677 A JP2012195677 A JP 2012195677A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixels
- interest
- circuit
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】ノイズ低減回路(40)でノイズ低減された撮像信号に基づいて、各注目画素について、各注目画素とその周囲の同じ色成分の光を検出する画素で形成される領域のうち、相関の高い領域を選択し(50)、撮像部(2)から出力された各注目画素の撮像信号について、領域選択回路(50)で選択された画素領域に含まれる画素の撮像信号を加算して加算画素信号として出力する(30)。
【選択図】図2
Description
それぞれ異なる色成分の光を検出して対応する撮像信号を出力する複数種の画素を有する撮像部と、
前記撮像部から出力された撮像信号のノイズを低減するノイズ低減回路と、
前記ノイズ低減回路でノイズが低減された撮像信号に基づいて、各注目画素について、各注目画素とその周囲の同じ色成分の光を検出する画素で形成される領域のうち、相関の高い領域を選択する領域選択回路と、
前記撮像部から出力された各注目画素の撮像信号について、前記領域選択回路で選択された画素領域に含まれる画素の撮像信号を加算して加算結果を加算画素信号として出力する選択加算回路と
を備えることを特徴とする。
図1は本発明の実施の形態1による撮像装置を示す。図1において、レンズ1は、被写体像をCCD撮像素子2の撮像面上に合焦させる。
プログラマブル利得増幅回路(PGA)4は、相関二重サンプリング処理回路3の出力信号を制御回路12から出力された制御信号によって制御された利得で増幅して出力する。
A/D変換回路(ADC)5は、プログラマブル利得増幅回路4の出力信号を、デジタル信号に変換する。
選択加算回路30は、遅延された撮像信号Pdを受け、各注目画素の撮像信号について、領域選択回路50で選択された画素領域に含まれる画素の撮像信号を加算して加算結果を加算画素信号Peとして出力する。加算画素信号Peは、出力端子16を介して映像信号処理回路7へ供給される。
画素信号P55はまた、1画素遅延回路432〜435で順次1画素遅延されて、画素信号P55に対してそれぞれ1、2、3、4画素遅延した画素信号P45、P35、P25、P15が出力される。
1ライン遅延回路423から出力された画素信号P53は、1画素遅延回路442〜445で順次1画素遅延されて、画素信号P53に対してそれぞれ1、2、3、4画素遅延した画素信号P43、P33、P23、P13が出力される。
1ライン遅延回路425から出力された画素信号P51は、1画素遅延回路452〜455で順次1画素遅延されて、画素信号P51に対してそれぞれ1、2、3、4画素遅延した画素信号P41、P31、P21、P11が出力される。
画素信号P55〜P11は、それぞれ、乗算回路461〜485に供給される。
同期信号発生回路11から出力された水平同期信号HDと垂直同期信号VDは、画素加算回路6の同期信号入力端子18を経て、ノイズ低減回路40の制御端子418に印加され、係数設定回路40Cに供給される。
係数設定回路40Cはまた、水平同期信号HDと垂直同期信号VDに基づいて注目画素が、R画素かG画素かB画素かをも特定する。
そして、特定した画素位置と前記フィルタ係数に基づいて、加重加算部40Bの乗算回路461〜485各々へ独立に25個のフィルタ係数K11〜K55を供給する。
R12、R32、R52、R14、R34、R54はR画素を示す。G11、G31、G51、G22、G42、G13、G33、G53、G24、G44、G15、G35、G55はG画素を示す。B21、B41、B23、B43、B25、B45はB画素を示す。
G=K22×G22+K42×G42
+K33×G33
+K24×G24+K44×G44
係数設定回路40Cは、フィルタ係数K11〜55のうち、上式で使わない係数を「0」に設定する。
K22=1/8
K24=1/8
K33=4/8
K42=1/8
K44=1/8
上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々8倍の係数とし、これにより、微弱な信号成分が少しでも失われることを防ぐため、各係数が1以上となるようにする。
K22=1/5
K24=1/5
K33=1/5
K42=1/5
K44=1/5
上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々5倍の係数とし、これにより、微弱な信号成分が少しでも失われることを防ぐため、各係数を1以上となるようにする。
G=K31×G31
+K22×G22+K42×G42
+K13×G13+K33×G33+K53×G53
+K24×G24+K44×G44
+K35×G35
R11、R31、R51、R13、R33、R53、R15、R35、R55はR画素を示す。G21、G41、G12、G32、G52、G23、G43、G14、G34、G54、G25、G45はG画素を示す。B22、B42、B24、B44はB画素を示す。
R=K31×R31
+K13×R13+K33×R33+K53×R53
+K35×R35
係数設定回路40Cは、フィルタ係数K11〜55のうち、上式で使わない係数を「0」に設定する。
K31=1/8
K13=1/8
K33=4/8
K53=1/8
K35=1/8
上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々8倍の係数とし、これにより、微弱な信号成分が少しでも失われることを防ぐため、各係数が1以上となるようにする。
K31=1/5
K13=1/5
K33=1/5
K53=1/5
K35=1/5
上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々5倍の係数とし、これにより、微弱な信号成分が少しでも失われることを防ぐため、1以上となるようにする。
R=K11×R11+K31×R31+K51×R51
+K13×R13+K33×R33+K53×R53
+K15×R15+K35×R35+K55×R55
R22、R42、R24、R44はR画素を示す。G21、G41、G12、G32、G52、G23、G43、G14、G34、G54、G25、G45はG画素を示す。B11、B31、B51、B13、B33、B53、B15、B35、B55はB画素を示す。
B=K31×B31
+K13×B13+K33×B33+K53×B53
+K35×B35
係数設定回路40Cは、フィルタ係数K11〜55のうち、上式で使わない係数を「0」に設定する。
K31=1/8
K13=1/8
K33=4/8
K53=1/8
K35=1/8
上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々8倍の係数とし、これにより、微弱な信号成分が少しでも失われることを防ぐため、各係数が1以上となるようにする。
K31=1/5
K13=1/5
K33=1/5
K53=1/5
K35=1/5
上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々5倍の係数とし、これにより、微弱な信号成分が少しでも失われることを防ぐため、1以上となるようにする。
B=K11×B11+K31×B31+K51×B51
+K13×B13+K33×B33+K53×B53
+K15×B15+K35×B35+K55×B55
領域選択回路50は、ノイズ低減回路40でノイズが低減された撮像信号Rfに基づいて、各注目画素について、各注目画素とその周囲の同じ色成分の光を検出する画素で形成される領域のうち、相関の高い領域を選択する。
相関判定部50Bは、画素抽出部50Aで抽出された画素のうちの、注目画素と、該注目画素と同じ色成分の光を検出する複数の画素とから成る組合せを複数個形成し、該複数個の組合せのうち、当該組合せを構成する画素の画素値の最大値と最小値の差が最小である組合せを前記相関の高い画素領域を構成するものと判定する。
入力端子501に印加された画素信号Pfは、画素信号PRBとして、2ライン遅延回路511、1ライン遅延回路522〜525、2ライン遅延回路512で順次遅延されて、画素信号PRBに対して、それぞれ2、3、4、5、6、8ライン遅延した画素信号PR5、PR4、PR3、PR2、PR1、PRTが出力される。
画素信号PRBはまた、4画素遅延回路530で遅延されて、画素信号P3Bとして出力される。
1ライン遅延回路522から出力された画素信号PR4は、2画素遅延回路533で2画素遅延され、さらに、1画素遅延回路547〜550で順次1画素遅延されて、画素信号PR4に対してそれぞれ2、3、4、5、6画素遅延した画素信号P54、P44、P34、P24、P14が出力される。
1ライン遅延回路523から出力された画素信号PR3は、2画素遅延回路534で2画素遅延され、さらに、1画素遅延回路552〜555で順次1画素遅延され、さらに、2画素遅延回路535で2画素遅延されて、画素信号PR3に対してそれぞれ2、3、4、5、6、8画素遅延した画素信号P53、P43、P33、P23、P13、PL3が出力される。
1ライン遅延回路525から出力された画素信号PR1は、2画素遅延回路537で2画素遅延され、さらに、1画素遅延回路562〜565で順次1画素遅延されて、画素信号PR1に対してそれぞれ2、3、4、5、6画素遅延した画素信号P51、P41、P31、P21、P11が出力される。
2ライン遅延回路512から出力された画素信号PRTは、4画素遅延回路531で遅延されて画素信号P3Tとして出力される。
画素信号P55〜P11、P3B、PR3、PL3、P3Tは、相関判定部50B内の画素選択回路570に供給される。
そして、画素抽出部50Bから供給された画素信号P55〜P11、P3B、PR3、PL3、P3Tを受け、注目画素と、その周囲の参照画素のうちの注目画素に対して特定の相対位置にある複数の画素の画素値の組合せを生成する。各注目画素についてそのような組合せは複数個生成される。
変化幅算出回路571は、第1の加算パターンAP1として入力された上側ブロックパターンGP1の画素間の変化幅を算出し、第1の変化幅WP1として出力し、
変化幅算出回路572は、第2の加算パターンAP2として入力された右側ブロックパターンGP2の画素間の変化幅を算出し、第2の変化幅WP2として出力し、
変化幅算出回路573は、第3の加算パターンAP3として入力された左側ブロックパターンGP3の画素間の変化幅を算出し、第3の変化幅WP3として出力し、
変化幅算出回路574は、第4の加算パターンAP4として入力された下側ブロックパターンGP4の画素間の変化幅を算出し、第4の変化幅WP4として出力し、
変化幅算出回路575は、第5の加算パターンAP5として入力された上側縦ラインパターンGP5の画素間の変化幅を算出し、第5の変化幅WP5として出力し、
変化幅算出回路576は、第6の加算パターンAP6として入力された下側縦ラインパターンGP6の画素間の変化幅を算出し、第6の変化幅WP6として出力し、
変化幅算出回路577は、第7の加算パターンAP7として入力された左側横ラインパターンGP7の画素間の変化幅を算出し、第7の変化幅WP7として出力し、
変化幅算出回路578は、第8の加算パターンAP8として入力された右側横ラインパターンGP8の画素間の変化幅を算出し、第8の変化幅WP8として出力し、
変化幅算出回路579は、第9の加算パターンAP9として入力された左上側斜めラインパターンGP9の画素間の変化幅を算出し、第9の変化幅WP9として出力し、
変化幅算出回路580は、第10の加算パターンAP10として入力された右下側斜めラインパターンGP10の画素間の変化幅を算出し、第10の変化幅WP10として出力し、
変化幅算出回路581は、第11の加算パターンAP11として入力された右上側斜めラインパターンGP11の画素間の変化幅を算出し、第11の変化幅WP11として出力し、
変化幅算出回路582は、第12の加算パターンAP12として入力された左下側斜めラインパターンGP12の画素間の変化幅を算出し、第12の変化幅WP12として出力する。
変化幅算出回路571は、第1の加算パターンAP1として入力された左上側ブロックパターンRP1或いはBP1の画素間の変化幅を算出し、第1の変化幅WP1として出力し、
変化幅算出回路572は、第2の加算パターンAP2として入力された右上側ブロックパターンRP2或いはBP2の画素間の変化幅を算出し、第2の変化幅WP2として出力し、
変化幅算出回路573は、第3の加算パターンAP3として入力された左下側ブロックパターンRP3或いはBP3の画素間の変化幅を算出し、第3の変化幅WP3として出力し、
変化幅算出回路574は、第4の加算パターンAP4として入力された右下側ブロックパターンRP4或いはBP4の画素間の変化幅を算出し、第4の変化幅WP4として出力する。
変化幅算出回路575〜582は変化幅算出の動作を行わない。
最小値算出回路585は、変化幅算出回路571〜582から出力される第1乃至第12の変化幅WP1〜WP12を受け、そのうちの最小のものを求め、変化幅が最小の加算パターンAPMを画素指定回路590へ通知する。
画素指定回路590は、最小値算出回路585から通知された加算パターン(選択された加算パターン)APMを構成する画素の画素位置(該画素を構成する画素領域)を示す情報Spを出力端子502を介して選択加算回路30へ供給する。
右側ブロックパターンGP2の構成画素が最小の変化幅の場合は、画素G42、G33、G53、G44の画素位置情報Spが選択加算回路30へ供給される。
左側ブロックパターンGP3の構成画素が最小の変化幅の場合は、画素G22、G13、G33、G24の画素位置情報Spが選択加算回路30へ供給される。
下側ブロックパターンGP4の構成画素が最小の変化幅の場合は、画素G33、G24、G44、G35の画素位置情報Spが選択加算回路30へ供給される。
下側縦ラインパターンGP6の構成画素が最小の変化幅の場合は、画素G31、G33、G35、G3Bの画素位置情報Spが選択加算回路30へ供給される。
左側横ラインパターンGP7の構成画素が最小の変化幅の場合は、画素GL3、G13、G33、G53の画素位置情報Spが選択加算回路30へ供給される。
右側横ラインパターンGP8の構成画素が最小の変化幅の場合は、画素G13、G33、G53、GR3の画素位置情報Spが選択加算回路30へ供給される。
右下側斜めラインパターンGP10の構成画素が最小の変化幅の場合は、画素G22、G33、G44、G55の画素位置情報Spが選択加算回路30へ供給される。
右上側斜めラインパターンGP11の構成画素が最小の変化幅の場合は、画素G51、G42、G33、G24の画素位置情報Spが選択加算回路30へ供給される。
左下側斜めラインパターンGP12の構成画素が最小の変化幅の場合は、画素G42、G33、G24、G15の画素位置情報Spが選択加算回路30へ供給される。
最小値算出回路585は、変化幅算出回路571〜574から出力される第1乃至第4の変化幅WP1〜WP4を受け、そのうちの最小のものを求め、変化幅が最小の加算パターンAPMを画素指定回路590へ通知する。
画素指定回路590は、最小値算出回路585から通知された加算パターン(選択された加算パターン)APMを構成する画素の画素位置(該画素を構成する画素領域)を示す情報Spを出力端子502を介して選択加算回路30へ供給する。
右上側ブロックパターンRP2の構成画素が最小の変化幅の場合は、画素R31、R51、R33、R53の画素位置情報Spが選択加算回路30へ供給される。
左下側ブロックパターンRP3の構成画素が最小の変化幅の場合は、画素R13、R33、R15、R35の画素位置情報Spが選択加算回路30へ供給される。
右下側ブロックパターンRP4の構成画素が最小の変化幅の場合は、画素R33、R53、R35、R55の画素位置情報Spが選択加算回路30へ供給される。
最小値算出回路585は、変化幅算出回路571〜574から出力される第1乃至第4の変化幅WP1〜WP4を受け、そのうちの最小のものを求め、変化幅が最小の加算パターンAPMを画素指定回路590へ通知する。
画素指定回路590は、最小値算出回路585から通知された加算パターン(選択された加算パターン)APMを構成する画素の画素位置(該画素を構成する画素領域)を示す情報Spを出力端子502を介して選択加算回路30へ供給する。
右上側ブロックパターンBP2の構成画素が最小の変化幅の場合は、画素B31、B51、B33、B53の画素位置情報Spが選択加算回路30へ供給される。
左下側ブロックパターンBP3の構成画素が最小の変化幅の場合は、画素B13、B33、B15、B35の画素位置情報Spが選択加算回路30へ供給される。
右下側ブロックパターンBP4の構成画素が最小の変化幅の場合は、画素B33、B53、B35、B55の画素位置情報Spが選択加算回路30へ供給される。
選択加算回路30は、撮像部2から出力され、相関二重サンプリング処理回路3、プログラマブル利得増幅回路4、A/D変換回路5を介し、さらに画素加算回路6内の遅延回路19を介して供給される各注目画素の撮像信号Pdを受け、そのうち、領域選択回路50で選択された画素領域に含まれる画素の撮像信号を加算し、加算結果を加算画素信号Peとして出力する。
図21で、「2L−DL」は2ライン遅延回路を示し、「1L−DL」は1ライン遅延回路を示し、「4D−DL」は4画素遅延回路を示し、「2D−DL」は2画素遅延回路を示し、「1D−DL」は1画素遅延回路を示す。
入力された画素信号Pdは、画素信号PRBとして、2ライン遅延回路311、1ライン遅延回路322〜325、2ライン遅延回路312で順次遅延されて、画素信号PRBに対して、それぞれ2、3、4、5、6、8ライン遅延した画素信号PR5、PR4、PR3、PR2、PR1、PRTが出力される。
画素信号PRBはまた、4画素遅延回路330で遅延されて、画素信号P3Bとして出力される。
1ライン遅延回路322から出力された画素信号PR4は、2画素遅延回路333で2画素遅延され、さらに、1画素遅延回路347〜350で順次1画素遅延されて、画素信号PR4に対してそれぞれ2、3、4、5、6画素遅延した画素信号P54、P44、P34、P24、P14が出力される。
1ライン遅延回路323から出力された画素信号PR3は、2画素遅延回路334で2画素遅延され、さらに、1画素遅延回路352〜355で順次1画素遅延され、さらに、2画素遅延回路335で2画素遅延されて、画素信号PR3に対してそれぞれ2、3、4、5、6、8画素遅延した画素信号P43、P33、P23、P13、PL3が出力される。
1ライン遅延回路325から出力された画素信号PR1は、2画素遅延回路337で2画素遅延され、さらに、1画素遅延回路362〜365で順次1画素遅延されて、画素信号PR1に対してそれぞれ2、3、4、5、6画素遅延した画素信号P51、P41、P31、P21、P11が出力される。
2ライン遅延回路312から出力された画素信号PRTは、4画素遅延回路331で遅延されて画素信号P3Tとして出力される。
領域選択回路50の画素指定回路590から通知される加算パターンに属する画素の画素位置を示す情報Spは、選択加算回路30の画素位置入力端子319を介して画素選択回路370へ供給される。
画素選択回路370は、注目画素が、R画素かG画素かB画素かをも特定する。そして画素指定回路590からの情報Spで示される加算パターン(注目画素との相関が最も高いものとして選択された加算パターン)を構成する画素の画素位置も特定する。
例えば、4画素の画素値をPs1、Ps2、Ps3、Ps4、増感倍率をLとすると、
Pe=(Ps1+Ps2+Ps3+Ps4)×L/4
で表される演算により、加算画素値Peを求める。以下の説明で、G画素についての加算画素値はGeで、R画素についての加算画素値はReで、B画素についての加算画素値はBeで示される。
加重加算に当たり、各画素の画素値に掛けられる加算係数は、増感倍率に依存する。
画素毎に異なる加算係数を用いることとしても良い。例えば、増感倍率が1のときは、注目画素に対する加算係数を1とし、他の画素に対する加算係数を0とし、増感倍率が最大値、例えば4のときは、すべての画素に対する加算係数を同じ値としても良い。
増感倍率が1と4の間では、増感倍率が1のときの値から、増感倍率が最大値のときの値へ、加算係数を連続的に変化させるようにしても良い。
第1の加算パターンAP1としての上側ブロックパターンGP1が選択された場合、加算回路390は、次式の演算を行う。
Ge=(G31+G22+G42+G33)×L/4
第2の加算パターンAP2としての右側ブロックパターンGP2が選択された場合、加算回路390は、次式の演算を行う。
Ge=(G42+G33+G53+G44)×L/4
第3の加算パターンAP3としての左側ブロックパターンGP3が選択された場合、加算回路390は、次式の演算を行う。
Ge=(G22+G13+G33+G24)×L/4
第4の加算パターンAP4としての下側ブロックパターンGP4が選択された場合、加算回路390は、次式の演算を行う。
Ge=(G33+G24+G44+G35)×L/4
Ge=(G3T+G31+G33+G35)×L/4
第6の加算パターンAP6としての下側縦ラインパターンGP6が選択された場合、加算回路390は、次式の演算を行う。
Ge=(G31+G33+G35+G3B)×L/4
第7の加算パターンAP7としての左側横ラインパターンGP7が選択された場合、加算回路390は、次式の演算を行う。
Ge=(GL3+G13+G33+G53)×L/4
第8の加算パターンAP8としての右側横ラインパターンGP8が選択された場合、加算回路390は、次式の演算を行う。
Ge=(G13+G33+G53+GR3)×L/4
Ge=(G11+G22+G33+G44)×L/4
第10の加算パターンAP10としての右下側斜めラインパターンGP10が選択された場合、加算回路390は、次式の演算を行う。
Ge=(G22+G33+G44+G55)×L/4
第11の加算パターンAP11としての右上側斜めラインパターンGP11が選択された場合、加算回路390は、次式の演算を行う。
Ge=(G51+G42+G33+G24)×L/4
第12の加算パターンAP12としての左下側斜めラインパターンGP12が選択された場合、加算回路390は、次式の演算を行う。
G=(G42+G33+G24+G15)×L/4
第1の加算パターンAP1としての左上側ブロックパターンRP1が選択された場合、加算回路390は、次式の演算を行う。
Re=(R11+R31+R13+R33)×L/4
第2の加算パターンAP2としての右上側ブロックパターンRP2が選択された場合、加算回路390は、次式の演算を行う。
Re=(R31+R51+R33+R53)×L/4
第3の加算パターンAP3としての左下側ブロックパターンRP3が選択された場合、加算回路390は、次式の演算を行う。
Re=(R13+R33+R15+R35)×L/4
第4の加算パターンAP4としての右下側ブロックパターンRP4が選択された場合、加算回路390は、次式の演算を行う。
Re=(R33+R53+R35+R55)×L/4
第1の加算パターンAP1としての左上側ブロックパターンBP1が選択された場合、加算回路390は、次式の演算を行う。
Be=(B11+B31+B13+B33)×L/4
第2の加算パターンAP2としての右上側ブロックパターンBP2が選択された場合、加算回路390は、次式の演算を行う。
Be=(B31+B51+B33+B53)×L/4
第3の加算パターンAP3としての左下側ブロックパターンBP3が選択された場合、加算回路390は、次式の演算を行う。
Be=(B13+B33+B15+B35)×L/4
第4の加算パターンAP4としての右下側ブロックパターンBP4が選択された場合、加算回路390は、次式の演算を行う。
Be=(B33+B53+B35+B55)×L/4
但し、R画素とB画素の場合は、G画素よりも加算対象の画素間の距離が長くなることから相関判定の誤判定の危険性が高まること、また回路規模が大きくなること、また人間の色の変化に対する感度が輝度よりも低いこと等を総合的に判断して加算パターンを決める。
図22に、CMOS撮像素子20を使った構成を示す。CMOS撮像素子は、撮像機能単体のデバイスの場合もあるし、周辺機能を集積したデバイスの場合もある。
図22は、周辺機能を集積したCMOS撮像素子の場合について示す。
図1のCCD撮像素子2、相関二重サンプリング処理回路3、プログラマブル利得増幅回路4、A/D変換回路5、タイミング発生回路10の持つ機能は、CMOS撮像素子20の中に含まれている。
図23は本発明の実施の形態2による撮像装置を示す。図23において、検波回路13が付加されていること、及び図1の制御回路12の代わりに制御回路12bが設けられている点を除き、実施の形態1の説明と同様であり、同様な効果を奏する。
このような平均レベルの算出は、例えば垂直走査周期毎に行われ、例えば積分処理と割算処理とにより実行される。上記のようにして求められる信号振幅の平均レベルの「算出値」を、信号振幅の平均レベルの「検出値」と言うことがある。
さらに、映像信号処理回路7は、垂直走査周期毎に画素加算回路6の出力に含まれるノイズのレベルを算出し、制御回路12bへ供給する。
また、注目画素と、注目画素の近傍領域内に位置し、注目画素に対して特定の位置にある画素から成る組合せを複数個形成して、形成した組合せの各々について変化幅を算出して、変化幅が最小の組合せに属する画素を加算する。
注目画素の近傍領域内に位置し、最も相関の高い4画素を加算することにより、4倍の感度向上を実現でき、極めて暗い環境での撮像でも大幅に視認性を改善することができる。また、フレーム周波数の低下を防止乃至抑制することができるので、動解像度の劣化はなく、水平解像度、垂直解像度の劣化は最小に抑えることができる。
被写体照度が徐々に暗くなり、信号振幅の平均レベルの検出値ASAが下がってくると、レンズ1の絞りを開放方向に制御して(図24(a)の範囲Sa)、信号振幅の平均レベルを維持する。ここで、「信号振幅の平均レベルを維持する」とは、画素加算回路6の出力の信号振幅の平均レベル、従って検波回路13の出力で表される、信号振幅の平均レベルを維持することを意味する。
なお、露光時間を一定としたが、被写体の照度に応じて露光時間をも制御しても良い。例えば、照度が低下して、増感倍率Lが最大値になってもなおも、信号振幅が十分な値とならないときに、露光時間を長くすることとしても良い(図24(d)の範囲Sd)。逆に、照度が高くなり、絞りを最大に絞っても(F値を最も高くしても)、信号振幅が大きすぎる場合には、露光時間を短くしても良い(図24(d)の範囲Se)。
このような露光時間の制御を加えると、図24(e)に点線で示すように、下限LLeから上限ULeまでの範囲において、信号振幅の平均レベルASAを一定に保つことができる。
言い換えれば、検波回路の出力に対し、露光制御パラメータに基づく逆算を行うことで得られる換算値は、被写体の照度に対応した値である。即ち、そのようなに逆算によって得られた照度が高照度側基準値以上か、低照度側輝度値以下か、それらの基準値の間の範囲にあるかを判断し、判断結果に応じ画素加算の制御(増感感度)を行うことができる。
図25は本発明の実施の形態3による撮像装置を示す。図25において、測光部14が付加されている点、及び制御回路12の代わりに制御回路12cが設けられている点を除き、実施の形態1と同様であり、同様な効果を奏する。
設定値テーブルには、照度値ごとにレンズ1の絞り、CCD撮像素子2の露光時間、プログラマブル利得増幅回路4の増幅利得、画素加算回路6の増感倍率が登録されている。
Claims (17)
- それぞれ異なる色成分の光を検出して対応する撮像信号を出力する複数種の画素を有する撮像部と、
前記撮像部から出力された撮像信号のノイズを低減するノイズ低減回路と、
前記ノイズ低減回路でノイズが低減された撮像信号に基づいて、各注目画素について、各注目画素とその周囲の同じ色成分の光を検出する画素で形成される領域のうち、相関の高い領域を選択する領域選択回路と、
前記撮像部から出力された各注目画素の撮像信号について、前記領域選択回路で選択された画素領域に含まれる画素の撮像信号を加算して加算結果を加算画素信号として出力する選択加算回路と
を備えることを特徴とする撮像装置。 - 前記複数の色成分が第1、第2及び第3の色成分を含み、
前記複数種の画素が、
第1の色成分の光を検出して対応する撮像信号を発生する第1種の画素と、第2の色成分の光を検出して対応する撮像信号を発生する第2種の画素と、第3の色成分の光を検出して対応する撮像信号を発生する第3種の画素と、前記第2の色成分の光を検出して対応する撮像信号を発生する第4種の画素とを含み、
前記第1乃至第4種の画素が、水平2画素、垂直2画素の組み合わせを基本単位として画面内に規則的に配列されており、
前記基本単位内の1つの対角線の方向に前記第2種及び第4種の画素が並んで配置され、他の対角線の方向に前記第1種及び第3種の画素が並んで配置されている
ことを特徴とする請求項1に記載の撮像装置。 - 前記第1の色成分が赤、前記第2の色成分が緑、前記第3の色成分が青であることを特徴とする請求項2に記載の撮像装置。
- 前記第1種の画素が、前記第1の色成分の光を透過させる第1の色フィルタを設けた画素であり、
前記第2種の画素及び第4種の画素が、前記第2の色成分の光を透過させる第2の色フィルタを設けた画素であり、
前記第3種の画素が、前記第3の色成分の光を透過させる第3の色フィルタを設けた画素である
ことを特徴とする請求項2又は3に記載の撮像装置。 - 前記ノイズ低減回路は、注目画素と、その周囲の画素のうちの注目画素と同じ色成分の光を検出する画素からの撮像信号に対して二次元フィルタリングを行うことにより、前記ノイズの低減を行うことを特徴とする請求項1乃至4のいずれかに記載の撮像装置。
- 前記フィルタリングが低域通過フィルタリングであることを特徴とする請求項5に記載の撮像装置。
- 前記領域選択回路は、
前記ノイズ低減回路から出力された撮像信号を所定の時間だけ遅延させて
注目画素及びその周囲の画素の画素値を表す信号を同時に抽出する画素抽出部と、
前記画素抽出部で抽出された画素のうちの、注目画素と、該注目画素と同じ色成分の光を検出する複数の画素とから成る組合せを複数個形成し、該複数個の組合せのうち、当該組合せを構成する画素の画素値の最大値と最小値の差が最小である組合せを前記相関の高い画素領域を構成するものと判定する相関判定部とを備える
ことを特徴とする請求項2に記載の撮像装置。 - 前記相関判定部は、
前記画素抽出部で抽出された画素のうちの、注目画素と、該注目画素と同じ色成分の光を検出する複数の画素とから成る組合せを複数個形成し、該複数個の組合せを出力する選択回路と、
前記選択回路から出力される複数個の組合せにそれぞれについて、前記最大値と最小値の差を変化幅として算出する変化幅算出回路と、
前記変化幅算出回路で算出された変化幅のうちの最小のものを生じさせた組合せが、前記相関の高い画素領域を構成するものであると判定する相関領域検出部とを備える
ことを特徴とする請求項7に記載の撮像装置。 - 第2の色成分の撮像信号を出力する画素を注目画素として、前記相関判定部で形成される組合せが、
注目画素、注目画素の2ライン前に位置する画素、注目画素の1ライン前の1画素前に位置する画素、及び注目画素の1ライン前の1画素後に位置する画素から成る組合せと、
注目画素、注目画素の1ライン前の1画素後に位置する画素、注目画素の2画素後に位置する画素、及び注目画素の1ライン後の1画素後に位置する画素から成る組合せと、
注目画素、注目画素の1ライン前の1画素前に位置する画素、注目画素の2画素前に位置する画素、及び注目画素の1ライン後の1画素前に位置する画素から成る組合せと、
注目画素、注目画素の1ライン後の1画素前に位置する画素、注目画素の1ライン後の1画素後に位置する画素、及び注目画素の2ライン後に位置する画素から成る組合せとを含む
ことを特徴とする請求項7又は8に記載の撮像装置。 - 第2の色成分の撮像信号を出力する画素を注目画素として、前記相関判定部で形成される組合せが、
注目画素、注目画素の2ライン前に位置する画素、注目画素の4ライン前に位置する画素、及び注目画素の2ライン後に位置する画素から成る組合せと、
注目画素、注目画素の2ライン前に位置する画素、注目画素の2ライン後に位置する画素、及び注目画素の4ライン後に位置する画素から成る組合せと、
注目画素、注目画素の2画素前に位置する画素、注目画素の4画素前に位置する画素、及び
注目画素の2画素後に位置する画素から成る組合せと、
注目画素、注目画素の2画素前に位置する画素、注目画素の2画素後に位置する画素、及び注目画素の4画素後に位置する画素から成る組合せとを含む
ことを特徴とする請求項7乃至9のいずれかに記載の撮像装置。 - 第2の色成分の撮像信号を出力する画素を注目画素として、前記相関判定部で形成される組合せが、
注目画素、注目画素の2ライン前の2画素前に位置する画素、注目画素の1ライン前の1画素前に位置する画素、及び注目画素の1ライン後の1画素後に位置する画素から成る組合せと、
注目画素、注目画素の1ライン前の1画素前に位置する画素、注目画素の1ライン後の1画素後に位置する画素、及び注目画素の2ライン後の2画素後に位置する画素から成る組合せと、
注目画素、注目画素の2ライン前の2画素後に位置する画素、注目画素の1ライン前の1画素後に位置する画素、及び注目画素の1ライン後の1画素前に位置する画素から成る組合せと、
注目画素、注目画素の1ライン前の1画素後に位置する画素、注目画素の1ライン後の1画素前に位置する画素、及び注目画素の2ライン前の2画素前に位置する画素から成る組合せとを含む
ことを特徴とする請求項7乃至10のいずれかに記載の撮像装置。 - 第1又は第3の色成分の撮像信号を出力する画素を注目画素として、前記相関判定部で形成される組合せが、
注目画素、注目画素の2ライン前に位置する画素、注目画素の2ライン前の2画素前に位置する画素、及び注目画素の2画素前に位置する画素から成る組合せと、
注目画素、注目画素の2ライン前に位置する画素、注目画素の2ライン前の2画素後に位置する画素、及び注目画素の2画素後に位置する画素から成る組合せと、
注目画素、注目画素の2画素前に位置する画素、注目画素の2ライン後に位置する画素、及び注目画素の2ライン後の2画素前に位置する画素から成る組合せと、
注目画素、注目画素の2画素後に位置する画素、注目画素の2ライン後に位置する画素、及び注目画素の2ライン後の2画素後に位置する画素から成る組合せとを含む
ことを特徴とする請求項7乃至11のいずれかに記載の撮像装置。 - 前記選択加算回路における加算は、増感倍率に基づいて定められた加算係数を用いた加重加算により行われ、
被写体の照度を表す照度情報を生成する照度情報生成部と、
前記照度情報に基づいて前記増感倍率を決定する制御回路とをさらに備える
ことを特徴とする請求項1乃至12のいずれかに記載の撮像装置。 - 前記照度情報で示される照度が所定の値以下になると前記増感倍率を1よりも大きな値とすることを特徴とする請求項13に記載の撮像装置。
- 前記撮像部のレンズ絞り及び露光時間を制御する制御回路と、前記撮像部から出力された撮像信号を増幅する信号増幅部とをさらに備え、
前記所定の照度は、レンズ絞りを開放とし、前記露光時間を標準露光時間とし、信号増幅部の増幅利得を、前記画素加算回路に含まれるノイズのレベルが所定値を超えないとの制約条件を満たす最大利得値とし、前記選択加算回路の増感倍率を1としたときに、前記選択加算回路の出力が、所定のレベルとなる照度であることを特徴とする請求項14に記載の撮像装置。 - 前記照度情報生成部が、被写体からの光に基づいて前記照度を測定して、前記照度情報を生成する測光部を有する
ことを特徴とする請求項13乃至15のいずれかに記載の撮像装置。 - 前記照度情報生成部は、前記選択加算回路で生成された前記加算画素信号のレベル及び露光制御パラメータに基いて前記照度情報を生成することを特徴とする請求項13乃至15のいずれかに記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011056630A JP5780786B2 (ja) | 2011-03-15 | 2011-03-15 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011056630A JP5780786B2 (ja) | 2011-03-15 | 2011-03-15 | 撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012195677A true JP2012195677A (ja) | 2012-10-11 |
JP2012195677A5 JP2012195677A5 (ja) | 2014-04-03 |
JP5780786B2 JP5780786B2 (ja) | 2015-09-16 |
Family
ID=47087212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011056630A Expired - Fee Related JP5780786B2 (ja) | 2011-03-15 | 2011-03-15 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5780786B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014107807A (ja) * | 2012-11-29 | 2014-06-09 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法及び撮像装置 |
JP2014155034A (ja) * | 2013-02-08 | 2014-08-25 | Mitsubishi Electric Corp | 撮像装置 |
WO2014188951A1 (ja) * | 2013-05-23 | 2014-11-27 | 富士フイルム株式会社 | 画素混合装置およびその動作制御方法 |
JP2015159528A (ja) * | 2013-11-25 | 2015-09-03 | 株式会社Jvcケンウッド | 映像処理装置、撮像装置、映像処理方法、及び映像処理プログラム |
JP2015159526A (ja) * | 2013-11-25 | 2015-09-03 | 株式会社Jvcケンウッド | 撮像装置、映像信号処理方法及び映像信号処理プログラム |
JP2015216619A (ja) * | 2014-04-25 | 2015-12-03 | パナソニックIpマネジメント株式会社 | 撮像システム、撮像装置、撮像方法および符号化方法 |
WO2016018640A1 (en) * | 2014-07-31 | 2016-02-04 | Symbol Technologies, Llc | System for, and method of, controlling target illumination for an imaging reader |
US9967527B2 (en) | 2013-11-25 | 2018-05-08 | JVC Kenwood Corporation | Imaging device, image processing device, image processing method, and image processing program |
KR102051130B1 (ko) * | 2018-06-14 | 2019-12-02 | 연세대학교 산학협력단 | 이웃 정보에 기반한 이미지의 문서 영역 분리 방법 및 장치 |
CN111835944A (zh) * | 2019-04-18 | 2020-10-27 | 耐能智慧股份有限公司 | 图像处理系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003134523A (ja) * | 2001-10-25 | 2003-05-09 | Mitsubishi Electric Corp | 撮像装置及び撮像方法 |
JP2006211466A (ja) * | 2005-01-31 | 2006-08-10 | Mitsubishi Electric Corp | 画素信号処理装置及び方法 |
JP2008252558A (ja) * | 2007-03-30 | 2008-10-16 | Toshiba Corp | 撮像装置 |
JP2009194776A (ja) * | 2008-02-15 | 2009-08-27 | Fujitsu Microelectronics Ltd | ノイズフィルタ |
-
2011
- 2011-03-15 JP JP2011056630A patent/JP5780786B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003134523A (ja) * | 2001-10-25 | 2003-05-09 | Mitsubishi Electric Corp | 撮像装置及び撮像方法 |
JP2006211466A (ja) * | 2005-01-31 | 2006-08-10 | Mitsubishi Electric Corp | 画素信号処理装置及び方法 |
JP2008252558A (ja) * | 2007-03-30 | 2008-10-16 | Toshiba Corp | 撮像装置 |
JP2009194776A (ja) * | 2008-02-15 | 2009-08-27 | Fujitsu Microelectronics Ltd | ノイズフィルタ |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014107807A (ja) * | 2012-11-29 | 2014-06-09 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法及び撮像装置 |
JP2014155034A (ja) * | 2013-02-08 | 2014-08-25 | Mitsubishi Electric Corp | 撮像装置 |
WO2014188951A1 (ja) * | 2013-05-23 | 2014-11-27 | 富士フイルム株式会社 | 画素混合装置およびその動作制御方法 |
CN105230010A (zh) * | 2013-05-23 | 2016-01-06 | 富士胶片株式会社 | 像素混合装置及其动作控制方法 |
US10306196B2 (en) | 2013-05-23 | 2019-05-28 | Fujifilm Corporation | Pixel mixing device and method for controlling operation of same |
JP5883992B2 (ja) * | 2013-05-23 | 2016-03-15 | 富士フイルム株式会社 | 画素混合装置およびその動作制御方法 |
CN105230010B (zh) * | 2013-05-23 | 2017-02-08 | 富士胶片株式会社 | 像素混合装置及其动作控制方法 |
US9871969B2 (en) | 2013-11-25 | 2018-01-16 | JVC Kenwood Corporation | Image processing device, imaging device, image processing method, and image processing program |
JP2015159528A (ja) * | 2013-11-25 | 2015-09-03 | 株式会社Jvcケンウッド | 映像処理装置、撮像装置、映像処理方法、及び映像処理プログラム |
JP2015159526A (ja) * | 2013-11-25 | 2015-09-03 | 株式会社Jvcケンウッド | 撮像装置、映像信号処理方法及び映像信号処理プログラム |
US9967527B2 (en) | 2013-11-25 | 2018-05-08 | JVC Kenwood Corporation | Imaging device, image processing device, image processing method, and image processing program |
JP2015216619A (ja) * | 2014-04-25 | 2015-12-03 | パナソニックIpマネジメント株式会社 | 撮像システム、撮像装置、撮像方法および符号化方法 |
GB2543696A (en) * | 2014-07-31 | 2017-04-26 | Symbol Technologies Llc | System for, and method of, controlling target illumination for an imaging reader |
CN106575349A (zh) * | 2014-07-31 | 2017-04-19 | 讯宝科技有限责任公司 | 控制成像读取器的目标照明的系统及方法 |
US9361502B2 (en) | 2014-07-31 | 2016-06-07 | Symbol Technologies, Llc | System for, and method of, controlling target illumination for an imaging reader |
GB2543696B (en) * | 2014-07-31 | 2018-07-11 | Symbol Technologies Llc | System for, and method of, controlling target illumination for an imaging reader |
WO2016018640A1 (en) * | 2014-07-31 | 2016-02-04 | Symbol Technologies, Llc | System for, and method of, controlling target illumination for an imaging reader |
KR102051130B1 (ko) * | 2018-06-14 | 2019-12-02 | 연세대학교 산학협력단 | 이웃 정보에 기반한 이미지의 문서 영역 분리 방법 및 장치 |
CN111835944A (zh) * | 2019-04-18 | 2020-10-27 | 耐能智慧股份有限公司 | 图像处理系统 |
CN111835944B (zh) * | 2019-04-18 | 2021-08-13 | 耐能智慧股份有限公司 | 图像处理系统 |
Also Published As
Publication number | Publication date |
---|---|
JP5780786B2 (ja) | 2015-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5780786B2 (ja) | 撮像装置 | |
US9344637B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP5935876B2 (ja) | 画像処理装置、撮像素子、および画像処理方法、並びにプログラム | |
KR101099401B1 (ko) | 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체 | |
US7916191B2 (en) | Image processing apparatus, method, program, and recording medium | |
US8508625B2 (en) | Image processing apparatus | |
JP4960309B2 (ja) | 固体撮像装置 | |
WO2010089830A1 (ja) | 撮像装置 | |
JPWO2015012121A1 (ja) | 撮像素子、撮像方法、並びにプログラム | |
KR20080102117A (ko) | 화상신호처리장치 및 화상신호처리방법 | |
JP2008289090A (ja) | 撮像信号処理装置 | |
JP5675996B2 (ja) | 信号処理装置及び信号処理方法、固体撮像装置、電子情報機器、信号処理プログラム、並びにコンピュータ読み取り可能な記憶媒体 | |
JP4501350B2 (ja) | 固体撮像装置および撮像装置 | |
JP2011113182A (ja) | 画像処理装置 | |
JP5474586B2 (ja) | 画像処理装置 | |
WO2007100002A1 (ja) | 撮像装置、映像信号処理方法および映像信号処理プログラム | |
JP6095519B2 (ja) | 撮像装置 | |
KR20140013891A (ko) | 화상 처리 장치, 화상 처리 방법 및 고체 촬상 장치 | |
JP5473555B2 (ja) | 撮像装置 | |
JP5612001B2 (ja) | 画像処理装置及び固体撮像装置 | |
JP5991932B2 (ja) | 撮像装置 | |
JP2006237686A (ja) | 撮像装置 | |
JP2012195675A (ja) | 撮像装置 | |
JP5282306B2 (ja) | 画像処理装置、画像処理方法、及び撮像装置 | |
JP6632093B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150714 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5780786 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |