JP2019057893A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2019057893A JP2019057893A JP2017182655A JP2017182655A JP2019057893A JP 2019057893 A JP2019057893 A JP 2019057893A JP 2017182655 A JP2017182655 A JP 2017182655A JP 2017182655 A JP2017182655 A JP 2017182655A JP 2019057893 A JP2019057893 A JP 2019057893A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- signal
- interpolation
- white
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 111
- 238000001514 detection method Methods 0.000 claims abstract description 96
- 230000009467 reduction Effects 0.000 claims abstract description 7
- 230000007547 defect Effects 0.000 claims description 131
- 230000003287 optical effect Effects 0.000 claims description 30
- 238000009825 accumulation Methods 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 238000000926 separation method Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 abstract description 62
- 230000000694 effects Effects 0.000 description 65
- 238000010586 diagram Methods 0.000 description 40
- 230000015654 memory Effects 0.000 description 37
- 238000012545 processing Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 10
- 229920006395 saturated elastomer Polymers 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 3
- 230000017525 heat dissipation Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
また、動制御手段は、変調度とモアレを中程度とする場合には、前記出力映像の画素間隔の移動を画素間隔に角丸の四角形の可変速移動としてもよい。
また、前記出力映像の毎秒フレーム数の4倍の毎秒フレーム数のR/G1/G2/Bの直列(シリアル)映像信号を出力映像の毎秒フレーム数の4並列(パラレル)のR/G1/G2/B映像信号又は3並列(パラレル)のR/G1+G2/Bの映像信号に変換する色分離補間変換手段を有し、前記移動手段は、前記出力映像の毎秒フレーム数で前記撮像素子を光軸と垂直な方向に出力映像の画素間隔の撮像素子の2の累乗数の画素間隔に移動させ、前記変換手段は、前記出力映像の毎秒フレーム数の4倍の毎秒フレーム数で撮像した信号を出力映像の毎秒フレーム数の各画素の4並列のR/G1/G2/B映像信号又は3並列のR/G1+G2/Bの映像信号に変換してもよい。
また、前記撮像素子の温度に対応する正常画素の暗電流を検出する暗電流算出手段、または、前記撮像素子の温度を検出する温度検出手段と、
前記撮像素子の温度に対応する正常画素の暗電流に反比例させて所定時間だけ遮光蓄積し読出を行い、所定レベルより小さい暗電流の画素を正常画素の暗電流として検出する黒キズ検出手段と、撮影時に完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間する黒キズ補間手段と、を有してもよい。
本発明は、ベイヤ配列オンチップカラーフィルタを有する撮像素子を有する撮像装置であって、出力映像の4倍の毎秒フレーム数で撮像素子を光軸と垂直な方向に画素間隔に移動させる移動手段と、前記移動手段による画素間隔の移動を四角に画素間隔のステップ移動とする移動制御手段と、撮像した直列映像信号を出力映像の毎秒フレーム数の各画素の並列映像信号に変換する変換手段と、を有する。
本実施形態の概要は次の通りである。すなわち、雑音低減、ゲイン補正およびアナログ−デジタル変換のAFE(Analog Front End)を集積したCMOS撮像素子で、映像信号処理で遮光画素の映像信号の代表値を有効画素映像信号から減算するOB補正を行う。さらに、240fpsのR/G1/G2/Bの直列(シリアル)データを60fpsの4並列(パラレル)のR/G1/G2/B映像信号の並列(パラレル)データ又は3並列(パラレル)のR/G1+G2/Bの映像信号の並列(パラレル)データに分離して信号処理する。CMOS撮像素子を移動させる圧電素子駆動電圧の振幅は画素間隔相当で一定としておき、波形を画素間隔に四角く画素間隔にステップ移動させる矩形波に近い台形波(LPF効果弱)から、画素間隔に角丸の四角形の可変速移動させる飽和した正弦波(LPF効果中)を介して、画素間隔を直径に円周連続移動(LPF効果強)と可変させる。
被写体からの入射光はレンズ部31で結像され、結像された入射光は撮像装置30の撮像素子33で光電変換される。赤信号(R)、緑1信号(G1)と緑2信号(G2)と青信号(B)に光電変換される。
Y=0.2126R+0.7152G+0.0722B
Pb=0.5389(B−Y)
Pr=0.6350(R−Y)
そしてパラレル−シリアル変換部37でシリアル映像信号に変換され、外部に出力される。
Y=0.2627R+0.6780G+0.0593B
Pb=0.5315(B−Y)
Pr=0.6782(R−Y)
の映像信号出力もある。
さらに、赤緑青の原色の映像信号の出力もある。
ここで、レンズ31は、一般に、6℃温度上昇で暗電流は2倍程度となっている。放熱に工夫しているカメラ(撮像装置30に相当する)では、一般に、内部温度上昇がおよそ2時間で飽和し12℃程度となっている。そのため、周囲温度が一定であっても、内部温度上昇12℃で、起動時に比べ、内部温度上昇の飽和時には4倍となる。通常はその中間となることが多い。
(2)出力映像の毎秒フレーム数で該撮像素子を圧電素子(X方向圧電素子81、Y方向圧電素子82)で光軸(Z軸)と垂直な方向(X軸Y軸)に画素間隔に移動させる手段(X方向圧電駆動部83、Y方向圧電駆動部84)と、
(3)出力映像の毎秒フレーム数の4倍の毎秒フレーム数のR/G1/G2/Bのシリアル映像信号を出力映像の毎秒フレーム数の4並列のR/G1/G2/Bの映像信号に変換する手段(パラレル−シリアル変換部37)と、を有し、
(4)高い変調度を必要とする場合は、圧電素子(X方向圧電素子81、Y方向圧電素子82)の画素間隔以内の移動を四角に画素間隔のステップ移動とし、
(5)モアレの低減を必要とする場合は、圧電素子(X方向圧電素子81、Y方向圧電素子82)の画素間隔以内の移動を円形に連続移動とし、
(6)出力映像の毎秒フレーム数の4倍の毎秒フレーム数で撮像した信号を出力映像の毎秒フレーム数の各画素の4並列のR/G1/G2/Bの映像信号に変換する。
(7)撮像素子温度に対応する(6℃上昇でおよそ2倍となる)正常画素の暗電流を検出する手段(OB画素の最小値からNからN+M番目の平均値を算出する手段)または撮像素子の温度を検出する手段(温度センサ85)と、
(8)該検出した撮像素子温度に対応する(6℃でおよそ2倍となる)正常画素の暗電流に反比例させて長時間(1秒から163894秒)遮光蓄積し読出を行い、第二の所定のレベルより小さい暗電流の画素(感度が異常に低い撮像画素(すなわち、「完全黒キズ」))を(正常画素の暗電流と識別して)検出する手段と、
(9)撮影時に完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間する手段(完全黒キズ検出補間部38)と、を有する。
なお、詳細については実施例3で説明する。
以上で、白キズと完全黒キズとの検出の補間が終了となる。
すなわち、撮像装置30は、実施例1の特徴に更に、完全黒キズ補間後にOB補正を行う手段(暗電流算出OB補正部32)を有する。
図15Aは、暗電流算出OB補正部32の構成を示すブロック図であって、OB画素信号の最小値からN番目からN+M番目の画素値を代表値として検出し、その代表値の加算平均値を出力する。ここでは、一実施例として、最小値から4番目〜7番目(すなわち、N=3、M=4)の画素値の加算平均を出力する構成について例示する。
すなわち、撮像装置30は、
(1)映像信号処理の中時間の遮光蓄積時間で暗電流が異常に多い画素欠陥(以下、白キズと称する)の検出を行う手段(白キズ検出補間部42)と、
(2)(撮像素子温度が6℃上昇でおよそ2倍となる)正常画素の暗電流を検出する手段(OB画素の最小値からNからN+M番目の平均値を算出する手段(代表値平均検出部48))または撮像素子の温度を検出する手段(温度センサ85)と、
(3)該検出した撮像素子温度が6℃上昇でおよそ2倍となる正常画素の暗電流に蓄積時間を逆比例させて(およそ1秒から16384秒)蓄積して(ランダムノイズの影響を除去して、)OB補正前に(又はOB補正を中止して、)白キズ補間を行う手段(白キズ検出補間部42)と、
(4)白キズ補間後に第二の所定のレベルより小さい暗電流の画素(すなわち、完全黒キズ)を(正常画素の暗電流と識別して)検出する手段(完全黒キズ検出補間部38)と、
(5)撮影時に完全黒キズごとに独立に周囲画素の信号レベルを用いて補間する手段と、完全黒キズ補間後にOB補正を行う手段(暗電流算出OB補正部32)と、を有する。
すなわち、撮像装置30は、
(1)映像信号処理の中時間の遮光蓄積時間で白キズ検出を行う手段と、
(2)該白キズ検出後で、白上記撮像素子温度に蓄積時間を逆比例させておよそ4秒から4096秒蓄積して(ランダムノイズの影響を除去して、)OB補正前又はOB補正を中止して、白キズ補間を行い、第二の所定のレベルより小さい暗電流の画素(すなわち、完全黒))を(正常画素の暗電流と識別して)検出する手段と、
(3)撮影時に完全黒キズごとに独立に周囲画素の信号レベルを用いて補間する手段と、を有する。
図6Aは色分離補間変換部87の構成を示すブロック図の一例である。図7Aは、240fpsベイヤ配列読出し信号(図7A(a))と60fpsR/G1/G2/B信号(図7A(b))の模式図である。
以下では、上述の実施例と異なる点を主に説明し、共通する部分については、適宜省略している。
以下では、上述の実施例と異なる点を主に説明し、共通する部分については、適宜省略している。
9a、9b:周辺画素信号選択部
15:白キズ判定部
16:白キズ周囲画素補間部
17:黒キズ判定部
18:黒キズ周囲画素補間部
19a、19b:周囲画素中央値検出部
29a、29b:出力切替器
30:撮像装置
31:レンズ
32:暗電流算出OB補正部
33:撮像素子(CMOS撮像素子)
36:マトリクス変換部(MATRIX)
37:パラレル−シリアル変換部
38:完全黒キズ検出補間部
39:CPU
40:画像表示部
41:白キズ完全黒キズ検出補正色分離補正機能付映像信号処理部
42:白キズ検出補間部
72:ラインバッファ内蔵メモリコントローラ
73:Rフレームメモリ
74:G1フレームメモリ
75:G2フレームメモリ
76:Bフレームメモリ
81:X方向圧電素子
82:Y方向圧電素子
83:X方向圧電駆動部(D/Aと高速高耐圧演算増幅器)
84:Y方向圧電駆動部(D/Aと高速高耐圧演算増幅器)
85:温度センサ
86:白キズ完全黒キズ検出補間部
87:色分離補間変換部
88:ガンマ色輪郭補正部
Claims (5)
- R/G1/G2/Bのベイヤ配列のオンチップカラーフィルタを有し出力映像の毎秒フレーム数の4倍の毎秒フレーム数で撮像する撮像素子を備える撮像装置であって、
前記出力映像の毎秒フレーム数で前記撮像素子を光軸と垂直な方向に画素間隔に移動させる移動手段と、
前記出力映像の毎秒フレーム数の4倍の毎秒フレーム数のR/G1/G2/Bの直列映像信号を前記出力映像の毎秒フレーム数の並列の映像信号に変換手段と、
前記移動手段による画素間隔の移動を、高い変調度を必要とする場合には、前記画素間隔の移動を四角に画素間隔のステップ移動とし、モアレの低減を必要とする場合には、前記画素間隔の移動を円形に連続移動とする移動制御手段と、
を備えることを特徴とする撮像装置。 - 前記移動制御手段は、変調度とモアレを中程度とする場合には、前記出力映像の画素間隔の移動を画素間隔に角丸の四角形の可変速移動とすることを特徴とする請求項1に記載の撮像装置。
- 前記出力映像の毎秒フレーム数の4倍の毎秒フレーム数のR/G1/G2/Bの直列(シリアル)映像信号を出力映像の毎秒フレーム数の4並列(パラレル)のR/G1/G2/B映像信号又は3並列(パラレル)のR/G1+G2/Bの映像信号に変換する色分離補間変換手段を有し、
前記移動手段は、前記出力映像の毎秒フレーム数で前記撮像素子を光軸と垂直な方向に出力映像の画素間隔の撮像素子の2の累乗数の画素間隔に移動させ、
前記変換手段は、前記出力映像の毎秒フレーム数の4倍の毎秒フレーム数で撮像した信号を出力映像の毎秒フレーム数の各画素の4並列のR/G1/G2/B映像信号又は3並列のR/G1+G2/Bの映像信号に変換することを特徴とする請求項1または2に記載の撮像装置。 - 前記撮像素子の温度に対応する正常画素の暗電流を検出する暗電流算出手段、または、前記撮像素子の温度を検出する温度検出手段と、
前記撮像素子の温度に対応する正常画素の暗電流に反比例させて所定時間だけ遮光蓄積し読出を行い、所定レベルより小さい暗電流の画素を正常画素の暗電流として検出する黒キズ検出手段と、
撮影時に完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間する黒キズ補間手段と、を有することを特徴とする請求項1から3までのいずれかに記載の撮像装置。 - ベイヤ配列オンチップカラーフィルタを有する撮像素子を有する撮像装置であって、
出力映像の4倍の毎秒フレーム数で撮像素子を光軸と垂直な方向に画素間隔に移動させる移動手段と、
前記移動手段による画素間隔の移動を四角に画素間隔のステップ移動とする移動制御手段と、
撮像した直列映像信号を出力映像の毎秒フレーム数の各画素の並列映像信号に変換する変換手段と、
を有することを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017182655A JP6991809B2 (ja) | 2017-09-22 | 2017-09-22 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017182655A JP6991809B2 (ja) | 2017-09-22 | 2017-09-22 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019057893A true JP2019057893A (ja) | 2019-04-11 |
JP6991809B2 JP6991809B2 (ja) | 2022-01-13 |
Family
ID=66106556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017182655A Active JP6991809B2 (ja) | 2017-09-22 | 2017-09-22 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6991809B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110730318A (zh) * | 2019-09-30 | 2020-01-24 | 上海集成电路研发中心有限公司 | 一种用于消除莫尔条纹的像素单元和像素阵列 |
JP2021071573A (ja) * | 2019-10-30 | 2021-05-06 | キヤノン株式会社 | 撮像装置及びその制御方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0983873A (ja) * | 1995-09-07 | 1997-03-28 | Fuji Photo Film Co Ltd | 撮像装置 |
JP2008035241A (ja) * | 2006-07-28 | 2008-02-14 | Pentax Corp | デジタルカメラ |
JP2011101139A (ja) * | 2009-11-05 | 2011-05-19 | Panasonic Corp | 撮像装置及びネットワークカメラシステム |
JP2013219622A (ja) * | 2012-04-10 | 2013-10-24 | Canon Inc | 撮像装置及び画像処理方法 |
-
2017
- 2017-09-22 JP JP2017182655A patent/JP6991809B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0983873A (ja) * | 1995-09-07 | 1997-03-28 | Fuji Photo Film Co Ltd | 撮像装置 |
JP2008035241A (ja) * | 2006-07-28 | 2008-02-14 | Pentax Corp | デジタルカメラ |
JP2011101139A (ja) * | 2009-11-05 | 2011-05-19 | Panasonic Corp | 撮像装置及びネットワークカメラシステム |
JP2013219622A (ja) * | 2012-04-10 | 2013-10-24 | Canon Inc | 撮像装置及び画像処理方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110730318A (zh) * | 2019-09-30 | 2020-01-24 | 上海集成电路研发中心有限公司 | 一种用于消除莫尔条纹的像素单元和像素阵列 |
CN110730318B (zh) * | 2019-09-30 | 2022-01-04 | 上海集成电路研发中心有限公司 | 一种用于消除莫尔条纹的像素单元和像素阵列 |
JP2021071573A (ja) * | 2019-10-30 | 2021-05-06 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP7397626B2 (ja) | 2019-10-30 | 2023-12-13 | キヤノン株式会社 | 撮像装置及びその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6991809B2 (ja) | 2022-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5529928B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP5541718B2 (ja) | 撮像装置及びその欠陥画素検出方法 | |
JP5526014B2 (ja) | 撮像装置 | |
JP5746521B2 (ja) | 撮像装置及びその制御方法、プログラム並びに記憶媒体 | |
WO2015190156A1 (ja) | 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム | |
JP2010074584A (ja) | 撮像装置および撮像方法 | |
JP2013115449A (ja) | 撮像装置、撮像方法および監視システム | |
JP2020053771A (ja) | 画像処理装置、撮像装置 | |
JP6991809B2 (ja) | 撮像装置 | |
KR20120024448A (ko) | 촬상 장치, 신호 처리 방법 및 프로그램 | |
JP5748513B2 (ja) | 撮像装置 | |
JP5446955B2 (ja) | 撮像装置 | |
US11368610B2 (en) | Image capture apparatus and control method therefor | |
JP2011114473A (ja) | 画素欠陥補正装置 | |
JP2011041039A (ja) | 撮像装置およびプログラム | |
JP5792349B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP6730436B2 (ja) | 撮像装置及び撮像装置の調整方法 | |
JP6422500B2 (ja) | 撮像装置及び撮像方法 | |
JP2018182366A (ja) | 撮像装置及び暗電流変動の検出補正方法及び撮像装置調整方法 | |
US10911700B2 (en) | Image capturing apparatus, image processing apparatus, and method | |
JP6934790B2 (ja) | 撮像装置 | |
JP4745680B2 (ja) | 撮像装置および撮像方法 | |
JP2011010113A (ja) | 撮像装置 | |
JP6437766B2 (ja) | 撮像装置及び撮像方法 | |
JP2009253808A (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200731 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6991809 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |