JP2019057893A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2019057893A
JP2019057893A JP2017182655A JP2017182655A JP2019057893A JP 2019057893 A JP2019057893 A JP 2019057893A JP 2017182655 A JP2017182655 A JP 2017182655A JP 2017182655 A JP2017182655 A JP 2017182655A JP 2019057893 A JP2019057893 A JP 2019057893A
Authority
JP
Japan
Prior art keywords
pixel
signal
interpolation
white
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017182655A
Other languages
English (en)
Other versions
JP6991809B2 (ja
Inventor
中村 和彦
Kazuhiko Nakamura
和彦 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2017182655A priority Critical patent/JP6991809B2/ja
Publication of JP2019057893A publication Critical patent/JP2019057893A/ja
Application granted granted Critical
Publication of JP6991809B2 publication Critical patent/JP6991809B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】提供する。【解決手段】撮像装置30は、ベイヤ配列のオンチップカラーフィルタ付の撮像素子33と、白キズ検出補間部42と、完全黒キズ検出補間部38と、暗電流算出OB補正部32とを有する。撮像装置30は、24fps/30fps/50fps/60fps等の出力映像の毎秒フレーム数の4倍の毎秒フレーム数で撮像し、高い変調度を必要とする場合は、圧電素子(X方向圧電素子81、Y方向圧電素子82)の画素間隔以内の移動を四角に画素間隔のステップ移動とし、モアレの低減を必要とする場合は、圧電素子の画素間隔以内の移動を円形に連続移動とし、出力映像の毎秒フレーム数の4倍の毎秒フレーム数で撮像した信号を出力映像の毎秒フレーム数の各画素の4並列のR/G1/G2/Bの映像信号に変換する。【選択図】図1

Description

本発明は、撮像素子に係り、例えば、ベイヤ配列のオンチップカラーフィルタを備えた撮像素子を有する撮像装置に関する。
デジタル一眼レフカメラでは、光学低域通過フィルタ(以下、「光学LPF」という)を省略して、圧電素子で撮像素子を光軸(Z軸)と垂直な方向(X軸Y軸)に振動させて、光学LPFと同様な効果を得る技術がある。また、1画素ずらしながら4回撮像して、各画素位置からベイヤ配列のR/G1/G2/B全ての色情報を得て、偽信号のほとんどない画像を確保する技術がある(例えば、特許文献1)。
一方、テレビジョンカメラは、24fps、30fps、50fps、60fpsの出力映像のフレーム数に対し、1920x1080画素(High-Definition TeleVision:HDTV2K;以下、「2K」という)では480fps、3840x2160画素(U(Ultra)HDTV4K:以下、「4K」という)、7680x4320画素(UHDTV8K;以下、「8K」という)では240fpsと高速フレームで読み出すカメラもある。
しかし、出力映像の画素数に合った光学LPFを挿入しないと、規則正しい模様の被写体を撮像したときに、モアレが発生する。そのため、8K4KのUHDTVカメラでは、2Kの映像を出力させる場合は、2K用の光学LPFに交換する必要がある。
また、従来のテレビジョンカメラの固撮像素子の画素欠陥検出方法としては、撮像光を分光して得られた複数分光を分光光毎に同一撮像位置もしくは近傍撮像位置で撮像し、出力した映像信号どうしを比較した結果に応じて、前記分光光のうちいずれの分光光を撮像した撮像素子で画素欠陥が発生しているか否かを検出し、補間する技術がある(特許文献2参照)。
特開2016−25429号公報 特開2002−44688号公報 特開2009−232200号公報
ところで、撮像素子で撮像した映像信号には、複数の分光した映像信号毎にランダムノイズ成分が重畳される。このため、画素欠陥検出信号に検出誤差を与えることになり、ランダムノイズより小さなレベルの画素欠陥の検出が困難であった。その結果ため、用途がランダムノイズより画素欠陥信号が比較的大きい長時間露光型カメラ等の一部に限られていた(特許文献3参照)。
さらに、撮像素子は一般に、6℃温度上昇で暗電流が2倍程度となっており、撮像素子温度の指数関数に比例して暗電流が大きく変動する。そのため、画素欠陥の中で感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、「完全黒キズ」と称する)の暗電流と、正常画素の暗電流とを確実に識別して検出することが困難である。なお、暗電流が多い撮像素子温度であれば、画素欠陥の中で暗電流が異常に多い撮像画素(以下、「白キズ」と称する)と正常画素の暗電流との識別は比較的容易である。
本発明は、8K4KのUHDTVカメラにおいて、光学LPFの交換を不要にすることを目的とする。
本発明は、R/G1/G2/Bのベイヤ配列のオンチップカラーフィルタを有し出力映像の毎秒フレーム数の4倍の毎秒フレーム数で撮像する撮像素子を備える撮像装置であって、前記出力映像の毎秒フレーム数で前記撮像素子を光軸と垂直な方向に画素間隔に移動させる移動手段と、前記出力映像の毎秒フレーム数の4倍の毎秒フレーム数のR/G1/G2/Bの直列映像信号を前記出力映像の毎秒フレーム数の並列の映像信号に変換手段と、前記移動手段による画素間隔の移動を、高い変調度を必要とする場合には、前記画素間隔の移動を四角に画素間隔のステップ移動とし、モアレの低減を必要とする場合には、前記画素間隔の移動を円形に連続移動とする移動制御手段と、を備える。
また、動制御手段は、変調度とモアレを中程度とする場合には、前記出力映像の画素間隔の移動を画素間隔に角丸の四角形の可変速移動としてもよい。
また、前記出力映像の毎秒フレーム数の4倍の毎秒フレーム数のR/G1/G2/Bの直列(シリアル)映像信号を出力映像の毎秒フレーム数の4並列(パラレル)のR/G1/G2/B映像信号又は3並列(パラレル)のR/G1+G2/Bの映像信号に変換する色分離補間変換手段を有し、前記移動手段は、前記出力映像の毎秒フレーム数で前記撮像素子を光軸と垂直な方向に出力映像の画素間隔の撮像素子の2の累乗数の画素間隔に移動させ、前記変換手段は、前記出力映像の毎秒フレーム数の4倍の毎秒フレーム数で撮像した信号を出力映像の毎秒フレーム数の各画素の4並列のR/G1/G2/B映像信号又は3並列のR/G1+G2/Bの映像信号に変換してもよい。
また、前記撮像素子の温度に対応する正常画素の暗電流を検出する暗電流算出手段、または、前記撮像素子の温度を検出する温度検出手段と、
前記撮像素子の温度に対応する正常画素の暗電流に反比例させて所定時間だけ遮光蓄積し読出を行い、所定レベルより小さい暗電流の画素を正常画素の暗電流として検出する黒キズ検出手段と、撮影時に完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間する黒キズ補間手段と、を有してもよい。
本発明は、ベイヤ配列オンチップカラーフィルタを有する撮像素子を有する撮像装置であって、出力映像の4倍の毎秒フレーム数で撮像素子を光軸と垂直な方向に画素間隔に移動させる移動手段と、前記移動手段による画素間隔の移動を四角に画素間隔のステップ移動とする移動制御手段と、撮像した直列映像信号を出力映像の毎秒フレーム数の各画素の並列映像信号に変換する変換手段と、を有する。
本発明によれば、光学低域通過フィルタ(光学LPF)と同様のため、また光学LPFの効果を可変できるため、光学低域通過フィルタ交換を不要とする技術を実現できる。
実施形態に係る、撮像装置の全体構成のブロック図である。 実施形態に係る、ベイヤ配列と光学中心の模式図である。 実施形態に係る、ベイヤ配列と存在確立(移動速度の逆数)の模式図である。 実施形態に係る、X軸とY軸との圧電素子駆動電圧波形の模式図である。 実施形態に係る、信号MTFとモアレ成分の模式図である。 本実施形態に係る、色分離補間変換部のブロック図である。 本実施形態に係る、色分離補間変換部の示すブロック図である。 本実施形態に係る、色分離補間変換部の別のブロック図である。 本実施形態に係る、240fpsベイヤ配列読出し信号と60fpsR/G1/G2/B信号を模式的に示した図である。 本実施形態に係る、240fpsベイヤ配列読出し信号と60fpsR/G1/G2/B信号を模式的に示した別の図である。 本実施形態に係る、240fpsベイヤ配列読出し信号と60fpsR/G1/G2/B信号を模式的に示した別の図である。 実施形態に係る、白キズ検出補間部のブロック図である。 実施形態に係る、完全黒キズ検出補間部のブロック図である。 実施形態に係る、画素補間の例を示す図である。 実施形態に係る、白キズ周囲画素補間部のブロック図である。 実施形態に係る、黒キズ周囲画素補間部のブロック図である。 実施形態に係る、白キズ検出と完全黒キズ検出とのフローチャートである。 実施形態に係る、白キズ補間と完全黒キズ補間のフローチャートである。 実施形態に係る、暗電流算出OB補正部のブロック図である。 実施形態に係る、暗電流算出OB補正部の別のブロック図である。 実施形態に係る、暗電流算出OB補正部の別のブロック図である。 実施形態に係る、暗電流算出OB補正部の別のブロック図である。
以下、本発明の実施形態について図面を参照して詳細に説明する。
本実施形態の概要は次の通りである。すなわち、雑音低減、ゲイン補正およびアナログ−デジタル変換のAFE(Analog Front End)を集積したCMOS撮像素子で、映像信号処理で遮光画素の映像信号の代表値を有効画素映像信号から減算するOB補正を行う。さらに、240fpsのR/G1/G2/Bの直列(シリアル)データを60fpsの4並列(パラレル)のR/G1/G2/B映像信号の並列(パラレル)データ又は3並列(パラレル)のR/G1+G2/Bの映像信号の並列(パラレル)データに分離して信号処理する。CMOS撮像素子を移動させる圧電素子駆動電圧の振幅は画素間隔相当で一定としておき、波形を画素間隔に四角く画素間隔にステップ移動させる矩形波に近い台形波(LPF効果弱)から、画素間隔に角丸の四角形の可変速移動させる飽和した正弦波(LPF効果中)を介して、画素間隔を直径に円周連続移動(LPF効果強)と可変させる。
図1は、本実施形態の撮像装置30の全体構成を示すブロック図であり、例えば、テレビジョンカメラである。主にガンマ後マトリクスの映像信号処理の機能に着目して示している。240fpsのR/G1/G2/Bの直列(シリアル)データを60fpsのR/G1/G2/Bの並列(パラレル)データに分離して信号処理している。
より具体的には、撮像装置30は、雑音低減、ゲイン補正およびアナログ−デジタル変換のAFEを集積したオンチップカラーフィルタ付CMOS撮像素子(以下、「撮像素子33」と称する)と、白キズ完全黒キズ検出補正色分離補正機能付映像信号処理部41と、パラレル−シリアル変換部37と、CPU(Central Processing Unit)39を備える。
更に、撮像装置30は、撮像素子33の駆動装置として、X方向圧電素子81及びY方向圧電素子82と、それらを駆動制御するX方向圧電駆動部83及びY方向圧電駆動部84とを備える。また、撮像素子33の近傍には、温度センサ85が配置され、ペルチェ素子やモーターファン等による冷却制御が行われる。
撮像素子33は、R/G/Bの信号を出力するが、ここでは、ベイヤ配列のカラーフィルタを備え、Gの信号としてG1及びG2の信号を出力する。すなわち、R/G1/G2/Bの信号が出力される。なお、G1及びG2の信号を区別しない場合は、「G1」及び「G2」を「G」として表記・説明する。
白キズ完全黒キズ検出補正色分離補正機能付映像信号処理部41は、白キズ完全黒キズ検出補間部86と、色分離補間変換部87と、ガンマ色輪郭補正部88と、MATRIX部36とを備える。
白キズ完全黒キズ検出補間部86は、白キズ検出補間部42と、完全黒キズ検出補間部38と、暗電流算出OB補正部32とを備える。
レンズ31はCPU39の指示に従い、遮光または標準撮像を光学絞りまたは可変光学減衰(以下、単に「絞り」という)で制御する。
各構成の機能について、信号の流れとともに具体的に説明する。
被写体からの入射光はレンズ部31で結像され、結像された入射光は撮像装置30の撮像素子33で光電変換される。赤信号(R)、緑1信号(G1)と緑2信号(G2)と青信号(B)に光電変換される。
撮像素子33で光電変換されたR/G1/G2/Bの信号に対して、撮像素子33内で雑音低減、ゲイン補正およびアナログ−デジタル変換が行われ、変換された信号は、白キズ完全黒キズ検出補正色分離補正機能付映像信号処理部41に送られる。白キズ完全黒キズ検出補正色分離補正機能付映像信号処理部41は、色補正、輪郭補正、ガンマ補正、ニー補正等の各種映像信号処理を行う。
白キズ完全黒キズ検出補正色分離補正機能付映像信号処理部41のガンマ色輪郭補正部88は、各種映像信号処理等を施したのち、次式の変換式により、BT.709の映像信号の出力のR/G/Bから輝度信号(Y)と色差信号(Pb/Pr)に変換する。
Y=0.2126R+0.7152G+0.0722B
Pb=0.5389(B−Y)
Pr=0.6350(R−Y)
そしてパラレル−シリアル変換部37でシリアル映像信号に変換され、外部に出力される。
また、BT.709の原色点より広色域のITU/BT.2020での映像信号の出力
Y=0.2627R+0.6780G+0.0593B
Pb=0.5315(B−Y)
Pr=0.6782(R−Y)
の映像信号出力もある。
さらに、赤緑青の原色の映像信号の出力もある。
CPU39は、撮像装置30の各部を制御する。また、CPU39は、撮像素子33の温度に基づき、ペルチェ素子及びモーターファンを駆動し、撮像素子33を所望の温度、例えば周囲温度に近づけるように冷却又は加熱する。
画像表示部40はビューファインダやモニタディスプレイであって、撮像装置30の設定用メニューや暗電流が異常に多い撮像画素(すなわち、「白キズ」)と正常画素と感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、すなわち、「完全黒キズ」)との自動補間操作や任意の画素の手動での周囲画素での補間操作を表示する。なお、画像表示部40は被写体の映像にメニュー画面を重畳し、ユーザーはそのメニュー画面を見ながら白キズと完全黒キズとの自動検出補間操作や任意の画素の手動での周囲画素での補間操作を表示することができる。
<実施例1:検出と補間の概要>
ここで、レンズ31は、一般に、6℃温度上昇で暗電流は2倍程度となっている。放熱に工夫しているカメラ(撮像装置30に相当する)では、一般に、内部温度上昇がおよそ2時間で飽和し12℃程度となっている。そのため、周囲温度が一定であっても、内部温度上昇12℃で、起動時に比べ、内部温度上昇の飽和時には4倍となる。通常はその中間となることが多い。
白キズ検出と異なり、完全黒キズ信号検出は困難であるため、検出時の長時間蓄積が許容される。具体的には、撮影直前の検出は、撮像素子温度22℃で128秒程度が低温の実用限界であるが、撮像装置30を組立調整後のヒートランまたは高温エージング等の場合であれば、最高使用温度45℃で放熱に工夫しているカメラでは、内部温度上昇約12℃で撮像素子温度57℃なら完全黒キズ検出の遮光蓄積時間は約2秒となる。最高使用温度45℃で放熱に工夫していないカメラでは、内部温度上昇約19℃で撮像素子温度が64℃となり、完全黒キズ検出の遮光蓄積時間は垂直走査周期の約60Hzの60倍の約1秒となる。
最高使用温度40℃で特に放熱に工夫しているカメラでは、内部温度上昇約8℃で撮像素子温度が48℃となり、完全黒キズ検出の遮光蓄積時間は約16秒となる。ヒートランまたは高温エージング等での完全黒キズ検出の遮光蓄積時間は約1秒から約16秒なら、原価上昇はほとんどない。
なお、撮像素子33の近傍に設けた温度センサ85で撮像素子33の温度を検出し、完全黒キズ検出の遮光蓄積時間は撮像素子の温度に6℃で2倍の正常画素の暗電流に反比例させてもよい。暗電流算出OB補正32で遮光された正常画素の暗電流の代表値を算出してもよい。
正常画素の暗電流が少ない低温時において、正常画素の暗電流と、完全黒キズの暗電流と確実に識別するために、完全黒キズ検出の遮光蓄積時間は撮像素子の温度に6℃で2倍の正常画素の暗電流に正確に反比例させるために、暗電流算出OB補正32で遮光された正常画素の暗電流の代表値を算出する方法は、後述で説明する。
ここで、実施例1について、撮像装置30の特徴を簡単に纏めると次の通りである。すなわち、撮像装置30は、R/G1/G2/Bのベイヤ配列のオンチップカラーフィルタ付の撮像素子33と、撮像素子33の各赤緑青の原色映像信号の画素ごとに遮光時の暗電流を検出する手段(白キズ検出補間部42)と、第一の所定のレベルより大きい暗電流の画素ごとに独立に周囲画素の信号レベルを用いて補間する手段(完全黒キズ検出補間部38)と、映像信号処理で遮光画素映像信号の代表値を有効画素映像信号から減算する遮光画素信号(以下OB)補正をする映像信号処理手段(暗電流算出OB補正部32)とを有する。
さらに、撮像装置30は、(1)24fps/30fps/50fps/60fps等の出力映像の毎秒フレーム数の4倍の毎秒フレーム数で撮像する手段と、
(2)出力映像の毎秒フレーム数で該撮像素子を圧電素子(X方向圧電素子81、Y方向圧電素子82)で光軸(Z軸)と垂直な方向(X軸Y軸)に画素間隔に移動させる手段(X方向圧電駆動部83、Y方向圧電駆動部84)と、
(3)出力映像の毎秒フレーム数の4倍の毎秒フレーム数のR/G1/G2/Bのシリアル映像信号を出力映像の毎秒フレーム数の4並列のR/G1/G2/Bの映像信号に変換する手段(パラレル−シリアル変換部37)と、を有し、
(4)高い変調度を必要とする場合は、圧電素子(X方向圧電素子81、Y方向圧電素子82)の画素間隔以内の移動を四角に画素間隔のステップ移動とし、
(5)モアレの低減を必要とする場合は、圧電素子(X方向圧電素子81、Y方向圧電素子82)の画素間隔以内の移動を円形に連続移動とし、
(6)出力映像の毎秒フレーム数の4倍の毎秒フレーム数で撮像した信号を出力映像の毎秒フレーム数の各画素の4並列のR/G1/G2/Bの映像信号に変換する。
また、撮像装置30は、
(7)撮像素子温度に対応する(6℃上昇でおよそ2倍となる)正常画素の暗電流を検出する手段(OB画素の最小値からNからN+M番目の平均値を算出する手段)または撮像素子の温度を検出する手段(温度センサ85)と、
(8)該検出した撮像素子温度に対応する(6℃でおよそ2倍となる)正常画素の暗電流に反比例させて長時間(1秒から163894秒)遮光蓄積し読出を行い、第二の所定のレベルより小さい暗電流の画素(感度が異常に低い撮像画素(すなわち、「完全黒キズ」))を(正常画素の暗電流と識別して)検出する手段と、
(9)撮影時に完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間する手段(完全黒キズ検出補間部38)と、を有する。
なお、詳細については実施例3で説明する。
<実施例2:検出と補間の詳細>
図8は、白キズ検出補間部42の構成を示すブロック図である。図9は、完全黒キズ検出補間部38の構成を示すブロック図である。図8で示す白キズ検出補間部42は、暗電流が異常に多い撮像画素(いわゆる「白キズ」)検出と補間を行う。図9の完全黒キズ検出補間部42は、感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(いわゆる「完全黒キズ」)検出を行う。
具体的には、白キズ検出補間部42は、撮像素子33からR/G/Bの信号を取得し白キズ検出補間処理を行い、Rの白キズ補間信号R(1)/Gの白キズ補間信号G(1)/Bの白キズ補間信号B(1)を完全黒キズ検出補間部38へ出力する。
完全黒キズ検出補間部38は、白キズ検出補間部42からRの白キズ補間信号R(1)/Gの白キズ補間信号G(1)/Bの白キズ補間信号B(1)を取得し完全黒キズ検出補間処理を行い、Rの完全黒キズ補間信号R(2)/Gの完全黒キズ補間信号G(2)/Bの完全黒キズ補間信号B(2)を暗電流算出OB補正部32へ出力する。
このとき、完全黒キズ検出補間部38は、完全黒キズ検出の長時間蓄積での完全黒キズ基準レベルを減算し、完全黒キズの映像信号タイミング(アドレス)を判定し、標準撮像時に、標準撮像時の完全黒キズ補間レベル判定はしないで、完全黒キズの映像信号タイミング(アドレス)で完全黒キズの周囲画素での補間を行う。
図8に示すように、白キズ検出補間部42は、白キズ判定部15と、白キズ周囲画素補間部16と、3つの減算器(減算器(1)12、減算器(2)13、減算器(3)14)とを備える。
白キズ判定部15は、白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定を行い、R/G/Bの信号に対応した白キズの映像信号タイミング(アドレス)Twr、Twg、Twbを白キズ周囲画素補間部16へ出力する。なお、各白キズの映像信号タイミング(アドレス)Twr、Twg、Twbを区別しない場合は、白キズの映像信号タイミング(アドレス)Twと称して説明する。白キズ周囲画素補間部16は、白キズの周囲画素での補間を行う。
図9に示すように、完全黒キズ検出補間部38は、黒キズ判定部17と、黒キズ周囲画素補間部18と、3つの減算器(減算器(1)12、減算器(2)13、減算器(3)14)とを備える。
黒キズ判定部17は、黒キズの映像信号タイミング(アドレス)判定を行い、R/G/Bの信号に対応した黒キズの映像信号タイミング(アドレス)Tbr、Tbg、Tbbを黒キズ周囲画素補間部18へ出力する。なお、各黒キズの映像信号タイミング(アドレス)Tbr、Tbg、Tbbを区別しない場合は、黒キズの映像信号タイミング(アドレス)Tbと称して説明する。黒キズ周囲画素補間部18は黒キズの周囲画素での補間を行う。
CPU39は、レンズ31に絞りを閉じて撮像素子33を遮光する指示をする。次に、CPU39は、およそ1秒の中時間蓄積を行うために、白キズ検出用中時間間欠パルスを発生させ、撮像素子33に供給する。そして、白キズ検出補間部42の減算器(1)12、減算器(2)13、減算器(3)14が、遮光中時間蓄積したR、G、Bの撮像信号と白キズ検出の中時間蓄積での白キズ基準レベル(SR1、SG1、SB1)との差分を白キズ判定部15へ出力する。白キズ基準レベル(SR1、SG1、SB1)は、CPU39から出力される。白キズ判定部15は、その差分から白キズの映像信号タイミング(アドレス)判定を行う。
ここで、「中時間」とは、垂直走査周期のおよそ15倍以上の時間を想定する。この時間は、検出した撮像素子温度に対応する(6℃上昇でおよそ2倍となる)正常画素の暗電流に蓄積時間を逆比例させて垂直走査周期の約15倍〜約245760倍で垂直走査周期約60Hzとして0.25秒〜4096秒の可変時間又は垂直走査周期の約60倍で垂直走査周期約60Hzとして約1秒の固定時間である。
次にCPU39は、正常画素の暗電流に反比例させて長時間(1秒から163894秒)蓄積する処理を行う。すなわち、CPU39は、完全黒キズ検出用長時間間欠パルスを発生させ、撮像素子33に供給する。そして、完全黒キズ検出補間部38の減算器(1)12、減算器(2)13、減算器(3)14が、遮光長時間蓄積したR,G,Bの撮像信号を白キズの映像信号タイミング(アドレス)に基づき16で白キズの周囲画素での補間を行ったR,G,Bの補間信号(R(1)、G(1)、B(1))と完全黒キズ検出の長時間蓄積での完全黒キズ基準レベル(SR2、SG2、SB2)との差分を黒キズ判定部17へ出力する。黒キズ判定部17は、その差分から完全黒キズの映像信号タイミング(アドレス)判定を行う。
標準撮像時に、CPU39は、レンズ31に絞りを開かせることで、標準撮像を行う。すなわち、CPU39は、標準撮像パルスを発生させ撮像素子33に供給する。白キズ検出補間部42の減算器(1)12a、減算器(2)13a、減算器(3)14aが、標準撮像したR、G、Bの撮像信号と標準撮像時の白キズ補間レベル(SR1‘、SG1’、SB1‘)との差分を白キズ判定部15へ出力する。
白キズ判定部15は、その差分から白キズの映像信号タイミング(アドレス)判定を行う。白キズ周囲画素補間部16は白キズ補間レベル以下の撮像信号で白キズの映像信号タイミング(アドレス)で白キズの周囲画素での補間を行う。白キズ周囲画素補間部16が白キズの周囲画素での補間を行ったR,G,Bの補間信号(R(1)、G(1)、B(1))は完全黒キズ検出補間部51へ出力される。完全黒キズ検出補間部51の黒キズ周囲画素補間部18は、完全黒キズの映像信号タイミング(アドレス)に基づき、完全黒キズを周囲画素の中央値で補間を行う。黒キズ判定部17は、標準撮像時の完全黒キズ補間レベル判定は行わない。
また、図8において、白キズ検出の中時間の遮光蓄積時間での白キズ基準レベル又は標準撮像時の白キズ補間レベルと、判定レベルを入れ替えて、白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定とを同一手段(例えば、白キズ判定部15)で行うことが可能であり、回路の小型化と低価格化が実現できる。
図10は、画素補間の例を示した図である。図10(A)は、遮光時のOB補正前の完全黒キズの周囲8画素の中央値で補間する場合の模式図であり、標準撮像信号での完全黒キズの周囲正常画素での補間を示している。図示のように、中央の完全黒キズ撮像信号「0」が、周囲の周囲正常画素撮像信号「32」、「48」、「56」、「64」、「80」、「96」、「102」、「128」の中央値「64」または「80」で補間される。
図10(B)は、遮光時のOB補正前の完全黒キズの周囲8画素の中央値で補間する場合の模式図であり、標準撮像信号での完全黒キズの周囲黒キズを含む正常画素での補間を示している。図示のように、中央の完全黒キズ撮像信号「0」が、周囲(図のマトリックス右下)の完全黒キズ撮像信号「0」を除く周囲の周囲正常画素撮像信号「32」、「48」、「56」、「64」、「80」、「102」、「128」の中央値「64」で補間される。
図10(C)は、遮光時のOB補正前の撮像信号での白キズの周囲8画素の中央値で補間する場合の模式図であり、標準撮像信号での白キズの周囲正常画素での補間の例を示している。図示のように、中央の白キズ撮像信号「1024」が、周囲の周囲正常画素撮像信号「32」、「48」、「56」、「64」、「80」、「96」、「102」、「128」の中央値「64」または「80」で補間される。
図10(D)は、遮光時のOB補正前の撮像信号での白キズの周囲8画素の中央値で補間する場合の模式図であり、標準撮像信号での白キズの周囲白キズを含む正常画素での補間の例を示している。図示のように、中央の白キズ撮像信号「1024」が、周囲の周囲正常画素撮像信号「32」、「48」、「56」、「80」、「96」、「102」、「128」の中央値「80」で補間される。完全黒キズ補間は白キズ補間後に行われる。なお、完全黒キズ補間は白キズ補間後に行う。
図11は白キズ周囲画素補間部16の構成を示すブロック図である。図12は黒キズ周囲画素補間部18の構成を示すブロック図である。白キズ周囲画素補間部16及び黒キズ周囲画素補間部18は、同様の構成を有しており、それぞれ周囲8画素の中央値を算出し補間する。
図11に示すように、白キズ周囲画素補間部16は、周辺画素信号選択部9aと、周囲画素中央値検出部19aと、遅延器8aと、出力切替器29aとを備える。周辺画素信号選択部9aは、ラインメモリ(1)5aと、ラインメモリ(2)6aと、入力切替器7aとを備える。周囲画素中央値検出部19aは、8つの比較器(比較器(1)21a〜比較器(8)28a)を備え、周囲画素中央値を出力切替器29aに出力する。ラインメモリ(1)5a及びラインメモリ(2)6aは、0H番地の撮像信号から1H番地、2H番地の撮像信号を生成する。
入力切替器7aは、0H番地、1H番地、2H番地の撮像信号を選択して撮像信号の周囲画素信号を生成する。ラインメモリ(1)5a及びラインメモリ(2)6aの替わりに、図示しないフレームメモリが用いられてもよい。遅延器8aは、周囲画素中央値検出部19aの遅延分撮像信号を遅延させる。
そして、周囲画素中央値検出部19aは、撮像信号の周囲画素信号を、比較器(1)21a〜比較器(8)28aで例えば降順に並び換えて、中央値に対応する比較器(4)24aから撮像信号の周囲画素中央値を出力切替器29aへ検出する。更に、白キズ判定部15からの白キズのレベル以下判定時の白キズの映像信号タイミング(アドレス)Twに応じて白キズ周囲画素補間部16の出力切替器29で、撮像信号を撮像信号の周囲画素中央値に補間する。
また、図12に示すように、黒キズ周囲画素補間部18は、周辺画素信号選択部9bと、周囲画素中央値検出部19bと、遅延器8bと、出力切替器29bとを備える。周辺画素信号選択部9bは、ラインメモリ(1)5bと、ラインメモリ(2)6bと、入力切替器7bとを備える。周囲画素中央値検出部19bは、8つの比較器(比較器(1)21b〜比較器(8)28b)を備え、周囲画素中央値を出力する。ラインメモリ(1)5b及びラインメモリ(2)6bは、0H番地の白キズ補間信号から1H番地、2H番地の白キズ補間信号を生成する。
入力切替器7bは、0H番地、1H番地、2H番地の白キズ補間信号を選択して白キズ補間信号の周囲画素信号を生成する。遅延器8bは、周囲画素中央値検出部19bの白キズ補間信号を遅延させる。
そして、周囲画素中央値検出部19bは、白キズ補間信号の周囲画素信号を、比較器(1)21b〜比較器(8)28bで例えば降順に並び換え、中央値に対応する比較器(4)24bから白キズ補間信号の周囲画素中央値を出力切替器29bへ検出する。更に、黒キズ判定部17からの完全黒キズの映像信号タイミング(アドレス)Tbに応じて黒キズ周囲画素補間部18の出力切替器29bで、白キズ補間信号を白キズ補間信号の周囲画素中央値に補間する。
なお、図11の白キズ周囲画素補間部16や図12の黒キズ周囲画素補間部18において、周囲画素に複数の白キズが存在していたとしても、白キズ補間後に完全黒キズ補間するので、完全黒キズ補間は、白キズの影響を受けない。
また、完全黒キズ補間は白キズ補間後に行うので、白キズ周囲画素補間部16と黒キズ周囲画素補間部18との機能が同じ回路で入力信号と制御信号とを切り替えることで実現されてもよい。これによって、回路の小型化と低価格化が実現できる。
図13は白キズ検出と感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(すなわち、「完全黒キズ」)の検出のフローチャートである。図示のように、CPU39は、白キズ検出と完全黒キズ検出の開始後に、約1秒遮光蓄積し読出を行い(S901)、画素の映像信号は白キズレベルを超えているかを判定する(S902)。
白キズレベルを超えている場合(S902のY)、CPU39は白キズの映像タイミング(アドレス)を記憶する(S903)。
次に、白キズの映像タイミング(アドレス)を記憶後(S903)または白キズレベルを超えていない場合(S902のN)、CPU39は、撮像素子の温度上昇6℃で2倍の正常画素の暗電流に反比例させて長時間(1秒から163894秒)遮光蓄積し読出を行い(S904)、画素の映像信号は白キズの映像タイミング(アドレス)であるかを判定(S905)する。
白キズの映像タイミングであれば(S905のY)、CPU39は、周囲8画素の中央値を算出し(S906)、周囲8画素の中央値で補間する(S907)。
白キズの映像タイミングであれば(S905のY)、または周囲8画素の中央値での補間後(S907)、CPU39は、画素の映像信号は黒キズレベルを下回っているかを判定する(S908)。
黒キズレベルを下回っていれば(S908のY)、CPU39は黒キズの映像タイミング(アドレス)を記憶する(S909)。黒キズレベルを下回っていない場合(S908のN)または黒キズの映像タイミングを記録した後(S909)、本フローの処理は終了する。以上で、白キズと完全黒キズとの検出の処理が終了となる。
図14は白キズ補間と完全黒キズ補間のフローチャートである。CPU39は、白キズ補間と完全黒キズ補間の開始後に、標準撮像で読出を行い(S1001)、画素の映像信号が白キズ補間のレベル以下かを判定する(S1002)。
白キズ補間のレベル以下であれば(S1002のY)、CPU39は、白キズの映像タイミング(アドレス)であるかを判定する(S1003)。白キズの映像タイミング(アドレス)であれば(S1003のY)、CPU39は、周囲8画素の中央値を算出し(S1004)、周囲8画素の中央値で補間する(S1005)。
白キズ補間のレベル以下でない場合(S1002のN)、白キズの映像タイミング(アドレス)でない場合(S1003のN)、及び周囲8画素の中央値での補間後(S1005)、CPU39は、画素の映像信号は黒キズの映像タイミング(アドレス)であるかを判定する(S1006)。
黒キズの映像タイミング(アドレス)の場合(S1006のY)、CPU39は、周囲8画素の中央値を算出し(S1007)、周囲8画素の中央値で補間する(S1008)。黒キズの映像タイミング(アドレス)でない場合(S1006のN)、及び周囲8画素の中央値での補間後(S1008)、本フローによる処理は終了する。
以上で、白キズと完全黒キズとの検出の補間が終了となる。
上記の実施例2の特徴を簡単に纏めると次の通りである。
すなわち、撮像装置30は、実施例1の特徴に更に、完全黒キズ補間後にOB補正を行う手段(暗電流算出OB補正部32)を有する。
また、撮像装置30は、白キズ検出の蓄積での白キズ基準レベル又は標準撮像時の白キズ補間レベルと、判定レベルを入れ替えて、白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定とを同一手段で行う手段とを有してもよい。
また、上記撮像装置30は、白キズ補間後に完全黒キズ補間するので、(撮像信号の周囲画素信号及び撮像信号、又は白キズ補間信号の周囲画素信号及び白キズ補間信号の様に)入力信号を変えて、白キズのレベル以下判定時の白キズの映像信号タイミング(アドレス)、又は完全黒キズの映像信号タイミング(アドレス)の様に)制御信号を変えることにより、同一回路で白キズ補間と完全黒キズ補間と2回処理することで、白キズ補間と完全黒キズ補間とを同一回路で行う手段とを有してもよい。
<実施例3>
図15Aは、暗電流算出OB補正部32の構成を示すブロック図であって、OB画素信号の最小値からN番目からN+M番目の画素値を代表値として検出し、その代表値の加算平均値を出力する。ここでは、一実施例として、最小値から4番目〜7番目(すなわち、N=3、M=4)の画素値の加算平均を出力する構成について例示する。
暗電流算出OB補正52は、代表値平均検出部48と、遅延器55と、減算器4とを備える。代表値平均検出部48は、代表値検出部47と、1/4除算部46(2bitシフト)と、加算器(1)43、加算器(2)44及び加算器(3)45とを備える。
代表値検出部47は、完全黒キズ検出補間部51からOG画素信号を取得し、加算器(1)43、加算器(2)44及び加算器(3)45で、最小値から4番目〜7番目の画素値を加算し1/4除算部46へ出力する。
具体的には、代表値検出部47は、図示のように、比較器(1)21c〜比較器(8)28cを備え、例えば、OG画素値を降順に並び変え、最小値が比較器(8)28aに最大値(すなわち、最小値から8番目の画素値)が比較器(1)21cに設定される。ここでは、比較器(2)22cから7番目の画素値が、比較器(3)23cから6番目の画素値が、加算器(1)43へ出力される。また、比較器(4)24cから5番目の画素値が、比較器(5)25cから4番目の画素値が加算器(2)44に出力される。そして、加算器(1)43で加算された画素値と加算器(2)44で加算された画素値が加算器(3)45で更に加算され、1/4除算部46へ出力される。
1/4除算部46は、最小値から4番目〜7番目(すなわち、N=3、M=4)の画素値の加算値を加算器(3)45から取得し、2bitシフトによって1/4化する。この様な処理によって、代表値平均検出部48は、白キズと完全黒キズを除外したOB画素信号を加算平均する。
なお、遅延器55で遅延された撮像有効画素信号は、減算器4で代表値平均検出部48から出力される加算平均で補正し、OB補正撮像画素信号として出力される。
なお、図15A及び後述の図15B〜図15Dにおいて、V−OB補正(垂直OB補正)において、遅延器55は必須ではないが、撮像有効画素信号を遅延器55で遅延させ、有効画素後のV−OBで補正したほうが安定する。なお、V−OB補正は、縦筋補正やHShading補正も兼ねる。
一般に、撮像装置30の適用が想定されるテレビカメラでは、撮像素子は、2K、4K、8Kと高画素になるに従い、有効画素に比較してOB画素が少なくなる。そのため、OB画素の白キズと完全黒キズの影響を受けやすくなる。しかし、本実施形態では、OB画素の白キズと完全黒キズの影響を受けないで、例えば、撮像素子33の温度(以下「撮像素子温度」ともいう。)が6℃上昇すると約2倍に増加するOB画素信号の正常画素の暗電流を検出することができる。その結果、検出した(撮像素子温度6℃上昇でおよそ2倍となる)正常画素の暗電流に蓄積時間を逆比例させることができる。
また、検出したOB画素信号の正常画素の暗電流の信号を撮像有効画素信号から減算すれば、OB画素の白キズと完全黒キズの影響を受けないで、映像信号処理で安定にOB補正をすることができ、映像信号の黒が安定し、テレビカメラのワイドダイナミックレンジ化が容易になる。
撮像素子温度が6℃上昇すると約2倍に増加するOB画素信号の代表値を検出することにより、温度センサを別途設けなくても、撮像素子の温度を検出することができる。検出した(撮像素子温度に6℃でおよそ2倍となる)正常画素の暗電流に蓄積時間を逆比例させることにより、正常画素の暗電流が少ない低温時の正常画素の暗電流と、感度が異常に低く漏れ電流相当の暗電流しかない異常低感度画素(以下、「完全黒キズ」という)の暗電流と確実に識別し、完全黒キズを確実に検出することができる。白キズ検出と異なり、完全黒キズの信号検出は困難なので、低温度における検出時の長時間蓄積が許容される。
図15Bは、暗電流算出OB補正部32の構成を示すブロック図の別の例であって、最小値から2番目〜3番目(すなわち、N=2、M=1)の画素値の加算平均を出力する構成を例示する。
図15Cは、暗電流算出OB補正部32の構成を示すブロック図であって、H−OB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部とH−OB補正との、暗電流算出OB補正である。図15Aと同様の構成となっている。
図15Dは、暗電流算出OB補正部32の構成を示すブロック図であって、OB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部とV−OB補正との、暗電流算出OB補正を行う。図15Aや図15Cの1/4除算部46の後段にライン加算平均部71が追加されている。
代表値検出部47は、白キズと完全黒キズを除外するために、OB画素信号から8個の比較部(1)〜(8)21c〜28cで最小値からN(2)番目からN(2)+M(1)番目を検出し、加算器(1)43で加算し、1/2除算部56で1bitシフトして1/2化することにより白キズと完全黒キズとを除外したOB画素信号を加算平均する。
ここで、本実施例3の特徴は、実施例1に更に次の特徴を有する。
すなわち、撮像装置30は、
(1)映像信号処理の中時間の遮光蓄積時間で暗電流が異常に多い画素欠陥(以下、白キズと称する)の検出を行う手段(白キズ検出補間部42)と、
(2)(撮像素子温度が6℃上昇でおよそ2倍となる)正常画素の暗電流を検出する手段(OB画素の最小値からNからN+M番目の平均値を算出する手段(代表値平均検出部48))または撮像素子の温度を検出する手段(温度センサ85)と、
(3)該検出した撮像素子温度が6℃上昇でおよそ2倍となる正常画素の暗電流に蓄積時間を逆比例させて(およそ1秒から16384秒)蓄積して(ランダムノイズの影響を除去して、)OB補正前に(又はOB補正を中止して、)白キズ補間を行う手段(白キズ検出補間部42)と、
(4)白キズ補間後に第二の所定のレベルより小さい暗電流の画素(すなわち、完全黒キズ)を(正常画素の暗電流と識別して)検出する手段(完全黒キズ検出補間部38)と、
(5)撮影時に完全黒キズごとに独立に周囲画素の信号レベルを用いて補間する手段と、完全黒キズ補間後にOB補正を行う手段(暗電流算出OB補正部32)と、を有する。
実施例2と実施例3の特徴を纏めると次の通りである。
すなわち、撮像装置30は、
(1)映像信号処理の中時間の遮光蓄積時間で白キズ検出を行う手段と、
(2)該白キズ検出後で、白上記撮像素子温度に蓄積時間を逆比例させておよそ4秒から4096秒蓄積して(ランダムノイズの影響を除去して、)OB補正前又はOB補正を中止して、白キズ補間を行い、第二の所定のレベルより小さい暗電流の画素(すなわち、完全黒))を(正常画素の暗電流と識別して)検出する手段と、
(3)撮影時に完全黒キズごとに独立に周囲画素の信号レベルを用いて補間する手段と、を有する。
白キズ検出の中時間蓄積での白キズ基準レベル又は標準撮像時の白キズ補間レベルと、判定レベルを入れ替えて、白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定とを同一手段で行うことが可能であり、回路の小型化と低価格化が実現できる。
さらに、入力信号を変えて、白キズのレベル以下判定時の白キズの映像信号タイミング(アドレス)、又は完全黒キズの映像信号タイミング(アドレス)の様に)制御信号を変えて同一回路で2回処理して、白キズ補間と完全黒キズ補間とを同一手段で行うことが可能であり、この観点でも、回路の小型化と低価格化が実現できる。
また、白キズ補間後完全黒キズ補間後に映像信号処理で遮光画素信号(OB画素信号)を補正するので、OB補正は白キズと完全黒キズの影響を受けないで安定に動作するので、映像信号の黒が安定し、テレビカメラのワイドダイナミックレンジ化が容易になる。
テレビカメラの撮像素子は、2K(1920H×1080V)、4K(3840H×2160V)、8K(7680H×4320V)と高画素になるに従い、有効画素に比較してOB画素が少なくなる。そのため、OB画素の白キズの影響を受けやすくなる。しかし、本実施形態では、OB画素の白キズの影響を受けず、撮像素子の温度が6℃上昇すると約2倍に増加するOB画素信号の代表値を検出することができる。
従来では、白キズ検出と異なり、感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(すなわち、完全黒キズ)信号検出と補間との自動化は困難で手動補間を行っていた。しかし、本実施形態によれば、完全黒キズの検出と補間とが自動で可能で、CCD撮像素子に比べ、高画素化と高速読出しとが容易で安価なMOS撮像素子(撮像素子33)の完全黒キズが許容できない放送用カメラや高い信頼性が要求される(原子力発電所や新幹線等の)監視用カメラや(自動車塗装や織物等の確認の)産業用カメラ等への適用が加速される。
このように、撮像装置30は、感度が異常に低く暗電流が漏れ電流程度しかない撮像画素信号も自動検出でき、かつ完全黒キズの周囲画素を用いた補間が可能となる。
<実施例4:画素間隔移動による光学LPF効果とR/G1/G2/B並列化>
図6Aは色分離補間変換部87の構成を示すブロック図の一例である。図7Aは、240fpsベイヤ配列読出し信号(図7A(a))と60fpsR/G1/G2/B信号(図7A(b))の模式図である。
図6Aと図7Aは、240fps8Kベイヤ配列でR/G1/G2/Bと4画素に1個ずつの直列(シリアル)の読出し信号で8K各画素位置でR/G1/G2/Bを順次に撮像するか、又は4Kベイヤ配列でR/G1/G2/Bと4画素に1個ずつのシリアルの読出し信号で4K各画素位置でR/G1/G2/Bを順次に撮像し、60fps全画素の並列(パラレル)のR/G1/G2/B信号とする様な実施例である。
図6Aに示すように、色分離補間変換部87は、ラインバッファ内蔵メモリコントローラ72と。Rフレームメモリ73と、G1フレームメモリ74と、G2フレームメモリ75と、Bフレームメモリ76とを備える。
図6Aと図7Aにおいて、240fpsのR/G1/G2/Bのシリアルデータの内の4画素に1個のRのシリアルデータを、ラインバッファ内蔵メモリコントローラ72がRフレームメモリ73に書き込み、60fpsの全画素のRデータとして読み出す。同様に、240fpsのR/G1/G2/Bのシリアルデータの内の4画素に1個のG1のシリアルデータを、ラインバッファ内蔵メモリコントローラ72がG1フレームメモリ74に書き込み、60fpsの全画素のG1データとして読み出す。同様に、4画素に1個のG2のシリアルデータを、ラインバッファ内蔵メモリコントローラ72がG2フレームメモリ75に書き込み、60fpsの全画素のG1データとして読み出す。同様に4画素に1個のBのシリアルデータを、ラインバッファ内蔵メモリコントローラ72がBフレームメモリ76に書き込み、60fpsの全画素のBデータとして読み出す。
その結果、図7A(a)に示すように、各画素位置でR/G1/G2/Bを順次に撮像した240fpsベイヤ配列でR/G1/G2/B4画素に1個ずつのシリアルの読出し信号つまり240fpsの4画素に1個ごとのR/G1/G2/Bのシリアルデータを、図7A(b)に示すように、60fps全画素の並列のR/G1/G2/B信号つまり60fpsの全画素のR/G1/G2/Bのパラレルデータに分離している。
なお、従来は、ラインバッファはFIFO(First In, First Out)メモリで、メモリコントローラはFPGAで、フレームメモリはDDR SDRAM(Double-D/Ata-Rate Synchronous Dynamic Random Access Memory)で構成されていた。現在は、ラインバッファとメモリコントローラはFPGAで、フレームメモリはDDR SDRAMで構成されている。今後は、ラインバッファとメモリコントローラとフレームメモリは大容量メモリ内蔵のFPGAで構成されていくと考えられる。
図2はベイヤ配列と光学中心の模式図である。図3はベイヤ配列と存在確立(移動速度の逆数)の模式図である。図4はX軸とY軸との圧電素子駆動電圧波形の模式図である。図5は信号MTFとモアレ成分の模式図である。
まず、図2(a)、図3(a)、図4(a)及び図5(a)を参照して説明する。上述の図1の撮像装置30において、CPU39に入力されたユーザー設定(LPF効果)の信号aに対応して、D/Aと高速高耐圧演算増幅器で構成されているX方向圧電駆動部83及びY方向圧電駆動部84が、X方向圧電素子81とY方向圧電素子82とを画素間隔に四角く画素間隔にステップ移動してLPF効果弱にする。
図2(a)のように、四角く画素間隔にステップ移動(LPF効果弱)する場合、図3(a)に示すようなベイヤ配列と存在確立(移動速度の逆数)の関係となる。また、図4(a)に示すように、X軸とY軸との圧電素子駆動電圧波形は、画素間隔に四角く画素間隔にステップ移動させる矩形波に近い台形波となる。また、図5(a)に示すように、信号MTFとモアレ成分の関係において、LPF効果弱からMTF高くモアレ成分多い。
つぎに、図2(b)、図3(b)、図4(b)及び図5(b)を参照して説明する。ここでは、撮像装置30のCPU39に入力されたユーザー設定(LPF効果)の信号aに対応して、X方向圧電駆動部83とY方向圧電駆動部84が、X方向圧電素子81とY方向圧電素子82とを画素間隔を直径に円周連続移動してLPF効果強にする。
図2(b)のように、画素間隔を直径に円周連続移動(LPF効果強)する場合、図3(b)に示すようなベイヤ配列と存在確立(移動速度の逆数)の関係となる。また、図4(b)に示すように、X軸とY軸との圧電素子駆動電圧波形は、画素間隔を直径に円周連続移動させる正弦波(LPF効果強)となる。また、図5(b)に示すように、信号MTFとモアレ成分の関係において、LPF効果強のためMTF低くモアレ成分少なくなる。
つぎに、図2(c)、図3(c)、図4(c)及び図5(c)を参照して説明する。ここでは、CPU39に入力されたユーザー設定(LPF効果)の信号aに対応して、X方向圧電駆動部83とY方向圧電駆動部84が、X方向圧電素子81とY方向圧電素子82とを画素間隔に角丸の四角形の可変速移動してLPF効果中にする。
図2(c)のように、角丸の四角形の可変速移動(LPF効果中)する場合、図3(c)に示すようなベイヤ配列と存在確立(移動速度の逆数)の関係となる。また、図4(c)に示すように、X軸とY軸との圧電素子駆動電圧波形は、角丸の四角形の可変速移動させる飽和した正弦波(LPF効果中)となる。また、図5(c)に示すように、信号MTFとモアレ成分の関係において、LPF効果中のためMTFが中程度でありモアレ成分が中程度となる。
ここで、実施例4の特徴を纏めるとは次の通りである。すなわち、撮像素子33を移動させる圧電素子駆動電圧の振幅は画素間隔相当で一定としておき、波形を画素間隔に四角く画素間隔にステップ移動させる矩形波に近い台形波(LPF効果弱)から、画素間隔に角丸の四角形の可変速移動させる飽和した正弦波(LPF効果中を介して、画素間隔を直径に円周連続移動(LPF効果強)と可変させる。
<実施例5:画素間隔移動による光学LPF効果とR、G1+G2、B並列化>
以下では、上述の実施例と異なる点を主に説明し、共通する部分については、適宜省略している。
図6Bは色分離補間変換部87の構成を示すブロック図の例である。図7Bは、240fpsベイヤ配列読出し信号(図7B(a))と60fps、R/G1/G2/B信号(図7B(b))の模式図である。
図6Bと図7Bに示すように、240fps8Kベイヤ配列でR/G1/G2/Bと4画素に1個ずつの直列(シリアル)の読出し信号で8K各画素位置でR/G1/G2/Bを順次に撮像するか、又は4Kベイヤ配列でR/G1/G2/Bと4画素に1個ずつのシリアルの読出し信号で4K各画素位置でR/G1/G2/Bを順次に撮像し、60fps全画素の並列(パラレル)のR/G1+G2/Bとする様な実施例である。
図6Bの色分離補間変換部87では、図6Aの構成に加えて、加算器78とビットシフト79が追加され、R/G1+G2/Bを映像出力とする。また、図6Aと図7Aの動作に加えて、加算器78とビットシフト79がG1、G2を平均している。
その結果、図7Bにおいて、各画素位置でR/G1/G2/Bを順次に撮像した240fpsベイヤ配列でR/G1/G2/B4画素に1個ずつのシリアルの読出し信号つまり240fpsの4画素に1個ごとのR/G1/G2/Bのシリアルデータ(図7B(1))を、60fps全画素の並列のR、G1+G2、B信号つまり60fpsの全画素のR、G1+G2、Bのパラレルデータ(図7B(2))に分離している。
つぎに、図2(d)、図3(d)、図4(d)及び図5(d)を参照して説明する。ここでは、撮像装置30のCPU39に入力されたユーザー設定(LPF効果)の信号aに対応して、X方向圧電駆動部83とY方向圧電駆動部84が、X方向圧電素子81とY方向圧電素子82とを2画素間隔に四角くステップ移動してLPF効果弱にする。
図2(d)のように、四角く2画素間隔にステップ移動(LPF効果弱)する場合、図3(d)に示すようなベイヤ配列と存在確立(移動速度の逆数)の関係となる。また、図4(d)に示すように、X軸とY軸との圧電素子駆動電圧波形は、四角く2画素間隔にステップ移動させる矩形波に近い台形波(LPF効果弱)となる。また、図5(d)に示すように、信号MTFとモアレ成分の関係において、LPF効果弱からMTF高くモアレ成分多いとなる。
つぎに、図2(e)、図3(e)、図4(e)及び図5(e)を参照して説明する。ここでは、撮像装置30のCPU39に入力されたユーザー設定(LPF効果)の信号aに対応して、X方向圧電駆動部83とY方向圧電駆動部84が、X方向圧電素子81とY方向圧電素子82とを画素間隔を直径に円周連続移動してLPF効果強にする。
図2(e)のように、2画素間隔を直径に円周連続移動(LPF効果強)する場合、図3(e)に示すようなベイヤ配列と存在確立(移動速度の逆数)の関係となる。また、図4(d)に示すように、X軸とY軸との圧電素子駆動電圧波形は、四角く2画素間隔にステップ移動させる矩形波に近い台形波(LPF効果弱)となる。また、図5(e)に示すように、信号MTFとモアレ成分の関係において、LPF効果強からMTFが低くモアレ成分が少ない。
つぎに、図2(f)、図3(f)、図4(f)及び図5(f)を参照して説明する。ここでは、撮像装置30のCPU39に入力されたユーザー設定(LPF効果)の信号aに対応して、X方向圧電駆動部83とY方向圧電駆動部84が、X方向圧電素子81とY方向圧電素子82とを縦横2画素間隔に角丸の四角形の可変速移動してLPF効果中にする。
図2(f)のように、縦横2画素角丸の四角形の可変速移動(LPF効果中)する場合、図3(f)に示すようなベイヤ配列と存在確立(移動速度の逆数)の関係となる。また、図4(f)に示すように、X軸とY軸との圧電素子駆動電圧波形は、縦横2画素角丸の四角形の可変速移動させる飽和した正弦波(LPF効果中)となる。また、図5(f)に示すように、信号MTFとモアレ成分の関係において、LPF効果中からMTFが中程度でありモアレ成分が中程度である。
上述の実施例5の特徴を簡単に纏めると次の通りである。すなわち、撮像素子33を移動させる圧電素子駆動電圧の振幅は2画素間隔相当で一定としておき、波形を2画素間隔に四角く画素間隔にステップ移動させる矩形波に近い台形波(LPF効果弱)から、縦横2画素間隔に角丸の四角形の可変速移動させる飽和した正弦波(LPF効果中を介して、画素間隔を直径に円周連続移動(LPF効果強)と可変させる点にある。また、出力映像の画素数に応じて、移動させる画素間隔を出力映像の画素間隔に可変することである。
<実施例6:画素間隔移動による光学LPF効果とR、G1+G2、B並列化で8K撮像で2K映像出力>
以下では、上述の実施例と異なる点を主に説明し、共通する部分については、適宜省略している。
図6Cは色分離補間変換部87の構成を示すブロック図の例である。図7Cは、240fpsベイヤ配列読出し信号(図7C(a))と60fps、R/G1+G2/B信号(図7C(b))の模式図である。
図6Cと図7Cは、240fps8Kベイヤ配列でR/G1/G2/Bと4画素に1個ずつの直列(シリアル)の読出し信号で8K各画素位置でR/G1/G2/Bを順次に撮像し、60fps全画素の並列(パラレル)のR、G1+G2、B信号とする様な実施例である。
図6Cの色分離補間変換部87では、図6Bの構成に加えて、4つの平均部90〜93が追加されている。また、図6Bと図7Bで説明した動作に加えて、8K各画素のR/G1/G2/Bを平均して、2KのR、G1+G2、B信号とする。
なお、4つの平均部90〜93は、同一の構造を有しており、ここでは、一つの平均部93のみ詳細に示している。図示のように、3つの加算器94〜96で4つの信号を加算した後、ビットシフト97で1/4除算する。
その結果、図7Cにおいて、各画素位置でR/G1/G2/Bを順次に撮像した240fpsベイヤ配列でR/G1/G2/B4画素に1個ずつのシリアルの読出し信号つまり240fpsの4画素に1個ごとのR/G1/G2/Bのシリアルデータを(図7C(a))、60fps全画素の並列のR、G1+G2、B信号つまり60fpsの全画素のR、G1+G2、Bのパラレルデータ(図7C(b))に分離している。
つぎに、図2(g)、図3(g)、図4(g)及び図5(g)を参照して説明する。ここでは、撮像装置30のCPU39に入力されたユーザー設定(LPF効果)の信号aに対応して、X方向圧電駆動部83とY方向圧電駆動部84が、X方向圧電素子81とY方向圧電素子82とを4画素間隔に四角くステップ移動してLPF効果弱にする。
図2(g)のように、四角く4画素間隔にステップ移動(LPF効果弱)する場合、図3(g)に示すようなベイヤ配列と存在確立(移動速度の逆数)の関係となる。また、図4(g)に示すように、X軸とY軸との圧電素子駆動電圧波形は、四角く4画素間隔にステップ移動させる矩形波に近い台形波(LPF効果弱)となる。また、図5(g)に示すように、信号MTFとモアレ成分の関係において、LPF効果弱からMTF高くモアレ成分が多くなる。
つぎに、図2(h)、図3(h)、図4(h)及び図5(h)を参照して説明する。ここでは、撮像装置30のCPU39に入力されたユーザー設定(LPF効果)の信号aに対応して、X方向圧電駆動部83とY方向圧電駆動部84が、X方向圧電素子81とY方向圧電素子82とを4画素間隔を直径に円周連続移動してLPF効果強にする。
図2(h)のように、4画素間隔を直径に円周連続移動してLPF効果強にする場合、図3(h)に示すようなベイヤ配列と存在確立(移動速度の逆数)の関係となる。また、図4(h)に示すように、X軸とY軸との圧電素子駆動電圧波形は、4画素間隔を直径に円周連続移動させる正弦波となる。また、図5(h)に示すように、信号MTFとモアレ成分の関係において、LPF効果強からMTFが低くモアレ成分が少なくなる。
つぎに、図2(i)、図3(i)、図4(i)及び図5(i)を参照して説明する。ここでは、撮像装置30のCPU39に入力されたユーザー設定(LPF効果)の信号aに対応して、X方向圧電駆動部83とY方向圧電駆動部84が、X方向圧電素子81とY方向圧電素子82とを縦横4画素角丸の四角形の可変速移動してLPF効果中にする。
図2(i)のように、縦横4画素角丸の四角形の可変速移動(LPF効果中)する場合、図3(i)に示すようなベイヤ配列と存在確立(移動速度の逆数)の関係となる。また、図4(i)に示すように、X軸とY軸との圧電素子駆動電圧波形は、縦横4画素間隔に角丸の四角形の可変速移動させる飽和した正弦波となる。また、図5(i)に示すように、信号MTFとモアレ成分の関係において、LPF効果中からMTFが中程度でありモアレ成分が中程度である。
実施例6の特徴は、次の通りである。すなわち、撮像素子33を移動させる圧電素子駆動電圧の振幅は4画素間隔相当で一定としておき、波形を4画素間隔に四角く画素間隔にステップ移動させる矩形波に近い台形波(LPF効果弱)から、縦横4画素間隔に角丸の四角形の可変速移動させる飽和した正弦波(LPF効果中を介して、4画素間隔を直径に円周連続移動(LPF効果強)と可変させることである。
以上の実施形態の撮像装置30では、撮像素子の画素間隔XY移動を四角のステップ移動から円形の連続移動に可変する。また、電子的に光学LPF効果を連続可変し、UHDTV8Kカメラ4Kカメラの2K出力のモアレを低減し現行2Kに活用できるため、8K4K2Kの映像制作の自由度が増加する。また、フィルタディスクの光学フィルタに複数の光学LPFを追加して、複数の光学LPFを交換する必要がなくなる。8K4K出力においても、モアレが目立たない被写体では光学LPF効果を低減して、より高い変調度を確保することができる。
これらの結果、高画質の映像信号を生成する用途の放送用カメラや高い信頼性が要求される(原子力発電所や新幹線等の)監視用カメラや(自動車の車体塗装や織物等の確認の)産業用カメラ等に適用できる。
以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
8a、8b:遅延部
9a、9b:周辺画素信号選択部
15:白キズ判定部
16:白キズ周囲画素補間部
17:黒キズ判定部
18:黒キズ周囲画素補間部
19a、19b:周囲画素中央値検出部
29a、29b:出力切替器
30:撮像装置
31:レンズ
32:暗電流算出OB補正部
33:撮像素子(CMOS撮像素子)
36:マトリクス変換部(MATRIX)
37:パラレル−シリアル変換部
38:完全黒キズ検出補間部
39:CPU
40:画像表示部
41:白キズ完全黒キズ検出補正色分離補正機能付映像信号処理部
42:白キズ検出補間部
72:ラインバッファ内蔵メモリコントローラ
73:Rフレームメモリ
74:G1フレームメモリ
75:G2フレームメモリ
76:Bフレームメモリ
81:X方向圧電素子
82:Y方向圧電素子
83:X方向圧電駆動部(D/Aと高速高耐圧演算増幅器)
84:Y方向圧電駆動部(D/Aと高速高耐圧演算増幅器)
85:温度センサ
86:白キズ完全黒キズ検出補間部
87:色分離補間変換部
88:ガンマ色輪郭補正部

Claims (5)

  1. R/G1/G2/Bのベイヤ配列のオンチップカラーフィルタを有し出力映像の毎秒フレーム数の4倍の毎秒フレーム数で撮像する撮像素子を備える撮像装置であって、
    前記出力映像の毎秒フレーム数で前記撮像素子を光軸と垂直な方向に画素間隔に移動させる移動手段と、
    前記出力映像の毎秒フレーム数の4倍の毎秒フレーム数のR/G1/G2/Bの直列映像信号を前記出力映像の毎秒フレーム数の並列の映像信号に変換手段と、
    前記移動手段による画素間隔の移動を、高い変調度を必要とする場合には、前記画素間隔の移動を四角に画素間隔のステップ移動とし、モアレの低減を必要とする場合には、前記画素間隔の移動を円形に連続移動とする移動制御手段と、
    を備えることを特徴とする撮像装置。
  2. 前記移動制御手段は、変調度とモアレを中程度とする場合には、前記出力映像の画素間隔の移動を画素間隔に角丸の四角形の可変速移動とすることを特徴とする請求項1に記載の撮像装置。
  3. 前記出力映像の毎秒フレーム数の4倍の毎秒フレーム数のR/G1/G2/Bの直列(シリアル)映像信号を出力映像の毎秒フレーム数の4並列(パラレル)のR/G1/G2/B映像信号又は3並列(パラレル)のR/G1+G2/Bの映像信号に変換する色分離補間変換手段を有し、
    前記移動手段は、前記出力映像の毎秒フレーム数で前記撮像素子を光軸と垂直な方向に出力映像の画素間隔の撮像素子の2の累乗数の画素間隔に移動させ、
    前記変換手段は、前記出力映像の毎秒フレーム数の4倍の毎秒フレーム数で撮像した信号を出力映像の毎秒フレーム数の各画素の4並列のR/G1/G2/B映像信号又は3並列のR/G1+G2/Bの映像信号に変換することを特徴とする請求項1または2に記載の撮像装置。
  4. 前記撮像素子の温度に対応する正常画素の暗電流を検出する暗電流算出手段、または、前記撮像素子の温度を検出する温度検出手段と、
    前記撮像素子の温度に対応する正常画素の暗電流に反比例させて所定時間だけ遮光蓄積し読出を行い、所定レベルより小さい暗電流の画素を正常画素の暗電流として検出する黒キズ検出手段と、
    撮影時に完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間する黒キズ補間手段と、を有することを特徴とする請求項1から3までのいずれかに記載の撮像装置。
  5. ベイヤ配列オンチップカラーフィルタを有する撮像素子を有する撮像装置であって、
    出力映像の4倍の毎秒フレーム数で撮像素子を光軸と垂直な方向に画素間隔に移動させる移動手段と、
    前記移動手段による画素間隔の移動を四角に画素間隔のステップ移動とする移動制御手段と、
    撮像した直列映像信号を出力映像の毎秒フレーム数の各画素の並列映像信号に変換する変換手段と、
    を有することを特徴とする撮像装置。
JP2017182655A 2017-09-22 2017-09-22 撮像装置 Active JP6991809B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017182655A JP6991809B2 (ja) 2017-09-22 2017-09-22 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017182655A JP6991809B2 (ja) 2017-09-22 2017-09-22 撮像装置

Publications (2)

Publication Number Publication Date
JP2019057893A true JP2019057893A (ja) 2019-04-11
JP6991809B2 JP6991809B2 (ja) 2022-01-13

Family

ID=66106556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017182655A Active JP6991809B2 (ja) 2017-09-22 2017-09-22 撮像装置

Country Status (1)

Country Link
JP (1) JP6991809B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110730318A (zh) * 2019-09-30 2020-01-24 上海集成电路研发中心有限公司 一种用于消除莫尔条纹的像素单元和像素阵列
JP2021071573A (ja) * 2019-10-30 2021-05-06 キヤノン株式会社 撮像装置及びその制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0983873A (ja) * 1995-09-07 1997-03-28 Fuji Photo Film Co Ltd 撮像装置
JP2008035241A (ja) * 2006-07-28 2008-02-14 Pentax Corp デジタルカメラ
JP2011101139A (ja) * 2009-11-05 2011-05-19 Panasonic Corp 撮像装置及びネットワークカメラシステム
JP2013219622A (ja) * 2012-04-10 2013-10-24 Canon Inc 撮像装置及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0983873A (ja) * 1995-09-07 1997-03-28 Fuji Photo Film Co Ltd 撮像装置
JP2008035241A (ja) * 2006-07-28 2008-02-14 Pentax Corp デジタルカメラ
JP2011101139A (ja) * 2009-11-05 2011-05-19 Panasonic Corp 撮像装置及びネットワークカメラシステム
JP2013219622A (ja) * 2012-04-10 2013-10-24 Canon Inc 撮像装置及び画像処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110730318A (zh) * 2019-09-30 2020-01-24 上海集成电路研发中心有限公司 一种用于消除莫尔条纹的像素单元和像素阵列
CN110730318B (zh) * 2019-09-30 2022-01-04 上海集成电路研发中心有限公司 一种用于消除莫尔条纹的像素单元和像素阵列
JP2021071573A (ja) * 2019-10-30 2021-05-06 キヤノン株式会社 撮像装置及びその制御方法
JP7397626B2 (ja) 2019-10-30 2023-12-13 キヤノン株式会社 撮像装置及びその制御方法

Also Published As

Publication number Publication date
JP6991809B2 (ja) 2022-01-13

Similar Documents

Publication Publication Date Title
JP5529928B2 (ja) 撮像装置及び撮像装置の制御方法
JP5541718B2 (ja) 撮像装置及びその欠陥画素検出方法
JP5526014B2 (ja) 撮像装置
JP5746521B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
WO2015190156A1 (ja) 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム
JP2010074584A (ja) 撮像装置および撮像方法
JP2013115449A (ja) 撮像装置、撮像方法および監視システム
JP2020053771A (ja) 画像処理装置、撮像装置
JP6991809B2 (ja) 撮像装置
KR20120024448A (ko) 촬상 장치, 신호 처리 방법 및 프로그램
JP5748513B2 (ja) 撮像装置
JP5446955B2 (ja) 撮像装置
US11368610B2 (en) Image capture apparatus and control method therefor
JP2011114473A (ja) 画素欠陥補正装置
JP2011041039A (ja) 撮像装置およびプログラム
JP5792349B2 (ja) 撮像装置及び撮像装置の制御方法
JP6730436B2 (ja) 撮像装置及び撮像装置の調整方法
JP6422500B2 (ja) 撮像装置及び撮像方法
JP2018182366A (ja) 撮像装置及び暗電流変動の検出補正方法及び撮像装置調整方法
US10911700B2 (en) Image capturing apparatus, image processing apparatus, and method
JP6934790B2 (ja) 撮像装置
JP4745680B2 (ja) 撮像装置および撮像方法
JP2011010113A (ja) 撮像装置
JP6437766B2 (ja) 撮像装置及び撮像方法
JP2009253808A (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211208

R150 Certificate of patent or registration of utility model

Ref document number: 6991809

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150