JP2001352552A - 映像信号処理装置及び映像信号処理方法 - Google Patents
映像信号処理装置及び映像信号処理方法Info
- Publication number
- JP2001352552A JP2001352552A JP2000170838A JP2000170838A JP2001352552A JP 2001352552 A JP2001352552 A JP 2001352552A JP 2000170838 A JP2000170838 A JP 2000170838A JP 2000170838 A JP2000170838 A JP 2000170838A JP 2001352552 A JP2001352552 A JP 2001352552A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- standard exposure
- exposure video
- level
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 162
- 238000003672 processing method Methods 0.000 title claims 11
- 239000002131 composite material Substances 0.000 claims abstract description 28
- 230000002194 synthesizing effect Effects 0.000 claims description 31
- 238000012937 correction Methods 0.000 claims description 24
- 229920006395 saturated elastomer Polymers 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 14
- 239000000203 mixture Substances 0.000 abstract description 11
- 230000003287 optical effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 79
- 230000015572 biosynthetic process Effects 0.000 description 19
- 238000003786 synthesis reaction Methods 0.000 description 19
- 239000003086 colorant Substances 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 101100000419 Autographa californica nuclear polyhedrosis virus AC41 gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- -1 silver halide Chemical class 0.000 description 1
Landscapes
- Cameras In General (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
Abstract
偽色を改善し、広ダイナミックレンジの良好な映像信号
を得る。 【解決手段】 標準露光映像信号1060と非標準露光映像
信号1070のOB(Optical Black)レベルを検出し、標準
露光映像信号1060と非標準露光映像信号1070から減算し
て、基準となる信号レベルを合わせる。OBレベル調整
後の非標準露光映像信号1070に対して、露光時間比に応
じてゲイン調整をする。OBレベル調整後の標準露光映
像信号1060とゲイン調整後の非標準露光映像信号1070
を、映像信号合成手段1080で合成する。このようにし
て、信号レベルのずれにより生じる偽色の発生を低減で
き、ダイナミックレンジを広くできる。
Description
に関し、特に、露光時間の異なる映像信号を合成するこ
とにより広ダイナミックレンジの映像信号を生成する映
像信号処理装置に関する。
等の画像取込手段として、CCD撮像素子をはじめとす
る固体撮像素子が多く利用されている。ところが、固体
撮像素子のダイナミックレンジは、銀塩写真に比べて狭
く、コントラストの強い被写体を撮像する場合など、撮
影条件によっては画質が著しく劣化する。この問題を解
決するために、ダイナミックレンジを拡大する方法があ
る。
は、特開平7-131718号公報に開示された画像合成装置が
知られている。これは、同一シーンにおける露光量の異
なる複数の画像を撮影し、この露光量の異なる映像信号
に対して、共通の合成領域を設けて、非標準露光の映像
信号と標準露光の映像信号を合成することで、ダイナミ
ックレンジの拡大された映像信号を得るものである。
カメラ及びRGB処理方式の単板ビデオカメラに応用し
た場合には、忠実な色再現ができずに、偽色になってし
まう場合がある。
ミックレンジ拡大信号処理装置を、3板式ビデオカメラ
に適応した例を説明する。ここでは、フレーム単位での
ダイナミックレンジ拡大処理の場合を示す。なお、同じ
番号で同じ名称の構成要素は、同機能を有するものであ
る。
説明する。プリズム1000は、光をRGBに分離するプリ
ズムである。撮像素子1010は、RGBの3系統に分離さ
れた各色の光について、光量を電気信号に変換するとと
もに、露光時間が標準と非標準の2種類の映像信号をフ
レーム単位で交互に出力する撮像素子である。撮像素子
駆動手段1020は、RGB毎の撮像素子1010を駆動し、図
19(D)に示すように、標準露光時と非標準露光時で
露光時間を示す露光時間識別信号1021を出力する手段で
ある。
段とAGC手段とクランプ回路等で構成される手段であ
る。CDS手段は、撮像素子出力のアナログ信号のノイ
ズ成分を、相関2重サンプリングにより削除する手段で
ある。AGC手段は、ノイズ成分が除去されたアナログ
映像信号が一定の信号レベルを保持するように、振幅調
整を行なう手段である。クランプ回路は、振幅調整され
たアナログ映像信号に対して、A/D変換するためにク
ランプする回路である。
手段1030の出力をディジタル映像信号に変換する手段で
ある。同時化手段1050は、図19(A)に示すように、
1フレーム分の映像信号を遅延するためのメモリー手段
10511と、セレクタ手段10513と、セレクタ手段10514か
ら構成され、同時化処理を行なう手段である。
準露光映像信号1060と非標準露光映像信号1070とを、輝
度レベルに応じて合成し、合成映像信号1081を生成する
手段である。カメラプロセス1090は、RGB毎の合成映
像信号1081に対して、ガンマ補正や輪郭補正等を行な
い、輝度信号や色差信号やRGB信号等の出力信号を生
成する手段である。
を説明する。RGB毎の同時化手段1050では、A/D変
換器出力1041が、メモリー手段10511とセレクタ手段105
13へ与えられる。図19(B)に示すような、1フレー
ム毎に交互に出力される露光時間の異なる映像信号を、
メモリー手段10511で、図19(C)に示すように、1
フレーム分遅延させる。メモリー手段出力10512を、セ
レクタ手段10514とセレクタ手段10513に与える。図19
(D)に示すような露光時間識別信号1021によって、セ
レクタ手段10514とセレクタ手段10513を切り替える。図
19(E)、(F)に示すように、セレクタ手段10513
の出力が、常に標準露光映像信号1060となり、セレクタ
手段10514の出力が、常に非標準露光映像信号1070とな
る。このように2系統に分離され、同一タイミングで出
力される。
段1080における、標準露光映像信号1060と非標準露光映
像信号1070の合成の方法を説明する。図20において、
標準露光映像信号1060は、非標準露光映像信号1070より
露光時間が長いのでLONGと呼び、非標準露光映像信
号1070は、標準露光映像信号1060より露光時間が短いの
でSHORTと呼ぶことにする。
ある。入射光量が飽和光量を超えると、出力は一定値で
飽和し、白つぶれが生じやすい。ただし、飽和光量まで
は通常の標準の映像信号が得られる。
である。これは、シャッター時間を標準露光より短くす
るか、感度をLONGより下げることにより、その分だ
け撮像素子が飽和する入射光量を高めることができる。
ただし、入射光量の少ない部分はS/Nが悪く、黒つぶ
れしやすい。
信号のダイナミックレンジを拡大する。例えば、LON
Gが飽和しない領域ではLONGだけ出力し、LONG
が飽和し始める領域(MIX領域)では、LONGとS
HORTをK(映像信号合成制御信号)で内分した値を
出力とし、LONGが完全に飽和した領域では、SHO
RTだけを出力するように制御する。
域の開始レベルをYthとし、LONGの飽和レベルをS
ATとする。MIX領域内でLONGとSHORTを交
差させ、自然に映像信号を合成させるためのオフセット
値をOFFSET1とし、Kを映像信号合成制御信号と
する。Kは、MIX領域の下限ではLONGとなり、上
限ではSHORTとなるように、なめらかに変化させる
ための制御信号である。
T1の様子を示す。図20(D)に、K(映像信号合成
制御信号)による映像信号合成の様子を示す。図20
(E)に、K(映像信号合成制御信号)の特性を示す。
図20(F)に、最終的に得られる合成映像信号1081を
示す。
めの制御を式で表すと、下記(1)〜(3)式のように
なる。LONG≦Ythの場合(LONGが飽和していな
い領域)は、 OUT=LONG (1) となる。Yth≦LONG≦SATの場合(MIX領域)
は、 OUT=(1−K)×LONG+K×(SHORT+OFFSET1) (2) となる。ここで、 K=(LONG−Yth)/(SAT−Yth) である。LONG≧SATの場合(LONGが飽和した
領域)は、 OUT=SHORT+OFFSET1 (3) となる。
し、広ダイナミックレンジの映像信号を得ていた。
来の技術では、RGB毎の各信号にばらつきがあると、
偽色を生じるという問題がある。すなわち、RGB毎の
標準露光映像信号と非標準露光映像信号には、撮像素子
及び前処理手段のばらつきや、A/D変換するために映
像信号に付加するオフセットレベルのばらつきや、映像
信号(撮像素子出力)の黒レベルの基準となるOB(Opt
ical Black)レベルのばらつき等に起因するばらつきが
含まれる可能性がある。RGBの映像信号毎に、このよ
うなばらつきがあると、RGB毎に標準露光映像信号と
非標準露光映像信号を合成する際に基準となる映像信号
レベルがずれた状態となる。この状態のまま、映像信号
合成手段で、標準露光映像信号と非標準露光映像信号映
像信号を合成すると、適切な合成処理が行なわれない。
そのため、RGB毎の色相が崩れてしまい、偽色が生じ
る。OBレベルやオフセットレベルのばらつきは、単板
方式の撮像装置にもあり、同様に偽色が生じる。
準露光映像信号映像信号に、フリッカやホワイトバラン
スの相異がある場合にも、偽色が生じやすいという問題
がある。すなわち、フリッカやホワイトバランスの相異
があると、合成処理の基準となる映像信号レベルがずれ
た状態となる。この状態で、RGB毎に標準露光映像信
号と非標準露光映像信号を合成すると、適切な合成処理
が行なわれない。したがって、さらにRGB毎の色相が
崩れやすく、偽色が生じやすくなる。
露光映像信号と非標準露光映像信号を合成する際に基準
となる映像信号レベルのずれを改善して、偽色の低減さ
れた広ダイナミックレンジの良好な映像信号を生成する
映像信号処理装置を提供することを目的とする。
めに、本発明では、標準の露光時間で撮影された標準露
光映像信号を生成する手段と、同一シーンに対して標準
より短い露光時間で撮影された非標準露光映像信号を生
成する手段と、標準露光映像信号と非標準露光映像信号
とを用いてダイナミックレンジが拡大された合成映像信
号を生成する手段とを有する映像信号処理装置に、標準
露光映像信号と非標準露光映像信号の基準調整レベルを
算出するレベル検出手段と、標準露光映像信号と非標準
露光映像信号から基準調整レベルを減算して減算後標準
露光映像信号と減算後非標準露光映像信号とを算出する
レベル減算手段と、標準露光映像信号と非標準露光映像
信号との露光時間比に応じて減算後非標準露光映像信号
に対してゲイン調整を行なって調整後非標準露光映像信
号を生成するゲイン調整手段と、減算後標準露光映像信
号と調整後非標準露光映像信号とを合成して広ダイナミ
ックレンジの映像信号を生成する映像信号合成手段とを
備える構成とした。
映像信号と非標準露光映像信号の基準信号レベルを共通
にして映像信号合成を行なうことで、合成画像の偽色を
改善できる。
て、図1〜図17を参照しながら詳細に説明する。
の形態は、映像信号のOBレベルを算出して、標準露光
映像信号と非標準露光映像信号から減算し、減算後の非
標準露光映像信号に対して露光時間比に応じたゲイン調
整を行ない、減算後の標準露光映像信号とゲイン調整後
の非標準露光映像信号とを合成して広ダイナミックレン
ジの映像信号を生成する映像信号処理装置である。
る映像信号処理装置の機能ブロック図である。図18に
示した従来の映像信号処理装置に、ゲイン調整手段1130
と、露光比演算手段1100と、OBレベル検出手段1110と
OBレベル減算手段1120を設けたものである。その他の
同じ名称で同じ番号の構成要素は、同機能を有するもの
である。三板方式の映像信号処理装置であり、フレーム
単位でのダイナミックレンジ拡大処理を行なう装置であ
る。
Bに分離するプリズムである。撮像素子1010は、RGB
3系統に分離された光の光量を電気信号に変換するとと
もに、各色毎に露光時間が標準と非標準の2種類の映像
信号をフレーム単位で交互に出力する素子である。撮像
素子駆動手段1020は、撮像素子1010を駆動し、図19
(D)に示すように、標準露光時と非標準露光時で露光
時間を示す露光時間識別信号1021を出力する手段であ
る。
段とクランプ回路等で構成される手段である。CDS手
段は、撮像素子出力のアナログ信号のノイズ成分を相関
2重サンプリングにより削除する手段である。AGC手
段は、ノイズ成分が除去されたアナログ映像信号が一定
の信号レベルを保持するように、振幅調整を行なう手段
である。クランプ回路は、振幅調整されたアナログ映像
信号に対してA/D変換するためにクランプする回路で
ある。
手段1030の出力をディジタル映像信号に変換する手段で
ある。同時化手段1050は、図19(A)に示すように、
RGB毎に、1フレーム分の映像信号を遅延するための
メモリー手段10511と、セレクタ手段10513と、セレクタ
手段10514とから構成される手段である。
標準露光映像信号1070と標準露光映像信号に対して、映
像信号の黒レベルの基準となるOBレベルを検出する手
段である。OBレベル減算手段1120は、RGB毎の非標
準露光映像信号1070と標準露光映像信号から、OBレベ
ル検出手段1110で検出されたOBレベルを減算する手段
である。映像信号合成手段1080は、RGB毎の標準露光
映像信号1060と非標準露光映像信号1070とを信号レベル
に応じて合成し、合成映像信号1081を生成する手段であ
る。カメラプロセス1090は、RGB毎に3系統の合成映
像信号1081に対して、ガンマ補正や輪郭補正等を行な
い、輝度信号や色差信号やRGB信号等の出力信号を生
成する手段である。
示す図であり、図2(B)は、ゲイン制御信号の特性を
示す図である。
示す図であり、図3(B)は、非標準露光映像信号の特
性と非標準露光映像信号に対するゲイン調整を施した後
の特性を示す図であり、図3(C)は、信号処理装置に
よる合成映像信号の特性を示す図である。
よるRGB毎の映像信号に対する合成映像信号を示す図
であり、図4(B)は、映像信号処理装置によるRGB
毎の信号に対する合成映像信号を示す図である。
ない標準露光映像信号の特性を示す図であり、図5
(B)は、OBレベルが調整されていない非標準露光映
像信号の特性と非標準露光映像信号に対するゲイン調整
を施した後の特性を示す図であり、図5(C)は、OB
レベルが調整されていない合成映像信号の特性を示す図
である。
ない標準露光映像信号の特性を示す図であり、図6
(B)は、OBレベルが調整されていない非標準露光映
像信号の特性と非標準露光映像信号に対するゲイン調整
を施した後の特性を示す図であり、図6(C)は、OB
レベルが調整されている標準露光映像信号の特性を示す
図であり、図6(D)は、OBレベルが調整されている
非標準露光映像信号の特性を示す図であり、図6(E)
は、OBレベルが調整されている合成映像信号の特性を
示す図であり、図6(F)は、撮像素子出力に占めるO
B領域を示す図である。
施の形態における映像信号処理装置の動作を説明する。
プリズム1000は、光をRGBに分離する。RGB毎の撮
像素子1010は、撮像素子駆動手段1020によって駆動さ
れ、プリズム1000によりRGBの3系統に分離された光
の光量を、それぞれ電気信号に変換する。それととも
に、露光時間が標準と非標準の2種類の映像信号を、フ
レーム単位で交互に出力する。RGB毎の撮像素子駆動
手段1020は、撮像素子を駆動するとともに、図19
(D)に示すように、撮像素子1010の露光時間を示す露
光時間識別信号1021を生成する。
で、撮像素子出力のアナログ信号のノイズ成分を、相関
2重サンプリングにより削除する。ノイズ成分が除去さ
れたアナログ映像信号が一定の信号レベルを保持するよ
うに、AGC回路で振幅調整を行なう。振幅調整された
アナログ映像信号に対して、A/D変換するために、ク
ランプ回路でクランプする。RGB毎のA/D変換器10
40は、クランプされたアナログ映像信号を、ディジタル
映像信号に変換する。
換器出力1041が、メモリー手段10511とセレクタ手段105
13へ与えられる。すなわち、図19(B)に示すよう
に、1フレーム毎に交互に、露光時間の異なる映像信号
が入力される。この映像信号を、メモリー手段10511
で、図19(C)に示すように、1フレーム分遅延させ
る。メモリー手段出力10512を、セレクタ手段10513とセ
レクタ手段10514に与える。さらに、同時化手段1050で
は、セレクタ手段10513とセレクタ手段10514を、露光時
間識別信号1021によって切り替える。
3では、露光時間識別信号1021が64のとき、標準露光映
像信号1060を出力し、露光時間識別信号1021が2のと
き、非標準露光映像信号1070を出力する。また、セレク
タ手段10514では、露光時間識別信号1021が64のとき、
非標準露光映像信号1070を出力し、露光時間識別信号10
21が2のとき、標準露光映像信号1060を出力する。
信号1021を、A/D変換器出力1051に対応させて、標準
露光時は64となり、非標準露光時は2となるように、露
光時間に応じて重み付けしておく。このようにしておけ
ば、図19(E)、(F)に示すように、セレクタ手段
10513の出力は常に標準露光映像信号1060となり、セレ
クタ手段10514の出力は常に非標準露光映像信号1070と
なるように、2系統に分離して、同一タイミングで出力
できる。このようにして、RGB毎の同時化手段1050で
は、標準露光と非標準露光の映像信号の同時化を行な
う。
映像信号1070について説明する。図3(A)に、標準露
光映像信号1060の特性を示し、図3(B)に、非標準露
光映像信号1070の特性を示す。図3(A)、(B)から
分かるように、非標準露光映像信号1070と標準露光映像
信号1060は、入射光量に対する撮像素子出力の特性が異
なるために、従来の手法で映像信号を合成しても、低輝
度域から高輝度域まで、図3(C)に示すような線形特
性を持った合成映像信号1081を得ることはできない。
(A)の(R)、(G)、(B)に示すように、入射光
量のRGB比がR:B:G=10:1:1であったもの
が、従来の手法で映像信号を合成した場合、RGB毎の
合成映像信号1081では、RGBの比はR:B:G=7:
1:1となり、本来あるべきR:G:Bの比(色相)が
変わってしまう。このため、偽色が発生する。
の標準露光映像信号1060と非標準露光映像信号1070を合
成しても、低輝度域から高輝度域まで線形特性を持った
映像信号を得られるようにする。非標準露光映像信号10
70の入射光量に対する出力特性を、標準露光映像信号10
60が飽和しない領域の入射光量に対する出力特性と同等
にするために、撮像素子駆動手段1020から、図2(A)
に示すような露光時間識別信号1021を得て、それに基づ
いて、図1の露光比演算手段1100で、図2(B)に示す
ようなゲイン制御信号1101を生成する。
示すような線形特性に近づけるよう、図2(B)に示す
ゲイン制御信号1101に応じたゲインを、RGB毎のゲイ
ン調整手段1130で、図3(B)に示すように、非標準露
光映像信号1070に乗算する。例えば、図19(A)〜
(F)に示すように、露光時間識別信号1021が、標準露
光映像信号1060を64と重み付けし、非標準露光映像信号
1070を2と重み付けしているとする。その場合は、その
露光比から、RGB毎の非標準露光映像信号1070を32倍
するように制御する。こうして、RGB毎に3系統のゲ
イン調整された非標準露光映像信号1070を得る。
号1060と、ゲイン調整後の非標準露光映像信号1070は、
傾きを同等にできる。これを基に、RGB毎の標準露光
映像信号1060と、ゲイン調整後の非標準露光映像信号10
70を、RGB毎の映像信号合成手段1080で、信号レベル
に応じて映像信号を合成する。このようにして、RGB
毎の合成映像信号1081は、図3(C)に示すように、低
輝度域から高輝度域まで線形特性を保った映像信号にな
る。
(G’)、(B’)に示すように、入射時にRGBの光
量比が10:1:1であったものは、合成後においても1
0:1:1を保つ。したがって、本来あるべき入射時の
R:G:Bの光量比(色相)は変わらない。よって、こ
れ以降のカメラプロセス1090でガンマ補正や輪郭補正を
施しても、低輝度域から高輝度域まで偽色のない広ダイ
ナミックレンジの映像を得ることができる。
は、撮像素子1010のばらつきや、前処理手段1030等の信
号処理によって、ノイズ成分の影響を受けて、図5
(A)、(B)のように、非標準露光映像信号1070と標
準露光映像信号1060の黒レベルの基準であるOBレベル
がずれてしまう場合がある。このようなときに、ゲイン
制御信号1101に応じたゲインを、図5(B)のように、
非標準露光映像信号1070に乗算すると、非標準露光映像
信号1070のOBレベルがずれてしまう。OBレベルがず
れたままの状態で、映像信号合成手段1080で、信号レベ
ルに応じて、標準露光映像信号1060と非標準露光映像信
号1070を合成すると、図5(C)のように、低輝度域か
ら高輝度域まで線形特性を保てない。これがRGBの色
相に影響を与えると、偽色を生じる。
号、図6(A)に示す標準露光映像信号1060と、図6
(B)に示す非標準露光映像信号1070とから、図1のO
Bレベル検出手段1110でOBレベルを検出する。このO
Bレベルを、標準露光映像信号1060と、非標準露光映像
信号1070から、OBレベル減算手段1120で減算する。そ
の結果、図6(C)、(D)に示すように、OBレベル
が調整される。このようにして、合成の基準となる信号
レベルを調整した上で、標準露光映像信号1060と非標準
露光映像信号1070を、図6(E)に示すように合成す
る。
は、図6(F)に示すように、1画面中の特定の領域を
占めているので、OBレベル検出手段1110では、1フレ
ーム毎に、このOB領域中の平均値を算出する。このO
Bレベル検出手段1110で算出された、1フレーム毎のO
Bレベルを、OBレベル減算手段1120で減算する。
平均値生成処理とOBレベル減算処理を行なった上で、
標準露光映像信号1060と非標準露光映像信号1070とを合
成すれば、図6(E)に示すように、低輝度域から高輝
度域まで線形特性を持った広ダイナミックレンジの合成
映像信号を生成することができる。したがって、標準露
光映像信号1060と非標準露光映像信号1070を合成する際
の基準となる信号レベルのずれによる偽色が改善でき
る。
で、ガンマ補正や輪郭補正を施しても、低輝度域から高
輝度域まで偽色のない、黒レベルの調整された広ダイナ
ミックレンジの映像信号を得ることができる。
理装置について説明したが、単板方式の映像信号処理装
置でも同様に、OBレベルを調整した後に、標準露光映
像信号1060と非標準露光映像信号1070とを合成すればよ
い。フレーム単位の処理だけでなく、フィールド単位や
ライン単位や1画素単位の処理でもよい。
では、映像信号処理装置を、映像信号のOBレベルを算
出して、標準露光映像信号と非標準露光映像信号から減
算し、減算後の非標準露光映像信号に対して露光時間比
に応じたゲイン調整を行ない、減算後の標準露光映像信
号とゲイン調整後の非標準露光映像信号とを合成して広
ダイナミックレンジの映像信号を生成する構成としたの
で、映像信号合成の基準となる信号レベルのずれによる
偽色が改善できる。
の形態は、映像信号のオフセットレベルを算出して、標
準露光映像信号と非標準露光映像信号から減算し、減算
後の非標準露光映像信号に対して露光時間比に応じたゲ
イン調整を行ない、減算後の標準露光映像信号とゲイン
調整後の非標準露光映像信号とを合成して広ダイナミッ
クレンジの映像信号を生成する映像信号処理装置であ
る。
る映像信号処理装置の機能ブロック図である。図18に
示した従来の映像信号処理装置に、ゲイン調整手段1130
と、露光比演算手段1100と、オフセットレベル検出手段
1140と、オフセットレベル減算手段1150を設けたもので
ある。その他の同じ名称で同じ番号の構成要素は、同機
能を有するものである。三板方式の映像信号処理装置で
あり、フレーム単位でのダイナミックレンジ拡大処理を
行なう装置である。
れていない標準露光映像信号の特性を示す図であり、図
8(B)は、オフセットレベルが調整されていない非標
準露光映像信号の特性と非標準露光映像信号に対するゲ
イン調整を施した後の特性を示す図であり、図8(C)
は、オフセットレベルが調整されていない合成映像信号
の特性を示す図である。
れていない標準露光映像信号の特性を示す図であり、図
9(B)は、オフセットレベルが調整されていない非標
準露光映像信号の特性と非標準露光映像信号に対するゲ
イン調整を施した後の特性を示す図であり、図9(C)
は、オフセットレベルが調整されている標準露光映像信
号の特性を示す図であり、図9(D)は、オフセットレ
ベルが調整されている非標準露光映像信号の特性を示す
図であり、図9(E)は、オフセットレベルが調整され
ている合成映像信号の特性を示す図である。
映像信号に含まれるオフセット成分の特性を示す図であ
る。
施の形態における映像信号処理装置の動作を説明する。
通常の映像信号処理装置では、映像の低輝度域を見やす
くするために、オフセットを付加している。しかし、こ
のオフセットは、アナログ処理部のばらつきや、撮像素
子のばらつき等のために、常に一定の信号レベルを保持
していない。
フセットレベル検出手段1140で算出する。算出されたオ
フセット値を、オフセットレベル減算手段1150により、
標準露光映像信号1060と非標準露光映像信号1070から減
算する。図9の(A)(B)に示すようなオフセットレ
ベルのずれのために、基準となる信号レベルにずれが生
じる。図9(C)(D)のように、オフセットレベルを
それぞれの映像信号から減算する。標準露光映像信号10
60と非標準露光映像信号1070を合成する際の基準となる
信号レベルを調整した上で合成する。
号1070には、図10に示すように、本来、同等のオフセ
ットを含んでいるものとする。オフセットレベル検出手
段1140では、その露光時間の比からオフセットを検出す
ればよい。
号1070は、それぞれ同じオフセットを含んでいるため、
それぞれ(4)、(5)式で示されるような関係にあ
る。さらに、標準露光映像信号1060と非標準露光映像信
号1070は、(6)式に示すような関係にある。(4),
(5),(6)式より、オフセットは(7)式で求める
ことができる。
標準露光映像信号1060をLONG’とし、非標準露光映
像信号1070をSHORT’とし、オフセットをOFFS
ETとし、オフセットを含まない標準露光映像信号1060
をLONGとし、オフセットを含まない非標準露光映像
信号1070をSHORTとし、非標準露光映像信号1070の
露光時間に対する標準露光映像信号1060の露光時間の比
をNとする。 LONG=LONG'−OFFSET (4) SHORT=SHORT'−OFFSET (5) LONG’=N(SHORT’) (6) (4),(5),(6)式よりオフセットを算出すると、 OFFSET={N(SHORT’)−LONG’}/(N−1) (7) となる。
FSET)算出処理を、オフセットレベル検出手段1140
で行なう。求めたオフセット(OFFSET)を、オフ
セットレベル減算手段1150により、標準露光映像信号10
60と非標準露光映像信号1070から減算する。これによ
り、図9(C)、(D)に示すように、標準露光映像信
号1060と非標準露光映像信号1070を合成する際の基準と
なる信号レベルを合わせることができる。
に、標準露光映像信号1060と非標準露光映像信号1070に
含まれるオフセット成分の信号レベルが異なっていると
する。この場合に、標準露光映像信号1060と非標準露光
映像信号1070の露光比に相当するゲインを、非標準露光
映像信号1070に乗算してから、標準露光映像信号1060と
非標準露光映像信号1070を合成しても、標準露光映像信
号1060と非標準露光映像信号1070とで、合成の基準とな
る信号レベルが異なるため、図8(C)に示すように、
低輝度域から高輝度域まで線形特性を保てず、非線形特
性になってしまい、RGBの色相に影響を与え、偽色の
要因となる。このような場合でも、オフセットレベルの
ずれを改善して、偽色を軽減できる。
した上で合成できるため、合成映像信号は、図9(E)
のように、低輝度域から高輝度域まで線形特性を保つこ
とができる。よって、偽色のない広ダイナミックレンジ
の映像信号を得ることができる。
装置について説明したが、単板方式の映像信号処理装置
でも同様に、オフセットレベルを調整した後に、標準露
光映像信号1060と非標準露光映像信号1070とを合成すれ
ばよい。
ーム単位のみの処理だけでなく、ライン単位やフィール
ド単位や1画素単位の処理でもよい。(4)〜(7)式
による演算に関しても、フィールド単位やライン単位や
1画素単位で行なってもよい。標準露光映像信号1060と
非標準露光映像信号1070から、画面中の任意の領域の平
均値を算出し、その平均値を、標準露光映像信号1060と
非標準露光映像信号1070として代用して演算してもよ
い。
では、映像信号処理装置を、映像信号のオフセットレベ
ルを算出して、標準露光映像信号と非標準露光映像信号
から減算し、減算後の非標準露光映像信号に対して露光
時間比に応じたゲイン調整を行ない、減算後の標準露光
映像信号とゲイン調整後の非標準露光映像信号とを合成
して広ダイナミックレンジの映像信号を生成する構成と
したので、映像信号合成の基準となる信号レベルのずれ
による偽色が改善できる。
の形態は、標準露光映像信号が飽和する直前のオフセッ
トレベルを予め保持しておき、飽和した場合には、保持
しているオフセットレベルを標準露光映像信号と非標準
露光映像信号から減算し、ゲイン調整して合成する映像
信号処理装置である。
ける映像信号処理装置の機能ブロック図である。図7に
示した第2の実施の形態における映像信号処理装置に、
飽和判定手段1160とオフセットレベル保持手段1170を設
けたものである。その他の同じ名称で同じ番号の構成要
素は、同機能を有するものである。三板方式の映像信号
処理装置であり、フレーム単位でのダイナミックレンジ
拡大処理を行なう装置である。
準露光映像信号が飽和レベルを超えたら、飽和と判定す
る手段である。オフセットレベル保持手段1170は、標準
露光映像信号が飽和する直前のオフセットを保持する手
段である。
施の形態における映像信号処理装置の動作を説明する。
(6)式に示した、標準露光映像信号1060と非標準露光
映像信号1070と露光比Nの関係は、標準露光映像信号10
60が飽和した場合には成り立たない。つまり(7)式も
成り立たなくなる。
像信号1060に対して飽和判定手段1160を設ける。これに
より、標準露光映像信号1060が、図9(A)に示すよう
な飽和レベルを超えたら、飽和と判定する。この飽和と
判定した情報を、図11の非標準露光映像信号1070に付
随しているオフセットレベル検出手段1140にも伝達す
る。標準露光映像信号1060と非標準露光映像信号1070に
付随するオフセットレベル検出手段1140では、(7)式
によるオフセットレベルの検出を停止する。
露光映像信号1060が飽和する直前のオフセットを保持さ
せておく。このオフセットレベルは、(7)式の関係が
満たされたものであるため、(7)式によるオフセット
レベルの検出が停止している場合は、適切なオフセット
値を保持していることになる。また、オフセットは、フ
ィールドやフレームや1画素単位で頻繁に変化するもの
ではないため、例えば、標準露光映像信号1060が飽和す
る1フレーム前のオフセットを保持していてもよい。
も、オフセットレベル保持手段1170で保持しているオフ
セット値を用いて、オフセットレベルの調整が行なえ
る。標準露光映像信号1060と非標準露光映像信号1070か
ら、オフセットレベル保持手段1170で保持しているオフ
セットを減算した後、映像信号合成手段1080で合成す
る。標準露光映像信号1060と非標準露光映像信号1070を
合成する際の基準となる信号レベルを調整した上で合成
が行なえるため、図9(E)のように、低輝度域から高
輝度域まで線形特性を保つことができる。合成映像信号
1081には、合成時の基準となる信号レベルのずれによる
偽色が少なくなる。よって、偽色のない広ダイナミック
レンジの映像信号を得ることができる。
像信号1060に対して、1画素単位で、信号レベルに応じ
て標準露光映像信号1060が飽和しているか否か判定でき
るようにしたが、1フレーム単位や1フィールド単位
で、標準露光映像信号1060と標準露光映像信号1060の飽
和していない画素数を数えておき、飽和していない画素
が極端に少ない場合には、そのフィールドの標準露光映
像信号1060は飽和していると判定するように構成し、
(7)式によるオフセットレベル検出を停止させてもよ
い。
したが、単板方式の映像信号処理装置でも同様に、オフ
セットレベルを調整した後に、標準露光映像信号1060と
非標準露光映像信号1070とを合成してもよい。フレーム
単位の処理だけでなく、フィールド単位やライン単位や
1画素単位の処理でもよい。
では、映像信号処理装置を、標準露光映像信号が飽和す
る直前のオフセットレベルを予め保持しておき、飽和し
た場合には、保持しているオフセットレベルを標準露光
映像信号と非標準露光映像信号から減算し、ゲイン調整
して合成する構成としたので、標準露光映像信号が飽和
した場合でも、合成時の基準となる信号レベルのずれに
よる偽色を軽減できる。
の形態は、オフセットレベルの算出前の標準露光映像信
号と非標準露光映像信号とに対して、信号レベルに応じ
た制限を加え、常に精度のよいオフセットレベルを、標
準露光映像信号と非標準露光映像信号から減算し、ゲイ
ン調整して合成する映像信号処理装置である。
ける映像信号処理装置の機能ブロック図である。図11
に示した映像信号処理装置の飽和判定手段1160の代わり
に、入力制限手段1180を設けたものである。その他の同
じ名称で同じ番号の構成要素は、同機能を有するもので
ある。三板方式の映像信号処理装置であり、フレーム単
位でのダイナミックレンジ拡大処理を行なう装置であ
る。
準露光映像信号と非標準露光映像信号に対して上限値と
下限値を設定し、上限値か下限値を超える場合は、オフ
セット値の算出を行なわないように制限する手段であ
る。
施の形態における映像信号処理装置の動作を説明する。
図12に示すように、標準露光映像信号1060と非標準露
光映像信号1070に対して、入力制限手段1180で制限す
る。すなわち、低輝度域のS/Nの悪い映像信号や、高
輝度域の飽和レベルにある映像信号を除外した上で、オ
フセットレベル検出手段1140で、(7)式によるオフセ
ットを検出する。
い。このため、オフセットレベル検出手段1140で、オフ
セット値を1フィールド単位で生成するとき、被写体が
暗い場合には、オフセット自体がノイズ成分の影響を受
け、精度が劣化する。標準露光映像信号1060が飽和する
ようなレベルの映像信号から、1フィールドの画面平均
値を基に、(6)式によりオフセットを算出しても、画
面が飽和している部分を含んで算出されたものなので、
オフセットの精度は劣化したものになる。
標準露光映像信号1060と非標準露光映像信号1070に対し
て、上限値と下限値を設定する。標準露光映像信号1060
と非標準露光映像信号1070が上限値か下限値を超える場
合は、(7)式によるオフセット値の算出を行なわない
ようにし、精度の高いオフセットを算出する。
フセットを、オフセットレベル保持手段1170に常に保持
しておく。標準露光映像信号1060と非標準露光映像信号
1070が上限値と下限値を超える場合は、これを使う。
は、精度の高いオフセット値を基に、標準露光映像信号
1060と非標準露光映像信号1070に対するオフセット減算
処理ができる。標準露光映像信号1060と非標準露光映像
信号1070からオフセットを減算した後に、映像信号合成
手段1080で合成すれば、標準露光映像信号1060と非標準
露光映像信号1070を合成する際の基準となる信号レベル
を調整した上で合成が行なえる。そのため、図9(E)
のように、低輝度域から高輝度域まで線形特性を保つこ
とができ、合成時の基準となる信号レベルのずれによる
偽色が改善できる。精度の良いオフセット調整が施され
た広ダイナミックレンジの映像信号を得ることができ
る。
したが、単板方式の映像信号処理装置でも同様に、オフ
セットレベルを調整した後に、標準露光映像信号1060と
非標準露光映像信号1070とを合成してもよい。フレーム
単位の処理だけでなく、フィールド単位やライン単位や
1画素単位の処理でもよい。
では、映像信号処理装置を、オフセットレベルの算出前
の標準露光映像信号と非標準露光映像信号とに対して、
信号レベルに応じた制限を加え、常に精度のよいオフセ
ットレベルを、標準露光映像信号と非標準露光映像信号
から減算し、ゲイン調整して合成する構成としたので、
低輝度域のS/Nの悪い映像信号や、高輝度域の飽和レ
ベルにある映像信号を除外して、低輝度域から高輝度域
までの広ダイナミックレンジの映像信号を得ることがで
きる。
の形態は、フリッカを補正した標準露光映像信号と非標
準露光映像信号とに対して、信号レベルに応じた制限を
加え、常に精度のよいオフセットレベルを、標準露光映
像信号と非標準露光映像信号から減算し、ゲイン調整し
て合成する映像信号処理装置である。
ける映像信号処理装置の機能ブロック図である。図12
に示した映像信号処理装置に、フリッカ補正手段1190を
設けたものである。その他の同じ名称で同じ番号の構成
要素は、同機能を有するものである。三板方式の映像信
号処理装置であり、フレーム単位でのダイナミックレン
ジ拡大処理を行なう装置である。
は、標準露光映像信号と非標準露光映像信号が平均値と
等しくなるようにゲインを乗算してフリッカを補正する
手段である。
施の形態における映像信号処理装置の動作を説明する。
図13に示すように、フリッカ補正手段1190によりフリ
ッカ補正を行なって、オフセットレベル検出手段1140に
おけるオフセットの精度を高める。
信号に1060に比べて、撮像素子1010の露光時間が短い信
号であり、フリッカが生じやすい。また、標準露光映像
信号1060にフリッカを生じている場合には、映像信号が
フィールド毎に変動するため、(7)式を単純に適用で
きず、精度の良いオフセットを得ることができない。そ
のため、オフセットレベル検出手段1140で、(7)式を
基にオフセットを算出する場合にも、フリッカ補正手段
1190でフリッカ補正を施してから、オフセット値を算出
する。
標準露光映像信号1060と非標準露光映像信号1070それぞ
れの3フィールド連続した画像の平均値を算出する。次
に、各フィールドの映像信号が、算出した平均値と同等
になるように、フリッカを補正するためのゲインを算出
する。RGB毎の標準露光映像信号1060と非標準露光映
像信号1070に、このゲインを乗算する。
1060と非標準露光映像信号1070のフリッカは補正でき
る。このフリッカ補正された、RGB毎の標準露光映像
信号1060と非標準露光映像信号1070を基に、オフセット
レベル検出手段1140でオフセットを算出すれば、フリッ
カの影響を受けることなく、オフセットを算出できる。
そして、このオフセットを、オフセットレベル減算手段
1150で減算すれば、フリッカを生じるような被写体であ
っても、精度よくオフセットを適切に減算した上で、標
準露光映像信号1060と非標準露光映像信号1070を、映像
信号合成手段1080で合成できる。
は、精度の高いオフセット値を基に、標準露光映像信号
1060と非標準露光映像信号1070に対するオフセット減算
処理ができる。標準露光映像信号1060と非標準露光映像
信号1070から、オフセット減算後に、映像信号合成手段
1080で合成する。標準露光映像信号1060と非標準露光映
像信号1070を合成する際の基準となる信号レベルを調整
した上で合成が行なえる。その結果、フリッカのある場
合でも、図9(E)のように、低輝度域から高輝度域ま
で線形特性を有する広ダイナミックレンジの映像信号を
得ることができ、合成時の基準となる信号レベルのずれ
による偽色が改善できる。
したが、単板方式の映像信号処理装置でも同様に、オフ
セットレベルを調整した後に、標準露光映像信号1060と
非標準露光映像信号1070とを合成してもよい。フレーム
単位のみでの処理だけでなく、フィールド単位やライン
単位や1画素単位の処理でもよい。
では、映像信号処理装置を、フリッカを補正した標準露
光映像信号と非標準露光映像信号とに対して、信号レベ
ルに応じた制限を加え、常に精度のよいオフセットレベ
ルを、標準露光映像信号と非標準露光映像信号から減算
し、ゲイン調整して合成する構成としたので、フリッカ
のある場合でも、広ダイナミックレンジの映像信号を得
ることができる。
の形態は、標準露光映像信号と非標準露光映像信号のO
Bレベルを算出して減算し、さらにオフセットレベルを
算出して減算し、ゲイン調整して合成する映像信号処理
装置である。
ける映像信号処理装置の機能ブロック図である。図12
に示した映像信号処理装置に、OBレベル検出手段1110
とOBレベル減算手段1120とを設けたものである。その
他の同じ名称で同じ番号の構成要素は、同機能を有する
ものである。三板方式の映像信号処理装置であり、フレ
ーム単位でのダイナミックレンジ拡大処理を行なう装置
である。
は、RGB毎の非標準露光映像信号1070と標準露光映像
信号に対して、映像信号の黒レベルの基準となるOBレ
ベルを検出する手段である。RGB毎の非標準露光映像
信号1070と標準露光映像信号から、OBレベル検出手段
1110で検出されたOBレベルを減算する手段である。
施の形態における映像信号処理装置の動作を説明する。
映像信号のノイズ成分のために、オフセットレベル検出
手段1140のみで、(7)式によるオフセット算出を行な
うと、オフセットの精度が劣化する。オフセットレベル
検出手段1140のみで算出したオフセットを基に、標準露
光映像信号1060と非標準露光映像信号1070からオフセッ
トを減算し、映像信号合成手段1080で合成すると、映像
信号のノイズによる偽色が生ずる。
減するために、OBレベル検出手段1110で、映像信号の
OBレベルを算出する。標準露光映像信号1060と非標準
露光映像信号1070から、OBレベル減算手段1120によ
り、OBレベルを減算する。OBレベル検出手段1110と
OBレベル減算手段1120により、標準露光映像信号1060
と非標準露光映像信号1070のOBレベルの調整が行なわ
れ、標準露光映像信号1060と非標準露光映像信号1070を
合成する際の基準となる信号レベルを適切に保持でき
る。
成映像信号1081は、図9(E)のように、低輝度域から
高輝度域まで線形特性を保つことができる。したがっ
て、広ダイナミックレンジの映像信号を得ることがで
き、合成時の基準となる信号レベルのずれによる偽色が
改善できる。
したが、単板方式の映像信号処理装置でも同様に、オフ
セットレベルを調整した後に、標準露光映像信号1060と
非標準露光映像信号1070とを合成してもよい。フレーム
単位のみの処理だけでなく、フィールド単位やライン単
位や1画素単位の処理でもよい。
では、映像信号処理装置を、標準露光映像信号と非標準
露光映像信号のOBレベルを算出して減算し、さらにオ
フセットレベルを算出して減算し、ゲイン調整して合成
する構成としたので、映像信号にノイズ成分がある場合
でも、低輝度域から高輝度域まで広ダイナミックレンジ
の映像信号を得ることができ、偽色が改善できる。
の形態は、標準露光映像信号と非標準露光映像信号から
OBレベルを減算し、フリッカを補正して、さらにオフ
セットレベルを減算して、ゲイン調整して合成する映像
信号処理装置である。
ける映像信号処理装置の機能ブロック図である。図14
に示した信号処理装置に、フリッカ補正手段1190を設け
たものである。その他の同じ名称で同じ番号の構成要素
は、同機能を有するものである。三板方式の映像信号処
理装置であり、フレーム単位でのダイナミックレンジ拡
大処理を行なう装置である。
は、標準露光映像信号と非標準露光映像信号が平均値と
等しくなるようにゲインを乗算してフリッカを補正する
手段である。
施の形態における映像信号処理装置の動作を説明する。
フリッカ補正手段1190を設けているので、映像信号にフ
リッカの影響がある場合でも、フリッカの影響をオフセ
ットレベル検出手段1140に与えない。その結果、オフセ
ットレベル検出手段1140で精度よくオフセットの算出が
できる。
うな場合でも、OBレベル検出手段1110とOBレベル減
算手段1120により、標準露光映像信号1060と非標準露光
映像信号1070のOBレベルの調整が適切に行なえる。
準露光映像信号1070を合成する際の基準となる信号レベ
ルを適切に保持できる。合成映像信号1081は、フリッカ
やノイズ成分がある場合でも、図9(E)のように、低
輝度域から高輝度域まで線形特性を保つことができる。
広ダイナミックレンジの良好な映像信号を得ることがで
き、信号レベルのずれによる偽色を改善できる。
したが、単板方式の映像信号処理装置でも同様に、フリ
ッカ補正した後にオフセットレベルを算出し、オフセッ
トレベルを調整した後に、標準露光映像信号1060と非標
準露光映像信号1070とを合成すればよい。フレーム単位
の処理だけでなく、フィールド単位やライン単位や1画
素単位の処理でもよい。
では、映像信号処理装置を、標準露光映像信号と非標準
露光映像信号からOBレベルを減算し、フリッカを補正
して、さらにオフセットレベルを減算して、ゲイン調整
して合成する構成としたので、フリッカやノイズ成分が
ある場合でも、低輝度域から高輝度域まで広ダイナミッ
クレンジの良好な映像信号を得ることができ、偽色を改
善できる。
の形態は、標準露光映像信号と非標準露光映像信号から
OBレベルを減算し、ホワイトバランスを調整し、フリ
ッカを補正して、さらにオフセットレベルを減算して、
ゲイン調整して合成する映像信号処理装置である。
ける映像信号処理装置の機能ブロック図である。図15
に示した映像信号処理装置に、ホワイトバランス調整手
段1200を設けたものである。その他の同じ名称で同じ番
号の構成要素は、同機能を有するものである。三板方式
の映像信号処理装置であり、フレーム単位でのダイナミ
ックレンジ拡大処理を行なう装置である。
段1200は、標準露光映像信号と非標準露光映像信号それ
ぞれに対して、Gの映像信号の平均値を基にホワイトバ
ランスを調整する手段である。
施の形態における映像信号処理装置の動作を説明する。
RGB毎のホワイトバランス調整手段1200では、標準露
光映像信号1060と非標準露光映像信号1070それぞれに対
して、フレーム毎にRGB毎に1画面分の平均値(RAV
E,GAVE,BAVE)を算出する。Gの映像信号の平均値で
あるGAVEを基に、RGB毎にホワイトバランスを調整
するためのホワイトバランス調整ゲインを算出する。
Wgain,GWgain,BWgain)は、Gを基準に、以下の
(8)〜(10)式で、 RWgain=(GAVE)/(RAVE) (8) GWgain=(GAVE)/(GAVE)=1.0 (9) BWgain=(GAVE)/(BAVE) (10) のように算出する。
1060と非標準露光映像信号1070それぞれに対して、ホワ
イトバランス調整ゲインを算出する。RGB毎の標準露
光映像信号1060と非標準露光映像信号1070のホワイトバ
ランスを調整する。
フリッカ補正とオフセットレベル調整も適切に行なえ
る。映像信号のホワイトバランスがずれているか、ノイ
ズやフリッカの影響がある場合でも、標準露光映像信号
1060と非標準露光映像信号1070の映像信号を合成する際
の基準となる信号レベルを適切に保てる。
号にホワイトバランスのずれやフリッカやノイズ成分が
ある場合でも、図9(E)のように、低輝度域から高輝
度域まで線形特性を保つことができる。標準露光映像信
号1060と非標準露光映像信号1070の映像信号を合成する
際の基準となる信号レベルのずれによる偽色を改善で
き、広ダイナミックレンジの良好な映像信号を得ること
ができる。
1060が飽和レベル以上に達しているような場合には、非
標準露光映像信号1070は飽和しないので、非標準露光映
像信号1070のホワイトバランスで、標準露光映像信号10
60のホワイトバランスを代用してもよい。標準露光映像
信号1060が飽和レベルに達する直前のフレームのホワイ
トバランスを保持しておき、代用してもよい。
したが、単板方式の映像信号処理装置でも同様に、ホワ
イトバランスを調整した後に、オフセットレベルを算出
してオフセット調整を行ない、標準露光映像信号1060と
非標準露光映像信号1070とを合成すればよい。フレーム
単位の処理だけでなく、フィールド単位やライン単位や
1画素単位の処理でもよい。
では、映像信号処理装置を、標準露光映像信号と非標準
露光映像信号からOBレベルを減算し、ホワイトバラン
スを調整し、フリッカを補正して、さらにオフセットレ
ベルを減算して、ゲイン調整して合成する構成としたの
で、映像信号にホワイトバランスのずれやフリッカやノ
イズ成分がある場合でも、低輝度域から高輝度域まで広
ダイナミックレンジの良好な映像信号を得ることがで
き、偽色を改善できる。
の形態は、標準露光映像信号と非標準露光映像信号から
OBレベルを減算し、ホワイトバランスを調整し、フリ
ッカを補正して、さらにオフセットレベルを減算して、
ゲイン調整して合成した映像信号の画像処理を行なう画
像処理装置である。
ける画像処理装置の機能ブロック図である。図15に示
した映像信号処理装置に、画像処理手段を設けたもので
ある。その他の同じ名称で同じ番号の構成要素は、同機
能を有するものである。図16において、画像処理手段
1210は、物体の識別などの画像処理を行なう手段であ
る。
施の形態における映像信号処理装置の動作を説明する。
三板方式の映像信号処理装置を用いた画像処理装置を説
明する。この画像処理装置では、標準露光映像信号1060
と非標準露光映像信号1070を、映像信号合成手段1080で
合成する前段の処理で、OB調整とフリッカ補正とオフ
セット調整とホワイトバランス調整がなされる。そのた
め、合成映像信号1081は、広ダイナミックレンジの良好
な映像信号として得られる。
ジの良好な映像信号を基に画像処理が行なえる。物体の
識別などの画像処理を行なう際には、誤検出の少ない高
精度な画像処理ができる。ノイズやフリッカがある場合
にも、正確に認識処理ができる。特に、コントラストが
強い画像から対象物の色を判断して識別する場合にも、
精度よく識別できる。
段を付加した例を説明したが、単板方式の映像信号処理
装置に画像処理手段を付加しても、高精度な画像処理装
置を構成することができる。
では、画像処理装置を、標準露光映像信号と非標準露光
映像信号からOBレベルを減算し、ホワイトバランスを
調整し、フリッカを補正して、さらにオフセットレベル
を減算して、ゲイン調整して合成した映像信号の画像処
理を行なう構成としたので、誤検出の少ない高精度な画
像処理ができる。
では、標準の露光時間で撮影された標準露光映像信号を
生成する手段と、同一シーンに対して標準より短い露光
時間で撮影された非標準露光映像信号を生成する手段
と、標準露光映像信号と非標準露光映像信号とを用いて
ダイナミックレンジが拡大された合成映像信号を生成す
る手段とを有する映像信号処理装置に、標準露光映像信
号と非標準露光映像信号を合成する際の信号レベルを調
整するための基準調整レベルを算出するレベル検出手段
と、標準露光映像信号と非標準露光映像信号から基準調
整レベルを減算し、減算後標準露光映像信号と減算後非
標準露光映像信号とを生成するレベル減算手段と、標準
露光映像信号と非標準露光映像信号との露光時間比に応
じて減算後非標準露光映像信号に対してゲイン調整を行
なって調整後非標準露光映像信号を生成するゲイン調整
手段と、減算後標準露光映像信号と調整後非標準露光映
像信号とを合成して広ダイナミックレンジの映像信号を
生成する映像信号合成手段とを備える構成としたので、
撮像素子のばらつきやアナログ信号処理のばらつきがあ
って、映像信号のOBレベルやオフセットレベルがずれ
ているような場合でも、標準露光映像信号と非標準露光
映像信号の合成時の基準信号レベルを共通にして映像信
号合成を行なって、合成画像の偽色を改善でき、広ダイ
ナミックレンジの良好な映像信号を得ることができると
いう効果が得られる。
信号のフリッカを補正するフリッカ補正手段を設けたの
で、標準露光映像信号と非標準露光映像信号にフリッカ
がある場合でも、信号レベルのずれによる偽色を改善で
き、広ダイナミックレンジの良好な映像信号を得ること
ができるという効果が得られる。
信号の信号レベルの平均値に基づいてホワイトバランス
を算出するホワイトバランス算出手段を設けたので、標
準露光映像信号と非標準露光映像信号にホワイトバラン
スのずれがある場合でも、信号レベルのずれによる偽色
を改善でき、広ダイナミックレンジの良好な映像信号を
得ることができるという効果が得られる。
理装置の機能ブロック図、
(B)ゲイン制御信号の特性を示す図、
(B)非標準露光映像信号の特性と非標準露光映像信号
に対するゲイン調整を施した後の特性を示す図、(C)
本発明の第1の実施の形態における映像信号処理装置に
よる合成映像信号の特性を示す図、
の映像信号に対する合成映像信号を示す図、(B)本発
明の第1の実施の形態における映像信号処理装置による
RGB毎の信号に対する合成映像信号を示す図、
映像信号の特性を示す図、(B)OBレベルが調整され
ていない非標準露光映像信号の特性と非標準露光映像信
号に対するゲイン調整を施した後の特性を示す図、
(C)OBレベルが調整されていない合成映像信号の特
性を示す図、
映像信号の特性を示す図、(B)OBレベルが調整され
ていない非標準露光映像信号の特性と非標準露光映像信
号に対するゲイン調整を施した後の特性を示す図、
(C)OBレベルが調整されている標準露光映像信号の
特性を示す図、(D)OBレベルが調整されている非標
準露光映像信号の特性を示す図、(E)OBレベルが調
整されている合成映像信号の特性を示す図、(F)撮像
素子出力に占めるOB領域を示す図、
理装置の機能ブロック図、
準露光映像信号の特性を示す図、(B)オフセットレベ
ルが調整されていない非標準露光映像信号の特性と非標
準露光映像信号に対するゲイン調整を施した後の特性を
示す図、(C)オフセットレベルが調整されていない合
成映像信号の特性を示す図、
準露光映像信号の特性を示す図、(B)オフセットレベ
ルが調整されていない非標準露光映像信号の特性と非標
準露光映像信号に対するゲイン調整を施した後の特性を
示す図、(C)オフセットレベルが調整されている標準
露光映像信号の特性を示す図、(D)オフセットレベル
が調整されている非標準露光映像信号の特性を示す図、
(E)オフセットレベルが調整されている合成映像信号
の特性を示す図、
まれるオフセット成分の特性を示す図、
処理装置の機能ブロック図、
処理装置の機能ブロック図、
処理装置の機能ブロック図、
処理装置の機能ブロック図、
処理装置の機能ブロック図、
処理装置の機能ブロック図、
装置の機能ブロック図、
図、(B)A/D変換器出力を示す図、(C)メモリー
手段出力を示す図、(D)露光時間識別信号を示す図、
(E)非標準露光映像信号を示す図、(F)標準露光映
像信号を示す図、
(B)非標準露光映像信号の特性を示す図、(C)非標
準露光映像信号にオフセットを加算した場合の特性を示
す図、(D)標準露光映像信号と非標準露光映像信号の
合成を示す図、(E)映像信号合成制御信号の特性を示
す図、(F)合成映像信号の特性を示す図である。
Claims (19)
- 【請求項1】 標準の露光時間で撮影された標準露光映
像信号を生成する手段と、同一シーンに対して標準より
短い露光時間で撮影された非標準露光映像信号を生成す
る手段と、前記標準露光映像信号と前記非標準露光映像
信号とを用いてダイナミックレンジが拡大された合成映
像信号を生成する手段とを有する映像信号処理装置にお
いて、前記標準露光映像信号と前記非標準露光映像信号
の基準調整レベルを算出するレベル検出手段と、前記標
準露光映像信号と前記非標準露光映像信号から前記基準
調整レベルを減算して減算後標準露光映像信号と減算後
非標準露光映像信号とを算出するレベル減算手段と、前
記標準露光映像信号と前記非標準露光映像信号との露光
時間比に応じて前記減算後非標準露光映像信号に対して
ゲイン調整を行なって調整後非標準露光映像信号を生成
するゲイン調整手段と、前記減算後標準露光映像信号と
前記調整後非標準露光映像信号とを合成して広ダイナミ
ックレンジの映像信号を生成する映像信号合成手段とを
備えることを特徴とする映像信号処理装置。 - 【請求項2】 前記レベル検出手段として、前記標準露
光映像信号と前記非標準露光映像信号のOBレベル(基
準黒レベル)を算出するOBレベル検出手段を設け、前
記レベル減算手段として、前記標準露光映像信号と前記
非標準露光映像信号から前記OBレベルを減算して減算
後標準露光映像信号と減算後非標準露光映像信号とを算
出するOBレベル減算手段を設けたことを特徴とする請
求項1記載の映像信号処理装置。 - 【請求項3】 前記レベル検出手段として、前記標準露
光映像信号と前記非標準露光映像信号のオフセットレベ
ルを算出するオフセットレベル検出手段を設け、前記レ
ベル減算手段として、前記標準露光映像信号と前記非標
準露光映像信号から前記オフセットレベルを減算して減
算後標準露光映像信号と減算後非標準露光映像信号とを
算出するオフセットレベル減算手段を設けたことを特徴
とする請求項1記載の映像信号処理装置。 - 【請求項4】 前記標準露光映像信号の飽和を判定して
飽和判定信号を出力する飽和判定手段と、前記標準露光
映像信号が飽和する直前のオフセットレベルを予め保持
しておくとともに前記飽和判定信号に応答して前記オフ
セットレベル減算手段に出力するオフセットレベル保持
手段とを設けたことを特徴とする請求項3記載の映像信
号処理装置。 - 【請求項5】 前記減算後標準露光映像信号と前記減算
後非標準露光映像信号のオフセットレベルを算出するオ
フセットレベル検出手段と、前記減算後標準露光映像信
号と前記減算後非標準露光映像信号から前記オフセット
レベルを減算して第2減算後標準露光映像信号と第2減
算後非標準露光映像信号とを算出するオフセットレベル
減算手段とを設け、前記ゲイン調整手段を、前記標準露
光映像信号と前記非標準露光映像信号との露光時間比に
応じて前記第2減算後非標準露光映像信号に対してゲイ
ン調整を行なって第2調整後非標準露光映像信号を生成
する手段とし、前記映像信号合成手段を、前記第2減算
後標準露光映像信号と前記第2調整後非標準露光映像信
号とを合成する手段としたことを特徴とする請求項2記
載の映像信号処理装置。 - 【請求項6】 前記オフセットレベル検出手段へ入力さ
れる前記標準露光映像信号と前記非標準露光映像信号と
に対して信号レベルに応じた制限を加える入力映像信号
制限手段を設けたことを特徴とする請求項3または5記
載の映像信号処理装置。 - 【請求項7】 前記標準露光映像信号と前記非標準露光
映像信号のフリッカを補正するフリッカ補正手段を設け
たことを特徴とする請求項3または6記載の映像信号処
理装置。 - 【請求項8】 前記標準露光映像信号と前記非標準露光
映像信号の信号レベルの平均値に基づいてホワイトバラ
ンスを算出して調整するホワイトバランス調整手段を設
けたことを特徴とする請求項6または7記載の映像信号
処理装置。 - 【請求項9】 前記オフセットレベル検出手段に、前記
標準露光映像信号と前記非標準露光映像信号との露光時
間の比に基づいて前記オフセットレベルを検出する手段
を設けたことを特徴とする請求項3〜8のいずれかに記
載の映像信号処理装置。 - 【請求項10】 請求項1〜9のいずれかに記載の映像
信号処理装置を備えたことを特徴とする画像処理装置。 - 【請求項11】 同一シーンに対して、標準の露光時間
で撮影された標準露光映像信号と、標準より短い露光時
間で撮影された非標準露光映像信号とを生成し、前記標
準露光映像信号と前記非標準露光映像信号とを用いてダ
イナミックレンジが拡大された合成映像信号を生成する
映像信号処理方法において、前記標準露光映像信号と前
記非標準露光映像信号の基準調整レベルを算出し、前記
標準露光映像信号と前記非標準露光映像信号から前記基
準調整レベルを減算して減算後標準露光映像信号と減算
後非標準露光映像信号とを算出し、前記標準露光映像信
号と前記非標準露光映像信号との露光時間比に応じて前
記減算後非標準露光映像信号に対してゲイン調整を行な
って調整後非標準露光映像信号を生成し、前記減算後標
準露光映像信号と前記調整後非標準露光映像信号とを合
成して広ダイナミックレンジの映像信号を生成すること
を特徴とする映像信号処理方法。 - 【請求項12】 前記基準調整レベルとして、前記標準
露光映像信号と前記非標準露光映像信号のOBレベルを
算出し、前記減算後標準露光映像信号として、前記標準
露光映像信号から前記OBレベルを減算して減算後標準
露光映像信号を算出し、前記減算後非標準露光映像信号
として、前記非標準露光映像信号から前記OBレベルを
減算して減算後非標準露光映像信号を算出することを特
徴とする請求項11記載の映像信号処理方法。 - 【請求項13】 前記基準調整レベルとして、前記標準
露光映像信号と前記非標準露光映像信号のオフセットレ
ベルを算出し、前記減算後標準露光映像信号として、前
記標準露光映像信号から前記オフセットレベルを減算し
て減算後標準露光映像信号を算出し、前記減算後非標準
露光映像信号として、前記非標準露光映像信号から前記
オフセットレベルを減算して減算後非標準露光映像信号
を算出することを特徴とする請求項11記載の映像信号
処理方法。 - 【請求項14】 前記標準露光映像信号が飽和する直前
のオフセットレベルを予め保持しておき、前記標準露光
映像信号の飽和を判定した場合には、予め保持しておい
たオフセットレベルを前記標準露光映像信号と前記非標
準露光映像信号から減算することを特徴とする請求項1
3記載の映像信号処理方法。 - 【請求項15】 前記減算後標準露光映像信号と前記減
算後非標準露光映像信号のオフセットレベルを算出し、
前記減算後標準露光映像信号と前記減算後非標準露光映
像信号から前記オフセットレベルを減算して第2減算後
標準露光映像信号と第2減算後非標準露光映像信号とを
算出し、前記標準露光映像信号と前記非標準露光映像信
号との露光時間比に応じて前記第2減算後非標準露光映
像信号に対してゲイン調整を行なって第2調整後非標準
露光映像信号を生成し、前記第2減算後標準露光映像信
号と前記第2調整後非標準露光映像信号とを合成して広
ダイナミックレンジの映像信号を生成することを特徴と
する請求項12記載の映像信号処理方法。 - 【請求項16】 前記オフセットレベルの算出前の前記
標準露光映像信号と前記非標準露光映像信号とに対して
信号レベルに応じた制限を加えることを特徴とする請求
項13または15記載の映像信号処理方法。 - 【請求項17】 前記標準露光映像信号と前記非標準露
光映像信号のフリッカを補正することを特徴とする請求
項13または16記載の映像信号処理方法。 - 【請求項18】 前記標準露光映像信号と前記非標準露
光映像信号の信号レベルの平均値に基づいてホワイトバ
ランスを算出して調整することを特徴とする請求項16
または17記載の映像信号処理方法。 - 【請求項19】 前記標準露光映像信号と前記非標準露
光映像信号との露光時間の比に基づいて前記オフセット
レベルを検出することを特徴とする請求項13〜18の
いずれかに記載の映像信号処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000170838A JP3748031B2 (ja) | 2000-06-07 | 2000-06-07 | 映像信号処理装置及び映像信号処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000170838A JP3748031B2 (ja) | 2000-06-07 | 2000-06-07 | 映像信号処理装置及び映像信号処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001352552A true JP2001352552A (ja) | 2001-12-21 |
JP3748031B2 JP3748031B2 (ja) | 2006-02-22 |
Family
ID=18673490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000170838A Expired - Fee Related JP3748031B2 (ja) | 2000-06-07 | 2000-06-07 | 映像信号処理装置及び映像信号処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3748031B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005120047A1 (ja) * | 2004-06-01 | 2005-12-15 | Sony Corporation | 撮像装置および信号処理方法 |
JP2007323587A (ja) * | 2006-06-05 | 2007-12-13 | Matsushita Electric Ind Co Ltd | 車載カメラの画像合成装置および画像合成方法 |
JP2009027634A (ja) * | 2007-07-23 | 2009-02-05 | Canon Inc | 撮像装置及びその制御方法 |
WO2009119254A1 (ja) * | 2008-03-24 | 2009-10-01 | 京セラ株式会社 | 撮像装置 |
US8035738B2 (en) | 2006-08-21 | 2011-10-11 | Samsung Electronics Co., Ltd. | Apparatus and method of controlling black stretch |
JP2013046377A (ja) * | 2011-08-26 | 2013-03-04 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
US8558914B2 (en) | 2009-10-21 | 2013-10-15 | Seiko Epson Corporation | Imaging device, imaging method, and electronic apparatus for dynamically determining ratios of exposures to optimize multi-stage exposure |
JP2018042089A (ja) * | 2016-09-07 | 2018-03-15 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム |
-
2000
- 2000-06-07 JP JP2000170838A patent/JP3748031B2/ja not_active Expired - Fee Related
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005120047A1 (ja) * | 2004-06-01 | 2005-12-15 | Sony Corporation | 撮像装置および信号処理方法 |
US9055228B2 (en) | 2004-06-01 | 2015-06-09 | Sony Corporation | Imaging device and signal processing method for flicker reduction |
JP2007323587A (ja) * | 2006-06-05 | 2007-12-13 | Matsushita Electric Ind Co Ltd | 車載カメラの画像合成装置および画像合成方法 |
JP4739122B2 (ja) * | 2006-06-05 | 2011-08-03 | パナソニック株式会社 | 車載カメラの画像合成装置および画像合成方法 |
US8035738B2 (en) | 2006-08-21 | 2011-10-11 | Samsung Electronics Co., Ltd. | Apparatus and method of controlling black stretch |
JP2009027634A (ja) * | 2007-07-23 | 2009-02-05 | Canon Inc | 撮像装置及びその制御方法 |
WO2009119254A1 (ja) * | 2008-03-24 | 2009-10-01 | 京セラ株式会社 | 撮像装置 |
US8558914B2 (en) | 2009-10-21 | 2013-10-15 | Seiko Epson Corporation | Imaging device, imaging method, and electronic apparatus for dynamically determining ratios of exposures to optimize multi-stage exposure |
JP2013046377A (ja) * | 2011-08-26 | 2013-03-04 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
US8970745B2 (en) | 2011-08-26 | 2015-03-03 | Casio Computer Co., Ltd. | Image processing device, image processing method and storage medium to suppress shading of images in which pixel addition processing is performed |
JP2018042089A (ja) * | 2016-09-07 | 2018-03-15 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3748031B2 (ja) | 2006-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2252183C (en) | An imaging apparatus with dynamic range expanded, a video camera including the same, and a method of generating a dynamic range expanded video signal | |
JP4404823B2 (ja) | 撮像装置 | |
JP2010074813A (ja) | 撮像装置および撮像方法 | |
JP2010136224A (ja) | 撮像装置及び撮像方法 | |
JP3999321B2 (ja) | 電子カメラ | |
JP2002084449A (ja) | 固体撮像素子を用いた撮像装置 | |
JP2018207413A (ja) | 撮像装置 | |
JP4739998B2 (ja) | 撮像装置 | |
JP3748031B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
US8325246B2 (en) | Imaging apparatus and imaging method capable of imaging at a low frame rate | |
US8026965B2 (en) | Image pickup apparatus and method for controlling the same | |
JP3553999B2 (ja) | 撮像装置とその画像処理方法 | |
JP6242129B2 (ja) | 撮像装置、その制御方法、及び制御プログラム | |
JPH11155108A (ja) | 映像信号処理装置と処理方法、それを用いたビデオカメラ | |
JP4028395B2 (ja) | デジタルカメラ | |
JP2004336244A (ja) | 補正装置 | |
JP3938098B2 (ja) | 補正装置、及び撮像装置 | |
JP6990988B2 (ja) | 撮像装置及び撮像素子の制御方法 | |
JP2000228745A (ja) | 映像信号処理装置および映像信号処理方法、画像処理装置および画像処理方法、ならびに撮像装置 | |
JP2004215063A (ja) | 撮像装置及び輪郭補正方法 | |
JPH11155098A (ja) | 信号処理装置および方法 | |
JP4136775B2 (ja) | 補正装置、撮像装置、補正方法、コンピュータが読み取り可能な記憶媒体、及びプログラム | |
JP3466672B2 (ja) | 撮像装置 | |
JP5533752B2 (ja) | 画像信号処理装置 | |
KR20110014071A (ko) | 촬상장치 및 촬상방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051122 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131209 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |