JP2000069355A - 映像信号処理方法とその装置および撮像装置 - Google Patents

映像信号処理方法とその装置および撮像装置

Info

Publication number
JP2000069355A
JP2000069355A JP10231441A JP23144198A JP2000069355A JP 2000069355 A JP2000069355 A JP 2000069355A JP 10231441 A JP10231441 A JP 10231441A JP 23144198 A JP23144198 A JP 23144198A JP 2000069355 A JP2000069355 A JP 2000069355A
Authority
JP
Japan
Prior art keywords
video signal
standard exposure
standard
exposure
ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10231441A
Other languages
English (en)
Other versions
JP3426139B2 (ja
Inventor
Masayuki Serizawa
沢 正 之 芹
Kenji Tabei
部 井 憲 治 田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP23144198A priority Critical patent/JP3426139B2/ja
Publication of JP2000069355A publication Critical patent/JP2000069355A/ja
Application granted granted Critical
Publication of JP3426139B2 publication Critical patent/JP3426139B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Receiver Circuits (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)

Abstract

(57)【要約】 【課題】 同一シーンに対して、標準の露光時間で撮影
された標準露光映像信号と、標準より短い露光時間で撮
影された非標準露光映像信号とを生成し、これらを用い
てダイナミックレンジが拡大された映像信号を合成する
映像信号処理装置において、合成映像信号の解像度の劣
化を抑えつつ、ノイズ成分を除去し、S/Nの良い高ダ
イナミックレンジの良好な映像信号を得ることを目的と
する。 【解決手段】 非標準露光映像信号1070に対しての
み、ノイズ成分を除去するためのディジタルフィルタA
1100を設け、ノイズ成分を除去した後、映像信号合
成手段1080において標準露光映像信号1060と信
号レベルに応じて合成することにより、元々S/Nの良
い標準露光映像信号1060の解像度は損なわずにS/
Nの良好な合成映像信号を得ることができる。したがっ
て、カメラプロセス1090で各種信号処理を施しても
良好な映像が得られる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、撮像素子により撮
影した映像信号を処理する映像信号処理方法とその装
置、およびそれを用いた撮像装置に関し、特にノイズ成
分の少ない広ダイナミックレンジの映像信号を合成でき
るようにした技術に関するものである。
【0002】
【従来の技術】近年、ビデオカメラ、電子スチルカメラ
等の画像取り込み手段として、CCD撮像素子をはじめ
とする固体撮像素子が多く利用されている。ところが、
この固体撮像素子のダイナミックレンジは銀塩写真等に
比べて狭く、コントラスト比の大きな被写体を撮像する
場合などでは、明るい個所が一様に白っぽくなる、いわ
ゆる白つぶれや、暗い個所が一様に黒っぽくなる、いわ
ゆる黒つぶれが生じ、画質が著しく劣化する。
【0003】従来、映像信号のダイナミックレンジ拡大
手段としては特開平7−131718号公報記載の技術
が知られている。これは同一シーンにおける露光量の異
なる複数の画像を撮影し、この露光量の異なる映像信号
に対して、共通の合成領域を設けて非標準露光の映像信
号と標準露光の映像信号を合成することで、ダイナミッ
クレンジの拡大された映像信号を得ているものである。
以下、図10から図15を用いて従来の映像信号のダイ
ナミックレンジを拡大する信号処理装置について説明す
る。
【0004】図10は従来の映像信号のダイナミックレ
ンジを拡大する信号処理装置の構成を示し、ここではフ
レーム単位でのダイナミックレンジ拡大処理の場合を示
す。図10において、1010は撮像素子であり、露光
時間が標準と非標準の2種類の映像信号をフレーム単位
で交互に出力する。1020は撮像素子駆動手段であ
り、撮像素子1010を駆動するとともに、図11
(A)に示すように標準露光時と非標準露光時で露光時
間を示す露光時間識別信号1021を出力する。103
0は撮像素子1010からの出力信号を処理する前処理
手段1030である。前処理手段1030は、撮像素子
出力のアナログ信号のノイズ成分を相関2重サンプリン
グにより削除するCDS手段と、ノイズ成分が除去され
たアナログ映像信号が一定の信号レベルを保持するよう
に振幅調整を行うAGC手段と、振幅調整されたアナロ
グ映像信号に対してA/D変換するためにクランプする
クランプ回路等で構成される。
【0005】1040は前処理手段1030の出力をデ
ィジタル映像信号に変換するA/D変換器であり、10
50は同時化手段である。同時化手段1050は、図1
2に示すように、1フレーム分の映像信号を遅延するメ
モリー手段10511と、セレクタ手段10513と、
セレクタ手段10514とで構成されている。そこでA
/D変換器出力1041をメモリー手段10511とセ
レクタ手段10513へ与えるとともに、メモリー手段
10513で、図13(A)のように1フレーム毎に交
互に出力される露光時間の異なる映像信号を、図13
(B)のように1フレーム分遅延させた後、メモリー手
段出力10512をセレクタ手段10514とセレクタ
手段10513に与え、図13(C)の露光時間識別信
号1021によって切り換え、図13(D)、(E)に
示すように、セレクタ手段10514出力を常に非標準
露光映像信号1070となるように、またセレクタ手段
10513出力を常に標準露光映像信号1060となる
ように2系統に分離し、同一タイミングで出力する。
【0006】1080は映像信号合成手段であり、標準
露光映像信号1060と非標準露光映像信号1070と
を信号レベルに応じて合成し、合成映像信号1081を
生成する。1090は合成映像信号1081に対して、
ガンマ補正を行ったり、輪郭補正等を行うカメラプロセ
ス1090である。
【0007】図14および図15は映像信号合成手段1
080における非標準露光映像信号1070と標準露光
映像信号1060の合成について示す。図14、図15
において、標準露光映像信号1060は、非標準露光映
像信号1070より露光時間が長いのでLONG、非標
準露光映像信号1070は、逆に露光時間が短いのでS
HORTと呼ぶことにする。
【0008】図14(A)はLONGの入出力特性であ
る。LONGは、入射光量が飽和光量を超えると出力は
一定値で飽和し、白つぶれが生じやすい。ただし、飽和
光量までは通常の標準の映像信号が得られる。図14
(B)はSHORTの入出力特性である。SHORT
は、シャッター時間を標準露光より短くしたり、感度を
LONGより下げることにより、その分だけ撮像素子が
飽和する入射光量を高めることができる。ただし、SH
ORTの入射光量の少ない部分はS/Nが悪く黒つぶれ
しやすい。そこで、この2つの特性を利用して映像信号
のダイナミックレンジを拡大する。例えば、LONGが
飽和しない領域ではLONGだけ出力し、LONGが飽
和しはじめる領域(MIX領域)ではLONGとSHO
RTをK(映像信号合成信号)で内分した値を出力と
し、LONGが完全に飽和した領域では、SHORTだ
けを出力するように制御する。
【0009】合成映像信号1081をOUTとし、MI
X領域の開始レベルをYth、LONGの飽和レベルを
SATとし、MIX領域内でLONGとSHORTを交
差させ、滑らかに映像信号を合成させるためのオフセッ
ト値をOFSET1、Kを映像信号合成制御信号とす
る。KはMIX領域の下限ではLONG、上限ではSH
ORTとなるようになめらかに可変するための制御信号
である。
【0010】まず、図14(C)にSHORT+OFS
ET1の様子を示し、図15(D)に前記の制御による
映像信号合成の様子を示し、図15(E)にK(映像信
号合成制御信号)の特性を示し、図15(F)に最終的
に得られる合成映像信号1081を示す。前記の制御を
式で表すと下記の〜のようになる。 LONG≦Ythの場合(LONGが飽和していな
い領域、K=0) OUT=LONG Yth≦LONG≦SATの場合(MIX領域、0
≦K≦1) OUT=(1−K)×LONG+K×(SHORT+O
FSET1) ここで、K=(LONG−Yth)/(SAT―Yt
h) LONG≧SATの場合(LONGが飽和した領
域、K=1) OUT=SHORT+OFSET1 従来は、このように映像信号を合成し、高ダイナミック
レンジの映像信号を得ていた。
【0011】
【発明が解決しようとする課題】しかしながら、上記の
映像信号合成手段の合成のみでは、標準露光映像信号と
非標準露光映像信号では、入射光量に対する撮像素子出
力の特性が異なるため、非標準露光映像信号は標準露光
映像信号に比べてS/Nが劣化しているという特性があ
った。このため標準露光映像信号と非標準露光映像信号
を合成した合成映像信号は、標準露光映像信号が飽和し
ない領域では、標準露光映像信号(LONG)だけを使
用するのでS/Nは問題にならないが、標準露光映像信
号から徐々に非標準露光映像信号(SHORT)の割合
が大きくなり始めるような領域(MIX領域からSHO
RT領域の始まる領域)ではS/Nが劣化してしまうと
いう問題があった。また、非標準露光映像信号はオフセ
ット値を加算するため、ノイズ成分が目立ちやすいとい
う問題もあった。
【0012】本発明は、上記問題を解決するものであ
り、S/N劣化の少ないダイナミックレンジの広い良好
な映像信号を生成することのできる映像信号処理方法と
その装置を提供し、さらにそうした映像信号処理によっ
て高ダイナミックレンジの良好な映像を映すことができ
る撮像装置を提供することを目的とする。
【0013】
【課題を解決するための手段】本発明は、上記目的を達
成するために、同一シーンに対して、標準の露光時間で
撮影された標準露光映像信号と、標準より短い露光時間
で撮影された非標準露光映像信号とを生成し、これらを
用いてダイナミックレンジが拡大された映像信号を合成
する映像信号処理方法および装置において、ノイズ除去
手段により前記非標準露光映像信号のノイズ成分を除去
してS/Nを改善した後、前記標準露光映像信号と非標
準露光映像信号を信号レベルに応じて合成することによ
って、高ダイナミックレンジの合成映像信号を生成する
ようにしたものであり、上記構成により、前記合成映像
信号に含まれるノイズ成分を除去し、S/N劣化の少な
い高ダイナミックレンジの良好な映像信号が得られる。
また、上記のような映像信号処理を行うことにより、S
/Nの良い高ダイナミックレンジの良好な撮像装置を得
ることができる。
【0014】
【発明の実施の形態】本発明の請求項1記載の発明は、
同一シーンに対して、標準の露光時間で撮影された標準
露光映像信号と、標準より短い露光時間で撮影された非
標準露光映像信号とを生成し、これらを用いてダイナミ
ックレンジが拡大された映像信号を合成する映像信号処
理方法において、前記非標準露光映像信号のノイズ成分
を除去してS/Nを改善した後、前記標準露光映像信号
と非標準露光映像信号を信号レベルに応じて合成するこ
とによって高ダイナミックレンジの合成映像信号を生成
することを特徴とする映像信号処理方法であり、合成映
像信号のノイズ成分を除去し、S/Nを改善するという
作用を有する。
【0015】本発明の請求項2記載の発明は、同一シー
ンに対して、標準の露光時間で撮影された標準露光映像
信号と、標準より短い露光時間で撮影された非標準露光
映像信号とを生成し、これらを用いてダイナミックレン
ジが拡大された映像信号を合成する映像信号処理装置に
おいて、前記非標準露光映像信号のノイズ成分を除去す
るノイズ除去手段と、前記ノイズを除去した非標準露光
映像信号と前記標準露光映像信号とを信号レベルに応じ
て合成することによって高ダイナミックレンジの合成映
像信号を生成する映像信号合成手段とを備えたことを特
徴とする映像信号処理装置であり、合成映像信号のノイ
ズ成分を除去し、S/Nを改善するという作用を有す
る。
【0016】本発明の請求項3記載の発明は、ノイズ除
去手段が、ディジタルフィルタである請求項2記載の映
像信号処理装置であり、合成映像信号のノイズ成分を除
去し、S/Nを改善するという作用を有する。
【0017】本発明の請求項4記載の発明は、同一シー
ンに対して、標準の露光時間で撮影された標準露光映像
信号と、標準より短い露光時間で撮影された非標準露光
映像信号とを生成し、これらを用いてダイナミックレン
ジが拡大された映像信号を合成する映像信号処理方法に
おいて、前記標準露光映像信号と前記非標準露光映像信
号を信号レベルに応じて合成した合成映像信号に対し
て、前記合成映像信号に含まれる標準露光映像信号と非
標準露光映像信号の割合に応じてノイズ成分を除去する
ことを特徴とする映像信号処理方法であり、合成映像信
号のノイズ成分を除去し、S/Nを改善するという作用
を有する。
【0018】本発明の請求項5記載の発明は、非標準露
光映像信号の割合が多い部分では、その割合に応じてノ
イズ成分を除去し、標準露光映像信号の割合の多い部分
では、その割合に応じてノイズ成分の除去を行わないこ
とを特徴とする請求項4記載の映像信号処理方法であ
り、合成映像信号のノイズ成分を除去し、S/Nを改善
するという作用を有する。
【0019】本発明の請求項6記載の発明は、同一シー
ンに対して、標準の露光時間で撮影された標準露光映像
信号と、標準より短い露光時間で撮影された非標準露光
映像信号とを生成し、これらを用いてダイナミックレン
ジが拡大された映像信号を合成する映像信号合成手段を
備えた映像信号処理装置において、前記標準露光映像信
号と前記非標準露光映像信号を信号レベルに応じて合成
した合成映像信号に対して、前記合成映像信号に含まれ
る標準露光映像信号と非標準露光映像信号の割合に応じ
てノイズ成分を除去するためのノイズ除去手段を備えた
ことを特徴とする映像信号処理装置であり、合成映像信
号のノイズ成分を除去し、S/Nを改善するという作用
を有する。
【0020】本発明の請求項7記載の発明は、ノイズ除
去手段が、合成映像信号を通過させるディジタルフィル
タと重み付け手段とを備え、合成映像信号のうち非標準
露光映像信号の割合が多い部分では、その割合に応じて
前記ディジタルフィルタを通し、標準露光映像信号が多
い部分では、その割合に応じて前記ディジタルフィルタ
を通さないように、映像信号合成手段からの映像信号合
成制御信号により前記重み付け手段を制御することを特
徴とする請求項6記載の映像信号処理装置であり、合成
映像信号のノイズ成分を除去し、S/Nを改善するとい
う作用を有する。
【0021】本発明の請求項8記載の発明は、同一シー
ンに対して、標準の露光時間で撮影された標準露光映像
信号と、標準より短い露光時間で撮影された非標準露光
映像信号とを生成し、これらを用いてダイナミックレン
ジが拡大された映像信号を合成する映像信号処理方法に
おいて、前記標準露光映像信号と、前記非標準露光映像
信号を映像信号レベルに応じて合成した合成映像信号に
対して、前記合成映像信号に含まれる標準露光映像信号
と非標準露光映像信号の割合と前記合成映像信号の信号
レベルに応じてノイズ成分を除去することを特徴とする
映像信号処理方法であり、合成映像信号のノイズ成分を
除去し、S/Nを改善するという作用を有する。
【0022】本発明の請求項9記載の発明は、同一シー
ンに対して、標準の露光時間で撮影された標準露光映像
信号と、標準より短い露光時間で撮影された非標準露光
映像信号とを生成し、これらを用いてダイナミックレン
ジが拡大された映像信号を合成する映像信号合成手段を
備えた映像信号処理装置において、前記標準露光映像信
号と、前記非標準露光映像信号を映像信号レベルに応じ
て合成した合成映像信号に対して、前記合成映像信号に
含まれる標準露光映像信号と非標準露光映像信号の割合
と前記合成映像信号の信号レベルに応じてノイズ成分を
除去するノイズ除去手段を備えたことを特徴とする映像
信号処理装置であり、合成映像信号のノイズ成分を除去
し、S/Nを改善するという作用を有する。
【0023】本発明の請求項10に記載の発明は、ノイ
ズ除去手段が、合成映像信号を通過させるディジタルフ
ィルタと重み付け手段と映像信号レベル検出手段とを備
え、合成映像信号のうち非標準露光映像信号の割合が多
い部分では、その割合に応じて前記ディジタルフィルタ
を通し、標準露光映像信号が多い部分では、その割合に
応じて前記ディジタルフィルタを通さないように、映像
信号合成手段からの映像信号合成制御信号に基づき前記
映像信号レベル検出手段が生成した制御信号により、前
記重み付け手段を制御することを特徴とする請求項9記
載の映像信号処理装置であり、合成映像信号のノイズ成
分を除去し、S/Nを改善するという作用を有する。
【0024】本発明の請求項11に記載の発明は、同一
シーンに対して、標準の露光時間で撮影された標準露光
映像信号と、標準より短い露光時間で撮影された非標準
露光映像信号とを生成し、これらを用いてダイナミック
レンジが拡大された映像信号を合成する映像信号処理方
法において、前記標準露光映像信号と、前記非標準露光
映像信号を映像信号レベルに応じて合成した合成映像信
号に対して、前記合成映像信号に含まれる標準露光映像
信号と非標準露光映像信号の割合と前記合成映像信号の
信号レベルに応じて、異なる露光量毎にノイズ成分を除
去することを特徴とする映像信号処理方法であり、合成
映像信号のノイズ成分を除去し、S/Nを改善するとい
う作用を有する。
【0025】本発明の請求項12に記載の発明は、同一
シーンに対して、標準の露光時間で撮影された標準露光
映像信号と、標準より短い露光時間で撮影された非標準
露光映像信号とを生成し、これらを用いてダイナミック
レンジが拡大された映像信号を合成する映像信号合成手
段を備えた映像信号処理装置において、前記標準露光映
像信号と、前記非標準露光映像信号を映像信号レベルに
応じて合成した合成映像信号に対して、前記合成映像信
号に含まれる標準露光映像信号と非標準露光映像信号の
割合と前記合成映像信号の信号レベルに応じて、異なる
露光量毎にノイズ成分を除去する特性の異なる複数のノ
イズ除去手段を備えたことを特徴とする映像信号処理装
置であり、合成映像信号のノイズ成分を除去し、S/N
を改善するという作用を有する。
【0026】本発明の請求項13に記載の発明は、ノイ
ズ除去手段が、合成映像信号を通過させる狭帯域と広帯
域の複数のディジタルフィルタと、前記複数のディジタ
ルフィルタの重み付けを行う複数の重み付け手段と、合
成映像信号の信号レベルを検出するN段階映像信号レベ
ル検出手段と、複数の重み付け手段の出力を選択するセ
レクタ手段とを備え、合成映像信号のうち非標準露光映
像信号の割合が多い部分では、その割合に応じて前記広
帯域のディジタルフィルタを通した映像信号を出力し、
標準露光映像信号が多い部分では、その割合に応じて前
記狭帯域のディジタルフィルタを通した映像信号を出力
するように、映像信号合成手段からの映像信号合成制御
信号に基づき前記N段階映像信号レベル検出手段が生成
した制御信号により、前記重み付け手段およびセレクタ
手段を制御することを特徴とする請求項12記載の映像
信号処理装置であり、合成映像信号のノイズ成分を除去
し、S/Nを改善するという作用を有する。
【0027】本発明の請求項14に記載の発明は、同一
シーンに対して、標準の露光時間で撮影された標準露光
映像信号と、標準より短い露光時間で撮影された非標準
露光映像信号とを生成し、これらを用いてダイナミック
レンジが拡大された映像信号を合成する映像信号処理方
法において、前記標準露光映像信号と、前記非標準露光
映像信号を映像信号レベルに応じて合成した合成映像信
号に対して、前記合成映像信号に含まれる標準露光映像
信号と非標準露光映像信号の割合と、前記合成映像信号
の信号レベルと、前記標準露光映像信号と前期非標準露
光映像信号の露光時間の比に応じて、異なる露光量毎に
ノイズ成分を除去することを特徴とする映像信号処理方
法であり、合成映像信号のノイズ成分を除去し、S/N
を改善するという作用を有する。
【0028】本発明の請求項15に記載の発明は、同一
シーンに対して、標準の露光時間で撮影された標準露光
映像信号と、標準より短い露光時間で撮影された非標準
露光映像信号とを生成し、これらを用いてダイナミック
レンジが拡大された映像信号を合成する映像信号合成手
段を備えた映像信号処理装置において、前記標準露光映
像信号と、前記非標準露光映像信号を映像信号レベルに
応じて合成した合成映像信号に対して、前記合成映像信
号に含まれる標準露光映像信号と非標準露光映像信号の
割合と、前記合成映像信号の信号レベルと、前記標準露
光映像信号と前記非標準露光映像信号の露光時間の比に
応じて、異なる露光量毎にノイズ成分を除去する特性の
異なる複数のノイズ除去手段を備えたことを特徴とする
映像信号処理装置であり、合成映像信号のノイズ成分を
除去し、S/Nを改善するという作用を有する。
【0029】本発明の請求項16に記載の発明は、ノイ
ズ除去手段が、合成映像信号を通過させる狭帯域と広帯
域の複数のディジタルフィルタからなる組と、複数の重
み付け手段からなる組と、合成映像信号の信号レベルを
検出するN段階映像信号レベル検出手段と、各組の重み
付け手段の出力を選択する複数のセレクタ手段からなる
組と、各組のセレクタ手段の出力を選択するセレクタ
と、標準露光映像信号と非標準露光映像信号の露光時間
の比に応じた制御信号を生成する露光比演算手段とを備
え、合成映像信号のうち非標準露光映像信号の割合が多
い部分では、その割合に応じて前記広帯域のディジタル
フィルタを通した映像信号を出力し、標準露光映像信号
が多い部分では、その割合に応じて前記狭帯域のディジ
タルフィルタを通した映像信号を出力するように、映像
信号合成手段からの映像信号合成制御信号に基づき前記
N段階映像信号レベル検出手段が生成した制御信号によ
り、前記各組の重み付け手段およびセレクタ手段を制御
するとともに、前記露光比演算手段からの制御信号によ
り、最終のセレクタを制御することを特徴とする請求項
15記載の映像信号処理装置であり、合成映像信号のノ
イズ成分を除去し、S/Nを改善するという作用を有す
る。
【0030】本発明の請求項17に記載の発明は、撮影
手段として撮像素子を備え、前記撮影手段で撮影された
映像信号を処理するために請求項1から16のいずれか
一つに記載の映像信号処理方法または装置を備えたこと
を特徴とする撮像装置であり、合成映像信号のノイズ成
分を除去し、高ダイナミックレンジのS/Nの良い良好
な映像信号が得られるという作用を有する。
【0031】以下、本発明の実施の形態を図面を参照し
て説明する。 (実施の形態1)図1は本発明の第1の実施の形態にお
ける信号処理装置を示すブロック図であり、図10に示
した従来の信号処理装置に対して、同時化手段1050
の後段に、さらにディジタルフィルタA1100を設け
たものであり、その他の同じ名称で同じ番号の構成手段
は、図10の従来例と同等の機能を有するものとする。
また、ここではフレーム単位でのダイナミックレンジ拡
大処理について示す。
【0032】図1において、1010は撮像素子であ
り、露光時間が標準露光と非標準露光の2種類の映像信
号を交互に出力する。1020は撮像素子駆動手段であ
り、撮像素子1010を駆動するとともに、図11
(A)のように撮像素子の露光時間を示す露光時間識別
信号1021を出力する。1030は前処理手段であ
り、撮像素子出力のアナログ信号のノイズ成分を相関二
重サンプリングにより除去するCDS回路と、ノイズ成
分が除去されたアナログ映像信号が一定の信号レベルを
保持するように振幅調整を行うAGC回路と、振幅調整
されたアナログ映像信号に対してA/D変換するために
クランプするクランプ回路等で構成される。
【0033】1040は前処理手段1030の出力をデ
ィジタル信号に変換するA/D変換器であり、1050
は同時化手段である。同時化手段1050は、図12に
示すように、1フレーム分の映像信号を遅延するための
メモリー手段10511とセレクタ手段10513とセ
レクタ手段10514で構成されている。そこで、図1
3(A)に示すように、1フレーム毎に交互に出力され
る露光時間の異なるA/D変換器出力1041を、メモ
リー手段10511とセレクタ手段10513とセレク
タ手段10514に与え、メモリー手段10511で図
13(B)に示すように1フレーム分映像信号を遅延さ
せた後、メモリー手段出力10512をセレクタ手段1
0513とセレクタ手段10514に与え、さらにセレ
クタ手段10513とセレクタ手段10514を図13
(C)に示す露光時間識別信号1021によって切り換
え、図13(D)、(E)に示すように、セレクタ手段
10514出力は常に非標準露光映像信号1070(S
HORT)となるように、またセレクタ手段10513
出力は常に標準露光映像信号1060(LONG)とな
るように2系統に分離して、同一タイミングで出力す
る。1100は非標準露光映像信号1070のノイズ成
分を除去するためのディジタルフィルタA、1080は
標準露光映像信号1060と非標準露光映像信号107
0を信号レベルに応じて合成する映像信号合成手段、1
090は合成映像信号1081に対してガンマ補正、輪
郭補正等を行うカメラプロセスである。
【0034】以上のように構成された本発明の第1の実
施の形態における信号処理装置について、その動作を説
明する。撮像素子1010は、撮像素子駆動手段102
0によって駆動され、光量を電気信号に変換する。撮像
素子駆動手段1020は、撮像素子1010を駆動する
とともに、図11(A)のように撮像素子1010の露
光時間を示す露光時間識別信号1021を生成する。
【0035】前処理手段1030は、CDS,AGC,
クランプ回路等で構成され、撮像素子1010出力のア
ナログ信号のノイズ成分をCDS回路で相関二重サンプ
リングにより除去し、ノイズ成分が除去されたアナログ
映像信号をAGC回路で一定の信号レベルに保持するよ
うに振幅調整し、振幅調整されたアナログ映像信号に対
してA/D変換するためにクランプ回路でクランプし、
A/D変換器1040はクランプされたアナログ映像信
号をディジタル映像信号に変換する。
【0036】次に同時化手段1050の動作について述
べる。同時化手段1050は、図12のように1フレー
ム分の映像信号を遅延するためのメモリ手段10511
とセレクタ手段10513とセレクタ手段10514で
構成され、A/D変換器出力1041をメモリー手段1
0511とセレクタ手段10513とセレクタ手段10
514へ与え、次に図13(A)のように1フレーム毎
に交互に出力される露光時間の異なる映像信号をメモリ
手段10511では、図13(B)のように1フレーム
分遅延させ、メモリ手段10512をセレクタ手段10
513とセレクタ手段10514に与える。
【0037】さらに同時化手段1050では、セレクタ
手段10513とセレクタ手段10514を図13
(C)の露光時間識別信号1021によって切り換え
る。例えば図12のセレクタ手段10513では、露光
時間識別信号1021が64のとき、A/D変換器出力
1021を出力し、露光時間識別信号1021が2のと
き、メモリ出力10512を出力し、また、セレクタ手
段10514では、露光時間識別信号1021が64の
とき、メモリ出力10512を出力し、露光時間識別信
号1021が2のとき、A/D変換器出力1041を出
力するようにする。この際、露光時間識別信号1021
を図13(C)に示すA/D変換器出力1041に対し
て標準露光映像信号は64、非標準露光映像信号は2と
なるように露光時間に応じて重み付けしておけば、図1
3(D)、(E)に示すように、セレクタ手段1051
3出力は常に標準露光映像信号1060(LONG)と
なるように、またセレクタ手段10514出力は常に非
標準露光映像信号1070(SHORT)となるように
2系統に分離し、同一タイミングで出力できるようにな
る。このようにして、同時化手段1050では、標準露
光と非標準露光の映像信号の同時化を行う。
【0038】次に、標準露光映像信号1060と非標準
露光映像信号1070について述べる。図14(A)に
標準露光映像信号1060の特性を示し、図14(B)
に非標準露光映像信号の特性を示す。図14(A)、
(B)から分かるように、非標準露光映像信号1070
と標準露光映像信号は、入射光量に対する撮像素子出力
の特性が異なり、標準露光映像信号1060は、入射光
量が撮像素子の飽和レベルを超えると飽和するが全体的
にS/Nは良いという特性がある。これに対して非標準
露光映像信号1070は、入射光量が多くても出力は飽
和しない反面、入射光量が少ない領域ではS/Nが劣化
しているという特性がある。従って、図15(F)のよ
うに標準露光映像信号1060と非標準露光映像信号1
070を信号レベルに応じて映像信号合成手段1080
で合成すると、合成映像信号1081のMIX領域付近
からSHORT領域に変化するような領域では、入射光
量の比較的すくない非標準露光映像信号1070を合成
映像信号1081とするので、S/Nの劣化した映像信
号になってしまう。
【0039】そこで、このS/Nを改善するために、カ
メラプロセス1090内部の処理でディジタルフィルタ
によりノイズ除去しようとすると、本来、S/Nの良い
図15(F)に示す標準露光映像信号1060によって
生成されるLONG領域の映像信号にまでディジタルフ
ィルタ処理をするので解像度が劣化してしまうことにな
る。このため、本実施の形態1では、合成映像信号10
81のS/Nを改善するために、図1に示すようにディ
ジタルフィルタA1100を設け、非標準露光映像信号
1070のみをディジタルフィルタA1100に通して
ノイズ成分を除去した後、従来と同様に映像信号合成手
段1080で信号レベルに応じて、標準露光映像信号1
060と非標準露光映像信号1070を合成することに
より、合成映像信号は、S/Nの改善された良好な高ダ
イナミックレンジの映像信号が得られる。このため、後
段のカメラプロセス1090で各種信号処理を施して
も、ノイズ成分の少ない良好な映像信号を得ることがで
きる。
【0040】(実施の形態2)図2は本発明の第2の実
施の形態における信号処理装置の構成を示すブロック図
であり、図10に示した従来の信号処理装置に対して、
映像信号合成手段1080の後段に、さらにディジタル
フィルタA1100と、重み付け手段1110を設け、
さらに映像信号合成手段1080から合成映像信号10
81に対する標準露光映像映像信号1060と非標準露
光映像信号1070の割合を示すK(映像信号合成制御
信号)1082を重み付け手段1110に出力するよう
にしたものであり、その他の同じ構成で同じ名称で同じ
番号の構成手段は、図10と同等の機能を有するものと
する。
【0041】本実施の形態2においては、合成映像信号
1081のノイズ成分を除去し、S/Nを改善するため
に、映像信号合成手段1080において生成する図15
(E)に示すK(映像信号合成制御信号)1082を利
用してディジタルフィルタA1100の出力を制御す
る。K(映像信号合成制御信号)1082は、合成映像
信号1081に対する標準露光映像信号1060と非標
準露光映像信号1070の割合を示しているので、これ
を利用して非標準露光映像信号1070の割合が多い部
分では、合成映像信号1081をディジタルフィルタA
1100に通してノイズ成分を除去した映像信号を重み
付け手段1110出力とし、標準露光映像信号1060
の割合が多い部分では、ディジタルフィルタA1100
を通さない映像信号を重み付け手段1110出力とする
ように制御する。
【0042】例えば、重み付け手段1110出力をOU
T、K(映像信号合成制御信号)1082をK、ディジ
タルフィルタA1100出力をAOUT、合成映像信号
1082をMOUTとすると、 OUT=K×(AOUT)+(1−K)×MOUT となるように、K(映像信号合成制御信号)1082に
よって重み付け手段1100を制御する。これによりK
(映像信号合成制御信号)1082の変化に追従しつ
つ、重み付け手段1110出力におけるディジタルフィ
ルタA1100出力の制御ができるようになる。
【0043】以上のように、本実施の形態2によれば、
カメラプロセス1090の入力映像信号は、合成映像信
号1082に含まれる標準露光映像信号1060と非標
準露光映像信号1070の割合に追従して、ディジタル
フィルタA1100によるノイズ除去ができるので、解
像度劣化を抑えつつ、S/Nの改善された良好な高ダイ
ナミックレンジの映像信号が得られる。このため、後段
のカメラプロセス1090で各種信号処理を施しても、
ノイズ成分の少ない良好な映像信号を得ることができ
る。
【0044】(実施の形態3)図3は本発明の第3の実
施の形態における信号処理の構成を示すブロック図であ
り、図2の第2の実施の形態における信号処理装置に対
して、さらに映像信号レベル検出手段1120を設けた
ものである。その他の同じ構成で同じ名称で同じ番号の
構成手段は、図2と同等の機能を有するものである。
【0045】なお、重み付け手段1110は、第2の実
施の形態で述べた重み付け手段1110と同等のもので
あるが、ここでは、α(ディジタルフィルタ制御信号)
1121によって制御される。この場合、映像信号合成
手段1080は、図15(E)に示すK(映像信号合成
制御信号)1082を映像信号レベル検出手段1120
へ出力し、合成映像信号1081を映像信号レベル検出
手段1120とディジタルフィルタA1100と重み付
け手段1110へ出力する。
【0046】映像信号レベル検出手段1120は、合成
映像信号1081に含まれる非標準露光映像信号107
0の割合と、合成映像信号1081の信号レベルに応じ
て、ディジタルフィルタA1100の出力を制御するた
めに、図4に示すようなα(ディジタルフィルタ制御信
号)1121を生成する。このα(ディジタルフィルタ
制御信号)1121を用いて重み付け手段1110を制
御することにより、ノイズ成分を除去する。
【0047】非標準露光映像信号1070は、入射光量
が少ないほどノイズ成分が目立ちやすくS/Nが悪くな
る傾向があるので、これを図14、図15の(A)〜
(F)に示す従来のように信号レベルに応じて合成する
と、合成映像信号1081のSHORT領域は主として
非標準露光映像信号1070によって構成され、LON
G領域は主として標準露光映像信号1060により構成
されるため、SHORT領域の合成映像信号1081
は、LONG領域よりノイズ成分が多くS/Nの劣化し
た映像信号となる。
【0048】合成映像信号1081において、ノイズ成
分が最も目立ちやすい領域を、図4に示すように、SH
ORT領域でかつ信号レベルがYth1以下の領域と
し、全体的に明るいためノイズ成分が目立たなくなる領
域を、信号レベルがSHORT領域でかつ信号レベルが
Yth2以上とし、合成映像信号1081の信号レベル
をYとして、以下、α(ディジタルフィルタ制御信号)
1121による重みで付け手段1110の制御について
述べる。
【0049】合成映像信号1081は、非標準露光映像
信号1070の割合が大きくなると同時にノイズ成分が
目立つようになるため、合成映像信号1081がSHO
RT領域かつ信号レベルがYth1までは、合成映像信
号1081に含まれる標準露光映像信号1060と非標
準露光映像信号1070の割合を示すK(映像信号合成
制御信号)1082に連動するように、映像信号レベル
検出手段1120の出力α(ディジタルフィルタ制御信
号)1121を制御し、合成映像信号1081を徐々に
ディジタルフィルタA1100に通してノイズ成分を除
去したディジタル映像信号の割合を多くするように重み
付け手段1110出力を制御し、最もノイズ成分が目立
ちやすいSHORT領域かつYth1以下の領域にある
合成映像信号1081については、α=1とし合成映像
信号1081をすべてディジタルフィルタA1100を
通してノイズ成分を除去したものとするように重み付け
手段出力1110を制御する。
【0050】そして、合成映像信号1081の信号レベ
ルYが高くなり、信号レベルYth2以上では、全体的
に明るくノイズ成分は目立たなくなってくるため、これ
に伴い、重み付け手段1110出力は合成映像信号10
82を徐々にディジタルフィルタA1100を通らない
ものにするように、映像信号レベル検出手段1120出
力のα(ディジタルフィルタ制御信号)1121を徐々
に小さくなるように制御する。
【0051】重み付け手段1110出力は、このα(デ
ィジタルフィルタ制御信号)1121によって制御さ
れ、α(ディジタルフィルタ制御信号)1121が小さ
くなるとともに合成映像信号1081をディジタルフィ
ルタA1100に通す割合を減らし、解像度劣化を抑え
るように制御する。このα(ディジタルフィルタ制御信
号)1121は、図4のように生成され、式で表すと
から式のようになる。 0 ≦Y≦th1 α=K(映像信号合成制御信号)1082 SHORT領域かつth1≦Y≦th2の領域 α=(th2−Y)/(th2−th1) SHORT領域かつY≧th2の領域の領域 α=0
【0052】このように、重み付け手段1110は、α
(ディジタルフィルタ制御信号)1121が大きくなる
ほど、ディジタルフィルタA1100によって、ノイズ
成分を除去したディジタル映像信号の割合を多くなるよ
うにし、α(ディジタルフィルタ制御信号)1121が
小さくなるほど、ディジタルフィルタA1100を通さ
ない映像信号の割合を多くなるように出力を制御する。
【0053】例えば、重み付け手段1110出力をOU
T、α(ディジタルフィルタ制御信号)1121をα、
ディジタルフィルタA1100出力をAOUT、合成映
像信号1082をMOUTとすると以下の式で示され
る。 OUT=α×(AOUT)+(1−α)×MOUT
【0054】これにより、合成映像信号1081のノイ
ズ成分が徐々に目立ちやすくなる図4に示すMIX領域
かつYth1までの領域では、ディジタルフィルタA1
100によるノイズ除去の効果を徐々に高め、最もノイ
ズ成分が目立つSHORT領域でかつ信号レベルth1
までの領域では、ディジタルフィルタA1100による
ノイズ除去の効果を最大とし、次にノイズ成分の目立つ
Yth1≦Y≦Yth2の領域では徐々にディジタルフ
ィルタA1100による効果を弱めることができる。よ
って、それ以外の部分についてはディジタルフィルタA
1100を通さないので、解像度の劣化が抑えられる。
【0055】以上のように、本実施の形態3によれば、
後段のカメラプロセス1090で各種信号処理を施して
も、ノイズ成分の少ない解像度劣化の少ない良好な高ダ
イナミックレンジの映像信号を得ることができる。
【0056】(実施の形態4)図5は本発明の第4の実
施の形態における信号処理の構成を示すブロック図であ
り、図3の実施の形態における信号処理装置に対して、
重み付け手段1110の代わりに、重み付け手段A11
11と、重み付け手段B1112を設け、さらにセレク
タ手段1150と、ディジタルフィルタB1101と、
N段階映像信号レベル検出手段1130とを設けたもの
である。その他の同じ構成で同じ名称で同じ番号の構成
手段は、図3と同等の機能を有するものである。なお、
重み付け手段A1111と重み付け手段B1112は、
第2の実施の形態で述べた重み付け手段1110と同様
のものであるが、ここでは、それぞれαn(ディジタル
フィルタ制御信号)1131、βn(ディジタルフィル
タ制御信号)1132によって制御される。
【0057】また、あらかじめディジタルフィルタA1
100とディジタルフィルタB1101の特性は異なる
ようにしておく。例えば図6(A)に示すようにディジ
タルフィルタA1100の特性を、図6(B)に示すデ
ィジタルフィルタB1101の特性に対して、狭帯域の
急峻な特性のフィルタとして設けておく。図6(A)の
ように狭帯域の急峻な特性のフィルタは解像度の劣化は
大きくなるものの、S/Nの改善能力が高いという特徴
があり、図6(B)のような広帯域の緩やかな特性のフ
ィルタは解像度の劣化は小さいのものの、S/Nの改善
能力が低いという特徴があるので、これを利用して重み
付け手段A1111と重み付け手段B1112を制御す
ることにより、合成映像信号1081に含まれるノイズ
成分に応じて、ディジタルフィルタA1100とディジ
タルフィルタB1101によるノイズ除去を行う。
【0058】図7(A)に示す映像信号合成手段108
1は、図7(B)に示すK(映像信号合成制御信号)1
082をN段階映像信レベル号検出手段1130に出力
し、合成映像信号1081をディジタルフィルタA11
00とディジタルフィルタB1101と、重み付け手段
A1111とN段階映像信レベル号検出手段1130に
出力する。
【0059】N段階映像信号レベル検出手段1130で
は、合成映像信号1081に含まれる標準露光映像信号
1060と非標準露光映像信号1070の割合を示すK
(映像信号合成制御信号)1082と、合成映像信号1
081との信号レベルに応じて、合成映像信号1081
そのものと、ディジタルフィルタA1100とディジタ
ルフィルタB1101の重み付けを制御するαn(ディ
ジタルフィルタ制御信号)1131と、βn(ディジタ
ルフィルタ制御信号)1132と、S(セレクタ制御信
号)1133を生成する。
【0060】例えば、非標準露光映像信号1070は、
入射光量が少ないほどノイズ成分が目立ちやすくS/N
が悪くなる傾向があるので、図7(A)に示すように、
合成映像信号1081の信号レベルをY、合成映像信号
1081において、ノイズ成分が徐々に目立ち始める領
域をMIX領域でかつYth1までとし、最もノイズ成
分が目立ちやすい領域をSHORT領域かつYth1ま
で、さらに次にノイズ成分が目立ちやすい領域をSHO
RT領域かつYth1からYth2まで、また信号レベ
ルYth2以上は明るいのでノイズ成分がそれほど目立
たないものとし、合成映像信号1081を以下のような
領域に分けて、セレクタ手段1150出力を制御するよ
うにαn(ディジタルフィルタ制御信号)1131と、
βn(ディジタルフィルタ制御信号)1132と、S
(セレクタ制御信号)1133を生成する。
【0061】LONG領域 → 合成映像信号1081
をディジタルフィルタA1100に通さないもの。 MIX領域 → 合成映像信号1081をディジタル
フィルタA1100に通したものとディジタルフィルタ
A1100に通さないものに重み付けをして合成したも
の。 SHORT領域かつY≦th1の領域 → 合成映像信
号1081をディジタルフィルタA1100に通したも
の。 SYORT領域かつth1≦Y≦th2の領域 → 合
成映像信号1081をディジタルフィルタB1100に
通したものと合成映像信号1081をディジタルフィル
タB1101に通さないものものに重み付けをして合成
したもの。 SHORT領域かつth2≦Yの領域 → 合成映像信
号1081をディジタルフィルタB1101に通したも
の。
【0062】また、この制御により生成するαn(ディ
ジタルフィルタ制御信号)1131とβn(ディジタル
フィルタ制御信号)1132とS(セレクタ制御信号)
1133を下記の〜式に示す。 0≦Y≦th1 αn=K(映像信号合成制御信号)1082、βn=
0、S=0 SHORT領域かつth1≦Y≦th2の領域 αn=1 βn=(Y―th1)/(th2−th1) S=1 SHORT領域かつth2≦Yの領域 αn=0,βn=1、S=1
【0063】図7(C)にαn(ディジタルフィルタ制
御信号)1131を示し、図7(D)にβn(ディジタ
ルフィルタ制御信号)1132を示し、図7(E)にS
(セレクタ制御信号)1133を示す。このαn(ディ
ジタルフィルタ制御信号)1131、βn(ディジタル
フィルタ制御信号)1132により重み付け手段A11
11と重み付け手段B1112を制御し、S(セレクタ
制御信号)1133によりセレクタ手段1150を制御
する。
【0064】例えば、重み付け手段A1111出力をA
OUT、αn(ディジタルフィルタ制御信号)1131
をαn、ディジタルフィルタA1100出力をAFOU
T、合成映像信号1082をMOUT重み付け手段B1
112出力をBOUT、βn(ディジタルフィルタ制御
信号)1131をβn、ディジタルフィルタB1101
出力をBFOUTとすると、重み付け手段A1111出
力と重み付け手段B1112出力は以下の式(10)、(11)
で示される。 (10) AOUT=αn×(AFOUT)+(1−αn)
×MOUT (11) BOUT=βn×(BFOUT)+(1−βn)
×MOUT この重み付け手段A1111出力(AOUT)と重み付
け手段B1112出力(BOUT)をセレクタ手段11
50に入力し、合成映像信号1081の信号レベルYt
h1を基準に〜式に示したS(セレクタ制御信号)
1133により、セレクタ手段1150出力を制御す
る。
【0065】これにより、合成映像信号1081の元々
S/Nの良いLONG領域の映像信号は、ディジタルフ
ィルタA1100とディジタルフィルタB1101を通
らず、MIX領域については、αn(ディジタルフィル
タ制御信号)1131により重み付け手段A1111が
制御できるので、ディジタルフィルタA1100を重み
付けしたノイズ除去ができ、ノイズ成分が最も目立ちや
すい領域(SHORT領域かつY≦th1の領域)につ
いては、αn(ディジタルフィルタ制御信号)1131
により重み付け手段A1111が制御できるので、狭帯
域のディジタルフィルタA1100の効果を最も生かし
たノイズ除去ができる。次にノイズ成分が目立ちやすい
領域(SHORT領域かつth1≦Y≦th2の領域)
については、αn(ディジタルフィルタ制御信号)11
31とβn(ディジタルフィルタ制御信号)1132に
より重み付け手段A1111と重み付け手段B1112
が制御できるため、狭帯域のディジタルフィルタA11
00と広帯域のディジタルフィルタB1101を重み付
けしたノイズ除去ができる。さらに、明るくてノイズ成
分がそれほど目立たない領域(SHORT領域かつth
2≦Yの領域)については、広帯域のディジタルフィル
タB1101による解像度劣化の少ないノイズ除去がで
きるようになる。よって、合成映像信号1081に対し
て解像度の劣化を抑えつつ、ノイズ成分を除去しS/N
を改善することができる。
【0066】以上のように、本実施の形態4によれば、
後段のカメラプロセス1090で各種信号処理を施して
も、さらにノイズ成分の少ない、より解像度劣化の少な
い良好な映像信号を得ることができる。
【0067】なお、この例では、2個のディジタルフィ
ルタしか用いていないが、特性の異なるディジタルフィ
ルタをより多く用いることにより、撮像素子1010出
力の特性にあったノイス除去を行うことができる。
【0068】(実施の形態5)図8は本発明の第5の実
施の形態における信号処理装置の構成を示すブロック図
であり、図5の第4の実施の形態に対して、露光比演算
手段1210とディジタルフィルタC1102とディジ
タルフィルタD1103と、重み付け手段C1113
と、重み付け手段D1114と、セレクタ手段1151
とセレクタ手段1152を設けたものである。その他の
同じ構成で同じ名称で同じ番号の構成手段は、図5と同
等の機能を有するものである。
【0069】なお、重み付け手段C1113と重み付け
手段D1114は第2の実施の形態で述べた重み付け手
段1110と同様のものであるが、ここでは、それぞれ
αn(ディジタルフィルタ制御信号)1131、βn
(ディジタルフィルタ制御信号)1132によって制御
される。この場合、あらかじめ特性の異なる2つのディ
ジタルフィルタの組を用意する。ここでは1組はディジ
タルフィルタA1100とディジタルフィルタB110
1とし、もう1組はディジタルフィルタC1102とデ
ィジタルフィルタD1103とする。
【0070】例えば、図9(A)〜(D)に示すよう
に、各ディジタルフィルタの帯域として、ディジタルフ
ィルタA1100<ディジタルフィルタC1102<デ
ィジタルフィルタB1101<ディジタルフィルタD1
103となるように設ける。狭帯域の急峻な特性のフィ
ルタは解像度の劣化は大きくなるものの、S/Nの改善
能力が高いという特徴があり、広帯域の緩やかな特性の
フィルタは解像度の劣化は小さいのものの、S/Nの改
善能力が低いという特徴があるので、これを利用して重
み付け手段A1111と重み付け手段B1112と重み
手段C1113と重み付け手段D1114を制御するこ
とにより、合成映像信号1081に含まれるノイズ成分
に応じて、ディジタルフィルタA1100とディジタル
フィルタ1101を用いてノイズ除去を行うことができ
る。
【0071】まず、図8の露光比演算手段1210で
は、撮像素子駆動手段1020からの図11(A)に示
す露光時間識別信号1021を基に、標準露光映像信号
1060と非標準露光映像信号1070の露光時間の比
に応じた、図11(B)に示す露光比信号1211を生
成する。
【0072】次に、N段階映像信号レベル検出手段11
90では、第4の実施の形態と同様に、合成映像信号1
081に含まれる非標準露光映像信号1070の割合を
示すK(合成映像信号制御信号)1082と、合成映像
信号1081の信号レベルに応じて、αn(ディジタル
フィルタ制御信号)1131と、βn(ディジタルフィ
ルタ制御信号)1132と、S(セレクタ制御信号)1
133を生成し、重み付け手段A1111と重み付け手
段B1112と重み付け手段C1113と重み付け手段
D1114を制御する。
【0073】そして、重み付け手段A1111出力と重
み付け手段B1112出力は、それぞれセレクタ手段1
150に入力し、重み付け手段C1113出力と重み付
け手段D1114出力を、それぞれセレクタ手段115
1に入力する。これにより、1組のディジタルフィルタ
A1100とディジタルフィルタB1101と、もう1
組のディジタルフィルタC1102とディジタルフィル
タD1103を構成し、このセレクタ手段1150と、
セレクタ手段1151出力をさらにセレクタ手段115
2に入力し、このセレクタ1152を標準露光映像信号
1060と非標準露光映像信号1070の露光時間の比
を示す露光比信号1141によって制御する。
【0074】露光比信号1141を図11(B)のよう
に標準露光映像信号1060と非標準露光映像信号10
70の比が32倍以上では1、それ以下は0と重み付け
しておき、露光比信号1141が0のときは、合成映像
信号1081に対してディジタルフィルタA1100と
ディジタルフィルタB1101によるノイズ成分の除去
を行い、露光比信号1141が1のときは、合成映像信
号1081に対して、ディジタルフィルタC1102と
ディジタルフィルタD1103によるノイズ成分の除去
ができるように生成し、この露光比信号1141により
セレクタ手段1152を制御する。
【0075】ここで、露光時間の比が大きい場合は、標
準露光映像信号1060に対して非標準露光映像信号1
070の露光時間が短くなっていると考えられる。この
ようなとき、非標準露光映像信号1070は、露光時間
が短いほどS/Nが劣化し、ノイズ成分が目立つような
傾向にあるので、比較的帯域の狭いディジタルフィルタ
A1100とディジタルフィルタB1101を選択し
て、ノイズ成分を除去した映像信号をセレクタ手段11
52出力とし、また、反対に露光時間の比が小さい場合
には、標準露光映像信号1060に対して非標準露光映
像信号1070の露光時間が長くなっていると考えられ
るので、このようなときには、非標準露光映像信号10
70のノイズ成分は比較的目立たず、S/Nもそれほど
劣化しないので、比較的帯域の広いディジタルフィルタ
C1102とディジタルフィルタD1103を選択し
て、ノイズ成分を除去した映像信号をセレクタ手段11
52出力とする。これにより、合成映像信号1081に
含まれるノイズ成分は、合成映像信号1081に含まれ
る標準露光映像信号1060と非標準露光映像信号10
70の割合と信号レベル、さらに露光時間の比に応じて
除去されることになる。
【0076】以上のように、本実施の形態5によれば、
特性の異なる4個のディジタルフィルタを用意すること
により、合成映像信号1081に含まれる標準露光映像
信号1060と非標準露光映像信号1070の割合と信
号レベルさらに露光時間の比に追従させて、ノイズ成分
を除去するために最適なディジタルフィルタを選択する
ことができ、解像度劣化を抑えつつ、さらに効果的なノ
イズ除去がきるようになる。よって、後段のカメラプロ
セス1090で各種信号処理を施しても、S/Nの良好
な解像度劣化の少ない良好な映像信号を得ることができ
る。
【0077】なお、この例では、4個のディジタルフィ
ルタしか用いていないが、特性の異なるディジタルフィ
ルタをより多く用いることにより、撮像素子1010出
力の特性にあった適切なノイス除去を行うことができ
る。
【0078】
【発明の効果】以上、説明したように、同一シーンに対
して、標準の露光時間で撮影された標準露光映像信号
と、標準より短い露光時間で撮影された非標準露光映像
信号とを生成し、これらを用いてダイナミックレンジが
拡大された映像信号を合成する映像信号処理方法および
装置において、非標準露光映像信号のノイズ成分を除去
し、S/Nを改善した後、標準露光映像信号と非標準露
光映像信号を信号レベルに応じて合成することによっ
て、ノイズ成分の改善されたS/Nの良好な高ダイナミ
ックレンジの合成映像信号を得ることができる。
【0079】また、標準露光映像信号と非標準露光映像
信号を信号レベルに応じて合成した合成映像信号に対し
て、合成映像信号に含まれる標準露光映像信号と非標準
露光映像信号の割合に応じて、ノイズ成分を除去するこ
とにより、ノイズ成分の改善されたS/Nの良好な高ダ
イナミックレンジの合成映像信号を得ることができる。
【0080】また、合成映像信号に対して、合成映像信
号の信号レベルと合成映像信号に含まれる非標準露光映
像信号の割合と合成映像信号の信号レベルに応じて、ノ
イズ成分を除去することにより、解像度劣化を抑えつ
つ、S/Nの良好な高ダイナミックレンジの合成映像信
号を得ることができる。
【0081】また、合成映像信号に対して、ノイズを除
去するための特性の異なるノイズ除去手段を複数設け、
合成映像信号の信号レベルと合成映像信号に含まれる非
標準露光映像信号と標準露光映像信号の割合に応じて、
特性の異なる複数のノイズ除去手段を使い分けることに
より、解像度劣化を抑えつつ、より効果的なノイズ除去
ができる。
【0082】また、合成映像信号に対して、合成映像信
号の標準露光映像信号と非標準露光映像信号の露光時間
の比と、合成映像信号の信号レベルと、合成映像信号に
含まれる非標準露光映像信号と標準露光映像信号の割合
に応じて、特性の異なる複数のノイズ除去手段を使い分
けることにより、解像度劣化を抑えつつ、さらに効果的
で適切なノイズ除去ができる。
【0083】また、上記ノイズ除去手段を用いた本発明
の撮像装置は、固体撮像素子の欠点を克服して、ノイズ
成分の少ない高ダイナミックレンジの良好な映像を撮影
することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態1の信号処理装置の構成を
示すブロック図
【図2】本発明の実施の形態2の信号処理装置の構成を
示すブロック図
【図3】本発明の実施の形態3の信号処理装置の構成を
示すブロック図
【図4】映像信号レベル検出手段におけるα(ディジタ
ルフィルタ制御信号)の特性を示す特性図
【図5】本発明の実施の形態4の信号処理装置の構成を
示すブロック図
【図6】本発明の実施の形態4におけるディジタルフィ
ルタAとディジタルフィルタBの特性を示す特性図
【図7】(A)N段映像信号レベル検出手段入力の合成
映像信号の特性図 (B)K(映像信号合成制御信号)の特性図 (C)αn(ディジタルフィルタ制御信号)の特性図 (D)βn(ディジタルフィルタ制御信号)の特性図 (E)S(セレクタ制御信号)の特性図
【図8】本発明の実施の形態5の信号処理装置の構成を
示すブロック図
【図9】本発明の実施の形態5におけるディジタルフィ
ルタAとディジタルフィルタBとディジタルフィルタC
とディジタルフィルタDの特性を示す特性図
【図10】従来の信号処理装置の構成を示すブロック図
【図11】(A)露光時間識別信号の特性を示す特性図 (B)露光比信号の特性を示す特性図
【図12】同時化手段の構成を示すブロック図
【図13】(A)A/D変換器出力を示す特性図 (B)メモリ手段出力を示す特性図 (C)露光時間識別信号を示す特性図 (D)非標準露光映像信号を示す特性図 (E)標準露光映像信号を示す特性図
【図14】(A)標準露光映像信号:LONGの特性を
示す特性図 (B)非標準露光映像信号:SHORTの特性を示す特
性図 (C)非標準露光映像信号にオフセット(OFSET
1)を加算した場合の特性を示す特性図
【図15】(D)標準露光映像信号(LONG)と非標
準露光映像信号(SHORT)の合成を示す特性図 (E)K(映像信号合成制御信号)の特性を示す特性図 (F)合成映像信号の特性を示す特性図
【符号の説明】
1010 撮像素子 1020 撮像素子駆動手段 1021 露光時間識別信号 1030 前処理手段 1040 A/D変換器 1041 A/D変換器出力 1050 同時化手段 10511 メモリ手段 10512 メモリ手段出力 10513 セレクタ手段 10514 セレクタ手段 1060 標準露光信号 1070 非標準露光信号 1080 映像信号合成制御手段 1081 合成映像信号 1082 K(映像信号合成制御信号) 1090 カメラプロセス 1100 ディジタルフィルタA 1101 ディジタルフィルタB 1102 ディジタルフィルタC 1103 ディジタルフィルタD 1110 重み付け手段 1111 重み付け手段A 1112 重み付け手段B 1113 重み付け手段C 1114 重み付け手段D 1120 映像信号レベル検出手段 1121 α(ディジタルフィルタ制御信号) 1130 N段階映像信号レベル検出手段 1131 αn(ディジタルフィルタ制御信号) 1132 βn(ディジタルフィルタ制御信号) 1140 露光比演算手段 1141 露光比信号 1150 セレクタ手段 1151 セレクタ手段 1152 セレクタ手段
フロントページの続き Fターム(参考) 5C021 PA33 PA34 PA35 PA53 PA58 PA62 PA66 PA67 PA78 PA85 RB03 XA14 XA35 YA01 5C022 AA00 AB17 AB18 AC42 AC69 5C026 CA02 CA10

Claims (17)

    【特許請求の範囲】
  1. 【請求項1】 同一シーンに対して、標準の露光時間で
    撮影された標準露光映像信号と、標準より短い露光時間
    で撮影された非標準露光映像信号とを生成し、これらを
    用いてダイナミックレンジが拡大された映像信号を合成
    する映像信号処理方法において、前記非標準露光映像信
    号のノイズ成分を除去してS/Nを改善した後、前記標
    準露光映像信号と非標準露光映像信号を信号レベルに応
    じて合成することによって高ダイナミックレンジの合成
    映像信号を生成することを特徴とする映像信号処理方
    法。
  2. 【請求項2】 同一シーンに対して、標準の露光時間で
    撮影された標準露光映像信号と、標準より短い露光時間
    で撮影された非標準露光映像信号とを生成し、これらを
    用いてダイナミックレンジが拡大された映像信号を合成
    する映像信号処理装置において、前記非標準露光映像信
    号のノイズ成分を除去するノイズ除去手段と、前記ノイ
    ズを除去した非標準露光映像信号と前記標準露光映像信
    号とを信号レベルに応じて合成することによって高ダイ
    ナミックレンジの合成映像信号を生成する映像信号合成
    手段とを備えたことを特徴とする映像信号処理装置。
  3. 【請求項3】 ノイズ除去手段が、ディジタルフィルタ
    である請求項2記載の映像信号処理装置。
  4. 【請求項4】 同一シーンに対して、標準の露光時間で
    撮影された標準露光映像信号と、標準より短い露光時間
    で撮影された非標準露光映像信号とを生成し、これらを
    用いてダイナミックレンジが拡大された映像信号を合成
    する映像信号処理方法において、前記標準露光映像信号
    と前記非標準露光映像信号を信号レベルに応じて合成し
    た合成映像信号に対して、前記合成映像信号に含まれる
    標準露光映像信号と非標準露光映像信号の割合に応じて
    ノイズ成分を除去することを特徴とする映像信号処理方
    法。
  5. 【請求項5】 非標準露光映像信号の割合が多い部分で
    は、その割合に応じてノイズ成分を除去し、標準露光映
    像信号の割合の多い部分では、その割合に応じてノイズ
    成分の除去を行わないことを特徴とする請求項4記載の
    映像信号処理方法。
  6. 【請求項6】 同一シーンに対して、標準の露光時間で
    撮影された標準露光映像信号と、標準より短い露光時間
    で撮影された非標準露光映像信号とを生成し、これらを
    用いてダイナミックレンジが拡大された映像信号を合成
    する映像信号合成手段を備えた映像信号処理装置におい
    て、前記標準露光映像信号と前記非標準露光映像信号を
    信号レベルに応じて合成した合成映像信号に対して、前
    記合成映像信号に含まれる標準露光映像信号と非標準露
    光映像信号の割合に応じてノイズ成分を除去するための
    ノイズ除去手段を備えたことを特徴とする映像信号処理
    装置。
  7. 【請求項7】 ノイズ除去手段が、合成映像信号を通過
    させるディジタルフィルタと重み付け手段とを備え、合
    成映像信号のうち非標準露光映像信号の割合が多い部分
    では、その割合に応じて前記ディジタルフィルタを通
    し、標準露光映像信号が多い部分では、その割合に応じ
    て前記ディジタルフィルタを通さないように、映像信号
    合成手段からの映像信号合成制御信号により前記重み付
    け手段を制御することを特徴とする請求項6記載の映像
    信号処理装置。
  8. 【請求項8】 同一シーンに対して、標準の露光時間で
    撮影された標準露光映像信号と、標準より短い露光時間
    で撮影された非標準露光映像信号とを生成し、これらを
    用いてダイナミックレンジが拡大された映像信号を合成
    する映像信号処理方法において、前記標準露光映像信号
    と、前記非標準露光映像信号を映像信号レベルに応じて
    合成した合成映像信号に対して、前記合成映像信号に含
    まれる標準露光映像信号と非標準露光映像信号の割合と
    前記合成映像信号の信号レベルに応じてノイズ成分を除
    去することを特徴とする映像信号処理方法。
  9. 【請求項9】 同一シーンに対して、標準の露光時間で
    撮影された標準露光映像信号と、標準より短い露光時間
    で撮影された非標準露光映像信号とを生成し、これらを
    用いてダイナミックレンジが拡大された映像信号を合成
    する映像信号合成手段を備えた映像信号処理装置におい
    て、前記標準露光映像信号と、前記非標準露光映像信号
    を映像信号レベルに応じて合成した合成映像信号に対し
    て、前記合成映像信号に含まれる標準露光映像信号と非
    標準露光映像信号の割合と前記合成映像信号の信号レベ
    ルに応じてノイズ成分を除去するノイズ除去手段を備え
    たことを特徴とする映像信号処理装置。
  10. 【請求項10】 ノイズ除去手段が、合成映像信号を通
    過させるディジタルフィルタと重み付け手段と映像信号
    レベル検出手段とを備え、合成映像信号のうち非標準露
    光映像信号の割合が多い部分では、その割合に応じて前
    記ディジタルフィルタを通し、標準露光映像信号が多い
    部分では、その割合に応じて前記ディジタルフィルタを
    通さないように、映像信号合成手段からの映像信号合成
    制御信号に基づき前記映像信号レベル検出手段が生成し
    た制御信号により、前記重み付け手段を制御することを
    特徴とする請求項9記載の映像信号処理装置。
  11. 【請求項11】 同一シーンに対して、標準の露光時間
    で撮影された標準露光映像信号と、標準より短い露光時
    間で撮影された非標準露光映像信号とを生成し、これら
    を用いてダイナミックレンジが拡大された映像信号を合
    成する映像信号処理方法において、前記標準露光映像信
    号と、前記非標準露光映像信号を映像信号レベルに応じ
    て合成した合成映像信号に対して、前記合成映像信号に
    含まれる標準露光映像信号と非標準露光映像信号の割合
    と前記合成映像信号の信号レベルに応じて、異なる露光
    量毎にノイズ成分を除去することを特徴とする映像信号
    処理方法。
  12. 【請求項12】 同一シーンに対して、標準の露光時間
    で撮影された標準露光映像信号と、標準より短い露光時
    間で撮影された非標準露光映像信号とを生成し、これら
    を用いてダイナミックレンジが拡大された映像信号を合
    成する映像信号合成手段を備えた映像信号処理装置にお
    いて、前記標準露光映像信号と、前記非標準露光映像信
    号を映像信号レベルに応じて合成した合成映像信号に対
    して、前記合成映像信号に含まれる標準露光映像信号と
    非標準露光映像信号の割合と前記合成映像信号の信号レ
    ベルに応じて、異なる露光量毎にノイズ成分を除去する
    特性の異なる複数のノイズ除去手段を備えたことを特徴
    とする映像信号処理装置。
  13. 【請求項13】 ノイズ除去手段が、合成映像信号を通
    過させる狭帯域と広帯域の複数のディジタルフィルタ
    と、前記複数のディジタルフィルタの重み付けを行う複
    数の重み付け手段と、合成映像信号の信号レベルを検出
    するN段階映像信号レベル検出手段と、複数の重み付け
    手段の出力を選択するセレクタ手段とを備え、合成映像
    信号のうち非標準露光映像信号の割合が多い部分では、
    その割合に応じて前記広帯域のディジタルフィルタを通
    した映像信号を出力し、標準露光映像信号が多い部分で
    は、その割合に応じて前記狭帯域のディジタルフィルタ
    を通した映像信号を出力するように、映像信号合成手段
    からの映像信号合成制御信号に基づき前記N段階映像信
    号レベル検出手段が生成した制御信号により、前記重み
    付け手段およびセレクタ手段を制御することを特徴とす
    る請求項12記載の映像信号処理装置。
  14. 【請求項14】 同一シーンに対して、標準の露光時間
    で撮影された標準露光映像信号と、標準より短い露光時
    間で撮影された非標準露光映像信号とを生成し、これら
    を用いてダイナミックレンジが拡大された映像信号を合
    成する映像信号処理方法において、前記標準露光映像信
    号と、前記非標準露光映像信号を映像信号レベルに応じ
    て合成した合成映像信号に対して、前記合成映像信号に
    含まれる標準露光映像信号と非標準露光映像信号の割合
    と、前記合成映像信号の信号レベルと、前記標準露光映
    像信号と前期非標準露光映像信号の露光時間の比に応じ
    て、異なる露光量毎にノイズ成分を除去することを特徴
    とする映像信号処理方法。
  15. 【請求項15】 同一シーンに対して、標準の露光時間
    で撮影された標準露光映像信号と、標準より短い露光時
    間で撮影された非標準露光映像信号とを生成し、これら
    を用いてダイナミックレンジが拡大された映像信号を合
    成する映像信号合成手段を備えた映像信号処理装置にお
    いて、前記標準露光映像信号と、前記非標準露光映像信
    号を映像信号レベルに応じて合成した合成映像信号に対
    して、前記合成映像信号に含まれる標準露光映像信号と
    非標準露光映像信号の割合と、前記合成映像信号の信号
    レベルと、前記標準露光映像信号と前記非標準露光映像
    信号の露光時間の比に応じて、異なる露光量毎にノイズ
    成分を除去する特性の異なる複数のノイズ除去手段を備
    えたことを特徴とする映像信号処理装置。
  16. 【請求項16】 ノイズ除去手段が、合成映像信号を通
    過させる狭帯域と広帯域の複数のディジタルフィルタか
    らなる組と、複数の重み付け手段からなる組と、合成映
    像信号の信号レベルを検出するN段階映像信号レベル検
    出手段と、各組の重み付け手段の出力を選択する複数の
    セレクタ手段からなる組と、各組のセレクタ手段の出力
    を選択するセレクタと、標準露光映像信号と非標準露光
    映像信号の露光時間の比に応じた制御信号を生成する露
    光比演算手段とを備え、合成映像信号のうち非標準露光
    映像信号の割合が多い部分では、その割合に応じて前記
    広帯域のディジタルフィルタを通した映像信号を出力
    し、標準露光映像信号が多い部分では、その割合に応じ
    て前記狭帯域のディジタルフィルタを通した映像信号を
    出力するように、映像信号合成手段からの映像信号合成
    制御信号に基づき前記N段階映像信号レベル検出手段が
    生成した制御信号により、前記各組の重み付け手段およ
    びセレクタ手段を制御するとともに、前記露光比演算手
    段からの制御信号により、最終のセレクタを制御するこ
    とを特徴とする請求項15記載の映像信号処理装置。
  17. 【請求項17】 撮影手段として撮像素子を備え、前記
    撮影手段で撮影された映像信号を処理するために請求項
    1から16のいずれか一つに記載の映像信号処理方法ま
    たは装置を備えたことを特徴とする撮像装置。
JP23144198A 1998-08-18 1998-08-18 映像信号処理方法とその装置および撮像装置 Expired - Fee Related JP3426139B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23144198A JP3426139B2 (ja) 1998-08-18 1998-08-18 映像信号処理方法とその装置および撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23144198A JP3426139B2 (ja) 1998-08-18 1998-08-18 映像信号処理方法とその装置および撮像装置

Publications (2)

Publication Number Publication Date
JP2000069355A true JP2000069355A (ja) 2000-03-03
JP3426139B2 JP3426139B2 (ja) 2003-07-14

Family

ID=16923597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23144198A Expired - Fee Related JP3426139B2 (ja) 1998-08-18 1998-08-18 映像信号処理方法とその装置および撮像装置

Country Status (1)

Country Link
JP (1) JP3426139B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011221924A (ja) * 2010-04-13 2011-11-04 Canon Inc 画像処理装置、表示装置、および撮影装置
JP2012253725A (ja) * 2011-06-07 2012-12-20 Toshiba Corp 画像処理装置
KR20160001582A (ko) 2014-06-26 2016-01-06 한화테크윈 주식회사 화상 처리 장치 및 화상 처리 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011221924A (ja) * 2010-04-13 2011-11-04 Canon Inc 画像処理装置、表示装置、および撮影装置
JP2012253725A (ja) * 2011-06-07 2012-12-20 Toshiba Corp 画像処理装置
KR20160001582A (ko) 2014-06-26 2016-01-06 한화테크윈 주식회사 화상 처리 장치 및 화상 처리 방법
JP2016010121A (ja) * 2014-06-26 2016-01-18 ハンファテクウィン株式会社Hanwha Techwin Co.,Ltd. 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
JP3426139B2 (ja) 2003-07-14

Similar Documents

Publication Publication Date Title
JP3074967B2 (ja) 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
JP3642245B2 (ja) 固体撮像装置
JP2007049227A (ja) 画像処理装置及び方法
JP2002084449A (ja) 固体撮像素子を用いた撮像装置
JP4119290B2 (ja) 映像処理装置および撮像システム
JP5649927B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP2004266347A (ja) 画像処理装置およびそのプログラムおよびその記録媒体
JP2003309763A (ja) 動画撮像システム
JP6324235B2 (ja) 画像処理装置および画像処理方法
JP5188312B2 (ja) 映像信号処理装置および映像信号処理方法
JP2000350220A (ja) テレビジョンカメラ
JP2004056573A (ja) 映像信号処理方法、処理回路、及び撮像装置の駆動方法
JP3426139B2 (ja) 映像信号処理方法とその装置および撮像装置
JP3748031B2 (ja) 映像信号処理装置及び映像信号処理方法
JP5146500B2 (ja) 画像合成装置、画像合成方法、及びプログラム
JPH11155108A (ja) 映像信号処理装置と処理方法、それを用いたビデオカメラ
JPH07135599A (ja) 撮像装置とその画像処理方法
JPH11155098A (ja) 信号処理装置および方法
JP2007049228A (ja) 画像処理装置及び方法
JP2000102022A (ja) デジタルカメラ
JP2000228745A (ja) 映像信号処理装置および映像信号処理方法、画像処理装置および画像処理方法、ならびに撮像装置
JP2004215063A (ja) 撮像装置及び輪郭補正方法
JP2935389B2 (ja) 映像信号処理装置及び非線形信号処理装置
JP2005109579A (ja) 固体撮像素子を用いた撮像装置
JP5360490B2 (ja) 信号処理装置及び信号処理方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090509

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100509

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110509

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110509

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120509

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120509

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130509

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130509

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees