JP2001094872A - 信号処理方法およびその装置 - Google Patents

Abstract

(57)【要約】 【課題】 広ダイナミックレンジ映像信号を損失無く、
最適なレベルで得る信号処理装置の実現を目的とする。 【解決手段】 異なる露光条件、異なるゲイン制御の少
なくとも何れか１つにより標準的な明るさの被写体が適
正レベルとなるようにして得た標準輝度映像信号と所定
値より明るい被写体が適正レベルとなるようにして得た
高輝度映像信号を加算し、広ダイナミックレンジ映像信
号を得る場合、上記高輝度映像信号のヒストグラムから
算出した上記標準輝度映像信号と上記高輝度映像信号の
加算割合、上記高輝度映像信号のピーク値および上記標
準輝度映像信号のニー処理の割合に基づき、上記標準輝
度映像信号のニーポイントとニー係数および上記高輝度
映像信号の乗算係数を算出し、上記標準輝度映像信号を
ニー処理し、上記高輝度映像信号に上記乗算係数を乗算
した後に加算することにより、広ダイナミックレンジ映
像信号を得るものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ダイナミックレン
ジの広い映像信号を得ることのできる信号処理方法及び
その装置に関するものである。

【０００２】

【従来の技術】従来、テレビジョンカメラ装置では、撮
像素子の電荷蓄積容量による制限から約４倍のダイナミ
ックレンジが限界であった。 従って、室内から室外を
撮影する時など、極めて明るい(高輝度)被写体と比較的
暗い(低輝度)被写体が混在するような場面を撮像する場
合、高輝度被写体か低輝度被写体の何れかが適正レベル
で得られるよう露光時間等を制御していたため、低輝度
部分を適正レベルとすると高輝度部分が白とびし、高輝
度部分を適正レベルとすると低輝度部分が黒つぶれして
しまうことになる。近年、上記問題を解決するために、
図９に示すような、垂直映像期間に通常の露光時間で電
荷を蓄積する動作と、垂直ブランキング期間に短い露光
時間で電荷を蓄積する動作を行うことで、通常露光によ
って標準的な明るさの被写体が適正レベルで得られる標
準輝度映像信号Ｖ１と、短露光により極めて明るい被写
体が適正レベルで得られる高輝度映像信号Ｖ２を取出す
ことが可能な広ダイナミックレンジ撮像素子が開発され
ている。 また、図１０に示す様な、撮像素子８から得
られる映像信号Ｃを、増幅率の異なる増幅回路９，１０
で、それぞれ増幅することによって、標準輝度映像信号
Ｖ１と高輝度映像信号Ｖ２を取り出すデュアル増幅方式
などが開発されている。図１１に示す様に、これら広ダ
イナミックレンジ撮像素子やデュアル増幅方式により取
り出された標準輝度映像信号Ｖ１と高輝度映像信号Ｖ２
に、後述の加算割合Ｒに基づいて、乗算係数演算回路
４’で算出した固定の乗算係数Ｌ，Ｓを、それぞれ乗算
回路５’，６’で乗算した後、加算回路７’で加算する
ことにより、ダイナミックレンジ約６４倍の広ダイナミ
ックレンジ映像信号Ｗが得られるテレビジョンカメラ装
置が開発されている。

【０００３】

【発明が解決しようとする課題】ここで、得られた広ダ
イナミックレンジ映像信号Ｗにおいて、高輝度映像信号
Ｖ２が占める最大の割合である加算割合ＲをＲ％、標準
輝度映像信号Ｖ１の乗算係数をＬ、高輝度映像信号Ｖ２
の乗算係数をＳとすると、乗算係数Ｌ，Ｓは下記式のよ
うな係数となる。 Ｌ＝（１００％−Ｒ％）／１００％ Ｓ＝Ｒ％／１００％ 上記式から分かるようにＬ＋Ｓ＝１である。 これは標
準輝度映像信号Ｖ１と高輝度映像信号Ｖ２が、それぞれ
最大の入力レベルである１００％レベルが入力された場
合でも、加算後の信号レベルが１００％×Ｌ＋１００％
×Ｓ＝１００％となり、広ダイナミックレンジ映像信号
Ｗが１００％レベル以内に収まるようにするためであ
る。つまり、加算後の信号レベルが１００％を越える
と、カメラ装置の最終出力が１００％に規制されてお
り、１００％以上の信号成分は、１００％に圧縮されて
しまい白つぶれとなり、広いダイナミックレンジの映像
信号が取り出せなくなるからである。ここで、加算割合
Ｒ＝５０とし、標準輝度映像信号Ｖ１と高輝度映像信号
Ｖ２が、５０％：５０％で加算される、即ち、Ｌ＝０.
５、Ｓ＝０.５の場合を考えると、図１２から分かるよ
うに、標準的な明るさの被写体が適正レベルで得られる
標準輝度映像信号Ｖ１が、１００％レベルから５０％レ
ベルに圧縮されてしまいコントラストの低い映像となる
問題がある。本発明はこれらの問題点を除去し、標準輝
度映像信号と高輝度映像信号の加算後の広ダイナミック
レンジ映像信号を損失無く、かつ最適なレベルで得るこ
とのできる広ダイナミックレンジ撮像装置の実現を目的
とするものである。

【０００４】

【課題を解決するための手段】本発明は上記の目的を達
成するため、異なる露光条件、異なるゲイン制御の少な
くとも何れか１つによって、標準的な明るさの被写体が
適正レベルとなるようにして得た標準輝度映像信号と所
定値より明るい被写体が適正レベルとなるようにして得
た高輝度映像信号を加算し広ダイナミックレンジ映像信
号を得る場合、上記高輝度映像信号のヒストグラムから
算出した上記標準輝度映像信号と上記高輝度映像信号の
加算割合、上記高輝度映像信号のピーク値および上記標
準輝度映像信号のニー処理の割合に基づき、上記標準輝
度映像信号のニーポイントとニー係数および上記高輝度
映像信号の乗算係数を算出し、上記標準輝度映像信号を
ニー処理し、上記高輝度映像信号に上記乗算係数を乗算
した後に加算することにより、広ダイナミックレンジ映
像信号を得るようにしたものである。また、上記広ダイ
ナミックレンジ映像信号に上記標準輝度映像信号のニー
ポイント以上のレベルが占めるニー割合をＱ％、上記広
ダイナミックレンジ映像信号に上記高輝度映像信号が占
める最大の割合をＲ％、上記高輝度映像信号のピーク値
をＰ％、上記標準輝度映像信号のニーポイントをＫ、上
記標準輝度映像信号のニー係数をＬ、上記高輝度映像信
号の乗算係数をＳとした場合に、上記ニーポイントＫ、
上記ニー係数Ｌ、上記乗算係数を、 １００％−Ｒ％≧Ｐ％の場合、 Ｋ＝１００％−Ｐ％−Ｑ％（但し、Ｋ＜０の場合、Ｋ＝
０） Ｌ＝Ｑ％／（１００％−Ｋ％）、 Ｓ＝１ とし、 １００％−Ｒ％＜Ｐ％の場合、 Ｋ＝１００％−Ｒ％−Ｑ％（但し、Ｋ＜０の場合、Ｋ＝
０） Ｌ＝Ｑ％／（１００％−Ｋ％）、 Ｓ＝Ｒ％／Ｐ％ とし、広ダイナミックレンジな映像信号のレベル分布が
最適になるようにしたものである。その結果、標準輝度
被写体と高輝度被写体を加算して得られる映像信号を損
失無く、かつ最適なレベル分布で得ることができ、ダイ
ナミックレンジの広い映像信号が取り出し可能になる。

【０００５】

【発明の実施の形態】以下、本発明の一実施例として、
通常露光等によって標準的な明るさの被写体が適正レベ
ルで得られるように制御された標準輝度映像信号と、短
露光等により極めて明るい被写体が適正レベルで得られ
るように制御された高輝度映像信号を加算処理し、広ダ
イナミックレンジ映像信号を得るテレビジョンカメラ装
置における加算処理部分の構成及び動作を図１を用い説
明する。１は高輝度の被写体が適正レベルとなる露光条
件等により取り出された高輝度映像信号Ｖ２からヒスト
グラム信号Ｈを検出する回路、２はヒストグラム信号Ｈ
から広ダイナミックレンジ映像信号Ｗにおいて高輝度映
像信号Ｖ２が占める最大の割合を決定する加算割合Ｒを
演算する加算割合演算回路、３は高輝度映像信号Ｖ２の
例えば１フィールド期間におけるピーク値Ｐを検出する
ピーク値検出回路である。 ４は上記加算割合Ｒ、ピー
ク値Ｐ及び広ダイナミックレンジ映像信号Ｗ中に標準輝
度映像信号Ｖ１のニーポイントＫ以上のレベルが占める
割合を制御するニー割合Ｑに基づき、標準輝度映像信号
Ｖ１のニーポイントＫ、ニー係数Ｌおよび高輝度映像信
号Ｖ２の乗算係数Ｓとを演算する乗算係数演算回路であ
る。５は標準輝度映像信号Ｖ１をニーポイントＫとニー
係数Ｌでニー処理し標準輝度映像信号Ｏ１を出力するニ
ー回路、６は高輝度映像信号Ｖ２に乗算係数Ｓを乗算し
て高輝度映像信号Ｏ２を出力する乗算回路。 ７は標準
輝度映像信号Ｏ１と高輝度映像信号Ｏ２を加算し広ダイ
ナミックレンジ映像信号Ｗを出力する加算回路である。

【０００６】以下、この動作について説明する。まず、
高輝度映像信号Ｖ２は、ヒストグラム検出回路１に入力
され、高輝度映像信号Ｖ２のヒストグラム値Ｈが出力さ
れる。 ここで、ヒストグラム値Ｈとは、図２に示すよ
うに、１フィールドの高輝度映像信号Ｖ２中において、
例えば信号レベルが１０〜４０％レベルの信号がどのぐ
らいの割合で含まれているか、即ち１０〜４０％レベル
の画素が、いくつあるかを表すものである。 なお、こ
こでは、ニー処理で重要となる１０％〜４０％レベルの
ヒストグラム値を検出したが、このレベル範囲に限定さ
れるものではない。 また、ここでは特定の範囲からヒ
ストグラムを得る方法を例にしているが、これに限定さ
れず、細かいヒストグラムの相関からも取得できる。ヒ
ストグラム検出回路１で検出されたヒストグラム値Ｈは
加算割合演算回路２に入力され、ここで、図３に示す様
に、ヒストグラム値Ｈが所定値Ｘより大きい場合は加算
割合Ｒを５０％とし、所定値Ｘより小さい場合は加算割
合Ｒを３０％として出力する。 即ち、特定のレベル範
囲の信号部分(総画素数)が所定値より多くなると、加算
割合Ｒが大きくなるように制御される。 つまり、１画
面中に多く存在する信号レベルの部分のレベル配分が多
くなるよう、加算割合Ｒが制御される。 なお本説明で
は、加算割合Ｒを、３０％と５０％の２種類としたが、
これに限定されず、多種類から選択できるように、テー
ブル選択としても同様の処理となる。また、高輝度映像
信号Ｖ２はピーク値検出回路３に入力され、高輝度映像
信号Ｖ２のピーク値Ｐが出力される。 そして、加算割
合Ｒとピーク値Ｐおよびニー割合Ｑは、乗算係数演算回
路４に入力される。

【０００７】乗算係数演算回路４では、図４に示す様
に、映像信号の最大振幅１００％から加算割合Ｒを引い
た値とピーク値Ｐを比較し、１００％−Ｒ％≧Ｐ％ な
らば、ニーポイントＫを １００％−Ｐ％−Ｑ％(Ｋがマ
イナスの場合はＫ＝０）とし、ニー係数Ｌを Ｑ％／(１
００％−Ｋ％）とし、乗算係数Ｓを１とする。 また、
１００％−Ｒ％＜Ｐ％ の場合には、ニーポイントＫを
１００％−Ｒ％−Ｑ％(Ｋがマイナスの場合はＫ＝
０）とし、乗算係数Ｌを Ｑ％／(１００％−Ｋ％）と
し、乗算係数Ｓを Ｒ％／Ｐ％ として出力する。乗算係
数演算回路４で演算されたニーポイントＫとニー係数Ｌ
は、ニー回路５へ入力され、ニー回路５で標準輝度映像
信号Ｖ１に、ニーポイントＫ、ニー係数Ｌによるニー処
理が施され、標準輝度映像信号Ｏ１が出力される。 な
お、乗算係数Ｓは乗算回路６へ入力され、ここで高輝度
映像信号Ｖ２と乗算係数Ｓが乗算され、高輝度映像信号
Ｏ２が出力される。ここで上記のニー処理は、１００％
−Ｒ％≧Ｐ％の場合は、図５に示すように演算され、１
００％−Ｒ％＜Ｐ％の場合は、図６に示すように演算さ
れる。即ち、ニーポイントＫより低いレベルの標準輝度
映像信号Ｏ１は、階調を圧縮せず、ニーポイントＫ以上
のレベルの標準輝度映像信号Ｏ１は、高輝度映像信号Ｖ
２にどのようなレベルの信号が入力されても、一定のニ
ー係数Ｌになるように処理される。そして、これらの標
準輝度映像信号Ｏ１と高輝度映像信号Ｏ２は加算回路７
で加算され、広ダイナミックレンジ映像信号Ｗが出力さ
れる。

【０００８】以上述べたごとく、図４，７に示すよう
に、ピーク値Ｐが１００％−Ｒ％より小さい場合は、高
輝度映像信号Ｖ２が減衰しないように、乗算係数Ｓを１
とし、広ダイナミックレンジ映像信号Ｗ中で高輝度映像
信号Ｏ２が占める割合をＰ％とし、残りの１００％−Ｐ
％に標準輝度映像信号Ｏ１が割り当てられるようにし、
さらに、ニーポイントＫより低いレベルの標準輝度映像
信号Ｏ１は階調を圧縮しないように、ニー係数Ｌを Ｑ
％／(１００％−Ｋ％）とすることにより、広ダイナミ
ックレンジ映像信号Ｗを常に１００％の振幅とすること
ができる。一方、ピーク値Ｐが１００％−Ｒ％より大き
い場合も、図４，８に示す様に、ニーポイントＫより低
いレベルの標準輝度映像信号Ｖ１は階調を圧縮しないよ
うに、ニー係数Ｌを Ｑ％／(１００％−Ｋ％）とするこ
とで、広ダイナミックレンジ映像Ｗ中で標準輝度映像信
号Ｏ１が占める割合を １００％−Ｒ％ に固定し、残り
のＲ％に高輝度映像信号Ｏ２が割り当てられるように、
乗算係数ＳをＲ％／Ｐ％とすることにより、広ダイナミ
ックレンジ映像信号Ｗを常に１００％の振幅とすること
ができる。以上のように、高輝度映像信号がどのような
振幅レベルの信号であっても、広ダイナミックレンジ映
像信号を常に１００％振幅の出力とすることができ、か
つニーポイント以下の階調を圧縮していないため、標準
輝度映像信号と高輝度映像信号を最適なレベル配分で加
算した広ダイナミックレンジ映像信号を得ることができ
る。

【０００９】

【発明の効果】本発明によれば、映像信号の所定レベル
範囲のヒストグラム、ピーク値に応じ、標準輝度映像信
号と高輝度映像信号を最適なレベル配分で加算している
ため、得られる広ダイナミックレンジ映像信号を損失無
く、かつ最適なレベルで得ることができ、ダイナミック
レンジの広い映像信号を取り出すことができる。

【図面の簡単な説明】

【図１】本発明の広ダイナミックレンジ撮像装置の加算
処理構成を示すブロック図

【図２】本発明のヒストグラム検出回路１の動作を説明
する図

【図３】本発明の加算割合演算回路２の動作を示すフロ
ーチャート

【図４】本発明の乗算係数演算回路４の動作を示すフロ
ーチャート

【図５】本発明のニー回路５の動作を示す模式図

【図６】本発明のニー回路５の動作を示す模式図

【図７】本発明の広ダイナミックレンジ撮像装置の加算
処理動作を示す模式図

【図８】本発明の広ダイナミックレンジ撮像装置の加算
処理動作を示す模式図

【図９】従来の広ダイナミックレンジ撮像装置の動作を
示す模式図

【図１０】従来の広ダイナミックレンジ撮像装置の構成
を示すブロック図

【図１１】従来の広ダイナミックレンジ撮像装置の構成
を示すブロック図

【図１２】従来の広ダイナミックレンジ撮像装置の動作
を示す模式図

【符号の説明】

１：ヒストグラム検出回路、２：加算割合演算回路、
３：ピーク値検出回路、４：乗算係数演算回路、５：ニ
ー回路、６：乗算回路、７：加算回路、Ｖ１：標準輝度
映像信号、Ｖ２：高輝度映像信号、Ｏ１：標準輝度映像
信号、Ｏ２：高輝度映像信号、Ｑ：ニー割合、Ｈ：ヒス
トグラム信号、Ｒ：加算割合、Ｐ：ピーク値、Ｋ：ニー
ポイント、Ｌ：ニー係数、Ｓ：乗算係数、Ｗ：広ダイナ
ミックレンジ映像信号。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 異なる露光条件、異なるゲイン制御の少
   なくとも何れか１つによって、標準的な明るさの被写体
   が適正レベルとなるようにして得た標準輝度映像信号
   と、所定値より明るい被写体が適正レベルとなるように
   して得た高輝度映像信号を加算し、広ダイナミックレン
   ジ映像信号を得る場合、上記高輝度映像信号のヒストグ
   ラムから算出した上記標準輝度映像信号と上記高輝度映
   像信号の加算割合、上記高輝度映像信号のピーク値およ
   び上記標準輝度映像信号のニー処理の割合に基づき、上
   記標準輝度映像信号のニーポイントとニー係数および上
   記高輝度映像信号の乗算係数を算出し、上記標準輝度映
   像信号をニー処理し、上記高輝度映像信号に上記乗算係
   数を乗算した後に加算することにより、広ダイナミック
   レンジ映像信号を得ることを特徴とする信号処理方法。
2. 【請求項２】 異なる露光条件、異なるゲイン制御の少
   なくとも何れか１つによって、標準的な明るさの被写体
   が適正レベルとなるようにして得た標準輝度映像信号
   と、所定値より明るい被写体が適正レベルとなるように
   して得た高輝度映像信号を加算し、広ダイナミックレン
   ジ映像信号を得る場合、上記高輝度映像信号のヒストグ
   ラムから上記標準輝度映像信号と上記高輝度映像信号の
   加算割合を演算する手段と、当該算出した加算割合と上
   記高輝度映像信号のピーク値及び上記標準輝度映像信号
   のニー処理の割合に基づき上記標準輝度映像信号のニー
   ポイントとニー係数および上記高輝度映像信号の乗算係
   数を演算する手段と、上記標準輝度映像信号をニー処理
   する手段と、上記高輝度映像信号に上記乗算係数を乗算
   処理する手段と、当該処理されたそれぞれの映像信号を
   加算する手段とを有し、広ダイナミックレンジ映像信号
   を得ることを特徴とする信号処理装置。
3. 【請求項３】 請求項２において、上記広ダイナミック
   レンジ映像信号に上記標準輝度映像信号のニーポイント
   以上のレベルが占めるニー割合をＱ％、上記広ダイナミ
   ックレンジ映像信号に上記高輝度映像信号が占める最大
   の割合をＲ％、上記高輝度映像信号のピーク値をＰ％、
   上記標準輝度映像信号のニーポイントをＫ、上記標準輝
   度映像信号のニー係数をＬ、上記高輝度映像信号の乗算
   係数をＳとした場合に、上記ニーポイントＫ、上記ニー
   係数Ｌ、上記乗算係数を、 １００％−Ｒ％≧Ｐ％の場合、 Ｋ＝１００％−Ｐ％−Ｑ％（但し、Ｋ＜０の場合、Ｋ＝
   ０） Ｌ＝Ｑ％／（１００％−Ｋ％）、 Ｓ＝１ とし、 １００％−Ｒ％＜Ｐ％の場合、 Ｋ＝１００％−Ｒ％−Ｑ％（但し、Ｋ＜０の場合、Ｋ＝
   ０） Ｌ＝Ｑ％／（１００％−Ｋ％）、 Ｓ＝Ｒ％／Ｐ％ としたことを特徴とする信号処理装置。
4. 【請求項４】 請求項２または３において、当該信号処
   理装置をテレビジョンカメラシステムに適用したことを
   特徴とする信号処理装置。