JP2003333613A - ニー補正回路及び撮像装置 - Google Patents

Abstract

(57)【要約】 【課題】 高輝度情報の圧縮を行うニー補正によって、
白が白とならずに色が着いてしまう不具合を解決する。 【解決手段】 撮像素子から得られる被写体画像の画素
信号のうち高輝度領域にある画素信号をニースロープを
用いて圧縮するニー補正回路において、ニースロープＩ
の傾斜を、被写体画像の画素信号の状態に応じて設定す
る。画素信号は、赤（Ｒ），緑（Ｇ），青（Ｂ）の色信
号であり、赤色信号の最大値と緑色信号の最大値と青色
信号の最大値のうちの最小値に出力クリップレベルが一
致するようにニースロープＩの傾斜を設定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は高輝度信号を圧縮す
るニー補正回路とこのニー補正回路を搭載した撮像装置
に係り、特に、ニー補正後に白色画像に色が着いてしま
うことのないニー補正回路と撮像装置に関する。

【０００２】

【従来の技術】デジタルスチルカメラやデジタルビデオ
カメラ等の撮像装置では、ＣＣＤ等の固体撮像素子で被
写体画像を撮像し、得られた画像データを画像処理した
後、着脱自在の外部メモリ等に格納する。このとき、光
源の種類によって画像の色がおかしくならない様に、自
動的にホワイトバランス補正を行うと共に、高輝度な画
像でも色階調の再現性を良好にするために、例えば特開
平８―８８８６３号公報に記載されている様なニー補正
を行う様になっている。

【０００３】ニー補正とは、例えば図６に示す様に、露
光量（入力）に対する信号レベル（出力）の比例関係を
途中で変更する補正である。固体撮像素子から得られる
信号電荷量はアナログ信号であり、これを例えば１２ビ
ットのデジタル信号に変換したとき、１２ビットの信号
では値“４０９５”（これがクリップレベルとなる。）
を越えるレベルを表現できず、データは飽和してしま
う。そこで、クリップレベル手前の、例えば値“３００
０”をニーポイントとし、それより大きい値の光量に対
する信号レベルの比例関係を示すスロープ（以下、これ
をニースロープという。）を図示するように寝かし、な
るべく高輝度領域までデータが飽和しないようにする。

【０００４】図６に示す例は、撮像素子から出力される
赤（Ｒ），緑（Ｇ），青（Ｂ）の３色夫々の入出力関係
であり、撮像画像の信号レベルは、Ｒ＞Ｇ＞Ｂとなって
いる。この大小関係は光源の種類によって異なり、撮像
画像の画像データが光源の種類によらない画像データと
するために、ニー補正回路の前段にホワイトバランスを
とるゲイン補正回路が設けられるのが普通である。

【０００５】図７（ａ）は、図６のニーポイントに至る
前のＲ，Ｇ，Ｂの各直線をそのままクリップレベルまで
延ばしたグラフである。ホワイトバランス（ＷＢ）をと
るということは、Ｒ，Ｇ，Ｂの各直線の傾きを同じにす
ることを意味し、例えばＲの直線の傾斜にＧとＢの各直
線の傾斜を合わせるように計算処理すると、Ｇ，Ｂのク
リップレベルに対応する信号レベルは、計算上、値“４
０９５”を越えることがあり、図７（ｂ）に示す様にな
る。

【０００６】この図７（ｂ）に示す入出力関係で露光量
を信号レベルに変換すれば、ホワイトバランスのとれた
画像データを得ることができる。そして、この図７
（ｂ）に示す入出力関係の基でニー補正を行う場合、光
量がニーポイントより大きい範囲におけるニースロープ
を、図７（ｃ）に示す様に寝かすことになる。

【０００７】

【発明が解決しようとする課題】ニー補正を行う場合、
従来は、ニーポイントとして固定値を用いる他に、ニー
スロープの傾きの値も固定値を用いている。即ち、従来
は、図７（ｃ）に示す例の様に、Ｒが飽和する値とは無
関係にニースロープの傾斜値を決めているため、クリッ
プレベルに至らないのに、Ｒのデータが飽和してしま
い、クリップレベルとＲの飽和値との間に差ｋが生じ
る。このため、本来は「白」である画像が、Ｒ不足とい
うことで色が着いてしまい、画質を大きく劣化させるこ
とになる。

【０００８】本発明の目的は、ニースロープの傾斜を被
写体画像に合わせて適切に設定し画質の劣化を抑制する
ことができるニー補正回路と撮像装置を提供することに
ある。

【０００９】

【課題を解決するための手段】上記目的は、撮像素子か
ら得られる被写体画像の画素信号のうち高輝度領域にあ
る画素信号をニースロープを用いて圧縮するニー補正回
路において、前記ニースロープの傾斜を前記被写体画像
の画素信号の状態に応じて設定することを特徴とする。
この構成により、ニースロープの傾斜を固定値にしたと
きの様な画質劣化を回避可能となる。

【００１０】好適には、上記において、前記画素信号が
赤，緑，青の色信号であり、赤色信号の最大値と緑色信
号の最大値と青色信号の最大値のうちの最小値に出力ク
リップレベルが一致するように前記ニースロープの傾斜
を設定することを特徴とする。この構成により、飽和し
た色信号が飽和していない状態として出力されることが
なくなり、白が白とならずに色が着いてしまうというこ
とが回避される。

【００１１】上記において、前記最小値を求める前記の
各「最大値」は、各色信号毎の累積頻度が最大値から所
定割合（例えば３％）だけ下となるレベル値としたこと
を特徴とする。これにより、不自然な高輝度領域がニー
スロープの傾斜に影響することがなくなる。

【００１２】上記目的を達成する撮像装置は、上記のニ
ー補正回路を搭載することで達成される。本発明の撮像
装置では、撮像装置内で適切なニー補正が行われ、ニー
補正後の画像データがメモリに格納されるため、高輝度
階調の再現性の優れた高品質な画像データをユーザに提
供でき、製品価値が向上する。

【００１３】

【発明の実施の形態】以下、本発明の一実施形態につい
て、図面を参照して説明する。

【００１４】図１は、本発明の一実施形態に係るニー補
正回路を搭載したデジタルスチルカメラの構成図であ
る。尚、この例ではデジタルスチルカメラに本実施形態
のニー補正回路を搭載しているが、デジタルビデオカメ
ラ等の他の種類の撮像装置に本実施形態のニー補正回路
を同様に搭載可能である。

【００１５】このデジタルスチルカメラは、撮影レンズ
１０と、ＣＣＤ等の固体撮像素子１１と、この両者の間
に設けられた絞り１２と、赤外線カットフィルタ１３
と、光学ローパスフィルタ１４とを備える。デジタルス
チルカメラの全体を制御するＣＰＵ１５は、赤外線発光
部１６及び赤外線受光部１７を制御して得た被写体まで
の距離情報に基づき、レンズ駆動部１８を制御して撮影
レンズ１０の位置をフォーカス位置に調整し、絞り駆動
部１９を介し絞り１２の開口量を制御して露光量が適正
露光量となるように調整する。

【００１６】また、ＣＰＵ１５は、撮像素子駆動部２０
を介して固体撮像素子１１を駆動し、撮影レンズ１０を
通して撮像した被写体画像を色信号として出力させる。
また、ＣＰＵ１５には、操作部２１を通してユーザの指
示信号が入力され、ＣＰＵ１５はこの指示に従って各種
制御を行う。

【００１７】デジタルスチルカメラの電気制御系は、固
体撮像素子１１の出力に接続されたアナログ信号処理部
２２と、このアナログ信号処理部２２から出力された色
信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを
備え、ＣＰＵ１５によって制御される。

【００１８】更に、このデジタルスチルカメラの電気制
御系は、メインメモリ２４に接続されたメモリ制御部２
５と、詳細は後述するデジタル信号処理部２６と、撮像
画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したり
する圧縮伸張処理部２７と、測光データを積算してホワ
イトバランスのゲインを調整させる積算部２８と、着脱
自在の記録媒体２９が接続される外部メモリ制御部３０
と、カメラ背面等に搭載された液晶表示部３１が接続さ
れる表示制御部３２とを備え、これらは、制御バス３３
及びデータバス３４によって相互に接続され、ＣＰＵ１
５からの指令によって制御される。

【００１９】図２は、図１に示すデジタル信号処理部２
６の詳細構成図である。このデジタル信号処理部２６
は、Ａ／Ｄ変換回路２３から出力されるデジタルのＲＧ
Ｂ色信号を取り込んでオフセット処理を行うオフセット
補正回路４０と、ホワイトバランスをとるゲイン補正回
路４１と、詳細は後述する様にしてニースロープを決定
しこのニースロープを用いてニー補正を行うニー補正回
路４２と、ニー補正後の色信号に対してガンマ補正を行
うガンマ補正回路４３と、ガンマ補正後のＲＧＢ色信号
を補間演算して各画素位置におけるＲＧＢ３色の信号を
求めるＲＧＢ補間演算部４４と、ＲＧＢ信号から輝度信
号Ｙと色差信号Ｃとを求めるＲＧＢ／ＹＣ変換回路４５
と、輝度信号Ｙと色差信号Ｃからノイズを低減するノイ
ズ低減回路４６と、ノイズ低減後の輝度信号Ｙに対して
輪郭補正を行う輪郭補正回路４７と、ノイズ低減後の色
差信号Ｃに対して色差マトリクスを乗算して色調補正を
行う色差マトリクス回路４８とを備える。

【００２０】図３は、ニー補正回路４２で実行されるニ
ー補正処理の処理手順を示すフローチャートである。先
ずステップＳ１で、ゲイン補正回路４１から出力されて
くるＲ，Ｇ，Ｂの各色信号から、各色のピーク値を求め
る処理を行う。即ち、固体撮像素子１１の各画素位置に
おけるＲ信号の中からピーク値peak_rを求め、同様に、
各画素位置におけるＧ信号の中からピーク値peak_gを求
め、各画素位置におけるＢ信号の中からピーク値peak_b
を求める。

【００２１】次のステップＳ２では、ステップＳ１で求
めた３つのピーク値peak_r，peak_g，peak_bの中で、最
小の値（以下、min_peakという。）を求める。そして、
ステップＳ３で、ニー補正の判定処理を行う。即ち、ス
テップＳ２で求めたmin_peakの値がクリップレベル（cl
ip_level）より大きいか否かを判定する。この判定結果
が否定、すなわちmin_peak値がクリップレベルより小さ
い場合には、ニー補正を行う必要がないと判定し、ステ
ップＳ６に進んでクリップ処理を実行し、その後、この
ニー補正処理を終了する。

【００２２】ステップＳ３における判定結果が肯定の場
合、すなわち「min_peak＞クリップレベル」が成立する
場合には、ステップＳ４に進み、ニー補正を行うときに
使用するニースロープの傾きの値を如何なる値にするか
算出する。例えば、図４に示す様に、min_peak値がＲの
飽和値であったとする。そして、固定値であるニーポイ
ントからのニースロープIの傾斜を決定したとき、Ｒの
飽和値が、図４の矢印Ｆで示す様に、クリップレベルに
一致するように、ニースロープＩの傾斜を決定する。

【００２３】即ち、図４で、縦軸（信号レベル軸）上に
おけるニーポイント（例えば、１２ビットデータ系で、
値“３０００”の固定レベル）の座標値をＹａ、クリッ
プレベル（例えば、１２ビットデータ系では、値“４０
９５”）の座標値をＹｂ、min_peak値の座標値をＹｃと
する。

【００２４】そして、ホワイトバランスをとるために決
めた直線IIとニーポイントＹ＝Ｙａとの交点ＡのＸ座標
値をＸａ、直線IIとmin_peak値Ｙ＝Ｙｃとの交点Ｃにお
けるＸ座標値をＸｃとしたとき、ニースロープＩの傾斜
値knee_slopeを knee_slope＝（Ｙｂ−Ｙａ）／（Ｘｃ−Ｘａ） として算出する。これにより、直線II上におけるＲの飽
和レベルがクリップレベルに一致し、図７（ｃ）で説明
したような差ｋが生じることがなくなる。

【００２５】次のステップＳ５では、ニーポイントを超
えた直線II上の信号レベルを、ステップＳ４で求めたニ
ースロープＩ上に投影してデータ圧縮するニー補正を行
い、その後、ステップＳ６でクリップ処理を行った後、
このニー補正処理を終了する。

【００２６】このように、本実施形態では、ニー補正を
行うに際して使用するニースロープＩの傾斜を、そのと
き得られた画像信号から算出したmin_peak値に応じて設
定するため、白が白として表現され、画質の優れた画像
データを得ることができる。

【００２７】図５は、固体撮像素子の各画素位置毎に得
られる色信号の信号レベルの分布を例示するグラフであ
る。有効画素数が１００万画素の固体撮像素子を用いて
得られるＲ信号，Ｇ信号，Ｂ信号の夫々の信号数は１０
０万個づつあり、夫々の色信号の信号レベルの頻度を縦
軸にとって分布を求めたとき、例えば、被写体が眼鏡を
掛けており、その眼鏡に光源が映って光っていた場合、
図５に符号Ｄで示すように、信号レベルが突出する高輝
度部分ができてしまう。

【００２８】上述した実施形態のニー補正では、図３の
ステップＳ１で各色信号のピーク値を求め、各色信号の
ピーク値からニースロープＩを決めるmin_peak値を求め
ているが、図５に示す様な高輝度部分Ｄを反映させてmi
n_peak値を決めると、画質を劣化させる要因になってし
まうことがある。そこで、図５に示す様に、信号レベル
の高い方から所定％の信号、例えば３％の信号を除去し
た信号レベルをステップＳ１で算出するピーク値とする
ことで、高輝度部分Ｄによる影響を排除することが可能
となる。

【００２９】

【発明の効果】本発明によれば、ニー補正を行うニース
ロープを、そのとき得られた画像信号に応じて設定する
ため、画質劣化の少ないニー補正を行うことが可能とな
る。

【図面の簡単な説明】

【図１】本発明の一実施形態に係るデジタルスチルカメ
ラの構成図である。

【図２】図１に示すデジタル信号処理部の詳細構成図で
ある。

【図３】図２に示すニー補正回路が行うニー補正処理の
処理手順を示すフローチャートである。

【図４】図２に示すニー補正回路が行うニースロープ算
出処理の説明図である。

【図５】固体撮像素子から得られる信号レベルの分布の
一例を示す図である。

【図６】ニー補正の説明図である。

【図７】ホワイトバランスをとったときの従来のニー補
正の問題点を説明する図である。

【符号の説明】

１１ 固体撮像素子 １５ ＣＰＵ ２６ デジタル信号処理部 ４１ ゲイン補正部（ホワイトバランス） ４２ ニー補正回路 Ｉ ニースロープ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 坂本 浩一 埼玉県朝霞市泉水３丁目11番46号 富士写 真フイルム株式会社内 (72)発明者 杉本 雅彦 埼玉県朝霞市泉水３丁目11番46号 富士写 真フイルム株式会社内 (72)発明者 兵藤 学 埼玉県朝霞市泉水３丁目11番46号 富士写 真フイルム株式会社内 (72)発明者 竹村 和彦 埼玉県朝霞市泉水３丁目11番46号 富士写 真フイルム株式会社内 Ｆターム(参考） 5C021 PA17 PA53 PA56 PA67 PA85 PA92 RA08 RB03 RB09 XA33 5C065 AA01 AA03 BB09 CC01 CC08 DD02 DD17 EE12 GG15 GG16 GG18 GG32 5C066 AA01 BA01 CA17 EC01 GA01 GA05 GB01 JA03 KA08 KD02 KD07 KE03 KE17 KM02 LA02

Claims (3)

【特許請求の範囲】
1. 【請求項１】 撮像素子から得られる被写体画像の画素
   信号のうち高輝度領域にある画素信号をニースロープを
   用いて圧縮するニー補正回路において、前記ニースロー
   プの傾斜を前記被写体画像の画素信号の状態に応じて設
   定することを特徴とするニー補正回路。
2. 【請求項２】 前記画素信号が赤，緑，青の色信号であ
   り、赤色信号の最大値と緑色信号の最大値と青色信号の
   最大値のうちの最小値に出力クリップレベルが一致する
   ように前記ニースロープの傾斜を設定することを特徴と
   する請求項１に記載のニー補正回路。
3. 【請求項３】 請求項１または請求項２に記載のニー補
   正回路を搭載したことを特徴とする撮像装置。