JP2003264849A - カラー動画像処理方法および処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 潰れや白とびにより視認性が低下した部分を
自動的に判別してその部分の視認性を改善し、かつフリ
ッカ等の動的劣化を効果的に抑制して、見た目に不自然
さのないカラー動画像を得る。 【解決手段】 フレーム分割手段１、色形式変換手段
２、視認性改善処理部３、色形式逆変換手段４、および
フレーム結合手段５を備えている。視認性改善処理部３
は、明度画像のテクスチャを解析し、前記解析結果に基
づいて前記明度画像を複数の領域にブロック単位で量子
化して分割する手段と、前記分割された領域毎のヒスト
グラムを平滑化することにより、第１の濃度変換曲線を
作成する手段と、前記第１の濃度変換曲線を過去の第１
の濃度変換曲線とブレンドすることにより、第２の濃度
変換曲線を作成する手段と、前記第２の濃度変換曲線を
用いて前記明度画像の濃度変換を行う手段とを具備す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオカメラなど
の電子的撮像装置に好適なカラー動画像処理方法および
処理装置に関し、特に、デジタル動画像の視認性を向上
させる方法および装置に関するものである。

【０００２】

【従来の技術】逆光下において、明るい景色をバックに
記念撮影を行うと、人物が黒く潰れて撮影されてしまう
ことが多い。近年、カメラやビデオカメラには逆光防止
機能が備わっているが、それを用いて撮影すると、人物
は鮮明に写すことが出来ても、バックの景色が飽和して
白くとんで撮影されてしまう。

【０００３】このように、明暗の混在する状況におい
て、潰れや白とびを起こすことなく、撮影対象全体を鮮
明に撮影することは困難であった。その原因は、撮像装
置のダイナミックレンジにある。一般に実際の撮影対象
に比べて、撮像装置のダイナミックレンジは狭いため、
撮影対象の非常に明るい部分や暗い部分の微細な明度差
は圧縮され、細部情報が失われる。そのため、潰れや白
とびが発生する。近年広く普及しているデジタルカメラ
やデジタルビデオカメラにおいては撮像素子の小型化に
伴い、さらにこの問題が深刻である。

【０００４】従来、上記のような細部情報の消失を低減
するために、種々の技術が提案されている。例えば、特
開平9-65252号により、ビデオフレームまたはフィール
ドをブロックに分割し、各ブロックについて平均輝度レ
ベルを求め、その平均輝度レベルに応じて補正曲線を選
択する階調補正装置が提案されている。

【０００５】しかしながら、この階調補正装置の場合、
予め複数の補正曲線を用意しておく必要がある。予め用
意された補正曲線では、適切な補正が得られるのか否か
という懸念がある。また、用意する補正曲線の種類や、
補正曲線パターンの設定方法がすべて手動でなされると
いう側面もある。さらに、時間方向に対しては、実際に
適用される補正曲線と、そのフレームで適用されるべき
と判断された補正曲線とが、規定フレーム数以上連続し
て異なる場合に、後者の補正曲線に１段階だけ近づける
ように変更されるという仕組みであるため、ある時間範
囲にある同位置のブロックでは、常に同じ補正曲線が適
用されることになり、補正効果の低下が考えられる。

【０００６】そこで、本発明の発明者等は先に、カラー
原色画像から生成した色相／彩度／明度空間の明度画像
を複数の領域に分割し、その領域毎のヒストグラムを平
滑化して濃度変換曲線を作成し、その濃度変換曲線を用
いて明度画像の濃度変換を行い、濃度変換された明度画
像からカラー原色画像を生成するカラー画像処理方法を
提案した（2000年特許願第336394号）。このカラー画像
処理方法によれば、補正が必要な領域の判別および適切
な補正度合の決定をすべて自動で行い、有用な情報の消
失を低減することにより視認性を向上できるという効果
がある。

【０００７】

【発明が解決しようとする課題】しかしながら、上記カ
ラー画像処理方法をそのままカラー動画像に採用した場
合には、短時間で大きく明度が変化する部分ある場合
に、輝度レベルが時間的に変動して、ちらついて見えて
しまう現象であるフリッカが生じてしまうという問題点
があった。また、周囲に比較して明度が大きく異なる部
分がある場合に、同様なフリッカが生じてしまうという
問題点があった。さらに、ブッロクノイズが発生してし
まうという問題点があった。

【０００８】本発明は、このような問題点を解決するた
めになされたもので、デジタルカラー動画像において、
潰れや白とびにより視認性が低下した部分を自動的に判
別してその部分の視認性を改善し、かつフリッカ等の動
的劣化を効果的に抑制して、見た目に不自然さのないカ
ラー動画像を得ることの出来るカラー動画像処理方法お
よび装置を提案するものである。

【０００９】

【課題を解決するための手段】本発明に係るカラー動画
像処理方法は、カラー原色動画像から明度画像を生成す
るステップと、予め定められたフレーム毎の前記明度画
像のテクスチャを解析し、前記解析結果に基づいて前記
明度画像を複数の領域にブロック単位で量子化して分割
するステップと、前記分割された領域毎のヒストグラム
を平滑化することにより、第１の濃度変換曲線を作成す
るステップと、前記第１の濃度変換曲線を過去の第２の
濃度変換曲線とブレンドすることにより、第２の濃度変
換曲線を作成するステップと、前記第２の濃度変換曲線
を用いて前記明度画像の濃度変換を行うステップと、前
記濃度変換を受けた明度画像を用いてカラー原色画像を
生成するステップとを具備することを特徴とする。この
構成により、フレーム間において濃度変換曲線が大きく
変化することが抑制され、結果としてカラー原色動画像
おけるフリッカの発生を防ぐことが出来る。

【００１０】また、本発明に係るカラー動画像処理方法
は、前記予め定められたフレームの内、隣り合うフレー
ムの第２の濃度変換曲線を内挿することにより、前記隣
り合うフレーム間のフレームの第２の濃度変換曲線を作
成するステップを具備することを特徴とする。この構成
により、全てのフレームについて第１の濃度変換曲線を
作成することなく、全てのフレームに対してフリッカの
発生を防ぐことが可能な濃度変換を行うことが出来る。

【００１１】さらに、本発明に係るカラー動画像処理方
法は、隣接するブロックの第２の濃度変換曲線をフレー
ム内で内挿して第３の濃度変換曲線を作成するステップ
を具備することを特徴とする。この構成により、局所的
に明度が大きく異なる部分の発生を防止することで、フ
リッカの発生を抑制することが出来る。

【００１２】そして、本発明に係るカラー動画像処理方
法は、領域の境界のブロックの第３の濃度変換曲線を隣
接する領域のブロックの第３の濃度変換曲線で内挿する
ステップを具備することを特徴とする。この構成によ
り、領域の境界に近づくにつれて互いの濃度変換曲線を
近づけ、ブロックノイズの発生を抑制することが出来
る。

【００１３】また、本発明に係るカラー動画像処理装置
は、カラー原色動画像から明度画像を生成する手段と、
予め定められたフレーム毎の前記明度画像のテクスチャ
を解析し、前記解析結果に基づいて前記明度画像を複数
の領域にブロック単位で量子化して分割する手段と、前
記分割された領域毎のヒストグラムを平滑化することに
より、第１の濃度変換曲線を作成する手段と、前記第１
の濃度変換曲線を過去の第１の濃度変換曲線とブレンド
することにより、第２の濃度変換曲線を作成する手段
と、前記第２の濃度変換曲線を用いて前記明度画像の濃
度変換を行う手段と、前記濃度変換を受けた明度画像を
用いてカラー原色画像を生成する手段とを具備すること
を特徴とする。この構成により、フレーム間において濃
度変換曲線が大きく変化することが抑制され、結果とし
てカラー原色動画像おけるフリッカの発生を防ぐことが
出来る。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。図１は本発明の
実施の形態のカラー動画像処理装置の構成を示すブロッ
ク図であり、図２はその装置における処理の流れの概要
を示すフロー図である。

【００１５】図１に示すように、本実施の形態のカラー
動画像処理装置は、フレーム分割手段１、色形式変換手
段２、視認性改善処理部３、色形式逆変換手段４、およ
びフレーム結合手段５を備えている。なお、このカラー
動画像処理装置は、コンピュータのアプリケーションソ
フトとして構成しても良いし、ハードウェアとして構成
しても良い。また、ビデオカメラに搭載し、ボタン操作
でON/OFFを切り替えられるようにしたり、ビデオデッキ
やディスプレイに搭載したりしても良い。

【００１６】フレーム分割手段１は、図２のステップST
１に示すように、ＣＣＤ撮像素子等を有する撮像手段
（図示せず）で生成されたＲＧＢの原色カラー動画像情
報を取り込み、その動画像をフレーム単位の静止画に分
割して、色形式変換手段２へ出力する。

【００１７】色形式変換手段２は、図２のステップST２
に示すように、ＲＧＢ原色カラー画像情報を、顕色系と
呼ばれる、色相（Ｈ:hue）、彩度（Ｓ:saturation ）、
明度（Ｉ:intensity）からなるＨＳＩ空間の画像情報に
変換する。

【００１８】ＲＧＢ空間とＨＳＩ空間とを対応付けるモ
デルは各種あるが、ここでは双六角錐カラーモデルによ
る変換を行う。双六角錐カラーモデルの概念について図
３を用いて説明する。この図の（ａ）はＲＧＢ空間にお
ける明度軸の設定を示し、（ｂ）は明度軸に対して垂直
な面に対する射影の様子を示し、（ｃ）は射影後の双六
角錐のＨＳＩ空間を示す。

【００１９】カラー画像の各画素において、ＲＧＢ値か
ら上記双六角錐カラーモデルを用いることで、ＨＳＩ値
が算出される。明度情報（明度値）は、カラー画像の明
るさの成分を表しており、カラー画像情報から生成され
るモノクロ画像情報と一致する。

【００２０】そして、本実施の形態では、図４に示すよ
うに、双六角錐カラーモデルを円筒座標系で規格化した
ＨＳＩ空間を採用し、ＲＧＢ→ＨＳＩ変換、およびＨＳ
Ｉ→ＲＧＢ変換に用いている。以下、ＲＧＢ→ＨＳＩ変
換、およびＨＳＩ→ＲＧＢ変換のアルゴリズムの一例を
説明する。

【００２１】ＲＧＢ直交座標系において、３軸に接する
立方体を考えると、Ｒ，Ｇ，Ｂとその補色Ｃ，Ｍ，Ｙは
図３（ａ）に示すような位置関係にある。このＲＧＢ立
方体の主対角軸を明度軸Ｉとし、一方の頂点をＩ＝０の
黒、他方の頂点をＩ＝１の白とし、 Ｉ＝［（ｍａｘ｛Ｒ，Ｇ，Ｂ｝＋（ｍｉｎ｛Ｒ，Ｇ，
Ｂ｝］／２ と定義する。

【００２２】ここで、Ｉ軸に直交する平面にＲＧＢ立方
体を平行投影すると、図３（ｂ）に示されるような正六
角形が形成される。これに対し、Ｉ軸に直交する平面上
で色相Ｈ、彩度Ｓを図３（ｃ）のように定義する。以
下、その変換方法を示す。ただし、Ｒ，Ｇ，Ｂ，Ｓ，Ｉ
の値域は［０，１］であり、Ｈは［０，２π］の値を持
つものとする。

【００２３】〔１〕ＲＧＢ→ＨＳＩ変換 まず、Ｉを次式で定義する。 Ｉ＝（Ｉ_max＋Ｉ_min）／２ ただし、Ｉ_max＝ｍａｘ｛Ｒ，Ｇ，Ｂ｝ Ｉ_min＝ｍｉｎ｛Ｒ，Ｇ，Ｂ｝

【００２４】ｉ）Ｉ_max＝Ｉ_minのとき Ｓ＝０ Ｈ＝不定

【００２５】ii）Ｉ_max≠Ｉ_minのとき Ｓを以下のように定義する。 Ｉ≦０．５のとき：Ｓ＝（Ｉ_max−Ｉ_min）／（Ｉ_max＋
Ｉ_min） Ｉ＞０．５のとき：Ｓ＝（Ｉ_max−Ｉ_min）／（２−Ｉ
_max＋Ｉ_min）

【００２６】次にｒ，ｇ，ｂを以下のように定める。 ｒ＝（Ｉ_max−Ｒ）／（Ｉ_max−Ｉ_min） ｇ＝（Ｉ_max−Ｇ）／（Ｉ_max−Ｉ_min） ｂ＝（Ｉ_max−Ｂ）／（Ｉ_max−Ｉ_min）

【００２７】最後にＨを以下のように定める。 Ｒ＝Ｉ_maxのとき：Ｈ＝π／３（ｂ−ｇ） Ｇ＝Ｉ_maxのとき：Ｈ＝π／３（２＋ｒ−ｂ） Ｂ＝Ｉ_maxのとき：Ｈ＝π／３（４＋ｇ−ｒ）

【００２８】〔２〕ＨＳＩ→ＲＧＢ変換 まず、Ｍ₁，Ｍ₂を以下のように求める。 Ｉ≦０．５のとき：Ｍ₂＝Ｉ・（１＋Ｓ） Ｉ＞０．５のとき：Ｍ₂＝Ｉ＋Ｓ−Ｉ・Ｓ Ｍ₁＝２Ｉ−Ｍ₂

【００２９】ｉ）Ｓ＝０のとき Ｒ＝Ｇ＝Ｂ＝１

【００３０】ii）Ｓ≠０のとき ：処理＃１ ｈ＝Ｈ＋（２／３）πとして、後述する処理＃２を行
い、得た値Ｘを用いてＲを次のように定める。 Ｒ＝Ｘ

【００３１】ｈ＝Ｈとして後述する処理＃２を行い、得
た値Ｘを用いてＧを次のように定める。 Ｇ＝Ｘ

【００３２】ｈ＝Ｈ−（２／３）πとして、後述する処
理＃２を行い、得た値Ｘを用いてＢを次のように定め
る。 Ｂ＝Ｘ

【００３３】：処理＃２ まずｈ_aを次のように定める。 ｈ_a＝ｈ ｈ＜０のとき：ｈ_a＝ｈ＋２π ｈ＞２πのとき：ｈ_a＝ｈ−２π

【００３４】次にｈ_aの値によってＸを以下のように定
める。 ｈ_a＜π／３のとき Ｘ＝Ｍ₁＋（Ｍ₂−Ｍ₁）・ｈ_a／（π／３）

【００３５】（π／３）≦ｈ_a＜πのとき Ｘ＝Ｍ₂

【００３６】π≦ｈ_a＜（４／３）πのとき

【００３７】Ｘ＝Ｍ₁＋（Ｍ₂−Ｍ₁）・（（４／３）π
−ｈ_a／（π／３）） （４／３）π≦ｈ_a＜２πのとき Ｘ＝Ｍ₁

【００３８】このように、円筒座標系で規格化したＨＳ
Ｉ空間を用いると、明度情報に対して視認性の改善を施
すことのみで、彩度情報（彩度値）に対しても同時に同
程度の補正が可能となる。この点について図５を用いて
説明する。図５は、円筒座標系で規格化したＨＳＩ空間
のＩ軸とＳ軸を通る平面と双六角錐カラーモデルとの対
応関係を示す図である。この図に示すように、円筒座標
系で規格化したＨＳＩ空間において明度値をＩ₁からＩ₂
へ濃度変換すると、双六角錐カラーモデルにおいては、
明度値の変化すると同時に彩度値もＳ₁からＳ₂へと変換
されている。

【００３９】色形式変換手段３は、複数フレーム毎の１
フレームの明度値Ｉ_iを抽出して視認性改善処理部３へ
出力する。以下、抽出されたフレームを代表フレームと
呼ぶ。視認性改善処理部３は、図２のステップST３に示
すように、代表フレームの明度値Ｉiに対して後述する
所定の視認性改善処理を施す。

【００４０】図１に示すように、視認性改善処理部３
は、領域分割手段６と、濃度変換曲線作成手段７と、動
画像適用処理手段８と、濃度変換手段９とから構成され
ている。そして、図６に示すように、濃度変換曲線作成
手段７は、濃度ヒストグラム作成手段11、エントロピー
算出手段12、エッジ度合算出手段13、コントラスト操作
クリップ値決定手段14、濃度シフト操作クリップ値決定
手段15、第１クリッピング手段16、第２クリッピング手
段17、および累積ヒストグラム作成手段18から構成され
ている。さらに、図７に示すように、動画像適用処理手
段８は、濃度変換曲線ブレンド手段19、時間軸方向内挿
手段20、およびフレーム内挿手段21から構成されてい
る。

【００４１】領域分割手段６は、図８のステップST21〜
22に示されているように、入力された明度画像に対して
領域分割と、領域境界の空間的量子化を行う。まず、ス
テップST21では、入力画像のテクスチャを解析し、この
解析結果に基づいて入力画像を複数の領域に分割する。
本実施の形態では、下記の式［１］に示すＬＯＧ(Lapla
cian Of Gaussian)フィルタを入力画像に演算するフィ
ルタリング処理により領域を決定している。図９（ａ）
に示す画像を領域分割した結果を図９（ｂ）に示す。

【００４２】

【数１】

【００４３】ここで、テクスチャ解析による領域分割の
結果と、人間が同一の画像を見て手動で領域分割した結
果とは異なることが多い。よって、上記テクスチャ解析
による領域分割の結果をそのまま用いると、両者の結果
の異なる部分が人間の目には不自然に感じられる。

【００４４】そこで、本実施の形態では、次のステップ
ST22において、画素単位で解析された上記領域分割の結
果を、多少の解像度を下げ、量子化している。具体的に
は、図９（ｃ）に示すように、入力画像を正方形ブロッ
クに分割して、同図（ｂ）に示す領域分割の結果と重ね
合わせ、領域の境界に該当する正方形ブロックについて
は、領域の占有率に応じていずれの領域に属するかを決
定する。これにより、図９（ｂ）に示す領域分割の結果
が、同図（ｄ）に示すように量子化される。

【００４５】領域分割手段６で空間的に量子化された画
像データは濃度変換曲線作成手段７内の濃度ヒストグラ
ム作成手段11に入力される。濃度ヒストグラム作成手段
11では、図８のステップST23に示すように、濃度ヒスト
グラムを領域毎に作成する。

【００４６】濃度変換曲線作成手段７では、基本的に
は、濃度ヒストグラムを領域毎に作成し、次に累積ヒス
トグラムを領域毎に作成して、その累積ヒストグラムを
用いて濃度変換を行う。しかし、この基本処理のみで
は、例えば図１０（ａ）に示す濃度ヒストグラムから同
図（ｂ）に示す累積ヒストグラムが作成され、入力濃度
Ｉ _i0を出力濃度Ｉ_o0に濃度変換する場合、濃度ヒストグ
ラムの頻度の高い濃度部分で累積ヒストグラムの値が急
激に変化するため、過度にコントラストが強調されてし
まう。

【００４７】そこで、本実施の形態では、第１のクリッ
プ値を導入することで過度のコントラスト強調を防止し
ている。すなわち、図１１（ａ）に示すように、濃度ヒ
ストグラムに対して第１のクリップ値CLを設定し、第１
のクリップ値CLより上の部分をクリップして取り出す。
そして、図１１（ｂ）に示すように、上記クリップした
部分の総和を平均化し、元の濃度ヒストグラムの下側に
配置する。つまり、第１のクリップ値CL以上の部分のヒ
ストグラムの総和の平均値が濃度ヒストグラムのバイア
ス値となっている。図１１（ｃ）の曲線Ａ₁はクリップ
を行う前の濃度ヒストグラムから作成した累積ヒストグ
ラムであり、曲線Ａ₂はクリップ後の濃度ヒストグラム
から作成した累積ヒストグラムである。二つの曲線の比
較から明らかなように、クリップを行うことにより、累
積ヒストグラムの値の急激な変化がなくなる。したがっ
て、過度にコントラストが強調される事態が防止され
る。ここで、第１のクリップ値CLが大きいと、濃度ヒス
トグラムの平滑化の度合が大きく、第１のクリップ値CL
が小さいと、濃度ヒストグラムの平滑化の度合が小さ
い。

【００４８】ここで、図１２（ａ）に示すような、既に
濃度ヒストグラムの濃度値のばらつきが大きい、換言す
ればダイナミックレンジの広い領域については、ダイナ
ミックレンジの狭い画像出力装置で出力しても、細部情
報が消失しにくいため、濃度ヒストグラムを平滑化する
必要性は小さい。一方、図１２（ｂ）に示すような、濃
度ヒストグラムの濃度値のばらつきが小さい、すなわち
ダイナミックレンジの狭い領域については、ダイナミッ
クレンジの狭い画像出力装置で出力すると、細部情報が
消失するおそれが大きいため、濃度ヒストグラムを平滑
化してダイナミックレンジを広げる必要がある。

【００４９】そこで、本実施の形態では、領域毎に濃度
ヒストグラムの濃度値のばらつき具合を求め、このばら
つき具合に応じて、濃度ヒストグラムの平滑化の度合を
左右するクリップ値CLを決定する。具体的には、エント
ロピー算出手段12が下記の式［２〕を用いてエントロピ
ーＨを算出し、図１２（ｃ）に示す特性を用いて第１の
クリップ値CLを求める。

【００５０】

【数２】

【００５１】このとき、空や白壁のような、元々全体に
濃度差の少ない物体を含む領域の場合、濃度ヒストグラ
ムの濃度値のばらつき具合のみでヒストグラムの平滑化
の度合であるクリップ値を決定すると、過剰な処理が行
われる可能性がある。そこで、本実施の形態では、テク
スチャの複雑さを加味してクリップ値を再決定する。

【００５２】テクチスチャの複雑さを示す指標として、
ここでは、領域分割の一手法として提案したＬＯＧフィ
ルタとの演算によって取得される、エッジ抽出結果を用
いる。σ値（空間定数）が大小２種類のＬＯＧフィルタ
を画像に演算するフィルタリング処理を行うと、そのσ
値の大きさにより異なるエッジ抽出画像が取得される。
その結果例を図１３に示す。この図の（ａ）、（ｂ）に
おいて右上部の太線で囲まれた領域は空を示している。
この図から明らかなように、空など、人間が見て濃度差
の無い部分に関しては、σ値の大小にかかわらず、その
領域内の画像のエッジ数の差異は少ない。そこで、この
特徴をテクスチャの複雑さを表す値として採用し、以下
の式［３］によりクリップ値を再決定し、エッジ数の差
異の小さい領域に関しては、平滑化の度合を小さくす
る。

【００５３】

【数３】

【００５４】この式において、CL_oldは領域内の濃度の
ばらつき具合のみを基に決定したクリップ値、CL_newは
新しく決定したクリップ値、edge_small、edge_largeはそ
れぞれσ値が小、大の領域内のエッジ数である。ここ
で、edge_small、edge_large、はエッジ度合算出手段13に
より算出され、CL_newはコントラスト操作クリップ値決
定手段14により算出される。そして、第１クリッピング
手段16により、クリップが実行される。

【００５５】以上説明した、領域毎に行われるヒストグ
ラムの平滑化は元来画像処理におけるコントラスト強調
の手法であるため、そのテクスチャの種類によっては不
自然な結果を生むことがある。例として人間の肌があげ
られる。特に、カラー画像に適用した場合、その色の差
が顕著になり、あらが目立つ結果となる。そこで、本発
明の第１の実施の形態では、ヒストグラムの平滑化の度
合、つまりコントラスト強調の度合を弱め、かつ出力の
際に生じる情報の消失を防ぐために、領域の明るさ補正
を行う手法として第２のクリップ値を導入する。

【００５６】第２のクリップ値は濃度ヒストグラムの下
部に設定される。図１４（ａ）に示すように、濃度ヒス
トグラムの全ての濃度値において、第２のクリップ値CL
₂以下の部分を取り去り、その総和を最小濃度値（０）
もしくは最大濃度値（２５５）の頻度に足し合わせる。
なお、図１４（ｂ）は最小濃度値に足し合わせた場合を
示した。そして、このようにクリップされた濃度ヒスト
グラムを用いて、累積ヒストグラムを作成し、それを正
規化したものを濃度変換曲線とする。図１４（ｃ）の曲
線Ａ₃はクリップを行う前の濃度ヒストグラムから作成
した累積ヒストグラムであり、曲線Ａ₄はクリップ後の
濃度ヒストグラムから作成した累積ヒストグラムであ
る。この濃度変換曲線の形状から分かるように、第２の
クリップ値を導入することにより、コントラスト強調の
度合が弱まり、かつ領域全体の明るさ均一に変化した結
果を得ることができる。ここで、濃度シフト操作クリッ
プ値決定手段15により第２のクリップ値が決定され、第
２クリッピング手段17によりクリップが実行される。第
２のクリップ値は、第１のクリップ値と比例関係を持た
せることが好適である。

【００５７】そして、累積ヒストグラム作成手段18によ
り、第１クリッピング手段16および第２クリッピング手
段17でクリップされた濃度ヒストグラムを用いて、累積
ヒストグラムが作成される。以上説明したエントロピー
算出手段12から第１クリッピング手段16および第２クリ
ッピング手段17までの動作は図８のステップST24に対応
し、累積ヒストグラム作成手段18の動作はステップST25
に対応する。

【００５８】累積ヒストグラム作成手段18で作成された
濃度変換曲線は、動画像適用処理手段８に入力される。
ここで、濃度変換曲線は代表フレーム毎に作成されてい
る。動画像適用処理手段８は、まず図８のステップST26
に示すように、過去の濃度変換曲線のブレンド、および
時間軸方向の内挿を行う。

【００５９】まず、図７の濃度変換曲線ブレンド手段19
は、図６の累積ヒストグラム作成手段18で作成された濃
度変換曲線に対して、過去の代表フレームについて濃度
変換曲線ブレンド手段19で作成された濃度変換曲線を所
定の割合でブレンドして、新たな濃度変換曲線を作成す
る。ここで、ｎ番目（ただし、ｎは２以上の整数）の代
表フレームについて濃度変換曲線ブレンド手段19に入力
される濃度変換曲線をＨ(n) 、濃度変換曲線ブレンド手
段19から出力される濃度変換曲線をＨ'(n)とすると、下
記の式［４］および［５］の関係が成立する。

【００６０】 Ｈ'(n)＝p・Ｈ'(n-1)+(1-p)・Ｈ(n) …式［４］

【００６１】Ｈ'(1)＝Ｈ(1) …式［５］

【００６２】この式［４］において、ｐ（0≦p≦1）
は、過去の濃度変換曲線の重み付け係数である。

【００６３】このようにして得られたＨ'(n)をｎ番目の
代表フレームに適用する濃度変換曲線として採用する。
図１５は代表フレームを４フレーム毎にした場合を例示
している。なお、図１５では便宜上、Ｈ'(n)を作成する
処理のみ示したが、Ｈ'(n+1)についても同様に処理され
ることは言うまでもない。

【００６４】Ｈ'(n)の導入により、フレーム間において
濃度変換曲線が大きく変化することが抑制され、結果と
してフリッカの発生を防ぐことが出来る。なお、ここで
は、Ｈ'(n)を生成する際に、一つ前の代表フレームの濃
度変換曲線Ｈ'(n-1)のみをブレンドしているが、さらに
二つ前の代表フレームＨ'(n-2)や、それ以前の代表フレ
ームをブレンドしても良い。

【００６５】濃度変換曲線ブレンド手段19の出力は時間
軸方向内挿手段20に入力される。時間軸方向内挿手段20
は、代表フレームにおける濃度変換曲線を基に代表フレ
ーム以外のフレームの濃度変換曲線を生成する。ここ
で、代表フレーム間隔がｒ枚とし、ｎ番目の代表フレー
ムからｘ枚（ｘ＜ｒ）後のフレームの濃度変換曲線を
Ｈ'(n,x)とすると、Ｈ'(n,x)は下記の式［６］で表され
る。

【００６６】 Ｈ'(n,x)＝｛(r-x)/r｝・Ｈ'(n)+(x/r)・Ｈ'(n+1) …式［６］

【００６７】つまり、隣り合う２つの代表フレームから
のフレーム枚数に応じて、それら２つの代表フレームの
濃度変換曲線の加重平均をとることで、それら２つの代
表フレームの濃度変換曲線を内挿し、各フレームの濃度
変換曲線を決定する。

【００６８】このようにして得られたＨ'(n,x)をｎ番目
の代表フレームと（ｎ＋１）番目の代表フレームの間の
フレームに適用される濃度変換曲線として採用する。図
１６は代表フレームを４フレーム毎にした場合を例示し
ている。

【００６９】Ｈ'(n,x)を採用することにより、全てのフ
レームについて濃度変換曲線Ｈ'(n)を作成することな
く、全てのフレームについてフリッカの発生を防ぐこと
が可能な濃度変換を行うことが出来る。

【００７０】時間軸方向内挿手段20で作成された濃度変
換曲線は、フレーム内内挿手段21に入力される。時間軸
方向内挿手段20から出力される濃度変換曲線は、濃度変
換曲線のブレンドおよび濃度変換曲線の内挿を伴うもの
であるため、各フレームは濃度変換曲線をほぼ最小ブロ
ック単位で持つことになる。このまま濃度変換を行うと
ブロックノイズが発生する。そこで、フレーム内内挿手
段21は、図８のステップST27に示すように、フレーム内
の濃度変換曲線の内挿を行うことで、ブロックノイズを
除去する処理を行う。

【００７１】ここで、各フレームの左からK番目、上か
らL番目のブロックにおける濃度変換曲線をｈ(K,L)とす
ると、フレーム内内挿手段21は、下記の式［７］によ
り、隣接する４個のブロックの濃度変換曲線との平均値
ｈ'(K,L)を求める。

【００７２】 ｈ'(K,L)＝｛ｈ(K,L)+ｈ(K-1,L)+ｈ(K+1,L)+ｈ(K,L-1) +ｈ(K,L+1)｝／５ …式［７］

【００７３】ｈ'(K,L)を導入することにより、周囲と比
較して明度が大きく異なる部分の発生を抑えることが出
来るので、動画像で見た場合にちらつきの原因となるフ
レーム間の微小な濃度差を目立たなくすることが出来
る。

【００７４】次に、領域の境界が不連続にならないよう
にするために、境界に該当する正方形ブロック内の各画
素については、以下のような内挿処理を行う。図１７
（ａ）に示すように、注目画素の濃度値を、この画素が
属するブロックＢ₁および近傍の三つのブロックＢ₂、Ｂ
₃、Ｂ₄のそれぞれの濃度変換曲線を用いて濃度変換し、
変換後の濃度値ｈ₁、ｈ₂、ｈ₃、ｈ₄を得る。そして、下
記の式［８］に基づいて、内挿後の濃度値ｆ（ｘ，ｙ）
を算出する。つまり、前記濃度値ｈ₁、ｈ₂、ｈ ₃、ｈ
₄を、四つのブロックＢ₁、Ｂ₂、Ｂ₃、Ｂ₄の中心から注
目画素までの距離に応じて重み付けする。この内挿処理
により、領域の境界に近づくにつれて互いの濃度変換曲
線を近づけ、ブロックノイズの発生を抑制することが出
来る。

【００７５】

【数４】

【００７６】以上の処理を受けた濃度変換曲線は濃度変
換手段９へ出力され、色形式変換手段２から出力される
明度画像Ｉに対して、ステップST28に示すように、濃度
変換を行う。

【００７７】濃度変換手段９から出力された、濃度変換
された明度画像情報Ｉ_o1は、色形式逆変換手段４に入力
される。色形式逆変換手段４は、図２のステップST４に
示すように、前記明度画像情報Ｉ_o1と、色形式変換手段
２の出力である色相情報Ｈおよび彩度情報Ｓとを用い
て、視認性の改善されたＲＧＢ原色カラー画像情報を生
成する。このカラー画像情報は、図２のステップST５に
示すように、フレーム結合手段５で動画像フレームとさ
れ、図示されていないモニタやプリンタに送られ、表示
あるいは印刷される。

【００７８】本発明者の実験によれば、画像サイズ７２
０×４８０(pixel)、フレームレート２９．９７、動画
像フォーマットＤＶのカラー動画像に対して、最小ブロ
ックサイズ４０×４０(pixel)、代表フレーム間隔１０
フレームとした場合、式［４］の重み付け係数ｐ最適値
は０．７５であった。しかしながら、動画像フォーマッ
ト、および各種パラメータは種々の変更が可能であるこ
とは言うまでもない。

【００７９】また、以上の実施の形態では、色形式変換
手段２は、円筒座標系で規格化された色相／彩度／明度
空間の明度画像を生成したが、Ｙ／Ｃb ／Ｃr 空間を採
用して明度画像Ｙを生成しても良い。

【００８０】

【発明の効果】以上詳細に説明したように、本発明のカ
ラー動画像処理方法および処理装置によれば、デジタル
カラー動画像において潰れや白とびにより視認性が低下
した部分を自動的に判別して、その部分のコントラスト
を適切に強調することで視認性を改善し、かつフリッカ
等の動的劣化を効果的に抑制することにより、見た目に
不自然さのないカラー動画像を得ることができる。

【００８１】また、本発明のカラー動画像処理方法によ
れば、全てのフレームについて濃度変換曲線を作成する
ことなく、視認性を改善し、かつフリッカ等の動的劣化
を効果的に抑制することにより、見た目に不自然さのな
いカラー動画像を得ることができる。

【００８２】さらに、本発明のカラー動画像処理方法に
よれば、視認性を改善し、かつフリッカ等の動的劣化を
効果的に抑制し、さらに局所的に明度が大きく異なる部
分の発生を防止することでフリッカを抑制することによ
り、見た目に不自然さのないカラー動画像を得ることが
できる。

【００８３】そして、本発明のカラー動画像処理方法に
よれば、視認性を改善し、かつフリッカ等の動的劣化を
効果的に抑制し、さらに局所的に明度が大きく異なる部
分の発生を抑えると共にブロックノイズの発生を抑制す
ることにより、見た目に不自然さのないカラー動画像を
得ることができる。

【図面の簡単な説明】

【図１】本発明の実施の形態のカラー動画像処理装置の
構成を示すブロック図、

【図２】図１のカラー動画像処理装置におけるカラー画
像処理の流れの概要を示すフロー図、

【図３】双六角錐カラーモデルを説明するための図、

【図４】円筒座標系で規格化したＨＳＩ空間を説明する
ための図、

【図５】円筒座標系で規格化したＨＳＩ空間と双六角錐
カラーモデルとの対応関係を示す図、

【図６】図１のカラー動画像処理装置における濃度変換
曲線作成手段の構成を示すブロック図、

【図７】図１のカラー動画像処理装置における動画像適
用処理手段の構成を示すブロック図、

【図８】図１のカラー動画像処理装置における視認性改
善処理部の処理の流れの概要を示すフロー図、

【図９】図１の視認性改善処理部における領域分割手段
の動作を説明するための図、

【図１０】ヒストグラムの平滑化を説明するための図、

【図１１】第１のクリップ値を説明するための図、

【図１２】第１のクリップ値の決定方法を説明するため
の図、

【図１３】σ値の異なるエッジ抽出画像の取得例を示す
図、

【図１４】第２のクリップ値を説明するための図、

【図１５】濃度変換曲線のブレンド処理を説明するため
の図、

【図１６】濃度変換曲線の時間軸方向内挿処理を説明す
るための図、

【図１７】濃度変換手段における線形補間方法を説明す
るための図である。

【符号の説明】

１ フレーム分割手段 ２ 色形式変換手段 ３ 視認性改善処理部 ４ 色形式逆変換手段 ５ フレーム結合主段 ６ 領域分割手段 ７ 濃度変換曲線作成手段 ８ 動画像適用処理手段 ９ 濃度変換手段 19 濃度変換曲線ブレンド手段 20 時間軸方向内挿手段 21 フレーム内内挿手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 ２００ Ｇ０６Ｔ 7/00 ２００Ｂ Ｈ０４Ｎ 9/04 Ｈ０４Ｎ 9/04 Ｂ 9/64 9/64 Ｒ (72)発明者 黒子 岳人 神奈川県横浜市港北区日吉三丁目14番１号 慶應義塾大学理工学部内 Ｆターム(参考） 5B057 CA01 CA08 CB01 CB08 CE05 CE11 CE17 DB06 DB09 DC23 5C065 AA01 BB21 CC01 5C066 AA01 CA07 CA17 EA05 GA01 GB01 JA01 5L096 AA02 AA06 CA02 FA02 FA37 FA41 GA55 MA03

Claims (5)

【特許請求の範囲】
1. 【請求項１】 カラー原色動画像から明度画像を生成す
   るステップと、 予め定められたフレーム毎の前記明度画像のテクスチャ
   を解析し、前記解析結果に基づいて前記明度画像を複数
   の領域にブロック単位で量子化して分割するステップ
   と、 前記分割された領域毎のヒストグラムを平滑化すること
   により、第１の濃度変換曲線を作成するステップと、 前記第１の濃度変換曲線を過去の第２の濃度変換曲線と
   ブレンドすることにより、第２の濃度変換曲線を作成す
   るステップと、 前記第２の濃度変換曲線を用いて前記明度画像の濃度変
   換を行うステップと、 前記濃度変換を受けた明度画像を用いてカラー原色画像
   を生成するステップとを具備することを特徴とするカラ
   ー動画像処理方法。
2. 【請求項２】 予め定められたフレームの内、隣り合う
   フレームの第２の濃度変換曲線を内挿することにより、
   前記隣り合うフレーム間のフレームの第２の濃度変換曲
   線を作成するステップを具備することを特徴とする請求
   項１記載のカラー動画像処理方法。
3. 【請求項３】 隣接するブロックの第２の濃度変換曲線
   をフレーム内で内挿して第３の濃度変換曲線を作成する
   ステップを具備することを特徴とする請求項１記載のカ
   ラー動画像処理方法。
4. 【請求項４】 領域の境界のブロックの第３の濃度変換
   曲線を隣接する領域のブロックの第３の濃度変換曲線で
   内挿するステップを具備することを特徴とする請求項３
   記載のカラー動画像処理方法。
5. 【請求項５】 カラー原色動画像から明度画像を生成す
   る手段と、 予め定められたフレーム毎の前記明度画像のテクスチャ
   を解析し、前記解析結果に基づいて前記明度画像を複数
   の領域にブロック単位で量子化して分割する手段と、 前記分割された領域毎のヒストグラムを平滑化すること
   により、第１の濃度変換曲線を作成する手段と、 前記第１の濃度変換曲線を過去の第１の濃度変換曲線と
   ブレンドすることにより、第２の濃度変換曲線を作成す
   る手段と、 前記第２の濃度変換曲線を用いて前記明度画像の濃度変
   換を行う手段と、 前記濃度変換を受けた明度画像を用いてカラー原色画像
   を生成する手段とを具備することを特徴とするカラー動
   画像処理装置。