JP2021097374A

JP2021097374A - 映像信号処理装置及び映像信号処理方法

Info

Publication number: JP2021097374A
Application number: JP2019229142A
Authority: JP
Inventors: 孟司大力; Takeshi Dairiki; 亮佑中越; Ryosuke Nakakoshi
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2019-12-19
Filing date: 2019-12-19
Publication date: 2021-06-24
Anticipated expiration: 2039-12-19
Also published as: US11593924B2; JP7334608B2; US20210192683A1

Abstract

【課題】映像信号の画像内容に応じた適切な明るさで画像を表示することができるよう映像信号を処理することができる映像信号処理装置を提供する。【解決手段】トーンカーブパターン更新部１６は、シーンチェンジ検出部１７によってシーンチェンジが検出されず、フレームカウンタ１６１のカウント値が所定の値に到達するまでの各フレームにおいて、カウント値が初期値にリセットされた直近のフレームにおいて選択されたトーンカーブパターンの代表点群を更新用の代表点群に設定する。トーンカーブパターン更新部１６は、ｋを１未満の数として、設定された更新用の代表点群に係数（１−ｋ）を乗算した第１の乗算値と、各フレームの直前のフレームにおいてトーンカーブパターン更新部１６より出力された代表点群に係数ｋを乗算した第２の乗算値を生成し、第１の乗算値と第２の乗算値とを加算した合成代表点群を更新した代表点群として出力する。【選択図】図１

Description

本発明は、映像信号処理装置及び映像信号処理方法に関する。

特許文献１には、シーンチェンジを検出して、シーンチェンジごとに階調を表現するトーンカーブパターンを変更することが記載されている。

特開２００３−３０９７６３号公報

シーンチェンジごとにトーンカーブパターンを変更するだけでは、映像信号の画像内容に応じた適切な明るさで画像が表示されないことがある。

本発明は、映像信号の画像内容に応じた適切な明るさで画像を表示することができるよう映像信号を処理することができる映像信号処理装置及び映像信号処理方法を提供することを目的とする。

本発明は、入力された映像信号の各フレームの画像について低階調側から高階調側までの階調の分布を解析する階調解析部と、前記階調解析部が解析した画像の階調の分布に応じて、前記映像信号の階調と画像の明るさとの関係を決める複数のトーンカーブパターンのうちのいずれかのトーンカーブパターンを選択するトーンカーブパターン選択部と、前記映像信号のシーンチェンジの有無を検出するシーンチェンジ検出部と、前記映像信号のフレームの進行に伴って初期値から所定の値までカウントし、カウント値が前記所定の値に到達したら前記初期値にリセットし、前記シーンチェンジ検出部によってシーンチェンジが検出されたら、カウント値が前記所定の値に到達していなくても前記初期値にリセットするフレームカウンタを有し、トーンカーブパターンの更新した代表点群を生成して出力するトーンカーブパターン更新部と、前記トーンカーブパターン更新部より出力された代表点群をスプライン補間して、補間されたトーンカーブパターンを生成するスプライン補間部とを備える映像信号処理装置を提供する。

上記の映像信号処理装置において、前記トーンカーブパターン更新部は、前記シーンチェンジ検出部によってシーンチェンジが検出されず、前記フレームカウンタのカウント値が前記所定の値に到達するまでの各フレームにおいては、カウント値が前記初期値にリセットされた直近のフレームにおいて選択されたトーンカーブパターンの代表点群を更新用の代表点群に設定し、ｋを１未満の所定の正の係数として、設定された更新用の代表点群に係数（１−ｋ）を乗算した第１の乗算値と、前記各フレームの直前のフレームにおいて前記トーンカーブパターン更新部より出力された代表点群に係数ｋを乗算した第２の乗算値を生成し、第１の乗算値と第２の乗算値とを加算した合成代表点群を更新した代表点群として出力する。

上記の映像信号処理装置において、前記シーンチェンジ検出部によってシーンチェンジが検出されず、前記フレームカウンタのカウント値が前記所定の値に到達したフレームの次の前記初期値にリセットされたフレームにおいては、前記初期値にリセットされた現在フレームにおいて選択されたトーンカーブパターンの代表点群を更新用の代表点群に設定し、設定された更新用の代表点群に係数（１−ｋ）を乗算した第１の乗算値と、前記現在フレームの直前のフレームにおいて前記トーンカーブパターン更新部より出力された代表点群に係数ｋを乗算した第２の乗算値を生成し、第１の乗算値と第２の乗算値とを加算した合成代表点群を更新した代表点群として出力する。

上記の映像信号処理装置において、前記シーンチェンジ検出部によってシーンチェンジが検出されて、前記フレームカウンタのカウント値が前記初期値にリセットされたフレームにおいては、前記初期値にリセットされた現在フレームにおいて選択されたトーンカーブパターンの代表点群を更新した代表点群として出力する。

本発明は、入力された映像信号の各フレームの画像について低階調側から高階調側までの階調の分布を解析し、解析された画像の階調の分布に応じて、前記映像信号の階調と画像の明るさとの関係を決める複数のトーンカーブパターンのうちのいずれかのトーンカーブパターンを選択し、前記映像信号のシーンチェンジの有無を検出し、フレームカウンタによって、前記映像信号のフレームの進行に伴って初期値から所定の値までカウントし、カウント値が前記所定の値に到達したら前記初期値にリセットし、シーンチェンジが検出されたら、カウント値が前記所定の値に到達していなくても前記初期値にリセットし、各フレームにおいて、トーンカーブパターンの更新した代表点群を生成して出力し、出力された代表点群をスプライン補間して、補間されたトーンカーブパターンを生成し、シーンチェンジが検出されず、前記フレームカウンタのカウント値が前記所定の値に到達するまでの各フレームにおいては、カウント値が前記初期値にリセットされた直近のフレームにおいて選択されたトーンカーブパターンの代表点群を更新用の代表点群に設定し、ｋを１未満の所定の正の係数として、設定された更新用の代表点群に係数（１−ｋ）を乗算した第１の乗算値と、前記各フレームの直前のフレームにおいて出力された代表点群に係数ｋを乗算した第２の乗算値を生成し、第１の乗算値と第２の乗算値とを加算した合成代表点群を更新した代表点群として出力し、シーンチェンジが検出されず、前記フレームカウンタのカウント値が前記所定の値に到達したフレームの次の前記初期値にリセットされたフレームにおいては、前記初期値にリセットされた現在フレームにおいて選択されたトーンカーブパターンの代表点群を更新用の代表点群に設定し、設定された更新用の代表点群に係数（１−ｋ）を乗算した第１の乗算値と、前記現在フレームの直前のフレームにおいて出力された代表点群に係数ｋを乗算した第２の乗算値を生成し、第１の乗算値と第２の乗算値とを加算した合成代表点群を更新した代表点群として出力し、シーンチェンジが検出されて、前記フレームカウンタのカウント値が前記初期値にリセットされたフレームにおいては、前記初期値にリセットされた現在フレームにおいて選択されたトーンカーブパターンの代表点群を更新した代表点群として出力する映像信号処理方法を提供する。

本発明の映像信号処理装置及び映像信号処理方法によれば、映像信号の画像内容に応じた適切な明るさで画像を表示することができるよう映像信号を処理することができる。

一実施形態の映像信号処理装置を示すブロック図である。一実施形態の映像信号処理装置のヒストグラム生成部が生成する輝度ヒストグラムの一例を示す図である。一実施形態の映像信号処理装置の累積ヒストグラム生成部が生成する累積ヒストグラムの一例を示す図である。一実施形態の映像信号処理装置の百分位数情報変換部が求める累積ヒストグラムの百分位数に対応する階級を示す図である。一実施形態の映像信号処理装置のトーンカーブパターン選択部が百分位数の階級に基づいてトーンカーブパターンを選択する第１の例を示す図である。一実施形態の映像信号処理装置のトーンカーブパターン選択部が百分位数の階級に基づいてトーンカーブパターンを選択する第２の例を示す図である。トーンカーブパターン選択部が選択するトーンカーブパターンの例を示す特性図である。トーンカーブパターンを形成する複数の離散点を示す特性図である。一実施形態の映像信号処理装置のシーンチェンジ検出部がシーンチェンジなしと検出する例を示す図である。一実施形態の映像信号処理装置のシーンチェンジ検出部がシーンチェンジありと検出する例を示す図である。一実施形態の映像信号処理装置のトーンカーブパターン更新部で実行される処理であり、一実施形態の映像信号処理方法を示すフローチャートである。トーンカーブパターン更新部が備える部分的な構成を示すブロック図である。一実施形態の映像信号処理装置のトーンカーブパターン更新部及びスプライン補間部による処理を概念的に示す特性図である。一実施形態の映像信号処理装置及び映像信号処理方法によってトーンカーブパターンの代表点群が更新される例を示す表である。

以下、一実施形態の映像信号処理装置及び映像信号処理方法について、添付図面を参照して説明する。図１において、入力映像信号の一例である、１２ビットの３原色Ｒ（赤）、Ｇ（緑）、Ｂ（青）信号は、輝度信号変換部１１及びフレームバッファ１９に入力される。輝度信号変換部１１は、ＲＧＢ信号を輝度信号に変換して、ヒストグラム生成部１２に供給する。フレームバッファ１９は入力されたＲＧＢ信号を保持する。

入力映像信号が輝度及び色差信号である場合には輝度信号変換部１１を設ける必要はなく、輝度信号をヒストグラム生成部１２に供給すればよい。

ヒストグラム生成部１２は、各フレームにおいて、４０９６階調の輝度信号を例えば６４階調ごとの６４階級に分割し、各階級の輝度の頻度を求めて輝度ヒストグラムを生成する。階級数及び１つの階級を何階調とするかは任意である。輝度ヒストグラムは、累積ヒストグラム生成部１３及びシーンチェンジ検出部１７に供給される。

図２は、輝度ヒストグラムの一例を示す。累積ヒストグラム生成部１３は、輝度ヒストグラムにおける階級２においては階級１と階級２とを加算した頻度、階級３においては階級１〜３、階級４においては階級１〜４のように、各階級以下の頻度を累積した累積ヒストグラムを生成する。図３は、累積ヒストグラムの一例を示す。累積ヒストグラムは百分位数情報変換部１４に供給される。

図４に示すように、百分位数情報変換部１４は、一例として、百分位数２５％、５０％、７５％、９０％、９５％、９９％が得られる階級を求める。図３に示すように、最上位の階級６４における累積頻度を１００％とする。百分位数９９％の階級とは、累積頻度が９９％となっている階級であり、百分位数９０％とは、累積頻度が９０％となっている階級である。図３に示す例では、百分位数９９％の階級は６４であり、百分位数９０％の階級は６２である。

図４に示す例では、百分位数２５％、５０％、７５％、９０％、９５％、９９％の階級はそれぞれ、１７、２８、４６、６２、６３、６４である。百分位数情報変換部１４は、百分位数２５％、５０％、７５％、９０％、９５％、９９％全ての階級を求める必要はなく、百分位数９０％及び９９％または百分位数９９％のみのように、選択した百分位数のみの階級を求めてもよい。

トーンカーブパターン選択部１５は、百分位数情報変換部１４で得られた所定の百分位数の階級に基づいて、トーンカーブパターンを選択する。図５Ａは、百分位数９９％の階級と９０％の階級との組み合わせに基づいてトーンカーブパターンを選択する例を示す。図５Ｂは、百分位数９９％の階級に基づいてトーンカーブパターンを選択する例を示す。

図６に示すように、トーンカーブパターンとは、階調と画像の明るさをどのような特性で表現するかを示す階調曲線のパターンである。トーンカーブパターンによって、映像信号の階調と表示される画像の明るさとの関係が決まる。

図６は、複数のトーンカーブパターンのうちの選択した４つのパターンＰｔｎ１〜Ｐｔｎ４を示している。なお、図５Ａまたは図５Ｂに示すトーンカーブパターンの０、１、２…とは、パターンＰｔｎ１〜Ｐｔｎ４または図示されていない他のパターンのいずれかである。

詳細には、トーンカーブパターンは、図７に示すような階調曲線のパターンを形成する白丸で示す複数の離散点よりなる。図７は、図６に示す４つのパターンのうちのパターンＰｔｎ２を形成する離散点を示している。トーンカーブパターンを複数の離散点で構成することにより、トーンカーブパターン選択部１５が保持するトーンカーブパターンの容量を小さくすることができる。

ヒストグラム生成部１２〜百分位数情報変換部１４は、入力映像信号の各フレームが全体的な傾向として高階調を含む明るい画像であるのか、低階調を中心とする暗い画像であるのかを検出している。ヒストグラム生成部１２〜百分位数情報変換部１４に代えて各フレーム内のピーク輝度を検出するピーク輝度検出部を設けてもよい。トーンカーブパターン選択部１５は、各フレーム内のピーク輝度に基づいてトーンカーブパターンを選択してもよい。

映像信号処理装置は、入力映像信号の各フレームの画像の階調が低階調側から高階調側までの間でどのように分布しているかを解析する階調解析部を備えればよい。ヒストグラム生成部１２〜百分位数情報変換部１４は、階調解析部の一例であり、ピーク輝度検出部は階調解析部の他の例である。ピーク輝度検出部では階調が低階調側から高階調側までの間でどのように分布しているかを厳密には解析することはできない。しかしながら、ピーク輝度が高階調側に位置していれば、大方、階調が低階調側から高階調側まで分布していると想定でき、ピーク輝度が低階調側に位置していれば、階調は低階調側に集中していると想定できる。

本実施形態のように、ヒストグラム生成部１２が生成する度ヒストグラムに基づいて階調の分布を解析すれば階調の分布を高精度に解析することができる。よって、階調解析部は、ヒストグラム生成部１２を備える構成であることが好ましい。

図８及び図９を用いて、シーンチェンジ検出部１７がどのようにシーンチェンジを検出するかを説明する。図８及び図９において、（ｂ）はヒストグラム生成部１２が現在フレームにおいて生成した輝度ヒストグラム、（ａ）はヒストグラム生成部１２が直前のフレームにおいて生成した輝度ヒストグラムを示している。図８は、現在フレームにおいてシーンチェンジが発生した場合、図９は、現在フレームにおいてシーンチェンジが発生していない場合を示している。

シーンチェンジ検出部１７が備える減算器１７１は、現在フレームの輝度ヒストグラムと直前のフレームの輝度ヒストグラムとの階級ごとの差分値の絶対値を求める。図８及び図９において、（ｃ）は各階級の頻度差分絶対値を示す。シーンチェンジ検出部１７が備える加算器１７２は、全ての階級の頻度差分絶対値を加算する。シーンチェンジ検出部１７が備える比較器１７３は、全ての階級の頻度差分絶対値の総和を所定の閾値と比較して、閾値以下であればシーンチェンジが発生していないと判定し、閾値を超えればシーンチェンジが発生したと判定する。

図８に示すように、シーンチェンジが発生していないと判定した場合、比較器１７３はシーンチェンジの検出値として“０”を出力する。図９に示すように、シーンチェンジが発生したと判定した場合、比較器１７３はシーンチェンジの検出値として“１”を出力する。シーンチェンジ検出部１７が生成した検出値はトーンカーブパターン更新部１６に供給される。

シーンチェンジ検出部１７は、輝度ヒストグラムに基づいてシーンチェンジ発生の有無を検出することに限定されない。階調解析部としてヒストグラム生成部１２を備える構成であれば、輝度ヒストグラムに基づいてシーンチェンジ発生の有無を検出するのがよい。

トーンカーブパターン更新部１６は、図１０のフローチャートで示す処理によってトーンカーブパターンを更新する。図１０において、トーンカーブパターン更新部１６は、ステップＳ６１１にて、シーンチェンジの検出値を取得する。ステップＳ６１２にてシーンチェンジがなければ（NO）（即ち、検出値が“０”であれば）、トーンカーブパターン更新部１６は処理をステップＳ６１３に移行させる。ステップＳ６１２にてシーンチェンジがあれば（YES）（即ち、検出値が“１”であれば）、トーンカーブパターン更新部１６は処理をステップＳ６１６に移行させる。

図１に示すように、トーンカーブパターン更新部１６はフレームカウンタ１６１を備える。フレームカウンタ１６１には図示していないフレーム同期パルスが供給され、フレームの進行に伴って初期値から所定の値までカウントし、後述する条件でカウント値を初期値にリセットする。ここでは初期値を１とする。

図１０に戻り、トーンカーブパターン更新部１６は、ステップＳ６１３にて、フレームカウンタ１６１のカウント値が所定の値となっているか否かを判定する。所定の値は、例えば１０のように適宜の値に設定すればよい。フレームカウンタ１６１のカウント値が所定の値となっていなければ（NO）、トーンカーブパターン更新部１６は、ステップＳ６１４にて、カウント値を１インクリメントして処理をステップＳ６１７に移行させる。

まず、シーンチェンジがなく、フレームカウンタ１６１のカウント値が所定の値とっていない場合に、トーンカーブパターン更新部１６がどのようにトーンカーブパターンを更新するかを説明する。

トーンカーブパターン更新部１６は、ステップＳ６１７にて、カウント値が１にリセットされた直近のフレームで選択されたトーンカーブパターンの代表点群を更新用の代表点群に設定する。カウント値が１にリセットされたフレームとは、シーンチェンジが検出されたフレーム、または、カウント値が所定の値に到達したフレームの次のフレームである。

トーンカーブパターン更新部１６は、ステップＳ６２０にて、更新用の代表点群に係数（１−ｋ）を乗算した第１の乗算値と、直前のフレームでトーンカーブパターン更新部１６より出力されたトーンカーブパターンの代表点群に係数ｋを乗算した第２の乗算値を生成する。ｋは１未満の正の数である。

トーンカーブパターン更新部１６は、ステップＳ６２１にて、第１の乗算値と第２の乗算値とを加算した合成代表点群を更新された代表点群としてスプライン補間部１８に供給して、次のフレームで処理をステップＳ６１１に戻す。

トーンカーブパターン更新部１６は、図１１に示すフィードバック処理を実行する構成を有する。トーンカーブパターン更新部１６は、更新用の代表点群を記憶する記憶部１６２、トーンカーブパターン更新部１６より出力されてスプライン補間部１８に供給されるトーンカーブパターンの代表点群を記憶する記憶部１６３、乗算器１６４及び１６５、加算器１６６を備える。図１１に示す構成によって、ステップＳ６１７、Ｓ６２０及びＳ６２１の処理が実行される。

係数ｋは０．５を超える値とするのがよい。ここでは、係数ｋを例えば０．７５とする。係数ｋは０．５を超える値とすると、更新用の代表点群よりも直前のフレームにおいて生成されてトーンカーブパターン更新部１６より出力される代表点群の比率が大きくなるため、トーンカーブパターンの代表点群が徐々に変化して、視覚的な違和感を覚えにくい。

このように、トーンカーブパターン更新部１６は、シーンチェンジがない場合、フレームカウンタ１６１のカウント値が所定の値に到達するまでの各フレームにおいては、ステップＳ６１７、Ｓ６２０及びＳ６２１の処理を繰り返す。

次に、シーンチェンジがなく、フレームカウンタ１６１のカウント値が所定の値となっている場合に、トーンカーブパターン更新部１６がどのようにトーンカーブパターンを更新するかを説明する。ステップＳ６１３にてカウント値が所定の値となっていれば（YES）、トーンカーブパターン更新部１６は、ステップＳ６１５にて、カウント値を１にリセットして処理をステップＳ６１８に移行させる。

トーンカーブパターン更新部１６は、ステップＳ６１８にて、現在フレームで選択されたトーンカーブパターンの代表点群を更新用の代表点群に設定する。トーンカーブパターン更新部１６は、ステップＳ６２０にて、更新用の代表点群に係数（１−ｋ）を乗算した第１の乗算値と、直前のフレームでトーンカーブパターン更新部１６より出力されたトーンカーブパターンの代表点群に係数ｋを乗算した第２の乗算値を生成する。

ステップＳ６１８からステップＳ６２０へと移行した場合、記憶部１６２には、現在フレームで選択されたトーンカーブパターンの代表点群が更新用の代表点群として記憶される。図１１に示す構成によって、ステップＳ６１８、Ｓ６２０及びＳ６２１の処理が実行される。

このように、トーンカーブパターン更新部１６は、シーンチェンジがない場合、フレームカウンタ１６１のカウント値が所定の値に到達したフレームの次のフレームにおいて、カウント値を１にリセットする。トーンカーブパターン更新部１６は、カウント値がリセットされた現在フレームにおいて選択されたトーンカーブパターンの代表点群を更新用の代表点群に設定して、ステップＳ６２０及びＳ６２１の処理を実行する。

さらに、シーンチェンジがあったときに、トーンカーブパターン更新部１６がどのようにトーンカーブパターンを更新するかを説明する。トーンカーブパターン更新部１６は、ステップＳ６１６にて、カウント値を１にリセットして処理をステップＳ６１９に移行させる。

トーンカーブパターン更新部１６は、ステップＳ６１９にて、カウント値がリセットされた現在フレームで選択されたトーンカーブパターンの代表点群をそのままスプライン補間部１８に供給して、次のフレームで処理をステップＳ６１１に戻す。シーンチェンジがあったときには、過去のフレームで選択されたトーンカーブパターンの代表点群の影響を受けないため、トーンカーブパターンの代表点群が即座に新規の代表点群に変更される。

図１に戻り、スプライン補間部１８は、トーンカーブパターン更新部１６から供給されたトーンカーブパターンの代表点群をスプライン補間して、トーンカーブパターンを構成する点を増加させる。

ここで、トーンカーブパターン更新部１６が図１０のステップＳ６２０及びＳ６２１を実行して、スプライン補間部１８がトーンカーブパターンの代表点群をスプライン補間する場合を例とする。図１２において、パターンＰｔｎ２’は直前のフレームでトーンカーブパターン更新部１６より出力されたトーンカーブパターンであり、パターンＰｔｎ３は更新用のトーンカーブパターンである。パターンＰｔｎ２’及びＰｔｎ３においては、代表点群の図示を省略している。

概念的に説明すると、ステップＳ６２０及びＳ６２１の処理によって、パターンＰｔｎ２’とパターンＰｔｎ３とを合成したパターンＰｔｎ２３の白丸で示す代表点群が生成される。スプライン補間部１８は、スプライン補間によって黒丸で示す補間点を生成して、パターンＰｔｎ２３を構成する点を増加させる。図１２においては、簡略化のため、補間点を隣接する代表点の間に１つのみ示している。実際にはさらに多くの補間点が生成される。

図１３に示す表を参照して、トーンカーブパターンの代表点群が更新される例を説明する。図１３においては簡略化のため、フレームカウンタ１６１のカウント値の所定の値を４とする。フレームはフレーム番号０、１、２、…と１ずつ順に増加する。

現在フレームで選択されたトーンカーブパターンを＃０、＃１、＃２、…とする。トーンカーブパターン＃０、＃１、＃２、…はパターンＰｔｎ１〜Ｐｔｎ４またはその他の特定のパターンを示すものではない。例えば、トーンカーブパターン＃０はフレーム番号０のフレームにおいて選択されたトーンカーブパターン、トーンカーブパターン＃１フレーム番号１のフレームにおいて選択されたトーンカーブパターンを意味する。

上記のように、シーンチェンジが発生していない場合にはシーンチェンジの検出値は“０”、シーンチェンジが発生した場合にはシーンチェンジの検出値は“１”である。よって、シーンチェンジの検出有無の“０”はシーンチェンジあり、“１”はシーンチェンジなしを示す。フレームカウンタ１６１のカウント値は１から４まで１ずつ増加した後に１にリセットされ、シーンチェンジがあれば、カウント値が４に達していなくても１にリセットされる。

図１３の例では、フレーム番号３のフレームにおいてシーンチェンジがあってフレームカウンタ１６１のカウント値が１にリセットされる。フレーム番号０から２の各フレームにおいては、図１０のステップＳ６１４、Ｓ６１７、Ｓ６２０、Ｓ６２１の処理が実行される。具体的には、トーンカーブパターン更新部１６は、カウント値が１にリセットされたフレーム番号０のフレームにおいて選択されたトーンカーブパターン＃０の代表点群を更新用の代表点群とする。

トーンカーブパターン更新部１６は、フレーム番号０のフレームにおいては、０．２５×（トーンカーブパターン＃０の代表点群）＋０．７５×（フレーム番号−１のフレームでの出力結果）の計算式に基づき、代表点群を更新する。トーンカーブパターン更新部１６は、フレーム番号１のフレームにおいては、０．２５×（トーンカーブパターン＃０の代表点群）＋０．７５×（フレーム番号０のフレームでの出力結果）の計算式に基づき、代表点群を更新する。

トーンカーブパターン更新部１６は、フレーム番号２のフレームにおいては、０．２５×（トーンカーブパターン＃０の代表点群）＋０．７５×（フレーム番号１のフレームでの出力結果）の計算式に基づき、代表点群を更新する。

フレーム番号３のフレームにおいては、シーンチェンジがあるので、図１０のステップＳ６１６及びＳ６１９の処理が実行される。具体的には、トーンカーブパターン更新部１６は、カウント値が１にリセットされたフレーム番号３のフレームにおいて選択されたトーンカーブパターン＃３の代表点群をそのまま出力する。

フレーム番号４〜６の各フレームにおいては、図１０のステップＳ６１４、Ｓ６１７、Ｓ６２０、Ｓ６２１の処理が実行される。トーンカーブパターン更新部１６は、カウント値が１にリセットされたフレーム番号３のフレームにおいて選択されたトーンカーブパターン＃３の代表点群を更新用の代表点群とする。

トーンカーブパターン更新部１６は、フレーム番号４のフレームにおいては、０．２５×（トーンカーブパターン＃３の代表点群）＋０．７５×（フレーム番号３のフレームでの出力結果）の計算式に基づき、代表点群を更新する。トーンカーブパターン更新部１６は、フレーム番号５のフレームにおいては、０．２５×（トーンカーブパターン＃３の代表点群）＋０．７５×（フレーム番号４のフレームでの出力結果）の計算式に基づき、代表点群を更新する。

トーンカーブパターン更新部１６は、フレーム番号６のフレームにおいては、０．２５×（トーンカーブパターン＃３の代表点群）＋０．７５×（フレーム番号５のフレームでの出力結果）の計算式に基づき、代表点群を更新する。

フレーム番号７のフレームにおいては、図１０のステップＳ６１５、Ｓ６１８、Ｓ６２０、Ｓ６２１の処理が実行される。具体的には、トーンカーブパターン更新部１６は、カウント値が１にリセットされたフレーム番号７の現在フレームにおいて選択されたトーンカーブパターン＃７の代表点群を更新用の代表点群とする。トーンカーブパターン更新部１６は、フレーム番号７のフレームにおいては、０．２５×（トーンカーブパターン＃７の代表点群）＋０．７５×（フレーム番号６のフレームでの出力結果）の計算式に基づき、代表点群を更新する。

フレーム番号８のフレームにおいては、図１０のステップＳ６１４、Ｓ６１７、Ｓ６２０、Ｓ６２１の処理が実行される。トーンカーブパターン更新部１６は、フレーム番号７のフレームにおいて選択されたトーンカーブパターン＃７の代表点群を更新用の代表点群とする。トーンカーブパターン更新部１６は、フレーム番号８のフレームにおいては、０．２５×（トーンカーブパターン＃７の代表点群）＋０．７５×（フレーム番号７のフレームでの出力結果）の計算式に基づき、代表点群を更新する。

図１に戻り、ガンマ変換部２０は、フレームバッファ１９より読み出されたＲＧＢ信号を、スプライン補間部１８より出力されたトーンカーブパターンに基づいてガンマ変換して液晶表示デバイス２１に供給する。ＲＧＢ信号は、輝度信号変換部１１からスプライン補間部１８までの処理に要する時間だけ遅延されて読み出される。これにより、各フレームの階調の分布の解析結果に基づいて生成したトーンカーブパターンに基づくガンマ変換が対応する各フレームに施される。

液晶表示デバイス２１は透過型または反射型の液晶表示デバイスである。液晶表示デバイス２１によって変調されたＲＧＢ信号に基づく画像は、図示していない投射レンズによってスクリーンに投射される。

本実施形態の映像信号処理装置及び映像信号処理方法においては、シーンチェンジごとにトーンカーブパターンを変更するだけでなく、シーンチェンジがない複数のフレームにおける所定のフレーム単位でトーンカーブパターンの更新用の代表点群を変更する。従って、本実施形態の映像信号処理装置及び映像信号処理方法によれば、映像信号の画像内容に応じた適切な明るさで画像を表示することが可能となる。

本実施形態の映像信号処理装置及び映像信号処理方法によれば、シーンチェンジが検出されたフレームを除き、トーンカーブパターン更新部より出力された代表点群をトーンカーブパターンの更新に反映させているので、トーンカーブパターンを滑らかに変更することができる。よって、投射画像の観察者は、トーンカーブパターンを更新することに伴う違和感をほとんど覚えることがない。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。映像信号処理装置は集積回路のようなハードウェアで構成されることに限定されず、図１０の処理をマイクロコンピュータに実行させるコンピュータプログラム（映像信号処理プログラム）で構成することも可能である。映像信号処理装置はＦＰＧＡ（Field Programmable Gate Array）で構成されていてもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）で構成されていてもよい。

１１輝度信号変換部
１２ヒストグラム生成部
１３累積ヒストグラム生成部
１４百分位数情報変換部
１５トーンカーブパターン選択部
１６トーンカーブパターン更新部
１７シーンチェンジ検出部
１８スプライン補間部
１９フレームバッファ
２０ガンマ変換部
２１液晶表示デバイス
１６１フレームカウンタ

Claims

入力された映像信号の各フレームの画像について低階調側から高階調側までの階調の分布を解析する階調解析部と、
前記階調解析部が解析した画像の階調の分布に応じて、前記映像信号の階調と画像の明るさとの関係を決める複数のトーンカーブパターンのうちのいずれかのトーンカーブパターンを選択するトーンカーブパターン選択部と、
前記映像信号のシーンチェンジの有無を検出するシーンチェンジ検出部と、
前記映像信号のフレームの進行に伴って初期値から所定の値までカウントし、カウント値が前記所定の値に到達したら前記初期値にリセットし、前記シーンチェンジ検出部によってシーンチェンジが検出されたら、カウント値が前記所定の値に到達していなくても前記初期値にリセットするフレームカウンタを有し、トーンカーブパターンの更新した代表点群を生成して出力するトーンカーブパターン更新部と、
前記トーンカーブパターン更新部より出力された代表点群をスプライン補間して、補間されたトーンカーブパターンを生成するスプライン補間部と、
を備え、
前記トーンカーブパターン更新部は、
前記シーンチェンジ検出部によってシーンチェンジが検出されず、前記フレームカウンタのカウント値が前記所定の値に到達するまでの各フレームにおいては、カウント値が前記初期値にリセットされた直近のフレームにおいて選択されたトーンカーブパターンの代表点群を更新用の代表点群に設定し、ｋを１未満の所定の正の係数として、設定された更新用の代表点群に係数（１−ｋ）を乗算した第１の乗算値と、前記各フレームの直前のフレームにおいて前記トーンカーブパターン更新部より出力された代表点群に係数ｋを乗算した第２の乗算値を生成し、第１の乗算値と第２の乗算値とを加算した合成代表点群を更新した代表点群として出力し、
前記シーンチェンジ検出部によってシーンチェンジが検出されず、前記フレームカウンタのカウント値が前記所定の値に到達したフレームの次の前記初期値にリセットされたフレームにおいては、前記初期値にリセットされた現在フレームにおいて選択されたトーンカーブパターンの代表点群を更新用の代表点群に設定し、設定された更新用の代表点群に係数（１−ｋ）を乗算した第１の乗算値と、前記現在フレームの直前のフレームにおいて前記トーンカーブパターン更新部より出力された代表点群に係数ｋを乗算した第２の乗算値を生成し、第１の乗算値と第２の乗算値とを加算した合成代表点群を更新した代表点群として出力し、
前記シーンチェンジ検出部によってシーンチェンジが検出されて、前記フレームカウンタのカウント値が前記初期値にリセットされたフレームにおいては、前記初期値にリセットされた現在フレームにおいて選択されたトーンカーブパターンの代表点群を更新した代表点群として出力する
映像信号処理装置。
前記階調解析部は、前記映像信号の階調を複数の階級に分割して各階級の輝度の頻度を示す輝度ヒストグラムに基づいて階調の分布を解析する請求項１に記載の映像信号処理装置。
前記シーンチェンジ検出部は、前記輝度ヒストグラムに基づいて前記映像信号のシーンチェンジの有無を検出する請求項２に記載の映像信号処理装置。
係数ｋは、０．５を超える値である請求項１〜３のいずれか１項に記載の映像信号処理装置。
入力された映像信号の各フレームの画像について低階調側から高階調側までの階調の分布を解析し、
解析された画像の階調の分布に応じて、前記映像信号の階調と画像の明るさとの関係を決める複数のトーンカーブパターンのうちのいずれかのトーンカーブパターンを選択し、
前記映像信号のシーンチェンジの有無を検出し、
フレームカウンタによって、前記映像信号のフレームの進行に伴って初期値から所定の値までカウントし、カウント値が前記所定の値に到達したら前記初期値にリセットし、シーンチェンジが検出されたら、カウント値が前記所定の値に到達していなくても前記初期値にリセットし、
各フレームにおいて、トーンカーブパターンの更新した代表点群を生成して出力し、
出力された代表点群をスプライン補間して、補間されたトーンカーブパターンを生成し、
シーンチェンジが検出されず、前記フレームカウンタのカウント値が前記所定の値に到達するまでの各フレームにおいては、カウント値が前記初期値にリセットされた直近のフレームにおいて選択されたトーンカーブパターンの代表点群を更新用の代表点群に設定し、ｋを１未満の所定の正の係数として、設定された更新用の代表点群に係数（１−ｋ）を乗算した第１の乗算値と、前記各フレームの直前のフレームにおいて出力された代表点群に係数ｋを乗算した第２の乗算値を生成し、第１の乗算値と第２の乗算値とを加算した合成代表点群を更新した代表点群として出力し、
シーンチェンジが検出されず、前記フレームカウンタのカウント値が前記所定の値に到達したフレームの次の前記初期値にリセットされたフレームにおいては、前記初期値にリセットされた現在フレームにおいて選択されたトーンカーブパターンの代表点群を更新用の代表点群に設定し、設定された更新用の代表点群に係数（１−ｋ）を乗算した第１の乗算値と、前記現在フレームの直前のフレームにおいて出力された代表点群に係数ｋを乗算した第２の乗算値を生成し、第１の乗算値と第２の乗算値とを加算した合成代表点群を更新した代表点群として出力し、
シーンチェンジが検出されて、前記フレームカウンタのカウント値が前記初期値にリセットされたフレームにおいては、前記初期値にリセットされた現在フレームにおいて選択されたトーンカーブパターンの代表点群を更新した代表点群として出力する
映像信号処理方法。