JP2010141897A

JP2010141897A - ビデオ内の色視覚差予測方法及び移動イメージ色見えモデル用システム

Info

Publication number: JP2010141897A
Application number: JP2009283345A
Authority: JP
Inventors: Kevin M Ferguson; ケビン・エム・ファーガソン
Original assignee: Tektronix Inc
Current assignee: Tektronix Inc
Priority date: 2008-12-12
Filing date: 2009-12-14
Publication date: 2010-06-24
Anticipated expiration: 2029-12-14
Also published as: JP2010154529A; US8781222B2; ATE545283T1; EP2200329B1; ATE522090T1; EP2200333A3; US8355567B2; EP2200333B1; EP2200329A1; EP2200333A2; US20100150409A1; JP5229669B2; US20100149344A1

Abstract

【課題】移動イメージ色見えをモデル化する。
【解決手段】入力がビデオ信号を受け、白色発生器がビデオ信号から未ろ波白色信号を生成する。コーン応答発生器は、入力に結合されて、ビデオ信号からの１組のコーン応答を発生する。空間中心フィルタは、１組のコーン応答の１つの空間中心を発生する。空間的周辺フィルタは、１組のコーン応答の１つの空間周辺を発生する。時間的周辺フィルタは、空間中心、空間周辺及び未ろ波白色信号から時間的周辺を発生する。
【選択図】図１

Description

本発明は、ビデオの画像品質用のビデオ試験測定機器に関し、特に、ビデオ内の色視覚差予測方法及び移動イメージ色見えモデル用システムに関する。

ビデオ又はイメージのストリームを操作するとき、例えば、ビデオを圧縮してＤＶＤに蓄積するか又はテレビジョン・チャネルにより伝送するとき、または、ビデオをあるフォーマットから他のフォーマットに変換するとき、この操作は、圧縮又は変換からのアーティファクトを結果のビデオに導入する。人間の目の生理及び現象により、また、目が光及び動きを知覚する方法により、ときどき、人間の観察者にはこれらアーティファクトが目に見えないか又は知覚できない。他のときには、アーティファクトがはっきりと見える。結果のビデオ・データを単に分析することにより、操作されたビデオをどのように知覚するかを判断することがほぼ可能である。

この代わりには、ビデオ品質を評価するのに集まった人々の統計的大多数を調査することにより、ビデオ品質を最良に判断する。視聴者は、ビデオを観察し、所定の品質尺度でこのビデオを評価する。しかし、かかる聴衆の評価は、ほとんどのアプリケーションに対して実際的ではなくコスト的に高くなるので、自動的な画像品質評価の方法が開発されてきた。

フル基準（ＦＲ）画像品質分析器は、２つのイメージ又は２つのイメージ・ストリームを比較し、人間がビデオ変換の品質をどのように知覚するか、又はオリジナルの試験ストリーム及び変更した試験ストリームの間の一致をどのように知覚するかの「スコア」又は他の尺度を発生する。高いスコアは、高品質の変換を示すが、低いスコアは、結果のビデオがそのオリジナルの劣化したものであることを示す。

断片的であるが、最先端においては、画像品質分析は、１）ビデオ品質の計算に色分析を含んでいないか、又は、２）色ＰＳＮＲ（ピーク信号対ノイズ比）の如き簡単なオブジェクト測定、若しくはブロックキング又はリンギングの如き色欠陥測定を含んでいるが、時空的なコンテキストに応じた色変化の検知にて大きな変化を起こす人間の視覚システムの適合メカニズムを考慮しない。

ビデオ品質での計算において色分析を含んでいない画像品質測定装置の例は、テクトロニクスＰＱＡ５００型である。分析をルミナンス（光の強さ）値のみで行う。色見えモデルにフィルタを追加する提案が公表されているが、今までのところ、これらは（静的ガウシャン空間フィルタの如き）固定モデルである。ＰＱＡ５００型のルミナンス知覚モデルにおいて、順応応答は、「周辺」時空的フィルタの出力として示される統合順応点に関連し、時間及び空間における高い分解能が「中心」時空フィルタにより設定される。輝度の知覚できるエラーを検出する最先端であるこのルミナンスだけの方法は、ルミナンス・エラー及びクロマ・エラーが密接に相関しているという主な傾向により、ほとんどのビデオ伝送システムの評価アプリケーションには充分であった。しかし、エンコーダ及び他のビデオ処理装置における柔軟性と、より複雑なシステムでは、色エラーとして主に見える欠陥の機会が増える。例えば、ビデオ放送及びウェブキャストにおいて、入力ビデオと１つ以上の処理又は表示コンポーネントの色度測定が不一致となり、全域の色の外をクリップし、いくつかの場合には、全域の色の外を反対の色にオーバーフローさせる。ルミナンス分析は、これらのエラーの大部分の検出を失敗するので、品質評価が不正確になる。

特開２００１−１９７５２７号公報特開２００３−１９９１２７号公報

本発明の実施例では、従来技術のこれらの及びその他の制限を解決する。

上述の課題を解決するために、本発明は次のように構成される。
（１）被分析ビデオ信号を受け；ビデオ表示及び観察環境に応じた未ろ波白色信号を受け；上記ビデオ信号から空間的周辺を生成し；上記ビデオ信号から空間的中心を生成し；１つ以上の重み付けファクタを用いて、上記空間的周辺、上記空間的中心及び上記未ろ波白色信号の組合せから上記ビデオ信号の時間的周辺を生成するビデオ内の色視覚差予測方法。
（２）上記未ろ波白色信号は、１つ以上の周囲の白色信号、表示白色信号及び絶対白色信号の組合せである概念１の方法。
（３）更に、第１組合せ重み付けファクタに応じて上記周囲白色信号及び上記表示白色信号を組合せて、中間白色信号を生成し；第２組合せ重み付けファクタに応じて上記中間白色信号及び上記全体白色信号を組合せて上記未ろ波白色信号を生成する概念２の方法。
（４）時間的周辺を生成することは、可変レート・フィルタによりデータを時間的にろ波することである観点１の方法。
（５）時間的周辺を生成することは、適応可能フィルタによりデータを時間的にろ波することである観点１の方法。
（６）時間的周辺を生成することは、非対称フィルタによりデータを時間的にろ波することである観点１の方法。
（７）時間的周辺を生成することは、循環フィルタによりデータを時間的にろ波することである観点１の方法。
（８）上記ストリームを時間的に処理することは、第１及び第２ロウパス・フィルタによりデータをろ波することである観点６の方法。
（９）上記第２ロウパス・フィルタの１組の動作パラメータの少なくとも１つは、色動き方向に応じて変化する観点７の方法。
（１０）更に、上記第１及び第２ロウパス・フィルタの出力を加算して上記時間的周辺を発生する概念８の方法。
（１１）ビデオ信号を受けるように構成された入力と；上記ビデオ信号から未ろ波白色信号を生成するように構成された白色発生器と；上記入力に結合され、上記ビデオ信号から１組のコーン応答を発生するように構成されたコーン応答発生器と；上記１組のコーン応答の１つの空間的中心を発生するように構成された空間的中心フィルタと；上記１組のコーン応答の１つの空間的周辺を発生するように構成された空間的周辺フィルタと；上記空間的中心、空間的周辺及び未ろ波白色信号から時間的周辺を発生するように構成された時間的周辺フィルタとを具えた移動イメージ色見えモデル用システム。
（１２）第１重み付けファクタに応じて、上記未ろ波白色信号を上記空間的周辺と組合せるように構成された第１混合制御器を更に具えた概念１１のシステム。
（１３）第２重み付けファクタに応じて、上記第１混合制御器の出力を上記空間的中心と組合せるように構成された第２混合制御器を更に具えた概念１１のシステム。
（１４）上記未ろ波白色信号が、周囲白色信号、表示白色信号及び絶対白色信号の組合せである概念１１のシステム。
（１５）上記時間的周辺フィルタは、第１ロウパス・フィルタと、第２ロウパス・フィルタと、上記第２ロウパス・フィルタの入力及び出力に結合された比較器とを更に具える概念１１のシステム。
（１６）上記１組のコーン応答の各々に対して、１組の空間的中心フィルタ、１組の空間的周辺フィルタ、１組の時間的周辺フィルタを更に具えた概念１１のシステム。
（１７）上記時間的周辺フィルタが可変レート・フィルタである概念１１のシステム。
（１８）上記時間的周辺フィルタが適応可能フィルタである概念１１のシステム。
（１９）上記時間的周辺フィルタが非対称フィルタである概念１１のシステム。
（２０）上記時間的周辺フィルタが循環フィルタである概念１０のシステム。

本発明の実施例による移動イメージ用色分析を実現するシステムの機能ブロック図である。本発明の実施例による図１のシステムの時間周辺処理コンポーネントの機能ブロック図である。図２に示す時間的周辺処理コンポーネントのフィルタの１つのディラック・デルタ・インパルス応答を示すグラフである。図２に示す時間的周辺フィルタの１つの正ディラック・デルタ・インパルス応答を示すグラフである。図４Ａに示した正応答用の同じフィルタの負ディラック・デルタ・インパルス応答を示すグラフである。図２の時間的処理コンポーネントを用いた応答を示すグラフである。ＣＩＥ１９３１｛ｘ、ｙ｝平面における試験刺激を示す図である。図２に示す時間的フィルタを用いて処理した場合と処理しない場合の応答を示す図である。

周辺又は環境が変化すると、又は、他の色を見た後に観察すると、人間の目の色知覚適合により、所定の一定の物理的光刺激を異なる色に見える。一般的には、ダイナミックな光刺激により、空間及び／又は時間の変化により、所定の静止光刺激の知覚が一般には変化したようにみえる。順応による色見えのこの明らかな変化における時間的経過は、多くの刺激状態に応じて決まる。

イルミネーション及び白色点の認識したディスカウントにより、人間は、赤色光のみで照明された白色背景に対してリンゴを観察できると共に、リンゴが赤色か緑色か、又は背景が赤色か白色かを依然判断できる。赤色で照明される限りそれが赤色として見えるが、白色背景が白色であると知ることは、認識のディスカウントの例である。いくつかのアプリケーションにおいて、全体的な色のシフト（この例では、照明色の方向に）のこの形式のディスカウントが望ましいが、他の場合には、ディスカウントが望ましくない。白色バランスには、映画又はテレビ・ショーの場面の間を一致させることが一般的には望ましく、空での太陽の位置のシフト又はスタジオ照明の不注意な変化による色の違いは、望ましくない。一方、インターネット・ブラウザにより表示されるＶＥＳＡ標準色度測定（青みがかった白色点）によるコンピュータ・モニタに対して、標準色度測定により民生液晶テレビ上のコーデック関連欠陥の知覚を評価することが望ましいならば、画像品質評価において、色標準でこれらの違いを含むことは望ましくない。したがって、画像品質測定を行うときに、これら２つの場合及びこれらの間の他の場合もカバーするように、知覚ディスカウントのゼロからフルまでの連続的な制御が重要である。

凝視の可変能力に応じて、知覚色順応が非常に局部的になる。例えば、比較的長時間にわたって固定された点を凝視すると、色の知覚が低下する。代わりに、色順応は、主に、白色でないイルミネーション又はイメージからの他の色によるバイアスの如きバイアスに、全体的に基づいている。固定点での長時間の凝視による局部的な色順応効果により、色残像となり、これは、効果において、ある色に対する目の感度抑圧の結果である。いくつかのアプリケーションにおいて、ほとんど劇的であるこれら局部的順応の影響を予測することは、ビデオ品質を予測するために重要である。他のアプリケーションにおいて、たぶん、全体的な効果のみが関心事である。例えば、約２ダースの人数の個人のビデオ品質の意見を数値的にスコア化した値の平均をとることにより（即ち、ＩＴＵ−ＲＢＴ．５００のように）、ＤＭＯＳ（差平均意見スコア）の如きビデオ品質のスコアを予測するとき、「Systems and Methods for Predicting Video Location of Attention Focus Probability Trajectories Due to Distractions」という名称の米国特許出願公開第２００８／０２６７４４２号明細書に記載のように、注意の焦点の正確な位置を予測することは、予測精度を改善する。かかる場合、統計的にもっともありそうな固定の軌跡をシミュレーションするために、焦点の小さな領域内での局部的色順応が適切であり、関連した局部的な順応が生じる。反対の例では、他の場合で、例えば、プロダクションがBlu-rayDVDを処理するとき、注意の焦点が全ての場所に等しい全てのスポットにおける任意の予測可能な色変化を評価することが望ましく、固定がランダムになる。この場合において、順応をシミュレーションするために、全体的な総計、近似平均、色を用いる。さらに、これら極端な例の間にある場合もあるので、最も望ましいのは、全ての場合に順応する連続的な制御である。

正式なフランス名がCommission internatinale de I'eclairageであるためＣＩＥと略称されるイルミネーションの国際委員会は、最初のCIE Luvが１９７６年に導入以来、いくつかの改善された色見えモデル（ＣＡＭ）を考案した。現在の最も正確なＣＡＭは、参照文献として一体に考慮するＣＩＥＣＡＭ０２として知られている国際標準ＣＡＭである。ＣＩＥＣＡＭ０２開発チームの一部は、ＣＩＥＣＡＭ０２に基づいた静止イメージ色見えモデルｉＣＡＭ及びｉＣＡＭ０６を開発した。これら両方は、イメージの空間的処理を含んでおり、後者は、高いダイナミックのイルミネーション・レンジを扱う余分な処理がある。依然として国際標準がないが、空間応答に影響する距離又は類似の要因を観察する際に、変化を考慮していない。一方、ＣＩＥＣＡＭ０２は、そのオリジナルの用途を広く受け入れられることがわかった。これは、異なる照明環境において、主に、一致する塗料の如き反射光アプリケーション用である。反射光アプリケーションは、彩度及び輝度レベルにおける最大値を除いて直接光よりも小さな全域を示す。しかし、現在の放送ビデオ標準と、最も商業的な表示技術の最大輝度出力とにとって、ビデオ全域は、ＣＩＥＣＡＭ０２ターゲットのほとんどと重なっている。ＣＩＥＣＡＭ０２は、色適合を考慮するが、適合のレベルの入力を必要とし、入力又は出力へのいかなる時間的次元も含んでいない。すなわち、静止周辺及び制御し照明を有する静止色パッチとして機能するようにＣＩＥＣＡＭ０２が設計されている。

高度に順応可能な移動画像色見えモデルは、主観的なビデオ品質の予測方法を改善して、似ていない表示、イメージ・サイズ、観察環境、フレーム・レート及びビデオ品質クラスの比較が可能となる。順応時空輝度応答とＣＩＥＣＡＭ０２「静止パッチ」予測色見えモデルとの組合せは詳細であり、追加の技術は、新たな時間的周辺フィルタを含む色中心周辺時空フィルタを用いる。例示のモデル時間的周辺応答試験の結果は、人間の視覚の知覚応答と良好な比較を行う。

図１は、本発明の実施例により、移動イメージ用に、人間の視覚系のマクロ行動シミュレーションによる色分析を実現するシステム１００の機能ブロック図である。一般に、ビデオ信号をシステム１００に供給する。このシステムは、神経系応答と呼ばれる値、又は一連の値を発生する。これら神経応答の試験及び基準の空間的及び時間的統計の間の差で変換し正規化したものは、顕著な差及び／又は知覚的に等しい増分の如き主観的分類知覚応答に反映する。これら主観的分類知覚応答は、試験ビデオ信号を評価する人が、オリジナルで基準ビデオ信号に関連したビデオ信号の品質をどのように評価するかに影響する。

システム１００は、ＣＩＥＣＡＭ０２処理に一般的に従い、少なくとも２チャネル｛ａ，ｂ｝（そして、実質的な利点が見えないが「直交」｛ａｃ，ｂｃ｝）の色応答を求める。標準処理と異なり、システム１００は、表示モデルを含んでおり、移動イメージの色知覚を考慮して順応空間及び時間の処理に適切なＣＩＥＣＡＭ０２が必要とする入力用の光単位に標準デジタル・ビデオを変換し、更に、認識のディスカウント及び順応局部化のレベルの制御を含んでいる。

まず、ビデオ信号をシミュレーション表示１０２に供給する。この表示は、いくつかの実施例において、ＣＲＴ、ＬＣＤ、ＤＬＰなどをシミュレーションする表示の形式に基づいて、３刺激のＣＩＥ１０３１ＸＹＺ出力を発生する。シミュレーション表示１０２からのシミュレーションされた出力の一部は、「白色」成分値１０４を含んでいる。これは、標準白色値と周囲白色と組合される表示１０２からの白色値のファクタを含んでいる。白色成分値を、詳細に後述する時間的周辺フィルタ１３０に供給すると共に、詳細に後述する混合制御器１２０にも供給する。

ＣＩＥＣＡＭ０２標準に基づくＭＡＴ０２マトリクスの如き変換マトリクス１０６により、シミュレーション表示１０２の出力を、予め順応させたＲＧＢコーン応答に変換する。これを次に空間中心フィルタ１０８に供給する。個別のコーン応答の各々が別々にろ波されるので、図１に示すシステム１００には３個の空間的中心フィルタ１０８があり、各々が赤、緑及び青野コーン応答用である。

空間的中心フィルタ１０８を設定して、２次線形（非適応）ミラーＩＩＲフィルタ応答を発生する。実施例では、名称がAdaptive Spatio-Temporal Filter for Human Vision System Modelsである米国特許第６９０７１４３号の適応空間中心（ｓｃ）フィルタを用いて、適応制御を０に設定し、フィルタ係数を以下の表１に示すように設定する。良好な設定は、各フィルタ・パラメータ用の第１値に対応する。その範囲は、通常の視覚である人間の例として異なる合理的な範囲を反映する。

表１
空間中心フィルタ：２次線形（非適応）ミラーＩＩＲフィルタ：
@ 32サンプル/角度:
~校正された係数の範囲(3つ可能な設定):
b0rsc = b0gsc = 0.357071, b0bsc = 0.214243
又は
b0rsc = 0.357071 又は 0.321364 又は 0.321364
b0gsc = 0.357071 又は0.257091 又は 0.257091
b0bsc = 0.214243 又は 0.205673 又は 0.143971

空間中心フィルタ１０８を通過したコーン応答を次に空間周辺フィルタ１１０への入力として用いる。また、３つの個別の空間周辺フィルタ１１０があり、各々が赤色、緑色及び青色の信号用である。上述の混合制御器１２０と同様に、空間中心フィルタ１０８からの出力を混合制御器１２２に供給する。これは、上述の混合制御器１２０と連携して、どの程度の重み係数を時間周辺フィルタ１３０の入力に供給するかを制御する能力をユーザに与える。これは、図２を参照して詳述する。

図１のシステム１００において、人間の視覚系の各解剖学的成分の空間的及び時間的応答の組合せの近似としての統計的又は「集中」空間的及び／又は時間的応答として、フィルタ１０８、１１０、１３０及び１５０を適用する。線形システムと異なり、フィルタが適用される１００内の処理チェーン内の点が重要であることに留意されたい。線形システムにより、他の処理の前又は後にろ波を行って、システム応答内に影響させない。しかし、色見えの正確な予測を行うのに必要なＣＩＥＣＡＭ０２での非線形性のために、時空的フィルタの統計での空間的及び時間的な中心及び周辺成分は、好ましくは、１００内の重要な点に配置される。統計フィルタの各々を１００内の処理フロー内に注意深く配置して、中間処理の修正の如き望ましくないアーティファクトを生成することから、その後のＣＩＥＣＡＭ０２処理の非線形性を最小にする。オプションとして処理フロー内に配置する他に、完全に透明な時空的応答のために、フィルタ係数（上述で参照した１４３特許のb0）を１．０に設定するならば、ＣＩＥＣＡＭ０２の静的応答を変化なしに維持できる。

図１に示すシステムの主要フィルタ１０８、１１０、１３０からの出力は、白色順応回路１４０によりさらに変調され、各色チャネル用の白色に順応したコーン応答を発生する。これらコーン応答は、最終ろ波ステップ用に時間的中心フィルタ１５０に供給される。いくつかの実施例において、空間的中心フィルタ１０８及び時間的中心フィルタ１５０を共通フィルタに組合せてもよい。１６０に示すように、次に、システム１００は、ＣＩＥＣＡＭ０２処理の残りを適用して、所望の神経性応答を最終的に発生できる。

混合制御器１２０、１２２を戻り参照する。これら制御器により、組合せ出力信号としての１対の入力信号からどの程度の効果を提供できるかをユーザが正確に制御できる。例えば、周辺対表示白色点及び周囲（室内光）ファクタ（順応、認識のディスカウントなど）の影響を制御するために、混合回路１２０は、表示１０２からの白色成分値の入力と共に、空間周辺フィルタ１１０からの出力とを含んでいる。混合制御器１２０への「白色」入力は、組合せた表示白色及び周囲イルミネーションＸＹＺ光組合せへのプリ順応ＲＧＢコーン応答を表す。重み付け値「wgt2」用の値を設定することにより、どの程度の空間的周辺フィルタ１１０からのろ波済み応答を混合制御器１２２に送るかをユーザが判断する。ユーザは、混合制御器１２０を設定して、白色値１０４を１００％ドミナントとし、空間周辺フィルタ１１０の出力を０％ドミナントにできる。純粋な表示及び周囲白色点順応にとってはwgt2=0であり、純粋な空間周辺（各チャネルがＹwに正規化）順応にとってはwgt2=1である。他の設定により、ユーザは、順応重み付け値wgt2を選択して、任意の組合せ値を選択できる。

同様に、混合制御器１２２を基準として、局部的対全体的な色順応を制御するために、ユーザは、重み付け値wgt1を設定して、空間的中心フィルタ１０８の出力と混合制御器１２０からの以前に設定した混合出力からの出力との混合値を選択し、時間的周辺フィルタ１３０への制御された混合入力を発生できる。空間的中心フィルタ出力１０８は、空間的周辺フィルタ１３０及び２つの他の入力の両方に繋がる。これら２つの他の入力は、（色順応に応答可能な）ＣＩＥＣＡＭ０２の白色順応回路１４０部分へのプリ順応コーン応答入力と、混合回路１２０で重み付け値wgt1による重み付けメカニズムとであり、順応の局部的対全体的な空間的概念をどの程度用いるかを制御する。よって、wgt1は、空間的色順応の局部化を制御する。これが、停止した凝視対移動中の凝視の効果を反映する。局部的色順応（詳細な残像）を最小（無）にするためにはwgt1=0であり、最大のためにはwgt1=1である。

光源、表示白色、周囲イルミネーションなどを補正する機能である認識のディスカウントは、色を識別するとき、図１に示されていないが、「wgt3」と呼ばれるだい３の重み付けにより制御できる。この補正のために、wgt3=1と設定することにより、制御器１２０への「白色」｛Ｒwd、Ｇwd、Ｂwd｝入力は、Ｒw’＝Ｇw’＝Ｂw’＝Ｙw（ＣＩＥＣＡＭ０２での順応パイプラインＤ＝０に等化）へのクロフフェードでもよい。ここで、Ｒw’＝wgt3＊Ｙw＋（１−wgt3）＊Ｒwdであり、Ｇwd及びＢwdも同様である。さらに、周囲白色と、図１に示していない追加の補正制御ファクタwgt4は、図１の表示モデル１０２からの「表示」白色信号との間の混合の重み付けを制御できる。よって、混合制御器１２０への「白色」信号入力は、周囲白色、表示白色、絶対即ち「標準」白色の混合でもよく、この混合は、重み付けファクタwgt3及びwgt4により制御される。

ＣＩＥＣＡＭ０２の従来の用途は、wgt1=0、wgt2=0、周囲＝０、表示白色＝輝度、wgt3=0に対応する。

時間的周辺フィルタ１３０は、いくつかの理由に対して有用である。まず、ＣＩＥＣＡＭ０２は、順応のパーセントが与えられた「周辺」及び／又は光源に関連した固定の順応を考慮するメカニズムを常に有する。部分的に順応を制御するＣＩＥＣＡＭ０２への１つの入力は、１４０に入力する「順応白色」｛Ｒw、Ｇw、Ｂw｝であり、これを用い、順応の瞬時レベルに応じてコーン応答を変調する。同様に、ＣＩＥＣＡＭ０２と、他の参照文献でありここで参考文献として一体に考慮する２００７年１月にProceedings of the Third International Workshop Processing and Quality Metrics for Consumer Productsで発行されたケビン・ファーガソンによる「An Adaptable Human Vision Model for Subjective Video Quality Rating Prediction Among CIF, SD, HD, AND E-CINEMA」とにおいて、周辺チャネルを用いて、中心チャネルを変調して、主要順応時空的応答を生じる。ＣＩＥＣＡＭ０２静的応答を変化しないようにするために、図１のシステム１００において、時間的処理を順応白色処理１４０に入力に適用して、全体的な周辺チャネルとして扱う。さらに、上述のマトリクス１０６にてイメージ光刺激が３つのプリ順応（ＲＧＢ）コーン応答に変換された後に、時間的順応フィルタ・モデル（と共に全ての空間的及び時間的なろ波）がＣＩＥＣＡＭ０２に適用される点を想起されたい。

上述の各チャネルに対して、複合時間的周辺フィルタは、上述のフィルタを元にした適応積分器の平行な組合せである。

図２は、更に詳細な説明をするための図１の例の時間的周辺フィルタ１３０（３チャネルの１つ）の機能ブロック図である。

周辺フィルタ２００は、色順応、順応光源及び認識ディスカウントを考慮するための（図１を参照して説明したような）重み付け入力の和により生成された「コーン空間周辺混合」入力を含んでおり、これは、（Ｒ、Ｇ及びＢの各チャネルに対する）１組の重み付けされたコーン応答である。

「白色」Ｙw入力は、（ＣＩＥＣＡＭ０２による）白色入力のＹ部分である。Ｙwは、表示モデル１０４（図１）からの直接入力、又は、白色ＲＧＢからのＹwに戻り変換されたものでもよく、そうでなければ、例えば、ＣＩＥＣＡＭ０２にてＲw、Ｇw、Ｂwとして知られている。この「白色」Ｙw入力は、「直流利得」ファクタ、例えば０．４８により重み付けされ、白色プロセッサ２１０にて３つの「コーン空間的周辺混合」から抽出される。この結果は、プリ時間的周辺ろ波された差、又は「コーン空間的周辺混合」応答の「交流」成分である。各チャネルは、輝度尺度の「順応白色」からの各コーン応答での差を表す。

この応答を２つのロウパス・フィルタ（ＬＰＦ）２２０、２３０に供給する。これらは、ＩＩＲロウパス・フィルタに基づく適応積分器でもよい。これらフィルタ２２０、２３０を並列に用いて、追加の色信号をろ波する。ＬＰＦ２２０は、低速の第１ＬＰＦであり、上述で参照したファーガソンの文献に一般的に用いられているのと同じ又は類似の適応時間的周辺フィルタで実現してもよく、１秒当たり６０サンプルの公称サンプル・レートに対して０．９９９５１６に設定された公称期間係数ａｌ及びゼロの適合用の更新されたパラメータのみを有する。ＬＰＦ２３０は、ＬＰＦ２２０に類似した高速ＬＰＦであるが、ＬＰＦ２３０は、その入力が出力よりも小さいか大きいかに応じる可変係数を含んでいる。比較器２４０は、マルチプレクサ２５０により選択する係数を決定する。量（ＬＰＦ２３０の入力マイナスＬＰＦ２３０の出力）が正ならばalp=0.9854であり、負ならばalp=0.99370である。本発明の要旨を逸脱することなく、他の係数を用いてもよい。

図２に示すように、tfw1の値を選択することにより、重み付け平均値を用いて、コンバイナ２６０にてＬＰＦ２２０及びＬＰＦ２３０の出力を組合せる。いくつかの実施例において、tfw1を約０．５に等しくできる。組合せた出力を生成し、その結果が複合ろ波済み差信号である。上述の白色プロセッサ２１０が生成した輝度縮尺した白色輝度信号２１２を加減することにより、この結果の複合ろ波済み差信号を絶対信号に再生する。

時間的周辺フィルタを生成するのに用いるいくつかの成分の設計詳細は、上述のファーガソンの参考文献や、ここでの参考文献として一体に考慮するファーガソンの米国特許第６９７６０４５号及び第６９０７１４３号に記載されている。

ＬＰＦ２２０及びＬＰＦ２３０のフィルタの詳細な例を表２に示す。

表２
LPF1: 時間的周辺とする米国特許第６９０７１４３号の適応輝度フィルタ
順応パラメータ＝０及び
a1 = 0.999516, b0 = 1-a1
６０サンプル／秒のサンプル・レートに対して
LPF2: 時間的周辺とする米国特許第６９０７１４３号の適応輝度フィルタ
順応パラメータ＝０及び
LPF2出力 > LPF2入力ならa1 = a1n、そうでなければa1 = a1p:
a1n = 0.99370
a1p = 0.9854
６０サンプル／秒のサンプル・レートに対して

特に入力用のＬＰＦ２２０のディラック・デルタ・インパルス応答を図３に示す。２つの曲線３１０及び３２０は、１秒当たり１０及び６０のサンプルを夫々表す。これは、２つの異なるフレーム・レートでのフィルタ応答を維持する例を示し、上述のファーガソンの参考文献の適応積分器を用いることにより、時間的サンプル・レートの順応要求が合う。

主に、ＬＰＦ２３０により考慮された正対負の変化の応答の間の差により、空間的周辺フィルタ２００用の全体的な応答が非線形である。これは、図４Ａ及び４Ｂにてわかる。図４Ａは、実線及び点線で夫々示す１０及び６０サンプル／秒の２つのモデル・シミュレーション・サンプル・レートにおける正方向の応答変化を示し、図４Ｂは、負方向の応答変化を示す。これら応答は、互いを反映しておらず、色が白色、灰色又は黒色（無色）より大きい又は小さい変化をするかに応じた異なる人間の応答があることを意味する点に留意されたい。後述の如く、応答におけるこの変化の例は、周辺での突然の時間的変化と、無色の応答に対する刺激の変化の追跡を含む。

［試験及び確認］
中心及び周辺フィルタの校正と、２度パッチ用のＣＩＥＣＡＭ０２の適応応答の回帰試験のために、視覚科学研究での実験をシミュレーションにて反復して、適切な応答をチェックする。各データ設定は、空間的及び時間的周波数並びに期待応答に対応する刺激形式により大雑把に分類される。なお、期待応答は、近似知覚しきい値、又はほぼ一定の（大きさが等しい）しきい値上応答である。

フィルタを追加した後のＣＩＥＣＡＭ０２確認及び回帰試験の両方に対して、種々の異なる既知のデータ設定を用いた。時間的中心フィルタ校正と共に空間的中心フィルタ校正用に、特定の既知のデータ設定を用いた。試験結果は、時空的組合せと時間的周辺も確認した。空間的周辺データは、最低周波数における既知のデータ設定の組合せから収集した一部である。統計において、これら刺激も角度及び時間的範囲をサンプルした。

収集された時間的周辺フィルタ・データで、１つの実験は、人間の色知覚の長期間の時間的応答の詳細を示すのに特に有用であった。フェアチャイルド及びレニフは、以前、実験を行って、空間的周辺の変化に対する時間的ステップ応答を追跡した。この実験において、主題は、周辺での色の時間的ステップ変化に追従する中心での静止ターゲット・パッチの無色（灰色）見えのタスクであった。よって、入力ターゲット色（ＣＩＥ１９３１ｘｙＹ、ＸＹＺなどでの定義されるように）が時間に伴って著しく変化しても、この実験の刺激による結果は、本発明を用いて無色の応答である。

フェアチャイルド及びレニフ試験での無色の応答を維持するのに要求される色平面（ＣＩＥｘｙ又はＣＩＥＣＡＭ０２ａｂなど）での入力試験ターゲット色での変化の方向は、周辺での変化の方向に依存する。３つの方向（各コーン応答のピークを近似する赤色、緑色、青色）及びこれらのＣＩＥＸＹＺの反対を、全体では６つの周辺色ステップに対して用いられた。よって、この実験で、６つの時間過程（時間的軌道）が得られた。

本発明の実施例により、ＣＩＥＣＡＭ０２及び時間的周辺フィルタを用いて、６つの刺激をシミュレーションした。例としての時間的クロマ応答を図５に示すが、これは、ＣＩＥＣＡＭ０２｛ａ，ｂ｝大きさの等価値対時間（時間周辺フィルタを用いた及び用いない場合）を示す。図５は、フィルタに対する青色から黄色の周辺ステップ応答を示しており、フィルタがあるとき（低振幅の青色曲線）とないとき（高振幅の赤色曲線）との時間的周辺サブＪＮＤ最大差がある。公称しきい値及び「ガードバンド・マーカ」（しきい値プラス１標準偏差）を波線及び１点鎖線で夫々示す。図５において、波線５１０は、無色（色なし）からの公称色差しきい値（〜１ＪＮＤ）を示し、１点鎖線５２０は、しきい値プラス１標準偏差を示す。図５に示すピーク・クロマ応答は、６つの周辺ステップの全ての色相クロマ・プロットを示す図６Ａ及び６Ｂの最大軌跡に対応する。図６Ａは、ＣＩＥ１９３１｛ｘ、ｙ｝平面でのステップ刺激を示し、図６Ｂは、ＣＩＥＣＡＭ０２｛彩度、色相｝平面を示す。原点は、期待される無色（色なし）応答を表す。図６Ｂのダイヤモンドは、いかなる時間的処理もないＣＩＥＣＡＭ０２応答を表し、Ｘは、時間周辺処理が追加されたときの応答を示す。この場合（図５及び６を含む）、時間的中心フィルタが除去されると、初期の過渡状態がＸのいくつかをその原点からいくらかそらす。これは、図５の応答の短いピークでも判る。時間的中心フィルタを追加することで、これらの過度状態を緩和する。これら最大軌跡が周辺ステップ遷移の瞬間に生じることに留意されたい。よって、本発明の実施例により時間的中心フィルタを追加することにより、無色応答からのこれらの偏差が大幅に緩和される。さらに、上述の空間フィルタは、６つのクロマ応答の全てをわずかに低減させる。

特定の実施例について上述したが、本発明の原理はこれらの実施例に限定されないことは明らかである。以下の請求項に記載の本発明の原理を逸脱することなく、変形変更が可能である。

１０２表示
１０６マトリクス
１０８空間中心フィルタ
１１０空間周辺フィルタ
１２０混合制御器
１２２混合制御器
１３０時間的周辺フィルタ
１４０白色順応
１５０時間的中心フィルタ
１６０残りのＣＩＥＣＡＭ０２
２１０白色プロセッサ
２２０ロウパス・フィルタ１
２３０ロウパス・フィルタ２
２４０比較器
２５０マルチプレクサ
２６０コンバイナ

Claims

被分析ビデオ信号を受け、
ビデオ表示及び観察環境に応じた未ろ波白色信号を受け、
上記ビデオ信号から空間的周辺を生成し、
上記ビデオ信号から空間的中心を生成し、
１つ以上の重み付けファクタを用いて、上記空間的周辺、上記空間的中心及び上記未ろ波白色信号の組合せから上記ビデオ信号の時間的周辺を生成する
ビデオ内の色視覚差予測方法。
ビデオ信号を受けるように構成された入力と、
上記ビデオ信号から未ろ波白色信号を生成するように構成された白色発生器と、
上記入力に結合され、上記ビデオ信号から１組のコーン応答を発生するように構成されたコーン応答発生器と、
上記１組のコーン応答の１つの空間的中心を発生するように構成された空間的中心フィルタと、
上記１組のコーン応答の１つの空間的周辺を発生するように構成された空間的周辺フィルタと、
上記空間的中心、空間的周辺及び未ろ波白色信号から時間的周辺を発生するように構成された時間的周辺フィルタと
を具えた移動イメージ色見えモデル用システム。