JP2009525008A - ビデオ符号器性能を向上させる適応フィルタリング - Google Patents

Abstract

本開示は、ビデオ又は静止画など、捕捉された画像の品質を向上させる各種適応フィルタリング法を説明する。特に、本開示は、各画素を１組の周囲画素の関数としてフィルタリングする各種適応フィルタリング法を説明する。適応画像フィルタは、例えば、当該の画素に関連した画像情報と１組の周囲画素の各々との差を計算することにより、当該の画素に関連した画像情報を１組の周囲画素に関連した画像情報と比較することができる。計算された差は、当該の画素の画像情報をフィルタリングするために様々な方法で使用することができる。一部の実施形態においては、例えば、適応画像フィルタは、計算さされた差の関数として調節される低域通過成分と高域通過成分の両方を含むことができる。

Description

［関連出願］
本出願は、２００６年１月２６日出願の、「ビデオシステム、ＶＦＥシステム」という名称の米国特許仮出願第６０／７６３，１４８号と、２００６年３月１６日出願の、ビデオビットレート制御性能を向上させる適応フィルタリングという名称の米国特許出願第１１／３７８，５６７号との利益を請求するものであり、各々は、本出願の譲受人に譲渡され、かつ、これらの特許の全体が引用により本明細書に組み入れられる。

本開示は、画像処理に関するものであり、更に詳しくは、ビデオ符号化に関するものである。

様々なビデオ符号化規格が、データを圧縮して符号化することによりビデオシーケンス記録又は伝達効率の向上をサポートしている。動画専門家グループ（ＭＰＥＧ）は、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、及びＭＰＥＧ−４を含む更な規格を既に開発している。他の例としては、国際電気通信連合（ＩＴＵ）Ｈ．２６３規格、新生のＩＴＵ Ｈ．２６４がある。これらのビデオ符号化規格は、一般的に、データを圧縮して符号化することによりビデオシーケンスの記録又は伝達効率の向上をサポートしている。

圧縮により、ビデオフレームの効率的な再生に向けて、記録又は伝達する必要があるデータの全体量が低減される。効率を促進させるために、ビデオ符号器は、ビデオシーケンス内の各フレームに割り当てるべきコーディングビット数を指定する目標ビットレートに固執することができる。ビデオ符号器は、例えば、ビデオフレーム内の過度の動き又はテクスチャにより引き起こされた高い複雑さのために、一部のフレームについて目標ビットレートをオーバーシュートする場合がある。この場合、ビデオ符号器は、シーケンス内の他のフレームのコーディングビットを保存するために一部のフレームの符号化をスキップする場合がある。過度のフレームスキップは、符号化ビデオ内の、ぎくしゃくした動きなど、望ましくないアーチファクトを引き起こす恐れがある。

［概要］
本開示では、ビデオ符号器性能（video encoder performance）を向上させる各種の適応フィルタリング技法を説明する。適応フィルタ(adaptive filter)は、ビデオ記録システムのビデオフロントエンド（ＶＦＥ;video front end）内で実行することができる。ＶＦＥは、センサにより捕捉された光からビデオを生成して、ビデオをビデオバックエンド（ＶＢＥ;video back end）に送る。ＶＢＥは、ビデオが記憶及び／又は送信媒体に転送される前にビデオを符号化する。

制御装置は、ＶＢＥ内のビデオ符号器からの性能フィードバックに基づいてＶＦＥ内で適応プレフィルタ(adaptive pre-filter)を適応構成する。このようにして、ビデオ記録システムは、ＶＢＥの性能を向上させるために適応プレフィルタの適当な構成を決定する。適応プレフィルタは、輝度フィルタ（luminance filter）とすることができる。一部の実施形態においては、プレフィルタは、輝度フィルタ、クロミナンスフィルタ、又は、組み合わせ式輝度−クロミナンスフィルタとすることができる。

適応プレフィルタは、ビデオからの情報をフィルタリングしてビデオ複雑性を低減し、その結果、ビットレートオーバーフロー又はアンダーフローを低減することによりビデオ符号器性能を向上させるように構成することができる。あるいは、適応プレフィルタは、システムにより記録された符号化ビデオの主観動画品質を向上させるように構成することができる。また、一部の実施形態においては、適応プレフィルタは、ビットレートオーバーフロー／アンダーフローを低減すると共に、符号化ビデオの動画品質を向上させるように構成することができる。各々の場合において、ＶＢＥからの性能フィードバックは、ＶＦＥにおいてプレフィルタの特性を適合させるために使用される。プレフィルタの特性は、所望のＶＢＥ性能レベルを維持するために連続的又は定期的に適合させることができる。

一実施形態においては、本開示は、フィルタをビデオフレームに適用することと、量子化パラメータ（ＱＰ；quantization parameter）情報を使用するビデオ符号器を適用してフィルタリング済みビデオフレームを符号化することと、ビデオ符号器に関係する性能情報を受信することと、性能情報に基づいてＱＰ情報とフィルタとを調節することと、を備える方法を提示する。

別の実施形態においては、本開示は、ビデオフレームを取得するビデオセンサと、ビデオフレームをフィルタリングするフィルタと、量子化パラメータ（ＱＰ）情報を使用してフィルタリング済みビデオフレームを符号化するビデオ符号器と、ビデオ符号器に関係する性能情報を受信して、性能情報に基づいてＱＰ情報とフィルタとを調節する制御装置と、を備えるシステムを提示する。

更なる実施形態においては、本開示は、プロセッサに、フィルタをビデオフレームに適用することと、量子化パラメータ（ＱＰ）情報を使用するビデオ符号器を適用してフィルタリング済みビデオフレームを符号化することと、ビデオ符号器に関係する性能情報を受信することと、性能情報に基づいてＱＰ情報とフィルタとを調節することと、をさせる命令を備える、コンピュータ可読媒体を提示する。

本開示の１つ又はそれ以上の実施形態の詳細を添付図面及び以下の説明において述べる。本開示の他の特長、目的、及び利点は、説明及び図面から、及び、特許請求の範囲から明らかになるであろう。

［詳細な説明］
図１は、ビデオフロントエンド（ＶＦＥ）１２とビデオバックエンド（ＶＢＥ）１４とを含むビデオ記録システム１０を例示するブロック図である。ＶＦＥ１２は、フィルタ１６とビデオセンサ１８を含む。ＶＢＥ１４は、ビデオ符号器２０とビデオ記録／送信装置２２とを含む。システム１０は、ビデオシーケンスを記録するために選択された設定を表示する記録設定装置３４を更に含む。ビデオセンサ１８は、ビデオフレームを取得して、フレームをフィルタ１６に送る。フィルタ１６は、ビデオフレーム内の画素に関連した輝度値をフィルタリングするために適用することができるディジタル輝度フィルタとすることができる。一部の実施形態においては、フィルタ１６は、クロミナンスフィルタとするか、輝度フィルタとクロミナンスフィルタとの両方を含むか、又は、組み合わせ式輝度／クロミナンスフィルタとすることができる。ビデオ符号器２０は、様々な符号化技法のいずれかに従ってフィルタリング済みビデオフレームを符号化する。例示を目的として輝度フィルタを本明細書で説明する。ビデオ記録／送信装置２２は、その後の検索又は送信のために符号化ビデオを記憶するか、又は、例えば、直接接続又はネットワーク接続を介して符号化ビデオを別の装置に送信することができる。送信媒体は、有線又は無線媒体とすることができる。

一般に、システム１０は、ＶＦＥ１２内に適応プレフィルタ１６を提供し、適応プレフィルタ１６は、フィルタの適当な構成を決定するように、ＶＢＥ１４からのフィードバックに基づいて構成可能である。制御装置２３は、ビデオ符号器性能情報（video encoder performance information）、ならびに、記録情報を記録設定装置３４から受信する。記録情報は、ビデオフレームサイズと、ビデオ符号化ビットレートと、フレーム／秒（ｆｐｓ）でのフレーム速度とを含むことができる。ＶＢＥフィードバックは、フレーム分散及びビットレート制御情報などの符号器性能情報を含むことができる。制御装置２３は、フィルタ制御情報を生成してＶＢＥ性能情報、記録情報、又はその両方に基づいて輝度フィルタ１６の特性を調節する。

ＶＦＥ１２は、センサ１８により捕捉された光からビデオフレームを生成し、その後、ビデオフレームを符号化に向けてＶＢＥ１４上に送る。図１のビデオ記録システム１０は、フィルタ１６を更に組み込むが、フィルタ１６は、少なくともある程度、ＶＢＥフィードバックに基づいて構成可能である適応プレフィルタとして動作する。様々な性能情報を含むことができるＶＢＥフィードバックを用いて、制御装置２３は、ビデオ符号器１８の性能の向上を促進する輝度フィルタ１６の適当な構成を決定する。図１に示すように、制御装置２３は、記録設定装置３４により供給されるような、ビデオ記録システム１０内の記録情報に応答することもできる。

制御装置２３及び適応輝度フィルタ１６は、一部の実施形態においては、符号化前に着信ビデオにおいてビデオ複雑性を低減することによりビデオ符号化性能を向上させるために使用することができる。ビデオ複雑性の低減で、ビデオフレームがビデオ符号器１８内で必要とするコーディングビット数が少なくなると考えられる。その結果、適応輝度フィルタ１６は、ビデオ符号器１８においてビットレートオーバーフロー及び／又はアンダーフロー量を低減することができる。他の実施形態においては、制御装置２３及び適応輝度フィルタ１６は、ビデオ符号器１８により符号化されたビデオの主観動画品質を向上させるために使用することができる。更なる実施形態においては、制御装置２３及び適応輝度フィルタ１６は、ビットレートオーバーフロー及び／又はアンダーフローの低減と主観動画品質の向上との両方をサポートするために使用することができる。各々の場合において、ＶＢＥフィードバック及び記録情報を用いて、制御装置２３は、ＶＢＥ１４内の状態及び記録設定に基づいてＶＦＥ１２の動作を調節する。

図１に例示する各種の特長部は、ハードウェア、ファームウェア、及び／又はソフトウェア構成要素の任意の適切な組み合わせにより実現することができる。更に、記録設定装置３４、ＶＦＥ１２、及びＶＢＥ１４は、図１に図示していない様々な更なる構成部品を含むことができる。例示しやすいように、図１は、本開示による、ビットレートオーバーフロー及び／又はアンダーフローが低減し及び／又は主観動画品質が向上してビデオフレームを符号化する際に有用な特定の構成部品を示す。装置としての図１での異なる特長部の描写は、ビデオ記録システム１０の異なる機能面を強調することを意図しており、必ずしも、このような装置は別個のハードウェア、ファームウェア及び／又はソフトウェア構成要素により実現しなければならないことを意味するわけではない。むしろ、一部の実施形態においては、１つ又はそれ以上の装置に関連した機能性は、共通のハードウェア、ファームウェア及び／又はソフトウェア構成要素内に一体化することができる。

ビデオ記録システム１０は、ディジタルビデオカメラなど、ディジタルカメラとすることができる。更に、ビデオ記録システム１０は、独立形カメラなど、独立形装置とすることができるか、又は、無線通信装置など、別の装置内で一体化することができる。一例として、一部の実施形態においては、ビデオ記録システム１０は、移動体電話内に一体化していわゆるカメラ付き携帯電話又はテレビ電話を形成することができる。ビデオ記録システム１０は、カラー画像、白黒画像、又はその両方を捕捉するように装備されることが好ましい。他の実施形態において、ビデオ記録システム１０は、カメラ一体型ＶＴＲ内に一体化することができる。

ビデオセンサ１８は、当該の場面のビデオ情報を取得して、ビデオフレームを生成する。ビデオセンサ１８は、例えば、相補性金属酸化膜半導体（ＣＭＯＳ）センサ素子、電荷結合素子（ＣＣＤ）センサ素子などのソリッドステートセンサ素子のアレイを備えることができる。更に、ビデオセンサ１８は、カラーフィルタを含んでビデオ情報を色成分に分離することができる。ビデオセンサ１８により取得された各画素は、輝度値、即ち、強度レベル、ならびに、クロミナンス値を有する。各画素のビデオ情報は、ＹＣｂＣｒ（輝度、青クロミナンス、赤クロミナンス）値により、又は他の装置から独立したか、又は、装置依存色空間値により表すことができる。輝度フィルタ１６は、例えば、ビデオフレームを円滑化又は鮮明化するために、画素データに関連した輝度値をフィルタリングするために装備される。輝度フィルタ１６の特性は、ＶＢＥ１４からのフィードバックに応答して調節可能である。

ＶＢＥ１４は、フィルタリング済みビデオフレームをＶＦＥ１２から受信して、任意の必要なビデオ処理をフィルタリング済みビデオフレームに行なう。ＶＢＥ１４は、例えば、ビデオセンサ２０により捕捉されたビデオ情報のクロッピング、デモザイク処理、圧縮、画像強調、又は他の処理を行なうように構成されたビデオ処理モジュールを含むことができる。ＶＦＥ１２及びＶＢＥ１４の様々な構成部品は、１つ又はそれ以上のマイクロプロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は、任意の他の同等の離散的又は集積論理回路など、１つ又はそれ以上のプロセッサにより実現することができる。

ＶＢＥ１４の一部を成すビデオ符号器２０は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ Ｈ．２６３、ＩＴＵ Ｈ．２６４など、特定の符号化技法又はフォーマットに従ってＶＦＥ１２から取得されたフィルタリング済みビデオフレームを符号化する符復号器（ＣＯＤＥＣ）の一部を成すことができる。ビデオ符号器２０は、ビデオ記録／送信装置２２を介した記憶又は送信に向けてビデオフレームを符号化及び圧縮する。ビデオ記録／送信装置２２は、ビデオを記憶する、磁気ディスク又はテープ、光ディスク又はテープ、又はソリッドステートメモリなど、データ記憶媒体を含むことができる。あるいは、又は、更に、ビデオ記録／送信装置２２は、有線又は無線送信媒体を含むことができる。いずれの場合においても、ビデオ記録／送信装置は、記憶及び／又は送信をサポートするために適切な電子及び／又はソフトウェア構成部品を含むことができる。記憶又は送信ビデオ情報には、オーディオ情報を添付することができる。

ビデオ符号器１８は、初めは、フレームのシーケンス内の各ビデオフレームに割り当てるべきビット数を示す目標ビットレートを有する。制御装置２３は、目標ビットレートをビデオ符号化速度制御機構の一部として設定することができる。目標ビットレートは、ビデオシーケンス全体について、又は、フレーム単位で指定することができる。いずれの場合においても、一部の記録については、ビデオフレームについてビデオ記録システム１０により生成されるビット量が、目標ビットレートをオーバーシュートし、そのオーバーシュート分は、容認可能な量とみなされているものを上回る可能性がある。ビデオ記録システム１０がフレームスキップ機構を含む場合、一部のビデオフレームの符号化は、ビデオ符号器２０が実質的に目標ビットレートをオーバーシュートしたときにコーディングビットを保存するためにスキップすることができる。

過度のビットレートオーバーフロー量が原因で、ビデオ符号器２０が幾つかのフレームの符号化をスキップする場合がある。残念ながら、過度のフレームスキップは、記録ビデオ内のぎくしゃくした動き又は他のアーチファクトを引き起こして、ビデオ品質を低下させる恐れがある。フィルタ１６の適用によりビデオ情報の複雑性を低減することは、ビットレートオーバーフロー量及び関連のビデオ複雑性を低減するのに効果的であると考えられる。特に、フィルタ１６は、ビデオ符号器２０による符号化の前にビデオ複雑性を低減するためにビデオをプレフィルタリングするために使用することができる。輝度プレフィルタリングについては、符号器２０は、例えば、低域通過フィルタリングの場合には円滑化された縁部を有する複雑性が低減されたビデオフレームを受信する。著しいビットレートアンダーフローがある、すなわち、符号器２０が必要とするコーディングビット数が適用ビットレートが許容するコーディングビット数より少ない場合、フィルタ１６は、画像の鮮明化を行なう高域通過フィルタを実現するように調節することができる。ビットレートアンダーフローの場合、符号器２０は、鮮明化した画像については符号化ビット数の増大化に対する余裕がある。

図２は、図１のビデオ記録装置の動作を例示する流れ図である。図２に示すように、ＶＦＥ１２は、ビデオ符号器１８を介してビデオフレームを取得する（２４）。制御装置２３は、ＶＢＥ１４から性能フィードバックを受信し（２６）、記録設定装置３４から記録情報を受信して（２６）、ＶＢＥフィードバック及び記録情報に基づいて輝度フィルタ１６を構成する（２８）。その後、ＶＦＥ１２は、輝度フィルタ１６を適用してビデオフレームをプレフィルタリングして（３０）、例えば、ビデオ符号器２０による符号化に向けて、プレフィルタリング済みビデオフレームをＶＢＥ１４に送る。先述したように、制御装置２３は、ＶＢＥ性能フィードバックに基づいて、ビデオ符号器１８内でビットレートオーバーフロー及び／又はアンダーフロー量を低減するか、符号化ビデオの主観動画品質を向上させるか、又はその両方によりビデオ符号化性能を向上させるために輝度フィルタ１６を調節するように構成することができる。

図３は、ビットレートオーバーフロー及び／又はアンダーフローを低減するためにビデオ符号器性能情報及び記録情報の両方に応答して調節されるフィルタ１６を有するビデオ記録システム３２を例示するブロック図である。ビデオ記録システム３２は、図１のビデオ記録システム１０と実質的に一致するが、更に具体的には、ビデオ符号器２０においてビットレートオーバーフロー及び／又はアンダーフローを低減するように構成されている。便宜上、同じ参照番号が、図３のビデオ記録システム３２及び図１のビデオ記録システム１０内の同様の構成部品に使用される。ビットレートオーバーフロー及び／又はアンダーフロー量を低減するために、ビデオ記録システム３２は、符号器性能情報及び記録情報に応答して選択的に調整及び／又は選択的に適用することができる構成可能な又は固定された輝度フィルタ１６を含む。

図３に示すように、ビデオ記録システム３２は、ＶＦＥ１２と、ＶＢＥ１４と、制御装置２３と、記録設定装置３４とを含む。図１の例においてと同様に、記録設定装置３４は、ビデオフレームサイズと、ビデオ符号化ビットレートと、フレーム／秒（ｆｐｓ）でのフレーム速度とを含め、ビデオシーケンスを記録するために選択された設定を示す。制御装置２３は、記録設定装置３４から記録設定を受信し、かつ、ＶＢＥ１４からＶＢＥフィードバックを取得する。ＶＢＥフィードバックには、フレーム分散及びビットレート制御統計データなどの符号器性能情報が含まれる。フレーム分散情報（frame variance information）は、ビデオ符号器２０により符号化された１つ又はそれ以上のフレーム内の空間複雑性コンテンツ量（an amount of spatial complexity content）を示す。ビットレート制御統計データは、ビットレート閾値を上回る、即ち、記録設定装置３４により指定されたビデオ符号化ビットレートを上回る、先に符号化されたフレームについて符号器２０により適用された幾つかの符号化ビットを示す。制御装置２３に供給されたフレーム分散及びビットレート制御情報は、絶対値又は指標値として表すことができる。

輝度フィルタ１６は、ディジタルフィルタとして構成される。制御装置２３は、フィルタ係数を調節することによりフィルタ１６の特性を調節することができる。他の実施形態においては、制御装置２３は、フィルタの列から１つ又はそれ以上の異なるフィルタを選択することによりフィルタ１６の特性を調節することができる。この場合、フィルタ列内の各フィルタは、例えば、高域通過から、通過、低域通過に及ぶ異なる特性を有する。制御装置２３は、フレーム単位で、即ち、フィルタ１６により処理される各ビデオフレームについて輝度フィルタ１６を調節することができる。各ビデオフレームについて、制御装置２３は、輝度フィルタ１６により使用されるべき両方のフィルタ係数、ならびに、フィルタを次のビデオフレームの輝度成分に適用するか否かを判断することができる。フィルタ１６を適用するべきか否かの判断は、制御装置２３により生成される判断フラグにより表すことができる。他の実施形態においては、フィルタ１６の特性は、固定することができる、即ち、調節することができない。したがって、様々な実施形態において、フィルタ１６は、選択的に調整して全てのビデオフレームに適用するか、選択的に調整して選択的に一部のフレームのみに選択的に適用するか、又は固定して一部のフレームの選択的に適用することができる。更に、適用可能である場合、選択的な調節は、フィルタの係数を調節するか、又は、異なる特性を有するフィルタの列からフィルタを選択することにより達成することができる。

フィルタ特性及び／又はフィルタを特定のフレームに適用するか否かの判断は、記録設定情報及び符号器性能情報を示すＶＢＥフィードバックに基づく。記録設定及び符号器性能が好ましい場合、制御装置２３は、特定のビデオフレーム又は１組のビデオフレームについてフィルタ１６を全く適用しないと判断することができる。この場合、記録設定及び符号器性能は、ビットレートオーバーフロー及びフレームスキップが相対的な少量であり、かつ、結果的に得られる符号化ビデオでは、過度のぎくしゃくした動き又は他のアーチファクトが生じないことを示す。

記録設定、符号器性能、又はその両方が好ましくない場合、制御装置２３は、適応輝度フィルタ１６を次のビデオフレーム又は次の組のビデオフレームに適用するべきであると判断することができる。この場合、記録設定又は符号器性能は、ビデオの品質を損なう可能性がある、過度のビットレートオーバーフロー及び結果的に生じるフレームスキップのためのフィルタの適用の必要性を示す。フィルタ１６は、固定された特性と共に適用することができる。あるいは、制御装置２３は、フィルタ１６のフィルタ係数を調節するか、又は、フィルタの列から特定の特性を有するフィルタを選択することができる。いずれの場合においても、フィルタ１６は、例えば、ビデオ符号器２０においてビットレートオーバーフローを低減するために、ビデオコンテンツを低域通過フィルタリングすることにより、ビデオフレームの複雑性を低減する。

一実施形態においては、輝度フィルタ１６は、低域通過フィルタとして固定され、ビデオフレームの輝度成分をフィルタリングするか否かの判断のみが構成可能とされる。例示として、輝度フィルタ１６は、以下の固定したフィルタ係数を使用することができる。

（[１１１１０１１１ｌ]^＊ａ＋[−１−１−１−１８−１−１−１−ｌ]^＊ｂ）／（８^＊ａ）、ここで、ａ＝８、ｂ＝５
上記の係数では、結果的に、固定された特性を有する低域通過フィルタを形成する３ｘ３空間フィルタカーネルが得られる。制御装置２３により行われる唯一の判断は、記録設定及び符号器性能情報を考慮して、フィルタ１６を適用するか否かということである。他の実施形態においては、フィルタ１６を適用する判断及びフィルタの係数のいずれも、例えば、フレーム単位で、又は、以下で説明するように、各イントラ（Ｉ）期間（Intra (I) period）に１回、構成可能である。

制御装置２３は、適応輝度フィルタ１６を適用すべきか否か判断するために、ある程度、
ビデオ記録システム３２の記録設定装置３４により指定された記録設定に頼る。記録設定装置３４は、システム３２のユーザ又はシステム３２上で動くアプリケーションにより調節することができる記録設定を指定することができる。例えば、ユーザ又はアプリケーションは、高品質、中程度の品質、又は、最小品質の記録を選択することができる。例えば、大きなフレームサイズ、速い符号化ビットレート、高いフレーム／秒（ｆｐｓ）、又は、これらの組み合わせにより示されるような、記録設定３４が高品質の記録が得られるように設定された場合、望ましいビデオ情報の損失を回避するために適応輝度フィルタ１６を切り離することが好ましいであろう。入力フレームの輝度成分の低域通過フィルタリングにより、ビデオ複雑性を低減するが、ぼけなど、アーチファクトを招く可能性があり、ぼけは、特に、ビデオ符号器２０がビデオ符号器自体の多くの目立つアーチファクトを招かない場合の方が、高品質の記録において目立つようになる恐れがある。

中程度の品質又は中程度よりも低い品質記録設定については、ビデオシーケンスを圧縮する必要がある量に基づいて、適応輝度フィルタ１６を入切りする初期の判断を行なうことができる。一実施形態によれば、フィルタ１６を適用するか又は適用しない初期の判断が行われた後、（Ｉ）間期間全体の全てのフレームは、初期の判断に従ってフィルタリングされるか、又は、フィルタリングされない。Ｉ期間は、インター（Ｐ又はＢ）符号化フレーム（Inter (P or B)-coded frame）を含む２つの連続的な（Ｉ）符号化間のフレーム間の間隔を指すものである。したがって、フィルタ１６を適用する判断は、特定のＩ期間内の全てのフレームが全てのフレームについて行われた同じフィルタ判断結果を有するように、ビデオシーケンス内の各フレームについてフレーム単位で、又は、この実施形態においては、Ｉ期間単位で行なうことができる。

ＶＢＥ１４は、次のイントラ期間（Intra Period）内のビデオフレームに輝度フィルタ１６を適用するか否か判断する際に制御装置２３により使用されるように、各イントラ期間中に２組の統計データを収集することができる。第１の組の統計データとして、符号器２０は、ビデオ符号器２０により使用されるビット量：目標ビットレート当たりに必要とされるビット量を示すビットレート制御統計データを生成する。第２の組の統計データとして、ビデオ符号器２０は、イントラ期間内のビデオフレームの空間複雑性を示すフレーム分散統計データを生成する。制御装置２３は、フィルタ１６を適用するか否か判断するために、又は、随意的に、フィルタ１６の特性を動的に調節するために、記録設定と組み合わせて、フレーム分散及びビットレート制御統計データに頼る。

フレーム分散統計データは、視覚マスキング法の基礎を成す。視覚マスキング法に従って、映像フレーム内の高空間複雑性コンテンツは、ビデオ符号化のアーチファクトをマスキングすることができる。フレームの一部の領域（又はフレーム全体）は、多くの縁部及び隆起部を有するオブジェクトなど、多量の高空間複雑性コンテンツを含むことができる。高空間複雑性コンテンツを有する領域又はフレームにおいては、濃淡のむら及びぼけなど、非可逆量子化法により招かれたある程度の量のアーチファクトは、人間の目では完全に見落とされるか、又は、このアーチファクトのほうが見ても気づかない可能性がある。したがって、このタイプの一般的に目に見えないか又はかろうじて目につく情報を排除するためにフィルタ１６を適用しても、動画品質にはほとんど又は全く害を与えず、複雑性を低減することにより、ビデオ符号器２０内でビットレートオーバーフローを低減する役目をすることができる。高空間複雑性コンテンツ量を示すために制御装置２３により使用される統計データは、フレーム分散である。

記録情報は高品質の記録設定を示さず、その結果、適応プレフィルタが無効になると仮定して、制御装置２３は、ＶＢＥフィードバックに基づいてフィルタを適用するか否か判断する。イントラ期間終了時に、例えば、次のＩフレームを符号化する前に、制御装置２３は、ビットレート制御統計データ及びフレーム分散統計データを使用して、次のイントラ期間のフレームを適応輝度フィルタ１６に通すべきか否か判断する。この例においては、制御装置２３は、単に、ビットレート制御統計データが所定の閾値を上回るか否か、及び、フレーム分散統計データが別の所定の閾値を上回るか否か判断する。閾値の両方を上回る場合、ビデオ符号器２０内でビットレートオーバーフローを低減するために、次のイントラ期間のフレームが輝度フィルタ１６に通される。特に、輝度フィルタ１６は、低域通過フィルタとして動作して、ビデオフレームの複雑性を低減することにより、ビデオ符号器２０により必要とされる符号化ビット数を低減する。ビットレートオーバーフロー及び分散の特定の閾値レベルに、変動及びシステム３２の設計担当者による選択を受ける場合がある。

閾値の一方または両方を上回らない場合、ビデオ符号器２０は、輝度フィルタ１６による一切のプレフィルタリングなしに、直接、次のイントラ期間内のフレームを符号化する。換言すると、制御装置２３は、ビットレートオーバーフローが所定の閾値を上回らない場合、次のイントラ期間については輝度フィルタ１６を無効にする。したがって、輝度フィルタ１６は、符号器２０においてビットレートオーバーフローを低減することが必要であるとき、特に、フィルタリングしても品質には悪影響を与えないことが分散統計データでわかるときに適応という条件で適用される。先述したように、フィルタ１６を適用するか否か判断することに加えて、フィルタ１６の特性は、固定又は可変とすることができる。ビデオ符号器２０の符号化効率に及ぼす制御装置２３の影響は、次のＩフレームと一致するように判断のタイミングを取ることにより低減させる。Ｉフレームは、ビデオシーケンス内の一切の他のフレームに左右されない（インター符号化Ｐフレーム又はＢフレームと違って）ので、フィルタ１６のよるフィルタリングによる先のフレームから現在のフレームの輝度成分内の変化の可能性による符号化に対する影響は回避される。

図４は、図３のビデオ記録システム３２の動作を例示する流れ図である。図４に示すように、ＶＦＥ１２は、ビデオフレームを取得する（３６）。制御装置２３は、ビデオフレームが現在のイントラ期間の一部又は新しいイントラ期間の始まりであるか判断する（３８）。フレームが次のイントラ期間の一部ではない場合、制御装置２３は、輝度フィルタ１６の状態を変えない。その代わりに、輝度フィルタ１６のそのときの状態（有効状態か無効状態）が維持され、ビデオ符号器２０は、結果的に得られるフレームを符号化する（４０）。輝度フィルタ１６の現在の状態は、現在のイントラ期間内の各フレームについて維持される。

次のイントラ期間の始まりを示してフレームがＩフレームとして符号化されるべきである場合、制御装置２３は、輝度フィルタ１６を適用するか否か判断する。図４の例においては、制御装置２３は、記録の相対的な品質レベルを示す、フレームサイズ、ビットレート及びフレーム速度など、記録設定を取得する（４０）。例えば、大きなフレームサイズ、速いビットレート、又は、速いフレーム速度は、高品質のビデオ記録がユーザ又はアプリケーションにより選択されたことを示すことができる。記録設定が高品質の記録が選択されたことを示す（４２）場合、制御装置２３は、次のＩ期間について輝度フィルタ１６を無効にして（４３）、ビデオフレームを符号化し始める（４０）。この場合、次のＩ期間内の全てのフレームは、輝度フィルタ１６によりプレフィルタリングされたりせず、プレフィルタリングは、ビデオ符号器１６による符号化の前に無効状態である。フレームを符号化すると、ビデオ記録システム３２は、ＶＦＥ１２にて次のビデオフレームを取得し始める（３６）。

記録設定が、高品質の記録は選択されていない（４２）ことを示す場合、制御装置２３は、フレーム分散及びビットレートオーバーフローの分析に従って、フィルタ１６の適用を可能にすることができる。この目的のために、制御装置２３は、ビデオ符号器２０からのフレーム分散統計データ（４５）及びビットレート統計データ（４５）を分析する。フレーム分散及びビットレート制御統計データが適用可能な閾値を上回る（４６）場合、制御装置２３は、次のイントラ期間について適応輝度フィルタ１６を有効にする（４７）。適用可能な閾値を上回るビットレート制御統計データは、ビットレートオーバーフロー及びフィルタ１６の適用の必要性を示す。適用可能な閾値を上回るフレーム分散統計データは、動画品質に悪影響を与えることなくフィルタ１６により排除することができる高空間周波数成分の存在を示す。一部の実施形態においては、フィルタ１６を適用する判断は、別個の閾値比較又はビットレート制御統計データ及びフレーム分散統計データを組み合わせる重み付き関数に基づくものとすることができる。

フレーム分散統計データ及びビットレート制御統計データの両方が適用可能な閾値を上回り、かつ、高品質の記録が選択されていない場合、制御装置２３は、フィルタ１６を次のフレームに適用する。あるいは、高品質の記録が選択されているか、又は、いずれの閾値も上回っていない場合、フィルタ１６は、次のフレームには適用されない。高品質の記録が選択されておらず、かつ、閾値の一方のみを上回る場合、一部の実施形態においては、制御装置２３は、一方の閾値を大きく上回る場合にフィルタ１６を適用するように構成することができる。

他の実施形態においては、上述したように、フィルタに関する判断は、フレーム分散統計データ及びビットレート制御統計データに基づくものとすることができる。フィルタ１６によりビデオフレームをプレフィルタリングすると、ビデオ符号器２０は、フィルタリング済みフレームを符号化し始める（４０）。フレームを符号化すると、ビデオ記録システム３２は、ＶＦＥ１２にて次のビデオフレームを取得し始める（３６）。この例においては、輝度フィルタ１６は、次のイントラ期間内の全てのビデオフレームについて有効状態のままである。他の実施形態においては、輝度フィルタ１６の適用は、イントラ期間あたりに１回ではなく、フレーム単位で判断することができる。各々の新しいイントラ期間（３８）が検出されると、そのイントラ期間内のフレームについてフィルタ１６を適用するか否か判断する工程が繰り返される。

適応輝度フィルタ１６の適用については、本明細書で説明するように、ビットレートオーバーフローは、大を伴って実質的に低減することができ、極端に複雑なビデオシーケンスのスキップフレーム量において損害はほとんど又はまったくなく、通常のビデオシーケンスのスキップフレーム量が若干増加する。ビットレートオーバーフローの低減は、多い動き量及び高空間複雑性コンテンツを伴うビデオシーケンスの場合の方が、かつ、ビットレートが低いほど大きくなると考えられる。ビットレートオーバーシュートは、記録ビデオクリップが適用可能な記録設定及びビデオクリップ長に基づいた理想的なビデオクリップサイズを上回る割合と定義することができる。フィルタ１６の適用によりビットレートオーバーシュートの低減を達成するには、一部のフレームについてピーク信号対雑音比（ＰＳＮＲ）の若干の損失がある恐れがある。しかしながら、符号器性能に及ぼすビットレートオーバーフローの影響の方が、ＰＳＮＲの損失を上回る。

図５は、主観動画品質を向上させるためにビデオ符号器２０の性能に応答して調節されるフィルタ１６を有するビデオ記録システム５０を例示するブロック図である。ビデオ記録システム５０は、図１のビデオ記録システム１０と実質的に一致するが、更に具体的には、ビデオ符号器２０により符号化されたビデオの主観動画品質を向上させるように構成される。便宜上、同じ参照番号が、図５のビデオ記録システム５０及び図１のビデオ記録システム１０内の同様の構成部品に使用される。主観動画品質を向上させるために、ビデオ記録システム３２は、主観動画品質を向上させるように符号化性能情報に応答して選択的に調節することができる輝度フィルタ１６を含む。

ビデオシーケンス内の動き分散及び動的場面変化の存在のために、ビデオ符号器２０は、実質的に一定のビットレートを維持するために、フレーム単位で量子化パラメータを調節する必要がある。ＱＰ情報は、フレームレベル又はマクロブロック（ＭＢ）−レベルレート制御に向けた１つ又はそれ以上のＱＰ値を含むことができる。例えば、１つ又はそれ以上のＱＰ値は、ＭＢ−レベルレート制御と共に使用することができる。ＭＰＥＧ−４において、ＱＰ値の範囲は、１から３１である。ＩＴＵ Ｈ．２６４においては、ＱＰ範囲は、０から５１である。各々の場合において、ＱＰ範囲は、低符号化損失（低量子化誤差）から高符号化損失（高量子化誤差）に及び範囲を包含する。ビデオ符号器２０が高ＱＰ値を使用しているとき、離散コサイン変換（ＤＣＴ）の量子化誤差が大きいと、高空間周波数成分でリンギングアーチファクトを招き、ブロック境界でアーチファクトを阻止する可能性がある。主観動画品質を向上させるために、フィルタ１６を適用して符号化の前に低域通過フィルタリングによりビデオフレーム内での縁部を円滑化することができる。

フィルタ１６により行われる低域通過プレフィルタリングにより、ビデオフレームの高空間周波数成分が低減される。その結果、そのフレームのＱＰ情報、例えば、１つ又はそれ以上のＱＰ値は、符号器２０により低減することができ、その結果、符号化アーチファクトが減少する。他方、符号化によるアーチファクトがごくわずかである場合には鮮明なビデオフレームが望ましい。換言すると、ビデオ符号器２０への入力は、ビデオ符号器が低いＱＰ値を使用している状況において高域通過フィルタリングにより縁部を向上させることができる。ビデオ記録システム５０は、ビデオ符号器の性能を向上させるためにビデオ符号器２０の要件を適合させるようにビデオフレーム特性を調節するためにＶＦＥ１２の一部として適応輝度フィルタ１６を組み込む。

フィルタ１６の適用は、ソフトウェアにおいて相対的に実行しやすく、かつ、恐らくは一切のハードウェアの変更なく、既存のＶＦＥハードウェアデザインに容易に適合することができる。更に、適応輝度フィルタ１６の制御は、安定したかつ堅牢な性能を実現するために、ビデオ符号器２０により適用される速度制御と一体化することができる。輝度フィルタ１６は、高動き又は高テクスチャビデオシーケンスについてビットレートオーバーフローを低減することもできる。特に、制御装置２３は、高動き又は高テクスチャが符号器２０により符号化されるべきフレーム内に存在するときにフレームビット数又はフレームＱＰを低減するためにフィルタ１６について低域通過フィルタ（ＬＰＦ）を選択することができる。

図５の例においては、フィルタ１６は、制御装置２３により生成されたフィルタ指標値を使用するフィルタの列からフィルタを選択することにより調節する。フィルタ列のフィルタは、一端の低域通過フィルタから他端での高域通過フィルタまで及び、フィルタ指標値に従って選択可能である。制御装置２３は、ビデオ符号器２０により適用されたＱＰ情報及びフィルタ１６を調整するために使用されるフィルタ指標を制御する。ＱＰ情報は、フレーム全体の単一のＱＰ値又はフレーム全体の複数のＱＰ値など、１つ又はそれ以上のＱＰ値、又は、フレーム内の、マクロブロック（ＭＢ）など、ビデオブロックとすることができる。制御装置２３は、ビデオ符号器２０により符号化されたビットストリームに関係するＶＢＥ１４から受信された情報に基づいてＱＰ情報及びフィルタ指標値を生成する。特に、制御装置２３は、記録設定装置３４からの記録情報及び先に符号化されたフレーム５４３又は１組のフレームに関係するＶＢＥ１４からの性能フィードバックに基づいて符号化されるべき次のビデオフレームについてＱＰ情報及びフィルタ指標値を生成する。

制御装置２３は、記録設定装置３４から記録設定を受信する。設定は、ビデオフレームサイズ、ビデオ符号化ビットレート、及びフレーム／秒（ｆｐｓ）でのフレーム速度を含むことができる。図１及び図３の例においてのように、記録された高品質がフレームサイズ、ビットレート又はフレーム速度により示される場合、制御装置２３は、次のフレーム又は１組のフレームについてフィルタ１６の適用を中止することができる。そうでない場合は、フィルタ１６は、制御装置２３により判断された特性と共に適用することができる。制御装置２３は、各フレームを符号化するために使用されるビット数、先に符号化されたフレームのＱＰ値又は各種ＱＰ値、タイミング情報、及び動き活動を示すＶＢＥフィードバック情報を受信することができる。この情報に基づいて、制御装置２３は、符号化すべき次のフレームについてＱＰ値又は各種ＱＰ値を選択して、符号化すべき次のフレームについて使用されるフィルタ指標値にＱＰ情報をマッピングする。

一例として、制御装置２３は、次のフレームについてＱＰ値を選択して、次のフレームのフィルタ指標値にＱＰ値をマッピングする。タイミング情報は、現在のフレームの符号化と先のフレームの符号化との間で経過した時間量を示す。連続的なフレーム間の時間が相対的に短い場合、動き制御装置２３は、円滑化フィルタを適用して、符号化すべきフレームの複雑性を低減することができる。動き活動情報は、先のフレームと現在のフレームとの間の動きを示す。一般に、フレームについて動きが大きいほど、フレームを予測する際の困難さが大きくなる。したがって、制御装置２３は、連続的なフレーム間に実質的な動きがある場合、フレーム鮮明化フィルタではなく、フレーム円滑化フィルタを支持することができる。

先に符号化されたフレームからのこの情報を用いて、制御装置２３は、符号化すべき次のフレームについてＱＰ値及びフィルタ指標値を選択する。例えば、先のフレームのビットレート制御統計データ、ＱＰ値、タイミング情報、及び動き活動を用いて、制御装置２３は、次のフレームについてＱＰ値を選択する。動き活動が少ないほど、かつ、ビットレートオーバーフローが少ないほど、必要とされるＱＰ値が低くなる。ＱＰ値は、一般的に、動き活動の及びビットレートオーバーフローの増加と共に増大する。同様に、フレーム間のタイミング間隔が小さくなっている場合には、ＱＰ値は、高くなる傾向がある。例えば、同じ場面が２つの異なるフレーム速度、例えば、３０ｆｐｓ及び１５ｆｐｓを用いて記録された場合、フレームが高いと、結果的に、フレーム間の間隔が短くなり、一般的に、必要とされるＱＰ値が高くなる。更に、ビットレートオーバーフローを回避するために可変センサ捕捉速度又はフレームスキップなどの要素のためにクリップ内の時間間隔の変動がある場合、タイミング時間が変化し、その結果、異なるＱＰ値が発生する。

先に符号化されたフレームに関する適用可能なビットレート制御統計データ、ＱＰ値、タイミング情報、及び動き活動に従って判断されたＱＰ値を用いて、制御装置２３は、符号化すべき次のフレームについてフィルタ指標値を選択する。特に、各フレームサイズについては、制御装置２３は、適用可能なＱＰ：フィルタ指標のマッピング表にアクセスする。換言すると、特定のフレームサイズについては、ＱＰ：フィルタ指標のマッピング表では、ＱＰ値がフィルタ指標値にマッピングされる。フィルタ指標値を用いて、制御装置２３は、ビデオ符号器２０により符号化されることになる次のビデオフレームをプレフィルタリングするためにフィルタを選択及び適用する。

低いＱＰ値を使用する高品質ビデオについては、高周波数成分の向上によりビデオクリップに使用されるＱＰ値全体が若干増大させることができるとしても、鮮明なビデオフレームを取得することが望ましい。しかしながら、ビデオ符号器２０が高いＱＰ値を用いたとき、迷惑なアーチファクトが生成される恐れがある。画像の円滑化により、ＱＰを低減するか、又は、不連続なアーチファクトを緩和することができる。したがって、ＶＦＥ１２は、フィルタの列を含む調節可能なフィルタ１６を組み込む。上述したように、フィルタ列内のフィルタは、それぞれ、入力映像フレームに及ぼす縁部向上、テクスチャ円滑化、及び通過の効果をサポートするために、高域通過フィルタ（ＨＰＦ）から低域通過フィルタ（ＬＰＦ）までの範囲及び通過フィルタ（信号を変えない）を包含する。

フィルタ列内の２つの隣接するフィルタのフィルタ周波数応答差を低減するために、相対的に多数のフィルタセットをフィルタ列内に設置することができる。１つの例においては、フィルタ列は、１４個のフィルタセットを含むことができ、各フィルタは、３ｘ３空間フィルタカーネルを形成する１９種類のフィルタ係数を有することができる。１４個のフィルタセットにより、フレーム間の漸進的な変化が可能である。１４個のフィルタから成るＶＦＥフィルタ列の例は、以下のように表すことができる。

（［１１１１０１１１ｌ］^＊ａ＋［−１−１−１−１８−１−１−１−１］＊ｂ）／（８^＊ａ）、
ここで、（ａ，ｂ）は、値｛（１６，３）、（８，２）、（８，３）、（２，１）、（８，５）、（４，３）、（１６，１３）、（８，７）、（２，２）、（４，５）、（８，１１）、（２，３）、（４，７）、又は（１，２）｝を取る。

２つの隣接するフィルタ指標の周波数応答差は、フレーム間のフィルタ指標変化による像残留物を低減するために制限される。制御装置２３は、ＱＰ：フィルタ指標のマッピング表を用いて、ＱＰ値及び画像サイズに基づいてフィルタ指標を判断する。例示として、クォータビデオグラフィックスアレイ（ＱＶＧＡ）及びクォータカモンインターメディエイトフォーマット（quarter common intermediate format）（ＱＣＩＦ）のＭＰＥＧ−４符号化の例示的なマッピング表を以下に呈示する。

１． ＱＶＧＡマップ
ｍｐｇ４＿ｑｐ＿ｔｏ＿ｖｆｅ＿ｆｉｌｔｅｒ＿ｑｖｇａ＿ｓｉｚｅ［３２］＝
｛
１３，１３，１３，１２，１２，
１２，１２，１１，１１，１１，
１１，１１，１０，１０，１０，
９，９，９，８，８，
８，８，８，７，６，
５，４，３，２，１，
０，０
｝；
２． ＱＣＩＦマップ
ｍｐｇ４＿ｑｐ＿ｔｏ＿ｖｆｅ＿ｆｉｌｔｅｒ＿ｑｃｉｆ＿ｓｉｚｅ［３２］＝
｛
１３，１３，１２，１１，１１，
１０，１０，１０，９，９，９，
９，８，８，８，８
７，７，７，７，６，
６，６，５，５，４，
４，３，３，２，１，
０，０
｝；
ＩＴＵ Ｈ．２６４及び他のビデオ符号化法に向けて、ならびに、異なる画像サイズ、例えば、ＶＧＡに向けて異なるマップを構成かつ設計することができる。

ＱＰ−フィルタ指標のマッピング（QP-to-filter index mapping）の目的は、符号化によるアーチファクトが低いＱＰにてわずかなものである場合に高域通過フィルタリングにより縁部を向上させることであり、かつ、符号化によるアーチファクトが高いＱＰにて雑音を決定づける場合に低域通過フィルタリングにより高空間周波数成分を低減することである。換言すると、フィルタ１６は、ヒントパケットフィルタリングによりビデオフレームを鮮明化して低ＱＰの場合にＱＰを増大させ、かつ、低域通過フィルタリングによりビデオフレームを円滑化して高ＱＰの場合にＱＰを低減するために、ＱＰ及び符号化条件に基づいて適合させることができる。フィルタ係数はＱＰの値に適応するので、システム４０は、様々なビデオコンテンツについて性能の向上及び堅牢化が可能とすることができる。更に、フレームＱＰ偏りは、適応フィルタ制御を適用することにより低減することができる。目標レートを上回るビットレートオーバーフローを回避するために、フィルタ指標値は、高テクスチャビデオが得られるように低域通過フィルタタイプとなるように設定することができる。例えば、フィルタ１６による輝度の低域通過プレフィルタリングにより、所要フレームコーディングビット数及び／又はフレームＱＰ値を低減することができる。

マッピング表及びフィルタ列へのアクセスで、制御装置２３は、以下の擬似コードにより表されるような、フレームを基本とする適応フィルタ制御を適用することができる。

ｉｆ（ｖｆｅ＿ｆｉｌｔｅｒ＿ｉｄｘ＞ｍｐｇ４＿ｑｐ＿ｔｏ＿ｖｆｅ＿ｆｉｌｔｅｒ［ｅｎｃｏｄｅｒ＿ｑｐ］）//、
｛
//現在のＭＰＥＧ−４ＱＰ値についてフィルタ指標が所定の指標値を上回る場合には円滑度を増大させる
ｖｆｅ＿ｆｉｌｔｅｒ＿ｉｄｘ−−；
｝
ｃｌｓｃ ｉｆ（ｖｆｅ＿ｆｉｌｔｃｒ＿ｉｄｘ＜ｍｐｇ４＿ｑｐ＿ｔｏ＿ｖｆｅ＿ｆｉｌｔｅｒ ｅｎｃｏｄｅｒ＿ｑｐ）であっても、
｛
//現在のＭＰＥＧ−４ＱＰ値についてフィルタ指標が所定の指標値を下回る場合には鮮明さを増大させる
ｖｆｅ＿ｆｉｌｔｅｒ＿ｉｄｘ＋＋；
｝。

上述したフィルタ選択法は、確実に、連続的なフレームについてのフィルタ指標値最大差が、フィルタ変更による隣接するフレーム残留物を低減するように１つ指標値以下であるようにするものである。このフィルタ選択法は、処理オーバーヘッドを著しく増大させることなくソフトウェア内で容易に実行することができる。

動きが少なく、テクスチャが少なくて、連続的なフレーム間でより長い隙間を示すタイミングを有するフレームについては、制御装置２３は、フレーム内の縁部を向上させるために高域通過フィルタ指標値を選択する。また、実質的なビットレートアンダーフローがある、即ち、符号器２０が必要とするコーディングビットが有効数を下回る場合、画像の鮮明化を行なうために高域通過フィルタ指標値を選択することができる。このようにして、符号器２０は、より複雑な画像を受信し、かつ、適用可能なビットレート予算に近づけてより高品質なビデオを生成するためにより多くのコーディングビットを消費することになる。フレーム動き又はテクスチャが高いか、又は、タイミングにより連続的なフレーム間の隙間の短縮化がわかるとき、制御装置２３は、ＱＰ値を増大させ、これにより、結果的に、著しいアーチファクトを招く可能性がある。視覚的画質を維持するために、制御装置２３は、フィルタを低域通過フィルタタイプに徐々に変えるために一連のフレームにわたってフィルタ指標値を変える。フィルタタイプが低域通過に変るにつれて、フィルタ１６は、ビデオフレームにおいて画像を円滑化して、より低いフレームＱＰ値を引き起こす。フィルタ１６による適応プレフィルタリングで、より一貫した画質を実現するためにフレームＱＰの偏りを低減することができる。

中程度の動き及び高いテクスチャについては、連続的なフレーム間の中程度のタイミングギャップで、平均的なフレームＱＰは、高いものである傾向があり、低いコーディングビットレートにて大きなアーチファクトが発生する。この場合、制御装置２３は、ビデオシーケンスについて低域通過フィルタ指標値をフィルタ１６に適用し、濃淡のむら及びコーディングによるアーチファクトを低減することができるようにより低いＱＰ値が可能となる。更に、適応フィルタ１６を適用すると、符号器２０においてビットレートオーバーフローを低減することができる。データ転送速度が増大するにつれて、制御装置２３は、主観動画像品質（subjective visual image quality）を向上させるために、一部のフレームについてフィルタ１６に高域通過フィルタ指標値を選択することができる。一般に、フィルタ１６は、そのときの現在のビデオ符号化条件、例えば、画像サイズ、フレームビット数、及び動き情報により決まるような幾つかのフレームのうちに徐々に高域通過から通過に至り低域通過へと変換することができる。同様に、ビデオ符号器２０により使用されるＱＰ値は、フィルタ指標値及び符号化条件の関数として幾つかのフレームにわたって変換することができる。

図６は、図５のビデオ記録システム５０の例示的な動作を例示する流れ図である。図６に示すように、ＶＦＥ１２では、ビデオセンサ１８を介して入力ビデオフレームを取得する（５２）。制御装置２３は、フレームサイズ、目標ビットレート及びフレーム速度（ｆｐｓ）を含む記録設定を取得する（５４）。また、制御装置２３は、先のフレームについてビデオ符号器２０により使用されたコーディングビット数と、先に符号化されたフレームについて使用されたＱＰ値と、先のフレームと現在のフレームとの間で経過した時間量を示すタイミング情報と、先のフレームと現在のフレームとの間の動き活動を示す動き情報とをＶＢＥ１４から取得する（５６）。この情報に基づいて、制御装置２３は、次のビデオフレームを符号化するために符号器２０により使用されたＱＰ値を調節する（５８）。更に、制御装置２３は、ＱＰ値をフィルタ指標値にマッピングして、輝度プレフィルタ１６としての適用に向けてフィルタ列からフィルタを選択する（６０）。したがって、ＱＰ値及びフィルタ指標値は、互いに依存し、フィルタ指標値は、ＱＰ値の関数として判断される。フィルタ指標値は、次のフレームのＱＰ値に影響を与える。代替実施形態においては、制御装置２３は、まず、フィルタ指標値を選択して、フィルタ指標値をＱＰ値にマッピングすることができる。

先述したように、一部の実施形態においては、制御装置２３は、漸進的なフィルタ適合を行って隣接するフレーム間のフレーム残留物を低減するために、フレーム当たりに１つのステップのみによりフィルタ指標値を調節することができる。フィルタ指標値が選択されると、フィルタ１６は、ビデオ符号器２０による符号化の前に現在のビデオフレームをプレフィルタリングするために適用される（６２）。状況によっては、制御装置２３は、高域通過、通過、及び低域通過のフィルタの段階的変化を生成する各種のフィルタ指標値に従って、フィルタ列からフィルタを選択することにより、一連のフレームにわたって徐々にフィルタ１６を調節することができる。フィルタ１６を適用すると（６２）、ＶＦＥ１２は、次の入力ビデオフレームを取得し（５２）、ビデオ記録システム５０の動作は、反復的に継続する。ビデオシーケンスのうちに、制御装置２３は、ビデオ符号器２０により符号化されたビデオフレームの主観動画品質を向上させるか又は維持するために、ＶＢＥ１４からのフィードバックに基づいて、ＶＦＥ１２においてＱＰ値及びヴィル１６の特性を適合調節する。

図７は、主観動画品質を向上させ、かつ、ビットレートオーバーフローを低減するためにビデオ符号器性能情報及び記録情報に応答して調節されるフィルタ１６を有するビデオ記録システム６４を例示するブロック図である。図３の例においては、システム３２は、ビデオ情報の適応プレフィルタリングを適用してビデオ符号器２０においてビットレートオーバーフロー量を低減するように構成される。図５の例においては、システム５０は、ビデオ符号器２０により符号化されたビデオフレームの主観動画品質を向上させるか又は維持するためにビデオ情報の適応プレフィルタリングを適用するように構成される。図７の例においては、ビデオ記録システム６４は、システム３２及びシステム５２の両方により適用される各種の適応プレフィルタリング法を利用してビットレートオーバーフローを低減すると共に主観動画品質を向上させるか又は維持するように構成される。

図７に示すように、制御装置２３は、記録設定装置３４から記録設定を受信する。記録設定は、ビデオフレームサイズと、目標ビデオ符号化ビットレートと、フレーム／秒（ｆｐｓ）でのフレーム速度とを含むことができる。更に、制御装置２３は、フレーム分散統計データ、と、ビットレート制御統計データと、フレームビット数と、タイミング情報と、ＱＰ情報と、動き活動情報とを性能フィードバックとしてＶＢＥ１４から受信する。記録情報及びＶＢＥ性能フィードバックを用いて、制御装置２３は、符号化されるべき次のビデオフレームについて、フィルタ１６を調整し、かつ、ビデオ符号器２０により使用されるＱＰ値を調節する。図５の例においてのように、制御装置２３は、各種係数値又は各種フィルタ指標値を生成することによりフィルタ１６を調節する。前者の場合、各種係数値により、フィルタ１６は、低域通過フィルタ、高域通過フィルタ、又は、通過フィルタとして再構成される。後者の場合、各種フィルタ指標値は、事前に構成されたフィルタの列から低域通過フィルタ、高域通過フィルタ、又は通過フィルタを選択するために使用される。各々の場合において、結果は、輝度プレフィルタ１６の特性への調整である。

図３のシステム３２の動作と図５のシステム５０の動作との間には幾つかの相違点がある。図３のシステム３２においては、フィルタ１６を使用して着信ビデオフレームの輝度成分をプレフィルタリングするか否かの判断は、イントラ期間毎に１回行われる。しかしながら、図５のシステム５０においては、フィルタ１６を調節する判断は、フレーム単位で行われる。システム５０においては、通過フィルタを実現するためのフィルタ１６の調整は、一般的に、フィルタを現在のフレームに適用しない判断に対応するものである。もう１つの実質的な相違点は、フレームをフィルタリングするか否かの判断を行なうために使用される統計データの性質である。システム３２及び５０は、共に、制御装置２３用入力情報として記録設定を使用する。しかしながら、他の入力は、全く異なるものである。例えば、ビットレートオーバーフローを低減するために、システム３２は、ＶＢＥ１４からのフレーム分散（即ち、視覚マスキング）及びビットレート制御統計データを利用する。他方、主観動画品質を向上させるか又は維持するために、システム５０は、ＶＢＥ１４からの先のフレームに使用されたビット数と、先のフレームのＱＰ値と、先のフレームと現在のフレームとの間のタイミング情報と、先のフレームと現在のフレームとの間の動き情報とを使用して、符号化されるべき次のフレームについて量子化パラメータ（ＱＰ）値及びフィルタ指標値を生成する。

図７のビデオ記録システム６４における組み合わせ式適応輝度プレフィルタは、ビットレートオーバーフローの低減及び主観動画品質の向上又は維持を達成するために３つの異なる特長を組み込んだものである。具体的には、システム６５は、輝度フィルタ１６の特性を調節するための異なるフィルタの選択に向けて輝度フィルタ列又は調節可能なフィルタを含むことができる。更に、制御装置２３は、フレーム単位で又はイントラ期間毎に１回、フィルタ判断を行なうように構成することができる。制御装置２３は、更に、記録設定と、フレーム分散統計データ及びビットレート制御統計データと、フレームビット数と、ＱＰ値と、タイミング情報と、動き情報とを含む組み合わされた１組の入力を利用する。システム６４の動作は、以下の擬似コードにより表すことができる。

ｉｆ（ｖｆｅ＿ｆｉｌｔｅｒ＿ｉｄｘ＞ｍｐｇ４＿ｑｐ＿ｔｏ＿ｖｆｅ＿ｆｉｌｔｅｒ ｅｎｃｏｄｅｒ＿ｑｐ）ＯＲ ｅｎｃｏｄｅｒ ｏｖｅｒｆｌｏｗ）の場合
｛
//現在のＭＰＥＧ−４ＱＰ値についてフィルタ指標値が所定の指標値を上回るか、ビデオ符号器においてビットオーバーフローがある場合には円滑度を増大させる。

ｖｆｅ＿ｆｉｌｔｅｒ＿ｉｄｘ−−；
｝
ｅｌｓｅ ｉｆ （ｖｆｅ＿ｆｉｌｔｅｒ＿ｉｄｘ＜ｍｐｇ４＿ｑｐ＿ｔｏ＿ｖｆｅ＿ｆｉｌｔｅｒ［ｅｎｃｏｄｅｒ＿ｑｐ］）であっても、
｛
//現在のＭＰＥＧ−４ＱＰ値についてフィルタ指標値が所定の指標値を下回る場合には鮮明度を増大させる。

ｖｆｅ＿ｆｉｌｔｅｒ＿ｉｄｘ＋＋；
｝。

図８は、図７のビデオ記録システム６４の例示的な動作を例示する流れ図である。図８に示すように、ＶＦＥ１２は、ビデオセンサ１２を介してビデオフレームを取得する。次のイントラ期間の始まりを示して（６８）ビデオフレームがイントラコーディングすべきである場合、制御装置２３は、フィルタ１６の特性を調節する。特に、制御装置２３は、ＶＢＥ１４内のビデオ符号器２０から、フレーム分散統計データを取得する（７０）と共にビットレート制御統計データを取得する（７２）。更に、制御装置２３は、先に符号化されたフレームについてビデオ符号器２０からフレームビット数と、ＱＰ情報と、タイミング情報と、動き情報とを取得して、かつ、記録設定装置３４から、フレームサイズ、ビットレート、及びフレーム速度（ｆｐｓ）など、記録設定を取得する（７６）。この情報収集を用いて、制御装置２３は、次のフレームを符号化するためにビデオ符号器２０により使用されるようにＱＰ値を調節し（７８）、かつ、次のイントラ期間にわたる各種フレームへのフィルタ１６としての適用に向けて、フィルタ列からフィルタを選択するためにフィルタ指標値を調節する（８０）。その後、輝度プレフィルタリングを行なうために符号化するように現在のフレームにフィルタ１６を適用する（８２）。既存のイントラ期間（６８）中に、フィルタ指標値を固定することができる。

制御装置２３は、ＶＢＥ１４からのフレームビット数、サイズ及び動き情報に基づいてＱＰ値を選択することができる。その後、制御装置２３は、ＱＰ値と、フレーム分散統計データ及びビットレート制御統計データとをフィルタ指標値に適用する。先の擬似コードで示すように、現在のフィルタ指標値が、これがビデオ符号器２０におけるビットレートオーバーフローであることを示すＱＰ：フィルタ指標値のマッピング又はビットレート制御統計データにより生成された所定の指標値を下回る場合、制御装置２３は、ビデオフレームの円滑さを増大させるために、フィルタ列の低域通過フィルタ端部に向かってフィルタ指標値を調節する。このようにして、ビデオ符号器２０においてビットレートオーバーフローを低減するために入力ビデオフレームの複雑性を低減することができる。しかしながら、現在のフィルタ指標値がＱＰ：フィルタ指標値のマップ根指定された指標値を下回る場合、制御装置２３は、ビデオ符号器２０による符号化の前に、ビデオフレームの鮮明さを増大させるためにフィルタ列の高域通過フィルタ端部に向かってフィルタ指標値を調節する。

本明細書で説明する各種の技法は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の他の組み合わせにおいて実行することができる。ソフトウェア内で実行される場合、各種技法は、画像を捕捉する装置内で実行されたときに本明細書で説明する各種技法のうちの１つ又はそれ以上を実行する、機械実行可能な命令を供給するプログラムコードを備えるコンピュータ可読媒体を対象としたものとすることができる。その場合、コンピュータ可読媒体は、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去・再書込み可能な読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリなどのランダムアクセスメモリ（ＲＡＭ）を備えることができる。

プログラムコードは、コンピュータ可読命令の形でメモリ上に記憶することができる。その場合、マイクロプロセッサ又はディジタル信号プロセッサ（ＤＳＰ）などのプロセッサは、本明細書で説明する各種技法のうちの１つ又はそれ以上を実行するためにメモリ内に記憶された命令を実行することができる。場合によっては、各種の技法は、様々なハードウェア構成部品を呼び出すＤＳＰにより実行することができる。他の場合においては、へ本開示において説明した各種技法は、マイクロプロセッサ、１つ又はそれ以上の特定用途向け集積回路（ＡＳＩＣ）、１つ又はそれ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は何らかの他のハードウェアとソフトウェアの組み合わせにより実行することができる。

様々な実施形態を例示を目的として説明した。輝度プレフィルタの使用について説明したが、他の実施形態も、単独で又はお互いとの組み合わせで輝度プレフィルタ及び／又はクロミナンスプレフィルタの使用を包含することができる。上記及び他の実施形態は、以下の特許請求の範囲内である。

ビデオバックエンド（ＶＢＥ）からのフィードバックに基づいて調節されるプレフィルタを有するビデオフロントエンド（ＶＦＥ）を含むビデオ記録システムを例示するブロック図である。 図１のビデオ記録システムの例示的な動作を例示する流れ図である。 ビットレートオーバーフロー及び／又はアンダーフローを低減するためにビデオ符号器性能情報及び記録情報に応答して調節されるフィルタを有するビデオ記録システムを例示するブロック図である。 図３のビデオ記録システムの例示的な動作を例示する流れ図である。 主観動画品質を向上させるためにビデオ符号器性能情報及び記録情報に応答して調節されるフィルタを有するビデオ記録システムを例示するブロック図である。 図５のビデオ記録システムの例示的な動作を例示する流れ図である。 主観動画品質を向上させる共にビットレートオーバーフロー及び／又はアンダーフローを低減するためにビデオ符号器性能情報及び記録情報に応答して調節されるフィルタを有するビデオ記録システムを例示するブロック図である。 図７のビデオ記録システムの例示的な動作を例示する流れ図である。

Claims (30)

1. フィルタをビデオフレームに適用すること、
   フィルタされたビデオフレームを符号化するために、量子化パラメータ（ＱＰ）情報を使用するビデオ符号器を適用すること、
   ビデオ符号器に関係する性能情報を受信すること、そして
   性能情報に基づきＱＰ情報とフィルタとを調節すること、
   を含む方法。
2. 異なるビデオフレームを受信すること、
   調整済みフィルタを異なるビデオフレームに適用すること、そして
   異なるビデオフレームを符号化するために、調整済みＱＰ情報をビデオ符号器に適用すること
   を更に含む、請求項１に記載の方法。
3. ＱＰ情報の関数としてフィルタを調節することを更に含む、請求項１に記載の方法。
4. フィルタは輝度フィルタを含む請求項１に記載の方法。
5. ビデオフレームサイズと、符号化ビットレートと、フレーム速度とを示すビデオフレーム記録情報を取得することを更に含み、ＱＰ情報とフィルタとを調節することは、性能情報と記録情報との両方に基づいてＱＰ情報とフィルタとを調節することを含む、請求項１に記載の方法。
6. フィルタを調節することは、フィルタの係数を調節することを含む、請求項１に記載の方法。
7. フィルタを調節することは、複数の異なるファイルの１つを選択することを含む、請求項１に記載の方法。
8. 性能情報は、フレームビットレート情報と、フレームサイズ情報と、ＱＰ情報と、そしてフレーム動き情報とを含む、請求項１に記載の方法。
9. 性能情報は、フレーム内の空間複雑性コンテンツ量を示すフレーム分散情報と、ビットレート閾値を上回る、符号器により適用された幾つかの符号化ビットを示すビットレート制御情報とを更に含む、請求項８に記載の方法。
10. ビデオフレームサイズと、符号化ビットレートと、フレーム速度とを示すビデオフレーム記録情報を取得することを更に含み、フィルタを調節することは、性能情報と記録情報との両方に基づいてフィルタを調節することを含む、請求項１に記載の方法。
11. ビデオフレームを取得するビデオセンサと、
    ビデオフレームをフィルタリングするフィルタと、
    量子化パラメータ（ＱＰ）情報を使用してフィルタリング済みビデオフレームを符号化するビデオ符号器と、そして
    ビデオ符号器に関係する性能情報を受信して、性能情報に基づいてＱＰ情報とフィルタとを調節する制御装置と、
    を備えるシステム。
12. ビデオセンサは異なるビデオフレームを受信し、制御装置は、異なるビデオフレームを符号化するために、調整済みフィルタを異なるビデオフレームに適用しそして調整済みＱＰ情報をビデオ符号器に適用する、請求項１１に記載のシステム。
13. 制御装置はＱＰ情報の関数としてフィルタを調節する請求項１１に記載のシステム。
14. フィルタは輝度フィルタを含む、請求項１１に記載のシステム。
15. 制御装置は、ビデオフレームサイズと、符号化ビットレートと、フレーム速度とを示すビデオフレーム記録情報を取得して、性能情報と記録情報との両方に基づいてＱＰ情報とフィルタとを調節する、請求項１１に記載のシステム。
16. 制御装置は、フィルタの係数を調節してフィルタを調節する、請求項１１に記載のシステム。
17. 制御装置は、複数の異なるフィルタの１つを選択してフィルタを調節する、請求項１１に記載のシステム。
18. 性能情報は、フレームビットレート情報と、フレームサイズ情報と、そしてフレーム動き情報とを含む、請求項１１に記載のシステム。
19. 性能情報は、フレーム内の空間複雑性コンテンツ量を示すフレーム分散情報と、そしてビットレート閾値を上回る符号器により適用された幾つかの符号化ビットを示すビットレート制御情報とを更に含む、請求項１８に記載のシステム。
20. 制御装置は、ビデオフレームサイズと、符号化ビットレートと、フレーム速度とを示すビデオフレーム記録情報を取得して、性能情報と記録情報との両方に基づいてフィルタを調節する、請求項１１に記載のシステム。
21. コンピュータ可読媒体であって
    プロセッサに対し、
    フィルタをビデオフレームに適用すること、
    量子化パラメータ（ＱＰ）情報を使用するビデオ符号器を適用してフィルタリング済みビデオフレームを符号化すること、
    ビデオ符号器に関係する性能情報を受信すること、そして
    性能情報に基づいてＱＰ情報とフィルタとを調節すること、
    をさせる命令を含むコンピュータ可読媒体。
22. プロセッサに対し、
    異なるビデオフレームを受信すること、
    調整済みフィルタを異なるビデオフレームに適用すること、そして
    調整済みＱＰ情報をビデオ符号器に適用して、異なるビデオフレームを符号化すること、
    をさせる命令を更に含む、請求項２１に記載のコンピュータ可読媒体。
23. プロセッサに対し、ＱＰ情報の関数としてフィルタを調節することをさせる命令を更に含む、請求項２１に記載のコンピュータ可読媒体。
24. フィルタは、輝度フィルタを含む、請求項２１に記載のコンピュータ可読媒体。
25. プロセッサに対し、ビデオフレームサイズと、符号化ビットレートと、フレーム速度とを示すビデオフレーム記録情報を取得して、性能情報と記録情報との両方に基づいてＱＰ情報とフィルタとを調節することをさせる命令を更に含む、請求項２１に記載のコンピュータ可読媒体。
26. プロセッサに対し、フィルタの係数を調節してフィルタを調節することをさせる命令を更に含む、請求項２１に記載のコンピュータ可読媒体。
27. プロセッサに対し、複数の異なるフィルタの１つを選択してフィルタを調節することをさせる命令を更に含む、請求項２１に記載のコンピュータ可読媒体。
28. 性能情報は、フレームビットレート情報と、フレームサイズ情報と、そしてフレーム動き情報とを含む、請求項２１に記載のコンピュータ可読媒体。
29. 性能情報は、フレーム内の空間複雑性コンテンツ量を示すフレーム分散情報と、ビットレート閾値を上回る、符号器により適用された幾つかの符号化ビットを示すビットレート制御情報とを更に含む、請求項２８に記載のコンピュータ可読媒体。
30. プロセッサに、ビデオフレームサイズと、符号化ビットレートと、フレーム速度とを示すビデオフレーム記録情報を取得して、性能情報と記録情報との両方に基づいてフィルタを調節することをさせる命令を更に含む、請求項２１に記載のコンピュータ可読媒体。

Images