JP2007533196A

JP2007533196A - 単色フレーム検出方法及びこれに対応する装置

Info

Publication number: JP2007533196A
Application number: JP2007506898A
Authority: JP
Inventors: マウロバルビーリ; ヅェヴデットブラツェロヴィク
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2004-04-08
Filing date: 2005-04-04
Publication date: 2007-11-15
Also published as: EP1743488A1; CN1947427A; US20070206931A1; KR20070007330A; WO2005099273A1

Abstract

本発明は、隣接するブロックに小分割されるマクロブロックに分割される連続のフレームを有するビデオストリームの形態で利用可能なディジタル符号化ビデオデータに適用される検出方法に関する。これらフレームは、独立して符号化されたＩフレームと、前のＩ又はＰフレームから予測されるＰフレームと、介在する対象の少なくとも２つのフレームから双方向に予測されたＢフレームとを含む。本発明によれば、この処理方法は、所定のイントラ予測モードに準じて、現フレームの各ブロックにつき符号化されているか否かを判定するステップと、現フレームのブロックの全てにつき同様の情報を収集し所定のイントラ予測モードに関連した統計データを伝送するステップと、イントラ予測モードを呈するか又は呈しない現フレームのブロックの数を判定するよう統計データを解析するステップと、フレームの系列において、当該数が所定の閾値より大きいときに単色であるか又は繰り返しパターンを伴う画像又は画像の小領域の発生を検出するステップとを有する。

Description

本発明は、単色フレーム又はフレームの単色部分を自動的に検出することのできる方法に関し、特に例えばＨ．２６４／ＭＰＥＧ−４ＡＶＣビデオストリームにおける方法に関する。本方法は、主として、非常に効率的で費用対効果の高い検出を可能とするＨ．２６４により導入される新しい符号化パラメータの使用に基づくものである。

近年、国際ビデオ符号化規格は、ディジタルビデオの採用を様々な専門的かつ民生の用途において容易にするのに重要な役割を果たしてきた。多くの影響力のある規格は、ＩＴＵ−ＴとＩＳＯ／ＩＥＣＭＰＥＧという２つの機構（時として提携される。例えばＭＰＥＧ−２／Ｈ．２６２）により開発されてきた。最も新しい提携規格は、Ｈ．２６４／ＡＶＣであり、２００３年にＩＴＵ−ＴによりRecommendation H.264/AVCとしてＩＳＯ／ＩＥＣによりInternational Standard 14496-10 (MPEG-4 Part 10) Advanced Video Coding (AVC)として正式に承認されることが期待されていた。Ｈ．２６４／ＡＶＣ規格化の主たる目標は、圧縮性能における大幅な向上を達成することと、「対話型」（電話通信）及び「非対話型」（記憶、放送、ストリーミング）の用途に対応した「ネットワークフレンドリな」ビデオ提示を提供することである。現在、Ｈ．２６４／ＡＶＣは、こうした目標を達成するために広く認識されており、幾つかの将来のシステムや用途における使用のために、ＤＶＢ及びＤＶＤフォーラムなどの技術的規格化団体により検討されている。インターネットでは、Ｈ．２６４／ＡＶＣについての情報を提供するサイトの数が増え続けており、そのうちＩＴＵ−Ｔ／ＭＰＥＧＪＶＴ［Joint Video ‘Team］の正式なデータベースが草案の更新情報を含めたＨ．２６４／ＡＶＣの開発及び状況を反映した資料へのフリーアクセスを提供している。

ここでＨ．２６４／ＡＶＣシンタックス及び符号化ツールを思い出すことができる。先ず、Ｈ．２６４／ＡＶＣは、ＭＰＥＧ−２のような公表されている規格から知られる、ブロックを基礎とする動き補償変換符号化の同じ原理を使っている。したがってＨ．２６４シンタックスは、ヘッダ（ピクチャ、スライス及びマクロブロックヘッダなど）とデータ（動きベクトル、ブロック変換係数、量子化スケールなど）との普通の階層により編制されている。データ構造化（例えば、Ｉ，Ｐ又はＢピクチャ、イントラ及びインターマクロブロック）に関する既知の概念の多くが維持される一方で、幾つかの新しい概念も当該ヘッダ及びデータレベルの双方に導入されている。主としてＨ．２６４／ＡＶＣは、ビデオデータの内容を効率良く表すように規定されるビデオ符号化レイヤ（Video Coding Layer；ＶＣＬ）と、データをフォーマット化しより高いレベルの（伝送）システムによって伝送に適切な形態でヘッダ情報を提供するネットワーク概要レイヤ（Network Abstraction Layer；ＮＡＬ）を分離する。

データレベルのＨ．２６４／ＡＶＣの主な特殊性の１つには、１６×１６のマクロブロックの区分け及び操作をより綿密にして使用することがある（１マクロブロックＭＢは、１６×１６ブロックの輝度及びこれに対応する８×８ブロックのクロミナンス（色）の両方を含むが、例えば動き推定などの多くの動作は、実際には輝度だけをとりクロミナンスに関する結果を予測する）。したがって、動き補償処理は、サンプルグリッドの４分の１までの動きベクトルの正確さを用いて、４×４の小さなサイズにＭＢの分割をなすことができる。また、サンプルブロックの動き補償された予測のための選択処理は、隣接のものに限定するのではなく、記憶され前に復号された多数のピクチャを含むことができる。イントラ符号化によっても、ここでは隣接ブロックからの前に復号されたサンプルを用いてブロックの予測をなすことができる（この空間を基礎とする予測のためのルールがいわゆるイントラ予測モードにより記述される）。この態様は、ここで規定される本発明について特に関連したものであり、詳細な説明において後に強調する。動き補償された又は空間を基礎とする予測の後に、結果としての予測誤差は、習慣的な８×８のサイズではなく、４×４ブロックサイズに基づいて普通に変換され量子化される。Ｈ．２６４／ＡＶＣ規格は、他の符号化段階（例えばエントロピー符号化）において他の特定の認識を未だ用いており、これらの多くが固定化され又はピクチャレベルにおいて若しくはピクチャレベルの上でしか変更することができない。

前の規格の場合にあったように、Ｈ．２６４／ＡＶＣは、イントラモードで、すなわち隣接画像からの時間的な予測の使用を伴うことなく画像ブロックを符号化することを許容している。Ｈ．２６４／ＡＶＣイントラ符号化の新しい点は、同じピクチャにおける前に符号化され復元されたサンプルから形成されるブロックＰによりイントラブロックを予測することができる空間予測を用いている点である。この予測ブロックＰは、符号化の前に実際の画像ブロックから引かれることになるが、これは実際の画像ブロックが直接符号化される現行の規格（例えばＭＰＥＧ−２、ＭＰＥＧ−４ＡＳＰ）とは異なるものである。輝度サンプルについて、１つの１６×１６ＭＢ又はその各４×４サブブロックにつきＰを形成することができる。各４×４ブロックについて全部で９つのオプションの予測モードや、１６×１６ＭＢに対する４つのオプションモード、ここでは詳述しない各４×４クロマ（彩度）ブロックに常に適用される１つのモードがある。

提示の例において、図１は、その左の部分に１つの１６×１６輝度マクロブロックを、その右の部分に予測されている４×４サブブロックを示している（左上のサンプルは、前に符号化され復元されたものであり、これにより、予測基準を形成するために当該符号化器及び復号器において利用可能なものである。）。予測ブロックＰは、サンプルに基づいて計算され、図２は、その左の部分で予測ブロックＰを構成するサンプルのラベル付け（ａないしｐ）と予測に用いられるサンプルの相対位置及びラベル付け（ＡないしＭ）を示している（画素ＥないしＨが利用可能でない場合、Ｄの画素値により置き換えられる）。図２の右の部分における矢印は、各モードにおける予測の方向を示している。モード３ないし８については、予測サンプルａないしｐの各々がサンプルＡないしＭの加重平均として計算される。モード０ないし２については、サンプルａないしｐの全てに同じ値が与えられ、かかる値は、サンプルＡないしＤの平均（モード２）、サンプルＩないしＬの平均（モード１）又はサンプルＡないしＤ及びＩないしＬ両方の平均（モード０）に一致させることができる。符号化器は、通常その（符号化すべき）ブロックと対応の予測Ｐとの間の剰余を最小化する各４×４ブロックについて予測モードを選択する。４×４予測の次に、Ｈ．２６４はまた、全体としてＭＢの１６×１６ルミナンス部を予測することを可能とする。このため、４つの可能なモードが特定され、これらは図３に連続的に示される。それぞれ、上側サンプルからの外挿、左側サンプルからの外挿、上側及び左側サンプルの平均化、並びに上側及び左側サンプルに対する線形「平面」関数の適用に対応する。なお、イントラモードの選択も復号器に伝達されなければならず、そのために、Ｈ．２６４は、高効率符号化方法を規定している（その中心的思想は、隣接の４×４ブロックのモードが相関性が高いことが多いという考察を活用することにより、４×４モードの個別の符号化を避けることである）。

コンピュータ処理や通信、ディジタルデータ記憶における最近の進歩は、専門家及び消費者双方の環境において非常に大きなディジタルアーカイブの急成長をもたらしており、容量やコンテンツの多様性が絶え間なく増え続けているのが特徴である。したがって、対象の記憶情報を素早く検索する効率的な方法を見つけることは非常に重要である。

テラバイトもの組織化されていない記憶データにおいて相互にサーチをなすことは、冗長性が高く時間が掛かるので、情報サーチ及び検索タスクを自動化システムに転送する必要性が増している。組織化されていないビデオコンテンツの大きなアーカイブにおけるサーチ及び検索は、大抵はコンテンツがコンテンツ解析技術を用いて索引付けされた後に行われる。こうした技術は、当該ビデオコンテンツの記述を考慮して、ビデオマテリアルの注釈を自動的に作成することを目的としたアルゴリズムを有する（このような注釈は、色又はテクスチャなどの低レベル信号関連特性から顔の存在や位置などの高レベル情報に変化する）。

重要なコンテンツ記述子は、いわゆる単色又は「ユニカラー」のフレーム指標である。フレームは、同じ色で全部が満たされている場合には単色であるとみさなれる（実際には、伝送する作品からの信号チェーンにおけるノイズのために、単色フレームは、しばしば単一の色、例えば青、ダークグレイ又は黒の極僅かな相違を示す）。単色フレームを検出することは、コンテンツを基礎とする多くの検索用途において重要なステップである。例えば、米国特許出願公開に係る文献のＵＳ２００２／０１８６７６８に説明されているように、コマーシャル検出器や番組境界検出器は、２つの連続した番組を分離するため、或いはコマーシャル広告から番組を分離するために、放送事業者により挿入される大抵は黒の単色フレームの存在を識別することに依拠するものである。単色フレーム検出はまた、コンテンツの視覚的テーブルから情報価値のないキーフレームを除去するためにも用いられる。

今度のＨ．２６４／ＭＰＥＧ−４ＡＶＣ規格の大きな用途範囲のため、Ｈ．２６４／ＡＶＣビデオコンテンツ解析のための効率的方策の要求が益々高まると想定される。近年、幾つかの効率的なコンテンツ解析アルゴリズム及び方法はＭＰＥＧ−２ビデオに対して実証されており、これらはほぼ専ら圧縮領域で動作する。こうした方法の多くは、Ｈ．２６４／ＡＶＣに拡張可能である。何故なら、Ｈ．２６４／ＡＶＣは或る意味では上で示したようにＭＰＥＧ−２シンタックスのスーパーセットを規定するからである。しかしながら、ＭＰＥＧ−２の制限のために、これら現行の方法の幾つかは適切又は確実な性能を示さない可能性があり、普通は画素又はオーディオ領域において動作する付加的な多くの場合高コストの方法を含ませることにより対処されるという欠点となっている。

したがって本発明の目的は、ＤＣＴ係数統計データの分析に基づいたもののような従来の検出方法と比較して低い消費電力で済む、より適切な検出方法を提案することである。

このため、本発明は、隣接するブロックに小分割されるマクロブロックに分割される連続的なフレームを有するビデオストリームの形態で利用可能なディジタル符号化ビデオデータに適用される検出方法であって、前記フレームは、少なくとも、同じフレームにおける前に符号化され復元されたサンプルから形成される少なくとも１つのブロックから直接又は空間予測を用いて他のフレームとは独立して符号化されたＩフレームと、前記Ｉフレーム間に時間的に配され少なくとも前のＩ又はＰフレームから予測されるＰフレームと、ＩフレームとＰフレームとの間又は２つのＰフレームの間に時間的に配され介在する対象の当該少なくとも２つのフレームから双方向に予測されたＢフレームとを含み、
・所定のイントラ予測モードに準じて、現フレームの連続ブロックの各々につき符号化されているか否かを判定するステップと、
・前記現フレームの連続ブロックの全てにつき同様の情報を収集し前記所定のイントラ予測モードに関連した統計データを伝送するステップと、
・前記イントラ予測モードを呈するか又は呈しない前記現フレームのブロックの数を判定するよう前記統計データを解析するステップと、
・フレームの系列において、前記数が所定の閾値より大きいときに単色であるか又は繰り返しパターンを伴う画像又は画像の小領域の発生を検出するステップと、
を有する方法に関する。

本発明の他の目的は、当該検出方法を行うための検出装置を提案することである。

このため、本発明は、隣接するブロックに小分割されるマクロブロックに分割される連続的なフレームを有するビデオストリームの形態で利用可能なディジタル符号化ビデオデータに適用される検出装置であって、前記フレームは、少なくとも、同じフレームにおける前に符号化され復元されたサンプルから形成された少なくとも１つのブロックから直接又は空間予測を用いて他のフレームとは独立して符号化されたＩフレームと、前記Ｉフレーム間に時間的に配され少なくとも前のＩ又はＰフレームから予測されるＰフレームと、ＩフレームとＰフレームとの間又は２つのＰフレームの間に時間的に配され介在する対象の当該少なくとも２つのフレームから双方向に予測されるＢフレームとを含み、
・所定のイントラ予測モードに準じて、現フレームの連続ブロックの各々につき符号化されているか否かを判定する判定手段と、
・前記現フレームの連続的ブロックの全てにつき同様の情報を収集し前記所定のイントラ予測モードに関連した統計データを伝送する収集手段と、
・前記統計データの解析を行い、前記イントラ予測モードを呈するか又は呈しない前記現フレームのブロックの数を判定する解析手段と、
・フレームの系列において、前記数が所定の閾値より大きいときに、単色であるか又は繰り返しパターンを伴う画像又は画像の小領域の発生の検出を行う検出手段と、
を有する装置に関する。

以下、添付図面を参照して例示により本発明を説明する。

本発明の原理は、Ｈ．２６４／ＡＶＣの革新的な符号化ツールであるイントラ予測モードを単色フレーム検出のために良好に用いることができるという事実に基づいている。主たる思想は、画像を構成する（マクロ）ブロックのためのイントラ予測モードの分布を観察することである。単色画像は、これらブロックの殆どが同じ又は同様の予測モードを呈するときに検出され、このようなブロックの数は例えば固定の閾値と比較可能である。画像におけるブロックの殆どが或るイントラ予測モードに準じて符号化されている場合、その画像は、非常に低い空間的ばらつきを呈するものであり、単色であるか又は繰り返しパターンを含むものである。このアルゴリズムのコンテンツのテーブルの発生への先述した適用のため、又はキーフレーム抽出のため、低い空間ばらつき又は極めて低い空間ばらつき（単色及び繰り返しパターン）の画像のこうしたタイプの双方を破棄しなければならない。

本発明による処理方法の実現形態は、図４のブロック図に示されており、この図は提案の単色フレーム検出方法の可能な実現形態を示しているが、この例は本発明の範囲を限定するものではない。図示の復号装置では、デマルチプレクサ４１が伝送（トランスポート）ストリームＴＳを受信し、多重分離されたオーディオ及びビデオストリームＡＳ及びＶＳを発生する。ビデオストリームは、復号されたビデオストリームＤＶＳを伝送するためにＨ．２６４／ＡＶＣデコーダ４２により受信される。このデコーダ４２は、主として、逆量子化回路４２１（Ｑ^−１）と、本例では逆ＤＣＴ回路である逆変換回路４２２（Ｔ^−１）と、動き補償回路４２３とを有する。また、受信した符号化パラメータを収集するために設けられた、いわゆるネットワーク概要レイヤユニット（ＮＡＬＵ；Network Abstraction Layer Unit）４２４も有する。このユニット４２４の出力信号は、解析回路４３により適切な処理のために受信されるイントラ予測モードパラメータ統計情報ＩＰＭＰＳ（intra prediction mode parameter statistics）である。この解析回路４３において実行される処理動作は、その後始めに受信したストリームにおける単色フレームの位置及び持続期間についての情報を生成するものであり、この情報はその後、ファイル４４に、例えば共通に用いられるＣＰＩ（Characteristic Point Information）テーブルの形態で記憶される。ここで、この出力情報は、上述したようなコンテンツを基礎とする多くの用途（２つの連続した番組又は番組とコマーシャル広告の分離や、コンテンツのテーブルからの情報価値のないキーフレームの抽出など）に利用可能となる。

この方法の主要な利点は、ＤＣＴ係数統計データの解析に基づく慣例的な検出方法に比べて消費電力が少なくて済むことである。これは、提案の方法は、マクロブロック符号化タイプのレベルまでの空間復号しか必要としないからである。この方法の他の利点は、少ない情報で若しくは皆無の情報で又は繰り返しパターンを含んでフレームの容易な検出を可能とする点である（反復パターンを伴うフレームの検出は、画素／ＤＣＴ領域において軽微な動作ではない）。本方法はまた、フレームにおける単色の小領域を検出するために用いることができる。一例として、画像がその境界において単色（例えば黒）を呈する、いわゆる「レターボックス」フォーマットの検出がある。

なお、本発明は、前述した実施例に限定されるものではなく、添付の請求項に規定されるような本発明の主旨及び範囲から逸脱することなく変形例や変更例を形成することができる。

例えば、本明細書や請求項で用いられている「マクロブロック」や「ブロック」なる文言は、例えばＭＰＥＧ−２又はＭＰＥＧ−４などの規格に用いられているようなフレームの矩形の小領域の階層を表すことだけを意図したものではなく、変則的な形のブロックに基づいた符号化又は復号手法において直面するようなフレームの任意の形のあらゆる種類の小領域をも指向するものである。

また、ハードウェア若しくはソフトウェア又はその両方のアイテムにより機能を実現する沢山の方法もある。この点で、図面は非常に模式的なものであり、本発明の１つの可能性のある実施例を表しているに過ぎない。したがって、図面は、種々のブロックとしての種々の機能を示しており、ハードウェア又はソフトウェアの単一のアイテムが複数の機能を果たすことを排除するものではない。また、ハードウェア若しくはソフトウェアのアイテム又はその両方のアイテムのアセンブリが機能を果たすことを排除するものでもない。

請求項におけるいずれの参照符号も、当該請求項を限定するものと解釈するべきではない。「有する」なる文言は、請求項に挙げられたもの以外の要素又はステップの存在を排除しない。要素又はステップの単数表現は、かかる要素又はステップの複数の存在を排除するものではない。

元の１６×１６輝度マクロブロック（左）と予測対象の４×４ブロック（右）を示す図。４×４輝度ブロックの指向性イントラ予測を示す図。Ｈ．２６４における可能性のある４つの１６×１６イントラ予測モードを示す図。本発明による処理方法の実現形態のブロック図。

Claims

隣接するブロックに小分割されるマクロブロックに分割される連続的なフレームを有するビデオストリームの形態で利用可能なディジタル符号化ビデオデータに適用される検出方法であって、前記フレームは、少なくとも、同じフレームにおける前に符号化され復元されたサンプルから形成される少なくとも１つのブロックから直接又は空間予測を用いて他のフレームとは独立して符号化されたＩフレームと、前記Ｉフレーム間に時間的に配され少なくとも前のＩ又はＰフレームから予測されるＰフレームと、ＩフレームとＰフレームとの間又は２つのＰフレームの間に時間的に配され介在する対象の当該少なくとも２つのフレームから双方向に予測されたＢフレームとを含み、
・所定のイントラ予測モードに準じて、現フレームの連続ブロックの各々につき符号化されているか否かを判定するステップと、
・前記現フレームの連続ブロックの全てにつき同様の情報を収集し前記所定のイントラ予測モードに関連した統計データを伝送するステップと、
・前記イントラ予測モードを呈するか又は呈しない前記現フレームのブロックの数を判定するよう前記統計データを解析するステップと、
・フレームの系列において、前記数が所定の閾値より大きいときに単色であるか又は繰り返しパターンを伴う画像又は画像の小領域の発生を検出するステップと、
を有する方法。
請求項１に記載の検出方法であって、前記解析ステップは、前記イントラモードの統計データ及び可能な追加的符号化パラメータを処理するように設けられ、前期検出ステップは、単色であるか又は繰り返しパターンを伴う画像又は画像の小領域に関する情報を伝送するように設けられる、方法。
請求項２に記載の検出方法であって、前記単色であるか又は繰り返しパターンを伴う画像又は小領域画像の位置及び持続期間に関する情報が生成されファイルに記憶される、方法。
請求項１，２又は３に記載の検出方法であって、当該処理されるビデオストリームのシンタックス及びセマンティクスは、Ｈ．２６４／ＡＶＣ規格のものである、方法。
連続的なフレームからなる圧縮ビデオストリームにおいて単色であるか又は繰り返しパターンを伴う画像又は画像の小領域を検出する方法であって、
・入力ディジタルビデオデータを符号化するステップと、
・単色であるか又は繰り返しパターンを伴う画像又は小領域画像を識別するために、請求項１ないし４のうちいずれか１つに記載の処理方法により前記ディジタル符号化ビデオデータを処理するステップと、
を有する検出方法。
隣接するブロックに小分割されるマクロブロックに分割される連続的なフレームを有するビデオストリームの形態で利用可能なディジタル符号化ビデオデータに適用される検出装置であって、前記フレームは、少なくとも、同じフレームにおける前に符号化され復元されたサンプルから形成された少なくとも１つのブロックから直接又は空間予測を用いて他のフレームとは独立して符号化されたＩフレームと、前記Ｉフレーム間に時間的に配され少なくとも前のＩ又はＰフレームから予測されるＰフレームと、ＩフレームとＰフレームとの間又は２つのＰフレームの間に時間的に配され介在する対象の当該少なくとも２つのフレームから双方向に予測されるＢフレームとを含み、
・所定のイントラ予測モードに準じて、現フレームの連続ブロックの各々につき符号化されているか否かを判定する判定手段と、
・前記現フレームの連続的ブロックの全てにつき同様の情報を収集し前記所定のイントラ予測モードに関連した統計データを伝送する収集手段と、
・前記統計データの解析を行い、前記イントラ予測モードを呈するか又は呈しない前記現フレームのブロックの数を判定する解析手段と、
・フレームの系列において、前記数が所定の閾値より大きいときに、単色であるか又は繰り返しパターンを伴う画像又は画像の小領域の発生の検出を行う検出手段と、
を有する装置。
検出装置のためのコンピュータプログラム製品であって、命令のセットを有し、前記検出装置にロードされたときに当該装置に請求項１に記載の検出方法のステップを実行させるように導く製品。