JP2010537489A - 関心のある領域の情報を使用した改善されたビデオ符号化の方法及び装置 - Google Patents

Abstract

関心のある領域の情報を使用した改善されたビデオ符号化の方法及び装置が提供される。本装置は、関心のある領域の検出を使用して、複数の領域のそれぞれが関心のある領域に属するそれぞれの確率を決定し、それぞれの確率の値に基づいて複数の領域のそれぞれの品質を適応的に制御することで、ある画像の複数の領域を符号化するエンコーダ４００を含む。

Description

本発明は、ビデオ符号化に関し、より詳細には、関心のある領域（ROI: Region Of Interest）の情報を使用した改善されたビデオ符号化の方法及び装置に関する。
本出願は、２００７年８月１５日に提出された米国仮出願第60/956,098号の利益を特許請求するものであり、この米国仮出願は、その完全な形で本明細書に引用により盛り込まれる。

ある画像における幾つかの関心のある領域は、他の領域よりも人間の目にとって重要である。たとえば、テレビ電話の用途における画像の場合、肌の色合いに対応する領域は、他の領域に関して重要であると考えられ、したがって、関心のある領域に対応する。対応する表示画像において全体的に良好な知覚品質を得るため、これらの領域において高い知覚品質を得ることが望まれる。ビデオ圧縮の用途の場合、表示画像は、復号化画像である。ある画像において異なる知覚品質を許容するため、たとえばＩＳＯ／ＩＥＣ（International Organization for Standardization/International Electrotechnical Commission）ＭＰＥＧ−２（Moving Picture Experts Group-2）規格及びＩＳＯ／ＩＥＣ ＭＰＥＧ−４（Moving Picture Experts Group-4）Ｐａｒｔ１０ ＡＶＣ（Advanced Video Coding）規格／ＩＴＵ−Ｔ（International Telecommunication Union, Telecommunication Sector）Ｈ．２６４勧告（以下、ＭＰＥＧ−４ＡＶＣ規格）のようなビデオ符号化規格は、他の領域よりも所定の領域において高い品質を得るためのメカニズムを提供する。これらの領域の重要性に対処するため、これらの領域をはじめに検出し、次いで、これらの領域において高い知覚品質を目標とするべきである。ビデオ圧縮アルゴリズムの場合、より多くの詳細を保持するためにより多くのビットを割り当てることで、高い知覚品質を得ることができる。

係る情報を使用した典型的な用途は、関心のある領域（ＲＯＩ）の検出が正確であって、したがって異なるレベルの知覚品質を割り当てることを仮定している。この仮定は、検出アルゴリズムがコンテンツに適合できないか又は計算上の複雑さの制約により、より複雑であってパワフルなアルゴリズムがその用途のために使用されるのを妨げるため、実用的な用途において適用できないことがある。

知覚品質を改善するために関心のある領域の検出を適用するときに考慮すべき、様々なＨＶＳ（Human Vision System）のファクタがある。幾つかのファクタは、目の光学特性及び網膜構造に関連している。係るファクタは、色、空間マスキング、時間マスキング、及び人間の視覚システムの動き追跡特性を含む。他のファクタは、知識及び／又は経験に基づいたオブジェクト／パターン認識のような人間の認知処理を反映する。１つの人間の認知ファクタの例は、人間の肌の色合いの存在が画像における他の領域よりも多くの視覚的な注意を惹き付けることである。

対話型のテレビ電話の用途では、視覚的注意の最も重要な部分が顔に与えられることがある。１つの従来技術のアプローチでは、ある画像において顔がはじめに検出され、次いで、高い知覚品質が割り当てられる。高い知覚品質は、より細かい量子化パラメータを肌の色合いに割り当てるビデオコーデックＴｅｓｔ Ｍｏｄｅｌ，Ｎｅａｒ−Ｔｅｒｍ，バージョン８（ＴＭＮ８）レート制御アルゴリズムを通して得られる。別の従来技術のアプローチでは、ある画像は、顔を含むフォアグランド（ＦＧ）及びバックグランド（ＢＧ）といった領域に属するマクロブロック（ＭＢ）にセグメント化される。他の従来技術のアプローチは、以下のように、ビデオエンコーダにおいて、より細かい量子化ステップサイズＱｆをフォアグランドの領域に割り当て、より粗い量子化ステップサイズＱｂをバックグランドに割り当てる。

両方の従来技術のアプローチは、肌の領域が高い品質でエンコードされるのを可能にすることで、所与のビットレートで高い知覚品質を得る。

両方の従来技術のアプローチでは、皮膚の領域のセグメント化アルゴリズムが良好に開発され、正確な結果を通常与えるテレビ電話の用途について所与のビットレートで復号化された画質を改善することにおいて、これらのスキームは確かに役に立つ。しかし、テレビ会議でない用途からの一般的なコンテンツについて、皮膚のセグメント化は更に複雑化され、検出精度の割合は非常に低い。検出誤りは、皮膚領域が皮膚として検出されないときに起こるか（検出漏れ“false negative detection”）、又は、皮膚ではない領域が皮膚として検出されるときに起こる（誤検出“false positive detection”）。

誤検出の存在において、ビデオエンコーダは、高い知覚品質を画像における誤った皮膚の領域に割り当て、少ないビットを画像における他の領域に残す。したがって、誤検出が生じたとき、先のアプローチを適用することで知覚品質に損害を与える場合がある。検出漏れの場合、皮膚の領域は、他の領域と同じとして扱われ、同じ知覚品質が割り当てられる。これは、より多くの注意を引き付ける位置に高い品質をアプリケーションが与えるのを禁止する。

関心のある領域の情報として皮膚の検出結果を使用する一方で高い知覚品質を得る１つのソリューションは、皮膚検出の精度を向上することである。これは、実用的な用途で常に利用可能ではない高い計算上の複雑さを必要とすることがある。

関心のある領域の情報の典型的な使用は、以下に記載される。典型的な関心のある領域の検出アルゴリズムは、特徴ｐに適用される閾値Ｔに基づいて、２つの領域のカテゴリ（１）ＲＯＩ及び（２）非ＲＯＩに画像をセグメント化する。

皮膚の検出の場合、特徴は、マクロブロック（ＭＢ）が皮膚の領域に属する確立である場合があり、検出関数は、以下のように定義される。

次いで、アプリケーションは、２値のセグメント化の結果に従って知覚品質を割り当てる。図１を参照して、１次元の特徴空間の２値の関心のある領域の判定は、参照符号１００により示される。

細かい量子化ステップサイズを使用することで、より多くのビットが関心のある領域に割り当てられ、粗い量子化ステップサイズを使用することで、より少ないビットが関心のない領域に割り当てられる。したがって、関心のある領域は、関心のない領域よりも高い品質を有し、全体の画像は、高い知覚品質を有する。

図２を参照して、関心のある領域の情報を使用する典型的なビデオエンコーダにおける量子化ステップサイズの割り当ての方法は、参照符号２００により示される。

方法２００は、機能ブロック２１０に制御を移す開始ブロック２０５を含む。機能ブロック２１０は、関心のある領域（ＲＯＩ）の検出を実行し、制御を機能２１５に移す。機能ブロック２１５は、符号化セットアップを実行し、制御をループリミットブロック２２０に移す。ループリミットブロック２２０は、フレームの１，．．．，number（#）に等しい変数ｉを使用して、入力ビデオ系列のそれぞれのフレームを通して第一のループを実行し、制御をループリミットブロック２２５に移す。ループリミットブロック２２５は、フレームｉにおけるマクロブロックの１，．．．，number（#）に等しい変数ｊを使用して、それぞれのフレームにおけるそれぞれのマクロブロックを通して第二のループを実行し、制御を判定ブロック２３０に移す。判定ブロック２３０は、現在のマクロブロックが関心のある領域（ROI）に属するか否かを判定する。属する場合、制御は機能ブロック２３５に移る。さもなければ、制御は機能ブロック２４０に移る。

機能ブロック２３５は、より細かい量子化ステップサイズを割り当て、制御はループリミットブロック２４５に移る。ループリミットブロック２４５は、第二のループを終了し、制御はループリミットブロック２５０に移る。ループリミットブロック２５０は、第一のループを終了し、制御は終了ブロック２９９に移る。

機能ブロック２１５に関して参照される符号化ステップに関して、係るセットは、オペレータの助けを借りて実行される場合がある。さらに、エンコーダのセットアップは、符号化プロセスに含まれるパラメータのセットの仕様と同様に、ターゲットのビットレートのセットアップを含む場合がある。

方法２００は、シングルパス又はマルチパス符号化方法である場合があることを理解されたい。大部分のケースでは、方法は、限定されるものではないが、MPEG-2及びMPEG-4AVCを含む既存のビデオ符号化規格及び／又は勧告に準拠する。マルチパスアプローチが使用されるとき、ROI情報は、エンコーダの１以上のパスにおいて使用することができる。

方法２００では、評価されている現在のマクロブロックがROIに属するときに細かい量子化ステップサイズが適用され、より多くのビット及び高い知覚品質となる。さもなければ、マクロブロックがROIに属さないときに粗い量子化ステップサイズが適用され、少ないビット及び低い知覚品質となる。

図２に例示されるワークフローに従うアプリケーションは、関心のある領域の判定が正確であること、及び従って知覚品質を割り当てることを仮定する。係るアプリケーションの性能は、関心のある領域の判定結果に大きく依存する。関心のある領域の情報を使用して符号化される画像におけるある領域を考慮して、以下の４つの可能性のある組み合わせを得る。
ケース１：ROIはROIとして検出される（正確）。
ケース２：ROIは非ROIとして検出される（検出漏れ）。
ケース３：非ROIが非ROIとして検出される（正確）。
ケース４：非ROIがROIとして検出される（誤検出）。

ケース２（検出漏れ）が生じたとき、アプリケーションは、関心のある領域に余りに少ないビットを費やし、アプリケーションが高い知覚品質を提供するのを制限する。ケース４（誤検出）が生じたとき、アプリケーションは、非ROI領域に多くのビットを費やす。

図３を参照して、従来技術に係るレート制御を使用したビデオデータを結果的に得られるビットストリームに符号化する装置は、参照符号３００により示される。

装置３００は、レートコントローラ３１０の第一の入力と信号通信する出力を有する量子化ステップサイズ重み付けモジュール３０５を含む。レートコントローラ３１０の出力は、ビデオエンコーダ３２０の第一の入力と信号通信で接続される。量子化ステップサイズ重み付けモジュール３０５の入力は、関心のある領域（ROI）の情報を受けるため、装置３００の入力として利用可能である。ビデオエンコーダ３２０の第二の入力は、入力ビデオソース（たとえばビデオ系列）を受けるため、装置３００の入力として利用可能である。レートコントローラ３１０の第二の入力は、レート制約を受けるため、装置３００の入力として利用可能である。ビデオエンコーダ３２０の出力は、ビットストリームを出力するため、装置３００の出力として利用可能である。

装置３００は、図２の方法２００の機能ブロック２３５及び２４０に関して記載される量子化ステップの割り当てを実現可能である。

従来技術のこれらの課題及び問題点、並びに他の課題及び問題点は、関心のある領域（ROI）の情報を使用した改善されたビデオ符号化の方法及び装置に向けられる本発明の原理により対処される。

本発明の態様によれば、装置が提供される。本装置は、関心のある領域の検出を使用して、複数の領域のそれぞれが関心のある領域に属するそれぞれの確率を決定し、それぞれの確率の値に基づいて複数の領域のそれぞれの品質を適応的に制御することで、ある画像の複数の領域を符号化するエンコーダを含む。

本発明の別の態様によれば、方法が提供される。本方法は、関心のある領域の検出を使用して、複数の領域のそれぞれが関心のある領域に属するそれぞれの確率を決定し、それぞれの確率の値に基づいて複数の領域のそれぞれの品質を適応的に制御することで、ある画像の複数の領域を符号化するステップを含む。

本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれる例示的な実施の形態の以下の詳細な説明から明らかとなるであろう。

本発明は、以下の例示的な図面に従って良好に理解される場合がある。
従来技術に係る、１次元の特徴空間について２値の関心のある領域の判定を示す図である。 従来技術に係る、関心のある領域の情報を使用した典型的なビデオエンコーダにおける量子化ステップサイズの割り当ての方法を示すフローチャートである。 従来技術に係る、レート制御を使用した結果的に得られるビットストリームにビデオデータを符号化する装置を示すフローチャートである。 本発明の実施の形態に係る、例示的なビデオエンコーダを示すブロック図である。 本発明の実施の形態に係る、割り当てられた品質と関心のある領域の確率との線形の関係を示す図である。 本発明の実施の形態に係る、対応する知覚品質を制御するために関心のある領域にあるマクロブロックの確率を使用した、ビデオ系列を符号化する例示的な方法を示すフローチャートである。 本発明の実施の形態に係る、割り当てられた品質と、関心のある領域の確率インターバルの関心のある領域の確率との間の関係を示す図である。 本発明の実施の形態に係る、関心のある領域にあるマクロブロックに確率に基づいた、多数の品質レベルを使用してビデオ系列を符号化する例示的な方法を示すフローチャートである。 本発明の実施の形態に係る、レート制御を使用して結果的に得られるビットストリームにビデオデータを符号化する装置を示すブロック図である。

本発明は、関心のある領域（ROI）の情報を使用した改善されたビデオ符号化の方法及び装置に向けられる。

本実施の形態の記載は、本発明の原理を例示するものである。したがって、当業者であれば、本実施の形態で明示的な記載又は図示されないが、本発明を実施する様々なアレンジメントであって、本発明の精神及び範囲に含まれる様々なアレンジメントを創作することができるであろう。

本実施の形態で参照される全ての例及び条件付き言語は、本発明の原理及び当該技術分野を促進するために本発明者により寄与される概念の理解において読者を支援することが意図され、係る特に参照される例及び条件に限定されることがないとして解釈されるべきである。

さらに、本発明の原理、態様及び実施の形態を参照する全ての説明は、本発明の特定の例と同様に、本発明の構造的及び機能的に等価な概念の両者を包含することが意図される。さらに、係る等価な概念は、現在知られている等価な概念と同様に、将来において開発される等価な概念、すなわち構造に係らず、同じ機能を実行する開発されたエレメントの両者をも含むことが意図される。

したがって、たとえば、本実施の形態で与えられるブロック図は、本発明の原理を実施する例示的な回路の概念図を表すことを当業者により理解されるであろう。同様に、任意のフローチャート、フローダイアグラム、状態遷移図、擬似コード等は、コンピュータ又はプロセッサが明示的に示されているか否かに係らず、コンピュータ読取り可能なメディアで実質的に表され、係るコンピュータ又はプロセッサにより実行される様々なプロセスを表すことを理解されるであろう。

図示される様々なエレメントの機能は、専用のハードウェアと同様に、適切なソフトウェアと関連してソフトウェアを実行可能なハードウェアの使用により提供される場合がある。プロセッサにより提供されたとき、これらの機能は、単一の専用プロセッサにより提供されるか、単一の共有プロセッサにより提供されるか、又はそれらの幾つかが共有される複数の個々のプロセッサにより提供される。しかし、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すように解釈されるべきではなく、限定されることなしに、デジタルシグナルプロセッサ（DSP）ハードウェア、ソフトウェアを記憶するリードオンリメモリ（ROM）、ランダムアクセスメモリ（RAM）、及び不揮発性メモリを暗黙的に含む。

コンベンショナル及び／又はカスタムの他のハードウェアが含まれる場合もある。同様に、図示されるスイッチは概念的なものである。それらの機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラム制御及び専用ロジックの相互作用を通して、又は手動的に実行される場合があり、特定の技術は、文脈から更に詳細に理解されるように、実現者により選択可能である。

本発明の請求項において、特定の機能を実行する手段として表現されるエレメントは、たとえば、ａ）その機能を実行する回路エレメントの組み合わせ、又はｂ）その機能を実行するためにそのソフトウェアを実行する適切な回路と結合される、ファームウェア、マイクロコードを含む任意の形式のソフトウェアを含むその機能を実行する方法を包含することが意図される。係る請求項により定義される本発明は、様々な参照される手段により提供される機能が結合され、請求項が求めるやり方で纏められる事実にある。したがって、それらの機能を提供することができる任意の手段は本実施の形態で示されるものと等価であるとみなされる。

本発明の「１実施の形態」又は「実施の形態」に対する明細書における参照は、実施の形態に関して記載される特定の特徴、構造、特性等が本発明の少なくとも１つの実施の形態に含まれることを意味する。したがって、明細書を通して様々な位置で現れるフレーズ「１実施の形態では」又は「実施の形態では」の出現は、必ずしも、同じ実施の形態を全て参照するものではない。

たとえば「Ａ及び／又はＢ」及び「Ａ及びＢの少なくとも１つ」のケースにおいて、用語「及び／又は」及び「〜の少なくとも１つ」の使用は、最初に列挙されたオプション（Ａ）のみの選択、又は次に列挙されたオプション（Ｂ）のみの選択、又は両方のオプション（Ａ及びＢ）の選択を包含することが意図される。更なる例として、「Ａ、Ｂ及び／又はＣ」及び「Ａ，Ｂ及びＣの少なくとも１つ」のケースにおいて、係るフレーズは、最初に列挙されたオプション（Ａ）のみの選択、又は次の列挙されたオプション（Ｂ）のみの選択、又は更に次に列挙されたオプション（Ｃ）のみの選択、又は第一及び第二の列挙されたオプション（Ａ及びＢ）のみの選択、第一及び第三の列挙されたオプション（Ａ及びＣ）のみの選択、又は第二及び第三の列挙されたオプション（Ｂ及びＣ）のみの選択、又は全ての３つのオプション（Ａ及びＢ及びＣ）の選択を包含することが意図される。これは、当業者により容易に明らかであるように、列挙される多数の項目について拡張される場合がある。

さらに、本発明の１以上の実施の形態はＭＰＥＧ−４ＡＶＣ規格に関して記載されるが、本発明はこの規格に限定されるものではなく、したがって、本発明の精神を維持しつつ、他のビデオ符号化規格、勧告及びＭＰＥＧ−４ＡＶＣ規格の拡張を含むその拡張に関して利用される場合がある。たとえば、本発明は、限定されるものではないが、ＭＰＥＧ−２規格及びＳＭＰＴＥ（Society of Motion Picture and Television Engineers）ＶＣ−１（Video-Codec-1）規格に適用される場合がある。

図４を参照して、例示的なビデオエンコーダは、参照符号４００により示される。
エンコーダ４００は、結合器４８５の第一の非反転入力と信号通信で接続される出力を有するフレームオーダリングバッファ４１０を含む。結合器４８５の出力は、変換器及び量子化器４２５の入力と信号通信で接続される。変換器及び量子化器４２５の出力は、エントロピーコーダ４４５の第一の入力及び逆変換器及び量子化器４５０の入力と信号通信で接続される。エントロピーコーダ４４５の出力は、結合器４４５の第一の非反転入力と信号通信で接続される。結合器の出力は、出力バッファ４３５の入力と信号通信で接続される。出力バッファ４３５の第一の出力は、レートコントローラ４０５の入力と信号通信で接続される。

ＳＥＩ（Supplemental Enhancement Information）挿入器４３０の出力は、結合器４９０の第二の入力と信号通信で接続される。

逆変換器及び量子化器４５０の出力は、結合器４２７の第一の非反転入力と信号通信で接続される。結合器４２７の出力は、イントラ予測器４６０の入力とデブロッキングフィルタ４６５の入力と信号通信で接続される。

デブロッキングフィルタ４６５の出力は、リファレンスピクチャバッファ４８０の入力と信号通信で接続される。リファレンスピクチャバッファ４８０の出力は、動き予測器４７５の入力と動き補償器４７０の第一の入力と信号通信で接続される。

動き予測器４７５の第一の出力は、動き補償器４７０の第二の入力と信号通信で接続される。動き予測器４７５の第二の出力は、エントロピーコーダ４４５の第二の入力と信号通信で接続される。

動き補償器４７０の出力は、スイッチ４９７の第一の入力と信号通信で接続される。イントラ予測器４６０の出力は、スイッチ４９７の第二の入力と信号通信で接続される。マクロブロックタイプ判定モジュール４２０の出力は、スイッチ４９７の第三の入力と信号通信で接続される。スイッチ４９７の出力は、結合器４８５の第二の非反転入力及び結合器４２７の第二の非反転入力と信号通信で接続される。

レートコントローラ４０５の出力は、ピクチャタイプ判定モジュール４１５の第一の入力、並びにＳＰＳ（sequence parameter set）及びＰＰＳ（picture parameter set）挿入器４４０の入力と信号通信で接続される。ＳＰＳ及びＰＰＳ挿入器４４０の出力は、結合器４９０の第三の入力と信号通信で接続される。

ピクチャタイプ判定モジュール４１５の第一の出力は、マクロブロックタイプ判定モジュール４２０の入力と信号通信で接続される。ピクチャタイプ判定モジュール４１５の第二の出力は、フレームオーダリングバッファ４１０の第二の入力と信号通信で接続される。

フレームオーダリングバッファ４１０の第一の入力は、入力画像４０１を受信するため、エンコーダ４００への入力として利用可能である。出力バッファ４３５の第一の出力は、ビットストリームを出力するため、エンコーダ４００の出力として利用可能である。

先に述べたように、本発明は、関心のある領域（ROI）の情報を使用して、改善されたビデオ符号化の方法及び装置に向けられる。テレビ電話の用途の画像における肌の色合いのような、幾つかの関心のある領域は、他の領域よりも人間の目にとって重要である。実施の形態では、関心のある領域の検出結果の不正確さを考慮することで、異なる領域の重要度をランク付けする。これは、知覚品質を割り当てるために入力として、ある領域がある関心のある領域に属する確率を受け入れることで行われる。本発明は、関心のある領域の検出が不正確なことがあることを考慮し、関心のある領域の情報を使用する用途について高い知覚品質を与えるためにロバストなスキームを提供する。利益は、全体的な知覚品質における改善である。

したがって、本発明によれば、不正確な関心のある領域の検出結果及び他の補助の情報に基づいて、ある画像における異なる領域の知覚品質を割り当てる。関心のある領域の例として皮膚の色合いを使用して、本発明の原理に係る関心のある領域の情報の使用を説明する。勿論、本発明は、関心のある領域として皮膚の色合いにのみ限定されず、本発明の精神を維持しつつ、他のタイプの関心のある領域も本発明に係る使用向けに意図される。

実施の形態では、本発明に係る方法は、関心のある領域の検出が不正確なことがあることを考慮し、関心のある領域の情報を使用してビデオエンコーダについて高い知覚品質を得るためにロバストなスキームを提供する。これは、統計的な関心のある領域の検出結果、すなわちある領域が関心のある領域に属する確率を受け入れることで行われる。

関心のある領域は、演繹的知識及び経験に基づいて検出されることがある。関心のある領域としてどの領域が検出されるべきかは、用途に依存する。たとえば、テレビ電話の用途では、顔の領域が関心のある領域として一般的に考えられる。たとえばフットボールのようなスポーツイベントでは、ボールが関心のある領域であるように一般に考慮される。たとえば色、形状等のような可能性のある関心のある領域の特徴は、関心のある領域を検出したときに通常考慮される。特徴が適切に識別されないとき、関心のある領域が正確に検出されない可能性が高い。たとえば、顔の領域が関心のある領域として考慮されるとき、人間の皮膚の色は色空間において非常に制限された範囲で生じる傾向にあるので、人間の皮膚の色成分は、関心のある領域を検出するためにモデル化される必要がある。モデルがコンテンツに適合することができず、正確ではないとき、誤検出及び検出漏れの両者が生じる可能がある。

関心のある領域の情報を使用する典型的なビデオエンコーダでは、ある画像は、はじめに関心のある領域と関心のない領域（非ROI）に分割され、次いで、エンコーダは、評価されている特定のマクロブロックが関心のある領域に属するか否かに依存して、ある画像におけるマクロブロックの品質を制御する。従来技術は、図１に関して図示及び記載されるように、関心のある領域の検出について２値の結果（すなわち評価されている特定の領域が関心のある領域に対応するかに関するYes又はNo）を使用する。従来技術は、品質の制御において確率値を考慮又は使用していない。実施の形態によれば、品質を制御するために入力として、ｐ_ROI（MB）として示される、ある領域が関心のある領域である確率をエンコーダが受けることを可能にするアプローチが提供される。一般的なルールとして、関心のある領域にあるマクロブロックの確率が高くなると、エンコーダにより割り当てられる品質が高くなる。これは、図５に例示されている。図５を参照して、割り当てられる品質と関心のある領域の確率との間の線形の関係は、参照符号５００により示される。一般的な用途では、この関係は、他の単調増加する形式に拡張することができる。

図６を参照して、対応する知覚品質を制御するために関心のある領域にあるマクロブロックの確率を使用してビデオ系列を符号化する例示的な方法は、参照符号６００により示される。特に、本方法６００は、知覚品質を制御するための入力として変数ｐ_ROI（MB）を受け、考慮している現在のマクロブロックがｐ_ROI（MB）に基づいてどのような品質で符号化されるべきかを判定する。

本方法６００は、機能ブロック６１０を制御するために制御を移す開始ブロック６０５を含む。機能ブロック６１０は、関心のある領域（ROI）を実行し、制御を機能６１５に移す。機能６１５は、符号化ステップを実行し、制御をループリミットブロック６２０に移す。ループリミットブロック６２０は、フレームの１，．．．，number（#）に等しい変数ｉを使用して入力ビデオ系列のそれぞれのフレームを通して第一のループを実行し、制御をループリミットブロック６２５を移す。ループリミットブロック６２５は、フレームｉにおけるマクロブロックの１，．．．，number（#）に等しい変数ｊを使用してそれぞれのフレームにおけるそれぞれのマクロブロックを通して第二のループを実行し、制御を機能６３０に移す。機能ブロック６３０は、ｐ_ROIに基づいて決定された品質でマクロブロックをエンコードし、制御をループリミットブロック６３５に移す。ループリミットブロック６３５は、第二のループを終了し、制御をループリミットブロック６４０に移す。ループリミットブロック６４０は、第一のループを終了し、制御を終了ブロック６９９に移す。

機能ブロック６３０に関して、知覚品質は主観的な品質の評価又は客観的な知覚品質のメトリクスにより測定することができることを理解されたい。主観的な品質の評価は、所与のアプリケーションについて特定のビデオ系列のセットに対する人間の視聴者の平均的な見解を決定することが意図される慎重に設計される手順である。係るテストの結果は、ベーシックシステムデザイン及びベンチマーク評価において重要である。しかし、主観的な品質評価は、人間の視聴者が必要とされるので時間がかかる。客観的な品質メトリクスは、品質を自動的に測定し、広範な用途のセットにおける使用が意図される。客観的な品質メトリクスの例は、限定されるものではないが、PSNR（peak signal-to-noise ratio）、JND（just noticeable distortion）及びSSIM（structural similarly index metric）等を含む。

実施の形態では、ビデオエンコーダは、ｐ_ROI（MB）に基づいてそれぞれのマクロブロックについて目標とする品質メトリックを決定する。目標とする品質メトリック及びｐ_ROI（MB）間の正確な関係は、全体的な高い知覚品質を得ることを考慮して、ユーザ又はエンコーダにより決定される。次いで、符号化パラメータのセットは、目標とする品質メトリクスに適合するようにマクロブロックを符号化するために使用される。符号化パラメータは、限定されるものではないが符号化モード、ブロックサイズ及び量子化パラメータを含み、量子化パラメータは、限定されるものではないが、量子化ステップサイズ、デッドゾーンパラメータ及び量子化マトリクスを含む。

このアプローチの品質改善は、そのｐ_ROI（MB）が古典的なエンコーダについて関心のある領域の検出において使用される閾値の前後にあるマクロブロックに大きく由来する。閾値の決定は、関心のある領域の検出アルゴリズムにおいて通常は鍵となる問題であり、不正確さは、誤検出を引き起こす。（正確な閾値に比べて）閾値が余りに低いとき、誤検出が生じ、ビデオエンコーダは、より多くのビットを誤った関心のある領域に割り当て、少ないビットを画像における他の領域について残す。（正確な閾値に比べて）閾値が余りに高いとき、検出漏れが生じ、関心のある領域は他の領域と同じに扱われる。両方の状況下で、不正確な閾値により、不正確な関心のある領域の検出となり、より多くの注意を引き付ける位置に高い品質をアプリケーションが伝達することを禁止する。本発明の実施の形態によれば、ｐ_ROI（MB）に基づいてビットが割り当てられる。したがって、そのｐ_ROI（MB）が閾値前後にあるマクロブロックに余りに多くのビット又は余りに少ないビットが割り当てられることが回避される。

上述された実施の形態では、ｐ_ROI（MB）に品質を連続的に調節する符号化ワークフローを開示する。この実施の形態の１つの変形例は、マクロブロックが属するｐ_ROI（MB）の区間に依存して、細かい品質レベルでマクロブロックをエンコードさせることである。図７を参照して、割り当てられた品質と、関心のある領域の確率区間についての関心のある領域の確率との間の関係は、参照符号７００により示される。図７は、ｐ_i＜ｐ_ROI（MB）＜ｐ_i+1，ｉ＝０，．．．，ｎ−１であるとき、マクロブロックは、品質メトリックｑ_iにより示される知覚品質で符号化される。２値の関心のある領域の検出結果を使用する古典的なエンコーダは、特にｎ＝２である、方法８００の特別なケースである。

図８を参照して、関心のある領域にあるマクロブロックの確率に基づいた多数の品質レベルを使用したビデオ系列を符号化する例示的な方法は、参照符号８００により示される。

本方法８００は、機能ブロック８１０に制御を移す開始ブロック８０５を含む。機能ブロック８１０は、関心のある領域（ROI）の検出を実行し、制御を機能８１５に移す。機能ブロック８１５は、符号化セットアップを実行し、制御をループリミットブロック８２０に移す。ループリミットブロック８２０は、フレームの１，．．．，number（#）に等しい変数ｉを使用して入力ビデオ系列のそれぞれのフレームを通して第一のループを実行し、制御をループリミットブロック８２５に移す。ループリミットブロック８２５は、フレームｉにおけるマクロブロックの１，．．．，number（#）に等しい変数ｊを使用してそれぞれのフレームにおけるそれぞれのマクロブロックを通して第二のループを実行し、制御を機能８３０に移す。機能ブロック８３０は、ｐ_i＜ｐ_ROI＜Ｐ_i+1であるように現在のマクロブロックの知覚品質を決定し、制御を機能ブロック８３５に移す。機能ブロック８３５は、品質ｑ_iでマクロブロックを符号化し、制御をループリミットブロック８４０に移す。ループリミットブロック８４０は、第二のループを終了し、制御をループリミットブロック８４５に移す。ループリミットブロック８４５は、第一のループを終了し、制御を終了ブロック８９９に移す。

本方法８００は、図６に関して図示及び記載された方法６００の変形例であることを理解されたい。現在のマクロブロックを符号化したとき、エンコーダは、はじめに、現在のマクロブロックがＲＯＩのｐ_ROI（MB）に属する確率を読取り、どの区間に現在のマクロブロックが属するかを判定する。ｐ_ROI（MB）が２つの隣接する閾値ｐ_iとｐ_i+1の間にあると判定された後、現在のマクロブロックは、品質ｑ_iで符号化される。この変形例の利点は、品質メトリクスにより示される細かい品質のレベルでマクロブロックを符号化することで、エンコーダが簡略化されることである。

図９を参照して、本発明の実施の形態に係るレート制御を使用して結果として得られるビットストリームにビデオデータを符号化する装置は、参照符号９００により示される。

本装置９００は、レートコントローラ９１０の第一の入力と信号通信にある出力を有する符号化パラメータモジュール９０５を含む。レートコントローラ９１０の出力は、ビデオエンコーダ９２０の第一の入力と信号通信で接続される。符号化パラメータモジュール９０５の入力は、関心のある領域（ROI）の情報を受信するため、装置９００の入力として利用可能である。ビデオエンコーダ９２０の第二の入力は、入力ビデオ系列（たとえばビデオ系列）を受けるため、装置９００の入力として利用可能である。レートコントローラ９１０の第二の入力は、レート制約を受けるため、装置９００の入力として利用可能である。ビデオエンコーダ９２０の出力は、ビットストリームを出力するため、装置９００の出力として利用可能である。

本装置９００は、図６及び図８のそれぞれの方法６００及び方法８００の機能ブロック６３０及び機能ブロック８３５に関して記載されるステップを実行可能である。

以下、本発明の多くの付随する利点／特徴の幾つかに関して説明が与えられ、そのうちの幾つかは上述されている。たとえば、１つの利点／特徴は、関心のある領域の検出を使用して、複数の領域のそれぞれが関心のある領域に属するそれぞれの確率を決定し、それぞれの確率の値に基づいて複数の領域のそれぞれの品質を適応的に制御することで、ある画像の複数の領域を符号化するエンコーダを有する装置である。

別の利点／特徴は、上述されたエンコーダを有する装置であって、関心のある領域の検出は、少なくとも１つの特徴に基づくものであり、少なくとも１つの特徴は、皮膚の色合いの情報である。

更に別の利点／特徴は、上述されたエンコーダを有する装置であって、関心のある領域に属すると決定された複数の領域は、連続する品質レベルを使用して符号化される。

更に別の利点／特徴は、上述されたエンコーダを有する装置であって、関心のある領域に属するように決定された複数の領域は、細かい品質レベルを使用してエンコードされる。

さらに、別の利点／特徴は、上述されたエンコーダを有する装置であって、エンコーダは、たとえばＩＳＯ／ＩＥＣ（International Organization for Standardization/International Electrotechnical Commission）ＭＰＥＧ−４（Moving Picture Experts Group-4）Ｐａｒｔ１０ ＡＶＣ（Advanced Video Coding）規格／ＩＴＵ−Ｔ（International Telecommunication Union, Telecommunication Sector）Ｈ．２６４勧告に準拠するビットストリームに複数の領域を符号化する。

さらに、別の利点／特徴は、上述されたエンコーダを有する装置であり、エンコーダは、ＳＭＰＴＥ（Society of Motion Picture and Television Engineers）ＶＣ−１（Video-Codec-1）規格に準拠するビットストリームに複数の領域を符号化する。

また、別の利点／特徴は、上述されたエンコーダを有する装置であって、関心のある領域に属するように決定された複数の領域のそれぞれの品質は、符号化パラメータを調節することでそれぞれ制御される。

さらに、別の利点／特徴は、上述されたエンコーダを有する装置であって、符号化パラメータは、量子化パラメータを含む。

本発明のこれらの特徴及び利点、並びに他の特徴及び利点は、本実施の形態での教示に基づいて当業者により容易に確認される場合がある。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ、又はその組み合わせの様々な形式で実現される場合がある。

より詳細には、本発明の教示は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットで実施されるアプリケーションプログラムとして実現される場合がある。アプリケーションプログラムは、適切なアーキテクチャを有するコンピュータにアップロードされるか、該コンピュータにより実行される場合がある。好ましくは、コンピュータは、１以上の中央処理ユニット（CPU）、ランダムアクセスメモリ（RAM）、及び入力／出力（I/O）インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む場合もある。本実施の形態で記載された様々な処理及び機能は、ＣＰＵにより実行される、マイクロ命令コードの一部であるか、アプリケーションプログラムの一部、或いはその組み合わせである場合がある。さらに、様々な他の周辺ユニットは、更なるデータストレージユニット及びプリンティングユニットのようなコンピュータプラットフォームに接続される場合がある。

添付図面に示されるシステム構成コンポーネント及び方法の幾つかはソフトウェアで実現されることが好ましいので、システムコンポーネント又はプロセス機能ブロック間の実際の接続は、本発明がプログラムされる方法に依存して異なる場合があることを理解されたい。本実施の形態の教示が与えられると、当業者は、本発明のこれらの実現又はコンフィギュレーション、並びに類似の実現又はコンフィギュレーションを構成することができる。

例示的な実施の形態が添付図面を参照して記載されたが、本発明はそれら正確な実施の形態に限定されるものではなく、様々な変形例及び変更例が本発明の範囲又は精神から逸脱することなしに当業者によって実施される場合があることを理解されたい。全ての係る変形例及び変更例は、特許請求の範囲で述べられる本発明の範囲に含まれることが意図される。

Claims (16)

1. 関心のある領域の検出を使用して、複数の領域のそれぞれが関心のある領域に属する確率を決定し、それぞれの確率の値に基づいて前記複数の領域のそれぞれの品質を適応的に制御することで、ある画像の複数の領域を符号化するエンコーダを有する、
   ことを特徴とする装置。
2. 前記関心のある領域の検出は、皮膚の色合いの情報である少なくとも１つの特徴に基づく、
   請求項１記載の装置。
3. 前記関心のある領域に属すると判定された前記複数の領域は、連続した品質のレベルを使用して符号化される、
   請求項１記載の装置。
4. 前記関心のある領域に属すると判定された前記複数の領域は、有限の品質レベルを使用して符号化される、
   請求項１記載の装置。
5. 前記エンコーダは、ＩＳＯ／ＩＥＣ（International Organization for Standardization/International Electrotechnical Commission）ＭＰＥＧ−４（Moving Picture Experts Group-4）Ｐａｒｔ１０ ＡＶＣ（Advanced Video Coding）規格／ＩＴＵ−Ｔ（International Telecommunication Union, Telecommunication Sector）Ｈ．２６４勧告に準拠するビットストリームに前記複数の領域を符号化する、
   請求項１記載の装置。
6. 前記エンコーダは、ＳＭＰＴＥ（Society of Motion Picture and Television Engineers）ＶＣ−１（Video-Codec-1）規格に準拠するビットストリームに前記複数の領域を符号化する、
   請求項１記載の装置。
7. 前記関心のある領域に属すると判定された前記複数の領域のそれぞれの品質は、符号化パラメータを調節することでそれぞれ制御される、
   請求項１記載の装置。
8. 前記符号化パラメータは、量子化パラメータを含む、
   請求項７記載の装置。
9. 関心のある領域の検出を使用して、複数の領域のそれぞれが関心のある領域に属する確率を決定し、それぞれの確率の値に基づいて前記複数の領域のそれぞれの品質を適応的に制御することで、ある画像の複数の領域を符号化するステップを含む、
   ことを特徴とする方法。
10. 前記関心のある領域の検出は、皮膚の色合いの情報である少なくとも１つの特徴に基づく、
    請求項９記載の方法。
11. 前記関心のある領域に属すると判定された前記複数の領域は、連続した品質のレベルを使用して符号化される、
    請求項９記載の方法。
12. 前記関心のある領域に属すると判定された前記複数の領域は、有限の品質レベルを使用して符号化される、
    請求項９記載の方法。
13. 前記符号化するステップは、ＩＳＯ／ＩＥＣ（International Organization for Standardization/International Electrotechnical Commission）ＭＰＥＧ−４（Moving Picture Experts Group-4）Ｐａｒｔ１０ ＡＶＣ（Advanced Video Coding）規格／ＩＴＵ−Ｔ（International Telecommunication Union, Telecommunication Sector）Ｈ．２６４勧告に準拠するビットストリームに前記複数の領域を符号化する、
    請求項９記載の方法。
14. 前記符号化するステップは、ＳＭＰＴＥ（Society of Motion Picture and Television Engineers）ＶＣ−１（Video-Codec-1）規格に準拠するビットストリームに前記複数の領域を符号化する、
    請求項９記載の方法。
15. 前記関心のある領域に属すると判定された前記複数の領域のそれぞれの品質は、符号化パラメータを調節することでそれぞれ制御される、
    請求項９記載の方法。
16. 前記符号化パラメータは、量子化パラメータを含む、
    請求項１５記載の方法。

Images