JP2015515806A5

JP2015515806A5 -

Info

Publication number: JP2015515806A5
Application number: JP2015503204A
Authority: JP
Filing date: 2013-02-07
Publication date: 2016-02-25

Description

本発明を例示的な実施形態を参照しながら具体的に図示・説明したが、当業者であれば、添付の特許請求の範囲に包含される本発明の範囲から逸脱することなく、形態および細部の詳細な変更が可能であることを理解するであろう。
なお、本発明は、実施の態様として以下の内容を含む。
〔態様１〕
映像データを処理する方法であって、
検出アルゴリズムを用いて、少なくとも１つのフレーム内で、対象の領域における特徴およびオブジェクトのうちの少なくとも一方を検出する過程と、
パラメータのセットを用いて、特徴およびオブジェクトのうちの検出された前記少なくとも一方をモデル化する過程と、
特徴およびオブジェクトのうちの検出された前記少なくとも一方の、あらゆるインスタンスを、複数のフレームにわたって相関させる過程と、
相関された前記インスタンスの、少なくとも１つのトラックを形成する過程と、
前記少なくとも１つのトラックを、符号化する映像データの少なくとも１つのブロックに関連付ける過程と、
関連付けられた前記トラックの情報を用いて、映像データの前記少なくとも１つのブロックに対するモデルベース予測を生成する過程であって、前記モデルベース予測を、処理した映像データとして記憶することを含む、過程と、
を備える、映像データの処理方法。
〔態様２〕
態様１に記載の映像データの処理方法において、前記検出アルゴリズムが、ノンパラメトリックな特徴検出アルゴリズムの種類に含まれる、映像データの処理方法。
〔態様３〕
態様１に記載の映像データの処理方法において、前記パラメータのセットが、特徴およびオブジェクトのうちの前記少なくとも一方に関する情報を含み、メモリに記憶される、映像データの処理方法。
〔態様４〕
態様３に記載の映像データの処理方法において、特徴のパラメータが、特徴記述子ベクトルおよび当該特徴の位置を含む、映像データの処理方法。
〔態様５〕
態様４に記載の映像データの処理方法において、前記パラメータが、その特徴の検出時に生成される、映像データの処理方法。
〔態様６〕
態様１に記載の映像データの処理方法において、映像データの前記少なくとも１つのブロックがマクロブロックであり、前記少なくとも１つのトラックが特徴を当該マクロブロックに関連付ける、映像データの処理方法。
〔態様７〕
映像データを処理する方法であって、
対象の領域における特徴およびオブジェクトのうちの少なくとも一方を検出する過程と、
パラメータのセットを用いて、特徴およびオブジェクトのうちの前記少なくとも一方をモデル化する過程と、
特徴およびオブジェクトのうちの前記少なくとも一方の、あらゆるインスタンスを、複数のフレームにわたって相関させる過程と、
相関された前記インスタンスの、少なくとも１つの行列を形成する過程と、
前記少なくとも１つの行列を、符号化する映像データの少なくとも１つのブロックに関連付ける過程と、
関連付けられた前記行列の情報を用いて、映像データの前記少なくとも１つのブロックに対するモデルベース予測を生成する過程であって、前記モデルベース予測を、処理した映像データとして記憶することを含む、過程と、
を備える、映像データの処理方法。
〔態様８〕
態様７に記載の映像データの処理方法において、前記パラメータのセットが、特徴およびオブジェクトのうちの前記少なくとも一方に関する情報を含み、メモリに記憶される、映像データの処理方法。
〔態様９〕
態様８に記載の映像データの処理方法において、特徴のパラメータが、特徴記述子ベクトルおよび当該特徴の位置を含む、映像データの処理方法。
〔態様１０〕
態様９に記載の映像データの処理方法において、前記パラメータが、その特徴の検出時に生成される、映像データの処理方法。
〔態様１１〕
態様７に記載の映像データの処理方法において、さらに、
あるベクトル空間の少なくとも１つの部分空間を用いて、前記少なくとも１つの行列を、特徴およびオブジェクトのうちの相関された前記少なくとも一方の、パラメトリックモデルとしてまとめる過程、
を含む、映像データの処理方法。
〔態様１２〕
映像データを処理するコーデックであって、
少なくとも２つの映像フレーム内における特徴のインスタンスを特定する、特徴ベース検出手段であって、特定される、当該特徴のインスタンスが、前記１つまたは２つ以上の映像フレーム内の他のピクセルよりもデータ複雑さを示す複数のピクセルを有する、特徴ベース検出手段と、
前記特徴ベース検出手段に動作可能に接続されたモデル化手段であって、２つまたは３つ以上の映像フレーム内における特徴の前記インスタンスの対応関係をモデル化する、特徴ベースの対応関係モデルを生成するモデル化手段と、
前記特徴ベースの対応関係モデルを用いて特徴の前記インスタンスを符号化する方が、第１の映像符号化プロセスを用いて特徴の当該インスタンスを符号化するよりも圧縮効率が向上すると判断された場合に、前記特徴ベースの対応関係モデルの使用を優先するキャッシュと、
を備える、コーデック。
〔態様１３〕
態様１２に記載のコーデックにおいて、従来の映像圧縮法による前記ピクセルの符号化が所定の閾値を超える場合に、前記データ複雑さが判断される、コーデック。
〔態様１４〕
態様１２に記載のコーデックにおいて、従来の映像圧縮法により前記特徴を符号化すると割り当てられる帯域量が所定の閾値を超える場合に、前記データ複雑さが判断される、コーデック。
〔態様１５〕
態様１４に記載のコーデックにおいて、前記所定の閾値が、所定の数値、データベースに記憶された所定の数値、過去に符号化した特徴に割り当てられた帯域量の平均値として設定される数値、および過去に符号化した特徴に割り当てられた帯域量の中央値として設定される数値のうちの少なくとも１つである、コーデック。
〔態様１６〕
態様１２に記載のコーデックにおいて、前記第１の映像符号化プロセスが、動き補償予測プロセスを含む、コーデック。
〔態様１７〕
態様１２に記載のコーデックにおいて、前記使用の優先が、競争モード内の各ソリューション候補の符号化コストを比較することによって決定され、前記ソリューション候補が、追跡手段、キー予測動きモデル、キー予測サンプリングスキーム、サブタイル化スキーム、再構成アルゴリズム（、および（場合によっては）副次的な予測スキーム）を含む、コーデック。
〔態様１８〕
態様１７に記載のコーデックにおいて、前記特徴ベースのモデル化の使用が優先されると、特徴の前記インスタンスのデータ複雑さのレベルが前記閾値として使用され、これにより、特徴の後続のインスタンスがその閾値以上のデータ複雑さのレベルを示すと、前記エンコーダが、特徴の当該後続のインスタンスに対する特徴ベースの圧縮の開始及び使用を自動的に判断する、コーデック。
〔態様１９〕
態様１２に記載のコーデックにおいて、前記特徴ベース検出手段が、ＦＰＡトラッカー、ＭＢＣトラッカーおよびＳＵＲＦトラッカーのうちの１つを利用する、コーデック。
〔態様２０〕
映像データを処理するコーデックであって、
少なくとも２つの映像フレーム内における特徴のインスタンスを特定する、特徴ベースの検出手段であって、特定される、特徴の当該インスタンスが、前記少なくとも２つの映像フレームのうちの少なくとも１つの映像フレーム内の他のピクセルよりもデータ複雑さを示す複数のピクセルを有する、特徴ベース検出手段と、
前記特徴ベース検出手段に動作可能に接続されたモデル化手段であって、前記少なくとも２つの映像フレーム内における、特徴の特定されたインスタンスの対応関係をモデル化する特徴ベースの対応関係モデルを生成するモデル化手段と、
複数の前記特徴ベースの対応関係モデルのうち、所与の特徴ベースの対応関係モデルにより、特徴の特定された前記インスタンスの圧縮効率が向上すると判断された場合に、その対応関係モデルの使用を優先するメモリと、
を備える、コーデック。
〔態様２１〕
態様２０に記載のコーデックにおいて、特定された特徴の圧縮効率を、第１の映像符号化プロセスを用いた場合の当該特徴のインスタンスの符号化と、データベースに記憶された圧縮効率の所定の数値との一方と比べることにより、当該特徴の特定されたインスタンスの圧縮効率の向上を判断する、コーデック。
〔態様２２〕
映像データを処理する方法であって、
特徴のペルおよび特徴記述子のうちの少なくとも一方をベクトル化することにより、特徴をモデル化する過程と、
（ａ）特徴のペルの異なるベクトル間または異なる特徴記述子間の平均二乗誤差（ＭＳＥ）の最小化と、（ｂ）特徴のペルの異なるベクトル間または異なる特徴記述子間の内積の最大化との少なくとも一方により、類似する特徴を特定する過程と、
標準の動き予測・補償アルゴリズムを適用する過程であって、これにより前記特徴の並進動きを考慮し、処理した映像データを得る過程と、
を備える、映像データの処理方法。
〔態様２３〕
映像データを処理する方法であって、
モデルベース予測を、ターゲットのフレームを符号化するようにコーデックを構成することによって実現する過程と、
従来の符号化プロセスを用いて、前記ターゲットのフレーム内のマクロブロックを符号化する過程と、
前記マクロブロックの符号化を分析する過程であって、そのマクロブロックの従来の符号化が効率的と非効率の少なくとも一方と判断され、前記従来の符号化が非効率と判断された場合、前記マクロブロックに対する予測を複数のモデルに基づいて複数生成することによって、前記エンコーダが分析され、そのマクロブロックの前記複数の予測の評価が、符号化サイズに基づく、過程と、
前記マクロブロックの前記予測を、前記従来の符号化によるマクロブロックと共に順位付けする過程と、
を備える、映像データの処理方法。
〔態様２４〕
態様２３に記載の映像データの処理方法において、前記マクロブロックの前記従来の符号化を、符号化サイズが所定のサイズ閾値よりも小さい場合に効率的とする、映像データの処理方法。
〔態様２５〕
態様２３に記載の映像データの処理方法において、前記マクロブロックの前記従来の符号化を、前記ターゲットマクロブロックがスキップマクロブロックである場合に効率的とする、映像データの処理方法。
〔態様２６〕
態様２３に記載の映像データの処理方法において、前記マクロブロックの前記従来の符号化を、符号化サイズが閾値よりも大きい場合に非効率とする、映像データの処理方法。
〔態様２７〕
態様２３に記載の映像データの処理方法において、前記マクロブロックの前記従来の符号化が非効率と判断された場合に、当該マクロブロックに対する符号化を競争モードで複数生成して互いの圧縮効率を比較する、映像データの処理方法。
〔態様２８〕
態様２７に記載の映像データの処理方法において、競争モードの符号化アルゴリズムが、
前記マクロブロックから前記予測を減算する手順であって、これにより、残差信号を生成する手順、
ブロックベースの二次元ＤＣＴの近似を用いて、前記残差信号を変換する手順、および
エントロピーエンコーダを用いて、変換係数を符号化する手順、
を備える、映像データの処理方法。
〔態様２９〕
態様２３に記載の映像データの処理方法において、複数の予測を生成することによって分析される前記エンコーダが、一次的予測および重み付けされた副次的予測を合計する複合予測を生成する、映像データの処理方法。
〔態様３０〕
映像データを処理する方法であって、
モデルベース圧縮のために、複数の忠実度でデータをモデル化する過程であって、当該複数の忠実度が、マクロブロック階層、特徴としてのマクロブロック階層、特徴階層、およびオブジェクト階層のうちの少なくとも１つを含む過程、
を備え、
前記マクロブロック階層は、ブロックベースの動き予測・補償（ＢＢＭＥＣ）アプリケーションを用いて、復号化した参照フレーム内の限られた探索空間から各タイルに対する予測を見つけ出し、
前記特徴としてのマクロブロック階層は、（ｉ）前記マクロブロック階層と同じ１回目のＢＢＭＥＣアプリケーションを用いて、一番最近の参照フレームからターゲットのマクロブロックの第１の予測を見つけ出し、（ｉｉ）２回目のＢＢＭＥＣアプリケーションを用いて、二番目に最近の参照フレームを探索することにより、前記第１の予測に対する第２の予測を見つけ出し、（ｉｉｉ）徐々に過去のフレームを溯ってＢＢＭＥＣアプリケーションを適用することにより、前記ターゲットのマクロブロックのトラックを生成し、
前記特徴階層は、マクロブロックのグリッドに関係なく特徴を検出及び追跡し、その特徴を当該特徴と重複するマクロブロックに関連付けて、特徴のトラックを用いて、復号化した参照フレームをナビゲートすることで前記重複するマクロブロックに対する良好なマッチを見つけ出し、さらに、複数の特徴が１つの対象のターゲットのマクロブロックと重複する場合には、重複の最も大きい特徴が当該ターゲットのマクロブロックをモデル化するのに選択され、
前記オブジェクト階層では、オブジェクトが複数のマクロブロックを包含するか又は複数のマクロブロックと重複する場合、そのオブジェクトに対応する全てのマクロブロックに関して単一の動きベクトルを算出可能であり、これにより演算量及び符号化サイズを節約する、
映像データの処理方法。
〔態様３１〕
態様３０に記載の映像データの処理方法において、前記複数の忠実度が、順次的に調べられる、映像データの処理方法。
〔態様３２〕
態様３０に記載の映像データの処理方法において、前記複数の忠実度が、競争モードで調べられる、映像データの処理方法。
〔態様３３〕
プログラムコード手段を備えるコンピュータプログラムプロダクトであって、
前記プログラムコード手段は、コンピュータにロードされることにより、態様１に記載の処理方法を実行するように当該コンピュータを制御する、コンピュータプログラムプロダクト。
〔態様３４〕
プログラムコード手段を備えるコンピュータプログラムプロダクトであって、
前記プログラムコード手段は、コンピュータにロードされることにより、態様７に記載の処理方法を実行するように当該コンピュータを制御する、コンピュータプログラムプロダクト。
〔態様３５〕
プログラムコード手段を備えるコンピュータプログラムプロダクトであって、
前記プログラムコード手段は、コンピュータにロードされることにより、態様２２に記載の処理方法を実行するように当該コンピュータを制御する、コンピュータプログラムプロダクト。
〔態様３６〕
プログラムコード手段を備えるコンピュータプログラムプロダクトであって、
前記プログラムコード手段は、コンピュータにロードされることにより、態様２３に記載の処理方法を実行するように当該コンピュータを制御する、コンピュータプログラムプロダクト。
〔態様３７〕
プログラムコード手段を備えるコンピュータプログラムプロダクトであって、
前記プログラムコード手段は、コンピュータにロードされることにより、態様３０に記載の処理方法を実行するように当該コンピュータを制御する、コンピュータプログラムプロダクト。

Claims

請求項２０に記載のコーデックにおいて、特定された特徴の圧縮効率を、第１の映像符号化プロセスを用いた場合の当該特徴のインスタンスの符号化と、データベースに記憶された圧縮効率の所定の数値との一方と比べることにより、当該特徴の特定されたインスタンスの圧縮効率の向上を判断する、コーデック。
映像データを処理する方法であって、
モデルベース圧縮のために、複数の忠実度でデータをモデル化する過程であって、当該複数の忠実度が、マクロブロック階層、特徴としてのマクロブロック階層、特徴階層、およびオブジェクト階層のうちの少なくとも１つを含む過程、
を備え、
前記マクロブロック階層は、ブロックベースの動き予測・補償（ＢＢＭＥＣ）アプリケーションを用いて、復号化した参照フレーム内の限られた探索空間から各タイルに対する予測を見つけ出し、
前記特徴としてのマクロブロック階層は、（ｉ）前記マクロブロック階層と同じ１回目のＢＢＭＥＣアプリケーションを用いて、一番最近の参照フレームからターゲットのマクロブロックの第１の予測を見つけ出し、（ｉｉ）２回目のＢＢＭＥＣアプリケーションを用いて、二番目に最近の参照フレームを探索することにより、前記第１の予測に対する第２の予測を見つけ出し、（ｉｉｉ）徐々に過去のフレームを溯ってＢＢＭＥＣアプリケーションを適用することにより、前記ターゲットのマクロブロックのトラックを生成し、
前記特徴階層は、マクロブロックのグリッドに関係なく特徴を検出及び追跡し、その特徴を当該特徴と重複するマクロブロックに関連付けて、特徴のトラックを用いて、復号化した参照フレームをナビゲートすることで前記重複するマクロブロックに対する良好なマッチを見つけ出し、さらに、複数の特徴が１つの対象のターゲットのマクロブロックと重複する場合には、重複の最も大きい特徴が当該ターゲットのマクロブロックをモデル化するのに選択され、
前記オブジェクト階層では、オブジェクトが複数のマクロブロックを包含するか又は複数のマクロブロックと重複する場合、そのオブジェクトに対応する全てのマクロブロックに関して単一の動きベクトルを算出可能であり、これにより演算量及び符号化サイズを節約する、
映像データの処理方法。