JP2014011807A5 - - Google Patents

Description

本説明、（適切である場合）請求項及び図面に開示された各特徴は、独立して又は何れか適切な組み合わせにより提供されてもよい。各特徴は、適切である場合、ハードウェア、ソフトウェア又はこれら２つの組み合わせにより実現されてもよい。請求項に現れる参照番号は、単なる具体例であり、請求項の範囲に対して限定的な効果を有さない。
以下、本願により教示される手段を例示的に列挙する。
（付記１）
ビデオシーケンスのイメージを処理する方法であって、
前記ビデオシーケンスのパラメータ、前記ビデオシーケンスの前に復号化されたサブシーケンスのパラメータ及びユーザ設定を決定するステップと、
前記決定されたパラメータに従ってクロップ処理される部分を決定するステップであって、前記クロップ処理される部分は、可変的な位置及び可変的なサイズの少なくとも１つを有する境界ボックスにより規定され、前記可変的な位置は、前記ビデオシーケンスにおける隣接フレームのイントラ符号化マクロブロックの間の相関に依存し、前記相関の第１相関値について、前記境界ボックス位置は、前記第１相関値より高い又は低い相関値に対してより速く変化し、前記可変的なサイズは、現在のＧＯＰ又はシーンの第１フレームのマクロブロックコストマップのパラメータから計算される最大ズームファクタに依存し、ゼロに等しいコストを有するマクロブロックのパーセンテージがより低い場合、より大きな最大ズームファクタが許容される、前記決定するステップと、
リフレーミングステップにおいて、表示のため前記決定された部分をクロップ処理するステップと、
を有する方法。
（付記２）
前記サブシーケンスはＧＯＰ又はシーンであり、前記シーンはシーン変更検出により検出される、付記１記載の方法。
（付記３）
前記ビデオシーケンスのパラメータ又は前に復号化されたサブシーケンスのパラメータは、ＧＯＰサイズ、シーン長、時間サブサンプリングファクタ、最大及び最小ズームファクタ並びに境界ボックス速度の少なくとも１つを有する、付記１又は２記載の方法。
（付記４）
前記ビデオシーケンスのパラメータを決定するステップは、現在のイメージについて、
前のイメージにおいて、前記前のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定するステップと、
前記前のイメージのピクセルのサブエリア又はサブセットの周辺の第１境界ボックスを決定するステップと、
前記現在のイメージにおいて、前記現在のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定するステップと、
前記現在のイメージの前記エリアの周辺の第２境界ボックスを決定するステップであって、前記第２境界ボックスは前記可変的な境界ボックス位置を有する、前記第２境界ボックスを決定するステップと、
前記第１境界ボックスと前記第２境界ボックスとの位置から境界ボックスシフトを計算するか、又は前記第１境界ボックスと前記第２境界ボックスとの位置及び前記ビデオフレームレートから、境界ボックスシフトと境界ボックス速度とを計算するステップと、
前記決定された境界ボックスシフト又は境界ボックス速度と、連続するイメージの間の最大許容境界ボックスシフト又は境界ボックス速度とを比較するステップと、
前記決定された境界ボックスシフトが前記最大許容境界ボックスシフトを上回る場合、又は前記決定された境界ボックス速度が前記最大許容境界ボックス速度を上回る場合、新たな境界ボックスの位置及び／又はサイズを決定し、前記現在のイメージにおいて表示のため前記決定された新たな境界ボックスに従って前記サブエリアをクロップ処理するステップと、
他方、前記決定された境界ボックスシフト又は境界ボックス速度が前記最大許容境界ボックスシフト又は最大許容境界ボックス速度以下である場合、前記現在のイメージにおいて表示のため前記決定された第２境界ボックスに従って前記サブエリアをクロップ処理するステップと、
を有する、付記１乃至３何れか一項記載の方法。
（付記５）
前記最大許容境界ボックスシフト又は境界ボックス速度は、前記ビデオシーケンスの前に復号化されたサブシーケンスのパラメータから決定される、付記１乃至４何れか一項記載の方法。
（付記６）
前記最大許容境界ボックス速度は、

に従って計算され、ＩｎｔｒａＭａｐはＰピクチャ又はＢピクチャにおけるイントラ符号化されたＭＢのマップであり、ＣＣは現在のＩｎｔｒａＭａｐと隣接するＩｎｔｒａＭａｐとの間の相関係数であり、Ｖ _ｍａｘ は前記境界ボックスの最大速度であり、ｍ及びσは前記境界ボックス速度の分布の平均及び標準偏差である、付記１乃至５何れか一項記載の方法。
（付記７）
前記クロップ処理ウィンドウパラメータを経時的にスムース化するステップをさらに有し、
前記クロップ処理ウィンドウパラメータを経時的にスムース化するため、前記リフレーミングステップにおいてバッファが利用され、
前記バッファのサイズは、前記ＧＯＰサイズに従って調整される、付記１乃至６何れか一項記載の方法。
（付記８）
時間サブサンプリングファクタ又は時間サブサンプリングスキームが、時間サブサンプリングモードに従って設定され、
第１サブサンプリングモードでは、前記リフレーミングステップがすべてのフレームに適用され、
第２サブサンプリングモードでは、前記リフレーミングステップがすべてのＩフレーム及びＰフレームに適用され、０以上のＢフレームには適用されず、
第３サブサンプリングモードでは、前記リフレーミングステップがすべてのＩフレームに適用され、何れのＢフレームに適用されず、０以上のＰフレームに適用されない、付記１乃至７何れか一項記載の方法。
（付記９）
前記サブサンプリングモードの１つは、ビットレート要求とイメージ品質要求との少なくとも１つに従って選択される、付記８記載の方法。
（付記１０）
前記クロップ処理される部分は、クロップ処理ウィンドウにより規定され、
最大又は最小許容ズームファクタ又はズームファクタのペアを決定するステップをさらに有し、
前記最大又は最小許容ズームファクタは、前記クロップ処理ウィンドウが経時的に変化する境界を規定し、又は前記ズームファクタのペアは、前記クロップ処理ウィンドウが経時的に変化する２つの境界を規定する、付記１乃至９何れか一項記載の方法。
（付記１１）
前記ズームファクタのペアは、現在のＧＯＰ又はシーンの第１フレームのマクロブロックコストマップのパラメータから計算される、付記１０記載の方法。
（付記１２）
最小許容ズームファクタは、

により計算され、
最大許容ズームファクタは、

により計算され、ｎｂ _ＭＢ は前記イメージ内のＭＢの総数であり、ｎｂ _{ＭＢｃｏｓｔ０} は０に等しいコストを有するＭＢの個数であり、ｎｂ _{ＭＢａｄｊ} は最大のコストを有する隣接ＭＢの個数である、付記１乃至１１何れか一項記載の方法。
（付記１３）
ビデオシーケンスのイメージを処理する装置であって、
前記ビデオシーケンスのパラメータを決定し、前記ビデオシーケンスの前に復号化されたサブシーケンスのパラメータを決定し、ユーザ設定を決定するイメージ解析手段と、
前記決定されたパラメータに従ってクロップ処理される部分を決定し、表示のため前記決定された部分をクロップ処理するイメージ処理手段であって、前記クロップ処理される部分は、可変的な位置及び可変的なサイズの少なくとも１つを有する境界ボックスにより規定され、前記可変的な位置は、前記ビデオシーケンスにおける隣接フレームのイントラ符号化マクロブロックの間の相関に依存し、前記相関の第１相関値について、前記境界ボックス位置は、前記第１相関値より高い又は低い相関値についてより速く変化し、前記可変的サイズは、現在のＧＯＰ又はシーンの第１フレームのマクロブロックコストマップのパラメータから計算されるズームファクタに依存し、ゼロに等しいコストを有するマクロブロックのパーセンテージがより低い場合、より高い最大ズームファクタが許容される、前記イメージ解析手段と、
を有する装置。
（付記１４）
シーン変更検出モジュールをさらに有し、
前記サブシーケンスは、ＧＯＰ又はシーンであり、
前記シーンは、前記シーン検出モジュールにより検出される、付記１３記載の装置。
（付記１５）
前のイメージにおいて、前記前のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定する手段と、
前記前のイメージのピクセルのサブエリア又はサブセットの周辺の第１境界ボックスを決定する手段と、
前記現在のイメージにおいて、前記現在のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定する手段と、
前記現在のイメージの前記エリアの周辺の第２境界ボックスを決定する手段と、
前記第１境界ボックスと前記第２境界ボックスとの位置から境界ボックスシフトを計算するか、又は前記第１境界ボックスと前記第２境界ボックスとの位置及び前記ビデオフレームレートから、境界ボックス速度とを計算する手段と、
前記決定された境界ボックスシフト又は境界ボックス速度と、連続するイメージの間の最大許容境界ボックスシフト又は境界ボックス速度とを比較する手段と、
前記決定された境界ボックスシフトが前記最大許容境界ボックスシフトを上回る場合、又は前記決定された境界ボックス速度が前記最大許容境界ボックス速度を上回る場合、新たな境界ボックスの位置及び／又はサイズを決定し、前記現在のイメージにおいて表示のため前記決定された新たな境界ボックスに従って前記サブエリアをクロップ処理し、前記決定された境界ボックスシフト又は境界ボックス速度が前記最大許容境界ボックスシフト又は最大許容境界ボックス速度以下である場合、前記現在のイメージにおいて表示のため前記決定された第２境界ボックスに従って前記サブエリアをクロップ処理する手段と、
を有する、付記１３又は１４記載の装置。

Claims (15)

1. ビデオシーケンスのイメージを処理する方法であって、
   前記ビデオシーケンスのパラメータ、前記ビデオシーケンスの前に復号化されたサブシーケンスのパラメータ及びユーザ設定を決定するステップと、
   前記決定されたパラメータに従ってクロップ処理される部分を決定するステップであって、前記クロップ処理される部分は、可変的な位置及び可変的なサイズの少なくとも１つを有する境界ボックスにより規定され、前記可変的な位置は、前記ビデオシーケンスにおける隣接フレームのイントラ符号化マクロブロックの間の相関に依存し、前記相関の第１相関値について、境界ボックス位置は、前記第１相関値より高い又は低い相関値に対してより速く変化し、前記可変的なサイズは、現在のＧＯＰ又はシーンの第１フレームのマクロブロックコストマップのパラメータから計算される最大ズームファクタに依存し、ゼロに等しいコストを有するマクロブロックのパーセンテージがより低い場合、より大きな最大ズームファクタが許容される、前記決定するステップと、
   リフレーミングステップにおいて、表示のため前記決定された部分をクロップ処理するステップと、
   を有する方法。
2. 前記サブシーケンスはＧＯＰ又はシーンであり、前記シーンはシーン変更検出により検出される、請求項１記載の方法。
3. 前記ビデオシーケンスのパラメータ又は前に復号化されたサブシーケンスのパラメータは、ＧＯＰサイズ、シーン長、時間サブサンプリングファクタ、最大及び最小ズームファクタ並びに境界ボックス速度の少なくとも１つを有する、請求項１又は２記載の方法。
4. 前記ビデオシーケンスのパラメータを決定するステップは、現在のイメージについて、
   前のイメージにおいて、前記前のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定するステップと、
   前記前のイメージのピクセルのサブエリア又はサブセットの周辺の第１境界ボックスを決定するステップと、
   前記現在のイメージにおいて、前記現在のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定するステップと、
   前記現在のイメージの前記エリアの周辺の第２境界ボックスを決定するステップであって、前記第２境界ボックスは前記可変的な境界ボックス位置を有する、前記第２境界ボックスを決定するステップと、
   前記第１境界ボックスと前記第２境界ボックスとの位置から境界ボックスシフトを計算するか、又は前記第１境界ボックスと前記第２境界ボックスとの位置及びビデオフレームレートから、境界ボックスシフトと境界ボックス速度とを計算するステップと、
   前記決定された境界ボックスシフト又は境界ボックス速度と、連続するイメージの間の最大許容境界ボックスシフト又は境界ボックス速度とを比較するステップと、
   前記決定された境界ボックスシフトが前記最大許容境界ボックスシフトを上回る場合、又は前記決定された境界ボックス速度が前記最大許容境界ボックス速度を上回る場合、新たな境界ボックスの位置及び／又はサイズを決定し、前記現在のイメージにおいて表示のため前記決定された新たな境界ボックスに従って前記サブエリアをクロップ処理するステップと、
   他方、前記決定された境界ボックスシフト又は境界ボックス速度が前記最大許容境界ボックスシフト又は最大許容境界ボックス速度以下である場合、前記現在のイメージにおいて表示のため前記決定された第２境界ボックスに従って前記サブエリアをクロップ処理するステップと、
   を有する、請求項１乃至３何れか一項記載の方法。
5. 前記最大許容境界ボックスシフト又は境界ボックス速度は、前記ビデオシーケンスの前に復号化されたサブシーケンスのパラメータから決定される、請求項１乃至４何れか一項記載の方法。
6. 前記最大許容境界ボックス速度は、
   

   

   
   
   に従って計算され、ＩｎｔｒａＭａｐはＰピクチャ又はＢピクチャにおけるイントラ符号化されたＭＢのマップであり、ＣＣは現在のＩｎｔｒａＭａｐと隣接するＩｎｔｒａＭａｐとの間の相関係数であり、Ｖ_ｍａｘは前記境界ボックスの最大速度であり、ｍ及びσは前記境界ボックス速度の分布の平均及び標準偏差である、請求項１乃至５何れか一項記載の方法。
7. 前記クロップ処理ウィンドウパラメータを経時的にスムース化するステップをさらに有し、
   前記クロップ処理ウィンドウパラメータを経時的にスムース化するため、前記リフレーミングステップにおいてバッファが利用され、
   前記バッファのサイズは、前記ＧＯＰサイズに従って調整される、請求項１乃至６何れか一項記載の方法。
8. 時間サブサンプリングファクタ又は時間サブサンプリングスキームが、時間サブサンプリングモードに従って設定され、
   第１サブサンプリングモードでは、前記リフレーミングステップがすべてのフレームに適用され、
   第２サブサンプリングモードでは、前記リフレーミングステップがすべてのＩフレーム及びＰフレームに適用され、０以上のＢフレームには適用されず、
   第３サブサンプリングモードでは、前記リフレーミングステップがすべてのＩフレームに適用され、何れのＢフレームにも適用されず、０以上のＰフレームに適用されない、請求項１乃至７何れか一項記載の方法。
9. 前記サブサンプリングモードの１つは、ビットレート要求とイメージ品質要求との少なくとも１つに従って選択される、請求項８記載の方法。
10. 前記クロップ処理される部分は、クロップ処理ウィンドウにより規定され、
    最大又は最小許容ズームファクタ又はズームファクタのペアを決定するステップをさらに有し、
    前記最大又は最小許容ズームファクタは、前記クロップ処理ウィンドウが経時的に変化する境界を規定し、又は前記ズームファクタのペアは、前記クロップ処理ウィンドウが経時的に変化する２つの境界を規定する、請求項１乃至９何れか一項記載の方法。
11. 前記ズームファクタのペアは、現在のＧＯＰ又はシーンの第１フレームのマクロブロックコストマップのパラメータから計算される、請求項１０記載の方法。
12. 最小許容ズームファクタは、
    

    

    
    により計算され、
    最大許容ズームファクタは、
    

    

    
    により計算され、ｎｂ_ＭＢは前記イメージ内のＭＢの総数であり、ｎｂ_{ＭＢｃｏｓｔ０}は０に等しいコストを有するＭＢの個数であり、ｎｂ_{ＭＢａｄｊ}は最大のコストを有する隣接ＭＢの個数である、請求項１乃至１１何れか一項記載の方法。
13. ビデオシーケンスのイメージを処理する装置であって、
    前記ビデオシーケンスのパラメータを決定し、前記ビデオシーケンスの前に復号化されたサブシーケンスのパラメータを決定し、ユーザ設定を決定するイメージ解析手段と、
    前記決定されたパラメータに従ってクロップ処理される部分を決定し、表示のため前記決定された部分をクロップ処理するイメージ処理手段であって、前記クロップ処理される部分は、可変的な位置及び可変的なサイズの少なくとも１つを有する境界ボックスにより規定され、前記可変的な位置は、前記ビデオシーケンスにおける隣接フレームのイントラ符号化マクロブロックの間の相関に依存し、前記相関の第１相関値について、境界ボックス位置は、前記第１相関値より高い又は低い相関値についてより速く変化し、前記可変的サイズは、現在のＧＯＰ又はシーンの第１フレームのマクロブロックコストマップのパラメータから計算されるズームファクタに依存し、ゼロに等しいコストを有するマクロブロックのパーセンテージがより低い場合、より高い最大ズームファクタが許容される、前記イメージ解析手段と、
    を有する装置。
14. シーン変更検出モジュールをさらに有し、
    前記サブシーケンスは、ＧＯＰ又はシーンであり、
    前記シーンは、前記シーン検出モジュールにより検出される、請求項１３記載の装置。
15. 前のイメージにおいて、前記前のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定する手段と、
    前記前のイメージのピクセルのサブエリア又はサブセットの周辺の第１境界ボックスを決定する手段と、
    前記現在のイメージにおいて、前記現在のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定する手段と、
    前記現在のイメージの前記エリアの周辺の第２境界ボックスを決定する手段と、
    前記第１境界ボックスと前記第２境界ボックスとの位置から境界ボックスシフトを計算するか、又は前記第１境界ボックスと前記第２境界ボックスとの位置及びビデオフレームレートから、境界ボックス速度とを計算する手段と、
    前記決定された境界ボックスシフト又は境界ボックス速度と、連続するイメージの間の最大許容境界ボックスシフト又は境界ボックス速度とを比較する手段と、
    前記決定された境界ボックスシフトが前記最大許容境界ボックスシフトを上回る場合、又は前記決定された境界ボックス速度が前記最大許容境界ボックス速度を上回る場合、新たな境界ボックスの位置及び／又はサイズを決定し、前記現在のイメージにおいて表示のため前記決定された新たな境界ボックスに従って前記サブエリアをクロップ処理し、前記決定された境界ボックスシフト又は境界ボックス速度が前記最大許容境界ボックスシフト又は最大許容境界ボックス速度以下である場合、前記現在のイメージにおいて表示のため前記決定された第２境界ボックスに従って前記サブエリアをクロップ処理する手段と、
    を有する、請求項１３又は１４記載の装置。