JP2017532858A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2017532858A5 JP2017532858A5 JP2017513750A JP2017513750A JP2017532858A5 JP 2017532858 A5 JP2017532858 A5 JP 2017532858A5 JP 2017513750 A JP2017513750 A JP 2017513750A JP 2017513750 A JP2017513750 A JP 2017513750A JP 2017532858 A5 JP2017532858 A5 JP 2017532858A5
- Authority
- JP
- Japan
- Prior art keywords
- block
- frame
- quantization parameter
- tcsf
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002123 temporal effect Effects 0.000 claims description 26
- 230000035945 sensitivity Effects 0.000 claims description 12
- 230000003247 decreasing Effects 0.000 claims description 8
- 230000000873 masking Effects 0.000 claims description 4
- 102100013858 BSG Human genes 0.000 description 2
- 101710019228 BSG Proteins 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 1
Description
本発明を例示的な実施形態を参照しながら具体的に図示・説明したが、当業者であれば、添付の特許請求の範囲に包含された本発明の範囲を逸脱しない範疇で形態や細部に様々な変更を施せることを理解するであろう。
なお、本発明は、実施の態様として以下の内容を含む。
〔態様１〕
複数の映像フレームを符号化する方法であって、
前記映像フレームは、互いに重なり合わないターゲットブロックを有しており、
当該方法は、
重要度マップが量子化を調整することによって各映像フレーム内の符号化すべき各ターゲットブロックの符号化品質に影響を与えるように、前記重要度マップを用いて前記複数の映像フレームを符号化する過程、
を備え、前記重要度マップが：
時間的情報及び空間的情報を用いて当該重要度マップを設定すること；ならびに、
（ｉ）当該重要度マップが高い数値をとるブロックでは、ブロック量子化パラメータ（ＱＰ）がフレーム量子化パラメータＱＰ ｆｒａｍｅ に比べて小さくされることで、これらのブロックについては高い品質となるように、かつ、（ｉｉ）当該重要度マップが低い数値をとるターゲットブロックでは、前記ブロック量子化パラメータが前記フレーム量子化パラメータＱＰ ｆｒａｍｅ に比べて大きくされることで、これらのブロックについては低い品質となるように、計算によって、前記複数の映像フレームのうちのある映像フレームのどの部分が人間の知覚にとって最も気付き易いのかを当該重要度マップに示させること；
によって構成されている、方法。
〔態様２〕
態様１に記載の方法において、前記空間的情報が、ルールに基づく空間的複雑度マップ（ＳＣＭ）により提供されて、その最初のステップが、前記フレーム内のどのターゲットブロックが当該フレーム内の平均ブロック分散ｖａｒ ｆｒａｍｅ よりも大きい分散を有するかを決定することであり、
前記平均ブロック分散ｖａｒ ｆｒａｍｅ よりも大きい分散を有するブロックに対して、前記フレーム量子化パラメータＱＰ ｆｒａｍｅ よりも高い量子化パラメータ（ＱＰ）値を振り当て、このブロック量子化パラメータ（ＱＰ）の振当量ＱＰ ｂｌｏｃｋ は、そのブロック分散ｖａｒ ｂｌｏｃｋ が前記平均ブロック分散ｖａｒ ｆｒａｍｅ よりもいかなる程度大きいかに従って、前記フレーム量子化パラメータＱＰ ｆｒａｍｅ と量子化パラメータ上限ＱＰ ｍａｘ との間で線形的に増減される、方法。
〔態様３〕
態様１に記載の方法において、前記時間的情報が、
どのターゲットブロックが観測者である人間にとって時間的に最も気付き易いかを示す時間的コントラスト感度関数（ＴＣＳＦ）、および、
どのターゲットブロックが前景データに相当するかを示す真の動きベクトルマップ（ＴＭＶＭ）
により提供されて、前記ＴＣＳＦは、前景データとして特定されたターゲットブロックについてのみ有効とされる、方法。
〔態様４〕
態様２に記載の方法において、分散の大きいブロックは、そのブロック量子化パラメータ（ＱＰ）である前記振当量ＱＰ ｂｌｏｃｋ が、前記ＴＭＶＭがターゲットブロックを前景データとして特定し且つ前記ＴＣＳＦのこのブロックについてのコントラスト感度対数値が０．５未満である場合には前記振当量ＱＰ ｂｌｏｃｋ が２増加するように、前記ＴＣＳＦ及び前記ＴＭＶＭによりさらに洗練化される、方法。
〔態様５〕
態様２に記載の方法において、前記ＳＣＭは、さらに、極めて明るい（１７０超の輝度）か又は極めて暗い（６０未満の輝度）ターゲットブロックのブロック量子化パラメータである前記振当量ＱＰ ｂｌｏｃｋ がＱＰ ｍａｘ に調節し直される輝度マスキングを含む、方法。
〔態様６〕
態様２に記載の方法において、前記ＳＣＭは、さらに、前記符号化された映像の品質レベルに基づく前記量子化パラメータ上限ＱＰ ｍａｘ の動的な決定を含み、
この動的な決定では、イントラ（Ｉ）フレーム内のターゲットブロックの平均構造的類似度（ＳＳＩＭ）算出結果をこれらフレームの平均ブロック分散ｖａｒ ｆｒａｍｅ と共に用いて、品質が測定され、
前記測定された品質が低いと、前記量子化パラメータ上限ＱＰ ｍａｘ の数値が前記フレーム量子化パラメータＱＰ ｆｒａｍｅ に近づくように減らされる、方法。
〔態様７〕
態様２に記載の方法において、分散の極めて小さいブロックに対して、これらの領域における高品質符号化を確実にするために、前記ブロック分散が小さいほど前記振当量ＱＰ ｂｌｏｃｋ の数値が低くなるように（、かつ、品質が高くなるように）、決められた低い量子化パラメータ（ＱＰ）の値である前記振当量ＱＰ ｂｌｏｃｋ が振り当てられる、方法。
〔態様８〕
態様７に記載の方法において、分散の極めて小さいブロックに対する前記低い量子化パラメータ（ＱＰ）の値である前記振当量ＱＰ ｂｌｏｃｋ は、最初に、Ｉフレームについて決められ、その後、Ｐフレーム及びＢフレームについてはｉｐｒａｔｉｏパラメータ及びｐｂｒａｔｉｏパラメータを用いて決められる、方法。
〔態様９〕
態様７に記載の方法において、分散は小さいが、分散が極めて小さいとは見なさないブロックは、当該ブロックについて品質向上が必要か否かを判定するために、
前記ブロック量子化パラメータ（ＱＰ）の初めの推定値である前記振当量ＱＰ ｂｌｏｃｋ が現在のブロックの左、左上、右および右上の既に符号化済みの近傍ブロックの量子化パラメータ（ＱＰ）の値を平均することによって算出されて、且つ、
前記現在のブロックの前記ＳＳＩＭの推定ＳＳＩＭ ｅｓｔ が前記現在のブロックの左、左上、右および右上の既に符号化済みの近傍ブロックのＳＳＩＭ値から算出されて、且つ、
ＳＳＩＭ ｅｓｔ が０．９未満の場合、前記振当量ＱＰ ｂｌｏｃｋ の数値が２減少されるように、
調べられる、方法。
〔態様１０〕
態様９に記載の方法において、前記品質向上は、前記ＴＭＶＭにより前景データとして特定されて且つ前記ＴＣＳＦのコントラスト感度対数値が０．８超であるブロックにのみ適用される、方法。
〔態様１１〕
態様３に記載の方法において、前記ＴＣＳＦの時間的周波数は、前記ターゲットブロックとその参照ブロックとの間の色空間領域におけるＳＳＩＭを用いて波長の近似を求めて且つ動きベクトルの大きさとフレームレートとを用いて速度の近似を求めることによって算出される、方法。
〔態様１２〕
態様３に記載の方法において、前記ＴＣＳＦは、現在のフレームについての当該ＴＣＳＦが最近のフレームにおけるＴＣＳＦマップの重み付き平均であるように且つより最近のフレームがより大きい重み付けを受けるように、複数のフレームにわたって算出される、方法。
〔態様１３〕
態様３に記載の方法において、前記ＴＭＶＭは、前景データの場合にのみ１に設定される、方法。
〔態様１４〕
態様１３に記載の方法において、前景データは、所与のターゲットブロックについてのエンコーダ動きベクトルと当該ブロックについてのグローバル動きベクトルとの差分を算出し、十分に大きい差分を有するブロックが前景データであると判断されることによって特定される、方法。
〔態様１５〕
態様１４に記載の方法において、前景データとして特定されたデータブロックについて、前記グローバル動きベクトルから前記エンコーダ動きベクトルが減算されることによって差分動きベクトルを得て、この差分動きベクトルの大きさが前記ＴＣＳＦの時間的周波数を算出するのに用いられる、方法。
〔態様１６〕
態様３に記載の方法において、前記ＴＣＳＦは、エンコーダからの動きベクトルから算出される、方法。
〔態様１７〕
態様１に記載の方法において、前記重要度マップが前記時間的情報及び前記空間的情報で設定されたものである場合、当該重要度マップは統合化された重要度マップである、方法。
〔態様１８〕
映像データを符号化するシステムであって、
重要度マップを用いて複数の映像フレームを符号化するコーデックであって、当該映像フレームは、互いに重なり合わないターゲットブロックを有している、コーデック、
を備え、前記重要度マップは、量子化を調整することによって各映像フレーム内の符号化すべき各ターゲットブロックの符号化品質に影響を与えるように構成されており、
前記重要度マップが：
時間的情報及び空間的情報を用いて当該重要度マップを設定することであって、これら時間的情報と空間的情報とにより設定された重要度マップは、統合化された重要素マップであること；ならびに、
（ｉ）当該重要度マップが高い数値をとるブロックでは、ブロック量子化パラメータ（ＱＰ）がフレーム量子化パラメータＱＰ ｆｒａｍｅ に比べて小さくされることで、これらのブロックについては高い品質となるように、かつ、（ｉｉ）当該重要度マップが低い数値をとるターゲットブロックでは、前記ブロック量子化パラメータが前記フレーム量子化パラメータＱＰ ｆｒａｍｅ に比べて大きくされることで、これらのブロックについては低い品質となるように、計算によって、前記複数の映像フレームのうちのある映像フレームの、人間の知覚にとって最も気付き易い部分を当該重要度マップに示させること；
によって構成されている、システム。
〔態様１９〕
態様１８に記載のエンコーダにおいて、前記空間的情報が、ルールに基づく空間的複雑度マップ（ＳＣＭ）により提供されて、その最初のステップが、前記フレーム内のどのターゲットブロックが当該フレーム内の平均ブロック分散ｖａｒ ｆｒａｍｅ よりも大きい分散を有するかを決定することであり、
前記平均ブロック分散ｖａｒ ｆｒａｍｅ よりも大きい分散を有するブロックに対して、前記フレーム量子化パラメータＱＰ ｆｒａｍｅ よりも高い量子化パラメータ（ＱＰ）値を振り当て、このブロック量子化パラメータ（ＱＰ）の振当量ＱＰ ｂｌｏｃｋ は、そのブロック分散ｖａｒ ｂｌｏｃｋ が前記平均ブロック分散ｖａｒ ｆｒａｍｅ よりもいかなる程度大きいかに従って、前記フレーム量子化パラメータＱＰ ｆｒａｍｅ と量子化パラメータ上限ＱＰ ｍａｘ との間で線形的に増減される、エンコーダ。
〔態様２０〕
態様１８に記載のエンコーダにおいて、前記時間的情報が、
どのターゲットブロックが観測者である人間にとって時間的に最も気付き易いかを示す時間的コントラスト感度関数（ＴＣＳＦ）、および、
どのターゲットブロックが前景データに相当するかを示す真の動きベクトルマップ（ＴＭＶＭ）
により提供されて、前記ＴＣＳＦは、前景データとして特定されたターゲットブロックについてのみ有効とされる、エンコーダ。
〔態様２１〕
態様１９に記載のエンコーダにおいて、分散の大きいブロックは、そのブロック量子化パラメータ（ＱＰ）である前記振当量ＱＰ ｂｌｏｃｋ が、前記ＴＭＶＭがターゲットブロックを前景データとして特定し且つ前記ＴＣＳＦのこのブロックについてのコントラスト感度対数値が０．５未満である場合には前記振当量ＱＰ ｂｌｏｃｋ が２増加するように、前記ＴＣＳＦ及び前記ＴＭＶＭによりさらに洗練化される、エンコーダ。
〔態様２２〕
態様１９に記載のエンコーダにおいて、前記ＳＣＭは、さらに、極めて明るい（１７０超の輝度）か又は極めて暗い（６０未満の輝度）ターゲットブロックのブロック量子化パラメータである前記振当量ＱＰ ｂｌｏｃｋ がＱＰ ｍａｘ に調節し直される輝度マスキングを含む、エンコーダ。
〔態様２３〕
態様１９に記載のエンコーダにおいて、前記ＳＣＭは、さらに、符号化された映像の品質レベルに前記量子化パラメータ上限基づくＱＰ ｍａｘ の動的な決定を含み、
この動的な決定では、イントラ（Ｉ）フレーム内のターゲットブロックの平均構造的類似度（ＳＳＩＭ）算出結果をこれらフレームの平均ブロック分散ｖａｒ ｆｒａｍｅ と共に用いて、品質が測定され、
測定された品質が低いと、前記量子化パラメータ上限ＱＰ ｍａｘ の数値が前記フレーム量子化パラメータＱＰ ｆｒａｍｅ 近づくように減らされる、エンコーダ。
〔態様２４〕
態様１９に記載のエンコーダにおいて、分散の極めて小さいブロックに対して、これらの領域における高品質符号化を確実にするために、前記ブロック分散が小さいほど前記振当量ＱＰ ｂｌｏｃｋ の数値が低くなるように（、かつ、品質が高くなるように）、決められた低い量子化パラメータ（ＱＰ）の値である前記振当量ＱＰ ｂｌｏｃｋ が振り当てられる、エンコーダ。
〔態様２５〕
態様２４に記載のエンコーダにおいて、分散の極めて小さいブロックに対する前記低い量子化パラメータ（ＱＰ）の値である前記振当量ＱＰ ｂｌｏｃｋ は、最初に、Ｉフレームについては決められ、その後、Ｐフレーム及びＢフレームについてはｉｐｒａｔｉｏパラメータ及びｐｂｒａｔｉｏパラメータを用いて決められる、エンコーダ。
〔態様２６〕
態様１９に記載のシステムにおいて、分散は小さいが、分散が極めて小さいとは見なさないブロックは、当該ブロックについて品質向上が必要か否かを判定するために、
前記ブロック量子化パラメータ（ＱＰ）の初めの推定値である前記振当量ＱＰ ｂｌｏｃｋ が現在のブロックの左、左上、右および右上の既に符号化済みの近傍ブロックの量子化パラメータ（ＱＰ）の値を平均することによって算出されて、且つ、
前記現在のブロックの前記ＳＳＩＭの推定ＳＳＩＭ ｅｓｔ が前記現在のブロックの左、左上、右および右上の既に符号化済みの近傍ブロックのＳＳＩＭ値から算出されて、且つ、
ＳＳＩＭ ｅｓｔ が０．９未満の場合、前記振当量ＱＰ ｂｌｏｃｋ の数値が２減少されるように、
調べられる、システム。
〔態様２７〕
態様２６に記載のシステムにおいて、前記品質向上は、前記ＴＭＶＭにより前景データとして特定されて且つ前記ＴＣＳＦのコントラスト感度対数値が０．８超であるブロックにのみ適用される、システム。
〔態様２８〕
態様２０に記載のシステムにおいて、前記ＴＣＳＦの時間的周波数は、前記ターゲットブロックとその参照ブロックとの間の色空間領域におけるＳＳＩＭを用いて波長の近似を求めて且つ動きベクトルの大きさとフレームレートとを用いて速度の近似を求めることによって算出される、システム。
〔態様２９〕
態様２０に記載のシステムにおいて、前記ＴＣＳＦは、現在のフレームについての当該ＴＣＳＦが最近のフレームにおけるＴＣＳＦマップの重み付き平均であるように且つより最近のフレームがより大きい重み付けを受けるように、複数のフレームにわたって算出される、システム。
〔態様３０〕
態様２０に記載のシステムにおいて、前記ＴＭＶＭは、前景データの場合にのみ１に設定される、システム。
〔態様３１〕
態様３０に記載のシステムにおいて、前景データは、所与のターゲットブロックについてのエンコーダ動きベクトルと当該ブロックについてのグローバル動きベクトルとの差分を算出し、十分に大きい差分を有するブロックが前景データであると判断されることによって特定される、システム。
〔態様３２〕
態様２０に記載のシステムにおいて、前景データとして特定されたデータブロックについて、前記グローバル動きベクトルから前記エンコーダ動きベクトルが減算されることによって差分動きベクトルを得て、この差分動きベクトルの大きさが前記ＴＣＳＦの時間的周波数を算出するのに用いられる、システム。
〔態様３３〕
態様２０に記載のシステムにおいて、前記ＴＣＳＦは、前記エンコーダからの動きベクトルから算出される、システム。
〔態様３４〕
態様１８に記載のシステムにおいて、前記重要度マップが前記時間的情報と前記空間的情報で設定されたものである場合、当該重要度マップは統合化された重要度マップである、システム。
Although the present invention has been particularly shown and described with reference to exemplary embodiments, those skilled in the art will recognize that the form and details fall within the scope of the invention as encompassed by the appended claims. You will understand that various changes can be made.
In addition, this invention contains the following content as an aspect.
[Aspect 1]
A method of encoding a plurality of video frames,
The video frames have target blocks that do not overlap each other;
The method is
Encoding the plurality of video frames using the importance map such that the importance map affects the encoding quality of each target block to be encoded in each video frame by adjusting quantization ,
The importance map comprises:
Setting up the importance map using temporal and spatial information; and
(I) In blocks where the importance map has a high numerical value, the block quantization parameter (QP) is made smaller than the frame quantization parameter QP frame , so that these blocks have high quality. And (ii) in the target block in which the importance map has a low value, the block quantization parameter is set larger than the frame quantization parameter QP frame , so that these blocks have low quality. And causing the importance map to indicate which part of the video frame among the plurality of video frames is most easily noticed by human perception by calculation;
Consists of, the method.
[Aspect 2]
The method of aspect 1, wherein the spatial information is provided by a rule-based spatial complexity map (SCM), the first step of which target block in the frame is the average block in the frame. Determining whether to have a variance greater than the variance var frame ,
A block having a variance larger than the average block variance var frame is assigned a quantization parameter (QP) value higher than the frame quantization parameter QP frame , and a block equivalent QP of the block quantization parameter (QP) is assigned. The block is linearly increased or decreased between the frame quantization parameter QP frame and the quantization parameter upper limit QP max according to how much the block variance var block is larger than the average block variance var frame .
[Aspect 3]
In the method according to aspect 1, the temporal information is
A temporal contrast sensitivity function (TCSF) that indicates which target block is most noticeable in time for the observer human, and
True motion vector map (TMVM) showing which target blocks correspond to foreground data
Provided that the TCSF is only valid for target blocks identified as foreground data.
[Aspect 4]
The method according to embodiment 2, a large block of the dispersion, the appropriation amount QP block is the block quantization parameter (QP) is the TMVM is for this block in the specified and the TCSF the target block as a foreground data The method further refined by the TCSF and the TMVM such that the shaking equivalent QP block is increased by 2 if the contrast sensitivity logarithm is less than 0.5 .
[Aspect 5]
The method according to aspect 2, wherein the SCM is further characterized in that the vibration equivalent QP block, which is a block quantization parameter of a very bright (greater than 170 brightness) or very dark (less than 60 brightness) target block, is QP max . A method comprising luminance masking that is readjusted.
[Aspect 6]
The method according to aspect 2, wherein the SCM further includes dynamic determination of the quantization parameter upper limit QP max based on a quality level of the encoded video ,
In this dynamic decision , the quality is measured using the average structural similarity (SSIM) calculation result of the target blocks in an intra (I) frame together with the average block variance var frame of these frames ,
The method, wherein if the measured quality is low, the value of the quantization parameter upper limit QP max is reduced to approach the frame quantization parameter QP frame .
[Aspect 7]
In the method according to aspect 2, in order to ensure high-quality coding in these regions for blocks with extremely small variance, the smaller the block variance, the lower the numerical value of the vibration equivalent QP block. A method in which the shaking equivalent QP block, which is a value of a determined low quantization parameter (QP), is allocated (and so that the quality is high) .
[Aspect 8]
In the method of aspect 7, the shaking equivalent QP block , which is the value of the low quantization parameter (QP) for a very small variance block, is first determined for I frames and then for P and B frames. Is determined using the ipratio and pbratio parameters.
[Aspect 9]
In the method according to aspect 7, a block whose variance is small but does not consider the variance to be extremely small is used to determine whether quality improvement is necessary for the block.
The shaking equivalent QP block, which is the initial estimate of the block quantization parameter (QP), is the value of the quantization parameter (QP) of the already-encoded neighboring block on the left, upper left, right and upper right of the current block. Calculated by averaging, and
An estimated SSIM est of the SSIM of the current block is calculated from the SSIM values of the already encoded neighboring blocks at the left, upper left, right and upper right of the current block; and
When the SSIM est is less than 0.9, the numerical value of the shaking equivalent QP block is decreased by 2,
Examine the method.
[Aspect 10]
10. The method of aspect 9, wherein the quality enhancement is applied only to blocks that are identified as foreground data by the TMVM and whose TCSF contrast sensitivity log value is greater than 0.8.
[Aspect 11]
In the method according to aspect 3, the temporal frequency of the TCSF is obtained by calculating an approximation of a wavelength using SSIM in a color space region between the target block and the reference block, and a motion vector size and a frame rate. Calculated by finding an approximation of velocity using
[Aspect 12]
4. The method of aspect 3, wherein the TCSF includes a plurality of TCSFs for a current frame such that the TCSF is a weighted average of TCSF maps in a recent frame and a more recent frame receives a greater weight. A method that is calculated over a frame.
[Aspect 13]
4. The method of aspect 3, wherein the TMVM is set to 1 only for foreground data.
[Aspect 14]
In the method according to aspect 13, foreground data is calculated by calculating a difference between an encoder motion vector for a given target block and a global motion vector for the block, and a block having a sufficiently large difference is foreground data. A method identified by being judged.
[Aspect 15]
In the method according to aspect 14, a difference motion vector is obtained by subtracting the encoder motion vector from the global motion vector for a data block identified as foreground data, and the magnitude of the difference motion vector is the TCSF. A method used to calculate the temporal frequency of
[Aspect 16]
4. The method of aspect 3, wherein the TCSF is calculated from a motion vector from an encoder.
[Aspect 17]
The method according to aspect 1, wherein when the importance map is set by the temporal information and the spatial information, the importance map is an integrated importance map.
[Aspect 18]
A system for encoding video data,
A codec that encodes a plurality of video frames using an importance map, wherein the video frames have target blocks that do not overlap each other;
The importance map is configured to influence the encoding quality of each target block to be encoded in each video frame by adjusting quantization,
The importance map is:
The importance map is set using temporal information and spatial information, and the importance map set by these temporal information and spatial information is an integrated heavy element map. As well as
(I) In blocks where the importance map has a high numerical value, the block quantization parameter (QP) is made smaller than the frame quantization parameter QP frame , so that these blocks have high quality. And (ii) in the target block in which the importance map has a low value, the block quantization parameter is set larger than the frame quantization parameter QP frame , so that these blocks have low quality. And, by calculating, let the importance level map indicate a part of the video frame that is most easily noticed by human perception of the video frame;
The system that is configured by.
[Aspect 19]
19. The encoder of aspect 18, wherein the spatial information is provided by a rule-based spatial complexity map (SCM), the first step of which target block in the frame is the average block in the frame Determining whether to have a variance greater than the variance var frame ,
A block having a variance larger than the average block variance var frame is assigned a quantization parameter (QP) value higher than the frame quantization parameter QP frame , and a block equivalent QP of the block quantization parameter (QP) is assigned. The encoder is linearly increased or decreased between the frame quantization parameter QP frame and the quantization parameter upper limit QP max according to how much the block variance var block is larger than the average block variance var frame .
[Aspect 20]
The encoder according to aspect 18, wherein the temporal information is
A temporal contrast sensitivity function (TCSF) that indicates which target block is most noticeable in time for the observer human, and
True motion vector map (TMVM) showing which target blocks correspond to foreground data
Provided that the TCSF is only valid for target blocks identified as foreground data.
[Aspect 21]
The encoder according to aspect 19, wherein a block having a large variance has a block quantization parameter (QP) of the equivalent weight QP block , the TMVM identifies the target block as foreground data, and the block of the TCSF is An encoder further refined by the TCSF and the TMVM such that the vibration equivalent QP block is increased by 2 when the contrast sensitivity logarithm value is less than 0.5 .
[Aspect 22]
The encoder according to aspect 19, wherein the SCM further includes the vibration equivalent QP block, which is a block quantization parameter of a very bright (greater than 170 brightness) or very dark (less than 60 brightness) target block, at QP max . Encoder, including brightness masking re-adjusted.
[Aspect 23]
The encoder according to aspect 19, wherein the SCM further includes a dynamic determination of QP max based on the quantization parameter upper limit on the quality level of the encoded video ,
In this dynamic decision , the quality is measured using the average structural similarity (SSIM) calculation result of the target blocks in an intra (I) frame together with the average block variance var frame of these frames ,
If the measured quality is low, the numerical value of the quantization parameter upper limit QP max is reduced so as to approach the frame quantization parameter QP frame .
[Aspect 24]
In the encoder according to aspect 19, in order to ensure high quality coding in these regions for blocks with extremely small variance, the smaller the block variance, the lower the numerical value of the vibration equivalent QP block. An encoder to which the shaking equivalent QP block, which is a value of a determined low quantization parameter (QP), is allocated (and so that the quality is high) .
[Aspect 25]
25. The encoder according to aspect 24, wherein the vibration equivalent QP block , which is a value of the low quantization parameter (QP) for a block having extremely small variance, is first determined for an I frame, and then a P frame and a B frame. Is determined using the ipatio and pbratio parameters.
[Aspect 26]
In the system according to aspect 19, a block whose variance is small but which does not consider the variance to be extremely small is used to determine whether quality improvement is necessary for the block.
The shaking equivalent QP block, which is the initial estimate of the block quantization parameter (QP), is the value of the quantization parameter (QP) of the already-encoded neighboring block on the left, upper left, right and upper right of the current block. Calculated by averaging, and
An estimated SSIM est of the SSIM of the current block is calculated from the SSIM values of the already encoded neighboring blocks at the left, upper left, right and upper right of the current block; and
When the SSIM est is less than 0.9, the numerical value of the shaking equivalent QP block is decreased by 2,
The system being examined.
[Aspect 27]
27. The system of aspect 26, wherein the quality enhancement is applied only to blocks that are identified as foreground data by the TMVM and for which the TCSF contrast sensitivity log value is greater than 0.8.
[Aspect 28]
The system according to aspect 20, wherein the temporal frequency of the TCSF is obtained by calculating an approximation of a wavelength using SSIM in a color space region between the target block and its reference block, and a motion vector magnitude and a frame rate. A system that is calculated by finding an approximation of speed using.
[Aspect 29]
The system according to aspect 20, wherein the TCSF includes a plurality of TCSFs for a current frame such that the TCSF is a weighted average of TCSF maps in a recent frame and a more recent frame receives a greater weight. A system that is calculated over a frame.
[Aspect 30]
21. The system according to aspect 20, wherein the TMVM is set to 1 only for foreground data.
[Aspect 31]
In the system according to aspect 30, foreground data is calculated by calculating a difference between an encoder motion vector for a given target block and a global motion vector for the block, and a block having a sufficiently large difference is foreground data. A system identified by being judged.
[Aspect 32]
The system according to aspect 20, wherein a difference motion vector is obtained by subtracting the encoder motion vector from the global motion vector for a data block identified as foreground data, and the magnitude of the difference motion vector is the TCSF. A system used to calculate the temporal frequency of
[Aspect 33]
21. The system of aspect 20, wherein the TCSF is calculated from a motion vector from the encoder.
[Aspect 34]
The system according to aspect 18, wherein when the importance map is set by the temporal information and the spatial information, the importance map is an integrated importance map.
Claims (34)
前記映像フレームは、互いに重なり合わないターゲットブロックを有しており、
当該方法は、
重要度マップが量子化を調整することによって各映像フレーム内の符号化すべき各ターゲットブロックの符号化品質に影響を与えるように、前記重要度マップを用いて前記複数の映像フレームを符号化する過程、
を備え、前記重要度マップが：
時間的情報及び空間的情報を用いて当該重要度マップを設定すること；ならびに、
（ｉ）当該重要度マップが高い数値をとるブロックでは、ブロック量子化パラメータ（ＱＰ）がフレーム量子化パラメータＱＰｆｒａｍｅに比べて小さくされることで、これらのブロックについては高い品質となるように、かつ、（ｉｉ）当該重要度マップが低い数値をとるターゲットブロックでは、前記ブロック量子化パラメータが前記フレーム量子化パラメータＱＰｆｒａｍｅに比べて大きくされることで、これらのブロックについては低い品質となるように、計算によって、前記複数の映像フレームのうちのある映像フレームのどの部分が人間の知覚にとって最も気付き易いのかを当該重要度マップに示させること；
によって構成されている、方法。 A method of encoding a plurality of video frames,
The video frames have target blocks that do not overlap each other;
The method is
Encoding the plurality of video frames using the importance map such that the importance map affects the encoding quality of each target block to be encoded in each video frame by adjusting quantization ,
The importance map comprises:
Setting up the importance map using temporal and spatial information; and
(I) In blocks where the importance map has a high numerical value, the block quantization parameter (QP) is made smaller than the frame quantization parameter QP frame , so that these blocks have high quality. And (ii) in the target block in which the importance map has a low value, the block quantization parameter is set larger than the frame quantization parameter QP frame , so that these blocks have low quality. And causing the importance map to indicate which part of the video frame among the plurality of video frames is most easily noticed by human perception by calculation;
Consists of, the method.
前記平均ブロック分散ｖａｒｆｒａｍｅよりも大きい分散を有するブロックに対して、前記フレーム量子化パラメータＱＰｆｒａｍｅよりも高い量子化パラメータ（ＱＰ）値を振り当て、このブロック量子化パラメータ（ＱＰ）の振当量ＱＰｂｌｏｃｋは、そのブロック分散ｖａｒｂｌｏｃｋが前記平均ブロック分散ｖａｒｆｒａｍｅよりもいかなる程度大きいかに従って、前記フレーム量子化パラメータＱＰｆｒａｍｅと量子化パラメータ上限ＱＰｍａｘとの間で線形的に増減される、方法。 The method of claim 1, wherein the spatial information is provided by a rule-based spatial complexity map (SCM), the first step of which target blocks within the frame are averaged within the frame. Determining whether to have a variance greater than the block variance var frame ;
A block having a variance larger than the average block variance var frame is assigned a quantization parameter (QP) value higher than the frame quantization parameter QP frame , and a block equivalent QP of the block quantization parameter (QP) is assigned. The block is linearly increased or decreased between the frame quantization parameter QP frame and the quantization parameter upper limit QP max according to how much the block variance var block is larger than the average block variance var frame .
どのターゲットブロックが観測者である人間にとって時間的に最も気付き易いかを示す時間的コントラスト感度関数（ＴＣＳＦ）、および、
どのターゲットブロックが前景データに相当するかを示す真の動きベクトルマップ（ＴＭＶＭ）
により提供されて、前記ＴＣＳＦは、前景データとして特定されたターゲットブロックについてのみ有効とされる、方法。 The method of claim 1, wherein the temporal information is
A temporal contrast sensitivity function (TCSF) that indicates which target block is most noticeable in time for the observer human, and
True motion vector map (TMVM) showing which target blocks correspond to foreground data
Provided that the TCSF is only valid for target blocks identified as foreground data.
この動的な決定では、イントラ（Ｉ）フレーム内のターゲットブロックの平均構造的類似度（ＳＳＩＭ）算出結果をこれらフレームの平均ブロック分散ｖａｒｆｒａｍｅと共に用いて、品質が測定され、
前記測定された品質が低いと、前記量子化パラメータ上限ＱＰｍａｘの数値が前記フレーム量子化パラメータＱＰｆｒａｍｅに近づくように減らされる、方法。 3. The method of claim 2, wherein the SCM further includes a dynamic determination of the quantization parameter upper limit QP max based on a quality level of the encoded video.
In this dynamic decision, the quality is measured using the average structural similarity (SSIM) calculation result of the target blocks in an intra (I) frame together with the average block variance var frame of these frames,
The method, wherein if the measured quality is low, the value of the quantization parameter upper limit QP max is reduced to approach the frame quantization parameter QP frame .
前記ブロック量子化パラメータ（ＱＰ）の初めの推定値である前記振当量ＱＰｂｌｏｃｋが現在のブロックの左、左上、右および右上の既に符号化済みの近傍ブロックの量子化パラメータ（ＱＰ）の値を平均することによって算出されて、且つ、
前記現在のブロックの前記ＳＳＩＭの推定ＳＳＩＭｅｓｔが前記現在のブロックの左、左上、右および右上の既に符号化済みの近傍ブロックのＳＳＩＭ値から算出されて、且つ、
ＳＳＩＭｅｓｔが０．９未満の場合、前記振当量ＱＰｂｌｏｃｋの数値が２減少されるように、
調べられる、方法。 The method according to claim 7, wherein a block whose variance is small but which is not considered to be extremely small is used to determine whether or not quality improvement is necessary for the block.
The shaking equivalent QP block, which is the initial estimate of the block quantization parameter (QP), is the value of the quantization parameter (QP) of the already-encoded neighboring block on the left, upper left, right and upper right of the current block. Calculated by averaging, and
An estimated SSIM est of the SSIM of the current block is calculated from the SSIM values of the already encoded neighboring blocks at the left, upper left, right and upper right of the current block; and
When the SSIM est is less than 0.9, the numerical value of the shaking equivalent QP block is decreased by 2,
Examine the method.
重要度マップを用いて複数の映像フレームを符号化するコーデックであって、当該映像フレームは、互いに重なり合わないターゲットブロックを有している、コーデック、
を備え、前記重要度マップは、量子化を調整することによって各映像フレーム内の符号化すべき各ターゲットブロックの符号化品質に影響を与えるように構成されており、
前記重要度マップが：
時間的情報及び空間的情報を用いて当該重要度マップを設定することであって、これら時間的情報と空間的情報とにより設定された重要度マップは、統合化された重要素マップであること；ならびに、
（ｉ）当該重要度マップが高い数値をとるブロックでは、ブロック量子化パラメータ（ＱＰ）がフレーム量子化パラメータＱＰｆｒａｍｅに比べて小さくされることで、これらのブロックについては高い品質となるように、かつ、（ｉｉ）当該重要度マップが低い数値をとるターゲットブロックでは、前記ブロック量子化パラメータが前記フレーム量子化パラメータＱＰｆｒａｍｅに比べて大きくされることで、これらのブロックについては低い品質となるように、計算によって、前記複数の映像フレームのうちのある映像フレームの、人間の知覚にとって最も気付き易い部分を当該重要度マップに示させること；
によって構成されている、システム。 A system for encoding video data,
A codec that encodes a plurality of video frames using an importance map, wherein the video frames have target blocks that do not overlap each other;
The importance map is configured to influence the encoding quality of each target block to be encoded in each video frame by adjusting quantization,
The importance map is:
The importance map is set using temporal information and spatial information, and the importance map set by these temporal information and spatial information is an integrated heavy element map. As well as
(I) In blocks where the importance map has a high numerical value, the block quantization parameter (QP) is made smaller than the frame quantization parameter QP frame , so that these blocks have high quality. And (ii) in the target block in which the importance map has a low value, the block quantization parameter is set larger than the frame quantization parameter QP frame , so that these blocks have low quality. And, by calculating, let the importance level map indicate a part of the video frame that is most easily noticed by human perception of the video frame;
The system that is configured by.
前記平均ブロック分散ｖａｒｆｒａｍｅよりも大きい分散を有するブロックに対して、前記フレーム量子化パラメータＱＰｆｒａｍｅよりも高い量子化パラメータ（ＱＰ）値を振り当て、このブロック量子化パラメータ（ＱＰ）の振当量ＱＰｂｌｏｃｋは、そのブロック分散ｖａｒｂｌｏｃｋが前記平均ブロック分散ｖａｒｆｒａｍｅよりもいかなる程度大きいかに従って、前記フレーム量子化パラメータＱＰｆｒａｍｅと量子化パラメータ上限ＱＰｍａｘとの間で線形的に増減される、システム。 19. The system of claim 18, wherein the spatial information is provided by a rule-based spatial complexity map (SCM), the first step of which target blocks within the frame are averaged within the frame. Determining whether to have a variance greater than the block variance var frame ;
A block having a variance larger than the average block variance var frame is assigned a quantization parameter (QP) value higher than the frame quantization parameter QP frame , and a block equivalent QP of the block quantization parameter (QP) is assigned. block according to its or block variance var block is any greater extent than the average block variance var frame, linearly is increased or decreased between the frame quantization parameter QP frame and the quantization parameter limit QP max, system.
どのターゲットブロックが観測者である人間にとって時間的に最も気付き易いかを示す時間的コントラスト感度関数（ＴＣＳＦ）、および、
どのターゲットブロックが前景データに相当するかを示す真の動きベクトルマップ（ＴＭＶＭ）
により提供されて、前記ＴＣＳＦは、前景データとして特定されたターゲットブロックについてのみ有効とされる、システム。 19. The system of claim 18, wherein the temporal information is
A temporal contrast sensitivity function (TCSF) that indicates which target block is most noticeable in time for the observer human, and
True motion vector map (TMVM) showing which target blocks correspond to foreground data
Provided by the TCSF is valid only for the target blocks identified as foreground data, system.
この動的な決定では、イントラ（Ｉ）フレーム内のターゲットブロックの平均構造的類似度（ＳＳＩＭ）算出結果をこれらフレームの平均ブロック分散ｖａｒｆｒａｍｅと共に用いて、品質が測定され、
測定された品質が低いと、前記量子化パラメータ上限ＱＰｍａｘの数値が前記フレーム量子化パラメータＱＰｆｒａｍｅ近づくように減らされる、システム。 The system of claim 19, wherein the SCM further includes a dynamic determination of QP max based on the quantization parameter upper limit on a quality level of the encoded video,
In this dynamic decision, the quality is measured using the average structural similarity (SSIM) calculation result of the target blocks in an intra (I) frame together with the average block variance var frame of these frames,
When the measured quality is low, the numerical value of the quantization parameter limit QP max is reduced to approach the frame quantization parameter QP frame, system.
前記ブロック量子化パラメータ（ＱＰ）の初めの推定値である前記振当量ＱＰｂｌｏｃｋが現在のブロックの左、左上、右および右上の既に符号化済みの近傍ブロックの量子化パラメータ（ＱＰ）の値を平均することによって算出されて、且つ、
前記現在のブロックの前記ＳＳＩＭの推定ＳＳＩＭｅｓｔが前記現在のブロックの左、左上、右および右上の既に符号化済みの近傍ブロックのＳＳＩＭ値から算出されて、且つ、
ＳＳＩＭｅｓｔが０．９未満の場合、前記振当量ＱＰｂｌｏｃｋの数値が２減少されるように、
調べられる、システム。 The system according to claim 19, wherein a block whose variance is small but which is not considered to be extremely small is to determine whether a quality improvement is necessary for the block.
The shaking equivalent QP block, which is the initial estimate of the block quantization parameter (QP), is the value of the quantization parameter (QP) of the already-encoded neighboring block on the left, upper left, right and upper right of the current block. Calculated by averaging, and
An estimated SSIM est of the SSIM of the current block is calculated from the SSIM values of the already encoded neighboring blocks at the left, upper left, right and upper right of the current block; and
When the SSIM est is less than 0.9, the numerical value of the shaking equivalent QP block is decreased by 2,
The system being examined.
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201462049342P | 2014-09-11 | 2014-09-11 | |
| US62/049,342 | 2014-09-11 | ||
| US14/532,947 | 2014-11-04 | ||
| US14/532,947 US9621917B2 (en) | 2014-03-10 | 2014-11-04 | Continuous block tracking for temporal prediction in video encoding |
| US201462078181P | 2014-11-11 | 2014-11-11 | |
| US62/078,181 | 2014-11-11 | ||
| US201562158523P | 2015-05-07 | 2015-05-07 | |
| US62/158,523 | 2015-05-07 | ||
| PCT/US2015/048353 WO2016040116A1 (en) | 2014-09-11 | 2015-09-03 | Perceptual optimization for model-based video encoding |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017532858A JP2017532858A (en) | 2017-11-02 |
| JP2017532858A5 true JP2017532858A5 (en) | 2018-10-11 |
| JP6698077B2 JP6698077B2 (en) | 2020-05-27 |
Family
ID=55459438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017513750A Active JP6698077B2 (en) | 2014-09-11 | 2015-09-03 | Perceptual optimization for model-based video coding |
Country Status (5)
| Country | Link |
|---|---|
| EP (1) | EP3175618A1 (en) |
| JP (1) | JP6698077B2 (en) |
| CN (1) | CN106688232A (en) |
| CA (1) | CA2960617A1 (en) |
| WO (1) | WO2016040116A1 (en) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9532069B2 (en) | 2004-07-30 | 2016-12-27 | Euclid Discoveries, Llc | Video compression repository and model reuse |
| US9578345B2 (en) | 2005-03-31 | 2017-02-21 | Euclid Discoveries, Llc | Model-based video encoding and decoding |
| US9743078B2 (en) | 2004-07-30 | 2017-08-22 | Euclid Discoveries, Llc | Standards-compliant model-based video encoding and decoding |
| US10091507B2 (en) | 2014-03-10 | 2018-10-02 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
| US10097851B2 (en) | 2014-03-10 | 2018-10-09 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
| US9621917B2 (en) | 2014-03-10 | 2017-04-11 | Euclid Discoveries, Llc | Continuous block tracking for temporal prediction in video encoding |
| CN109547802A (en) * | 2017-09-22 | 2019-03-29 | 江苏智谋科技有限公司 | Unmanned plane obstacle avoidance system based on 3D vision technology |
| CN107843227B (en) * | 2017-12-09 | 2020-04-10 | 连云港杰瑞电子有限公司 | Method for improving precision of encoder based on calibration technology |
| US10652550B2 (en) | 2017-12-22 | 2020-05-12 | Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd. | Compensation table compressing method |
| CN108172168B (en) * | 2017-12-22 | 2019-11-15 | 深圳市华星光电半导体显示技术有限公司 | A kind of compensation table compression method |
| WO2019194572A1 (en) * | 2018-04-03 | 2019-10-10 | Samsung Electronics Co., Ltd. | Methods and apparatus for determining adjustment parameter during encoding of spherical multimedia content |
| CN111279685A (en) * | 2018-04-28 | 2020-06-12 | 深圳市大疆创新科技有限公司 | Motion estimation |
| GB2588003B (en) | 2018-06-05 | 2023-04-19 | Beijing Bytedance Network Tech Co Ltd | Interaction between pairwise average merging candidates and IBC |
| WO2019244118A1 (en) | 2018-06-21 | 2019-12-26 | Beijing Bytedance Network Technology Co., Ltd. | Component-dependent sub-block dividing |
| WO2019244117A1 (en) | 2018-06-21 | 2019-12-26 | Beijing Bytedance Network Technology Co., Ltd. | Unified constrains for the merge affine mode and the non-merge affine mode |
| WO2020000444A1 (en) * | 2018-06-29 | 2020-01-02 | 深圳市大疆创新科技有限公司 | Method and device for determining motion vector, and machine-readable storage medium |
| WO2020065518A1 (en) | 2018-09-24 | 2020-04-02 | Beijing Bytedance Network Technology Co., Ltd. | Bi-prediction with weights in video coding and decoding |
| US10992938B2 (en) * | 2018-09-28 | 2021-04-27 | Ati Technologies Ulc | Spatial block-level pixel activity extraction optimization leveraging motion vectors |
| CN112970262B (en) | 2018-11-10 | 2024-02-20 | 北京字节跳动网络技术有限公司 | Rounding in trigonometric prediction mode |
| CN109819252B (en) * | 2019-03-20 | 2021-05-18 | 福州大学 | Quantization parameter cascading method independent of GOP structure |
| CN109982082B (en) * | 2019-05-05 | 2022-11-15 | 山东大学 | HEVC multi-distortion criterion rate-distortion optimization method based on local texture characteristics |
| CN111882564A (en) * | 2020-07-27 | 2020-11-03 | 山东大学 | Compression processing method for ultra-high definition medical pathological image |
| CN113556544B (en) * | 2021-06-30 | 2024-04-19 | 北京锐马视讯科技有限公司 | Video coding method, device, equipment and storage medium based on scene self-adaption |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6831947B2 (en) * | 2001-03-23 | 2004-12-14 | Sharp Laboratories Of America, Inc. | Adaptive quantization based on bit rate prediction and prediction error energy |
| US8135062B1 (en) * | 2006-01-16 | 2012-03-13 | Maxim Integrated Products, Inc. | Method and apparatus for QP modulation based on perceptual models for picture encoding |
| CN101184221A (en) * | 2007-12-06 | 2008-05-21 | 上海大学 | Vision attention based video encoding method |
| CN101325711A (en) * | 2008-07-16 | 2008-12-17 | 上海大学 | Method for controlling self-adaption code rate based on space-time shielding effect |
| US8848788B2 (en) * | 2009-05-16 | 2014-09-30 | Thomson Licensing | Method and apparatus for joint quantization parameter adjustment |
| US8737464B1 (en) * | 2011-07-21 | 2014-05-27 | Cisco Technology, Inc. | Adaptive quantization for perceptual video coding |
-
2015
- 2015-09-03 JP JP2017513750A patent/JP6698077B2/en active Active
- 2015-09-03 CA CA2960617A patent/CA2960617A1/en not_active Abandoned
- 2015-09-03 WO PCT/US2015/048353 patent/WO2016040116A1/en active Application Filing
- 2015-09-03 CN CN201580049004.1A patent/CN106688232A/en active Pending
- 2015-09-03 EP EP15770689.6A patent/EP3175618A1/en not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2017532858A5 (en) | ||
| JP6698077B2 (en) | Perceptual optimization for model-based video coding | |
| US10091507B2 (en) | Perceptual optimization for model-based video encoding | |
| CN107147912B (en) | Video coding method and device | |
| US20130170545A1 (en) | Image encoding apparatus, image encoding method and program | |
| CN108063944B (en) | Perception code rate control method based on visual saliency | |
| AU2016200770A1 (en) | Chroma quantization in video coding | |
| US10057576B2 (en) | Moving image coding apparatus, moving image coding method, storage medium, and integrated circuit | |
| WO2020098751A1 (en) | Video data encoding processing method and computer storage medium | |
| CN113630600A (en) | Human visual system adaptive video coding | |
| US20060256857A1 (en) | Method and system for rate control in a video encoder | |
| US20190320201A1 (en) | Moving image encoding device | |
| US7676107B2 (en) | Method and system for video classification | |
| US10123021B2 (en) | Image encoding apparatus for determining quantization parameter, image encoding method, and program | |
| US20060256858A1 (en) | Method and system for rate control in a video encoder | |
| EP1978745A2 (en) | Statistical adaptive video rate control | |
| JP2015192403A (en) | Encoder and encoding method | |
| KR101007381B1 (en) | apparatus for video encoding considering region of interest | |
| JP2004023288A (en) | Preprocessing system for moving image encoding | |
| CN114466221A (en) | Image processing method and device, storage medium and electronic equipment | |
| CN106454386B (en) | A kind of method and apparatus of the Video coding based on JND | |
| WO2016197323A1 (en) | Video encoding and decoding method, and video encoder/decoder | |
| Guo et al. | Rate control for screen content coding based on picture classification | |
| Sun et al. | An adaptive frame complexity based rate quantization model for intra-frame rate control of high efficiency video coding (HEVC) | |
| KR101373704B1 (en) | Video processing method using adaptive weighted prediction |