JP2021525025A - ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及びコンピュータプログラム - Google Patents

ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及びコンピュータプログラム Download PDF

Info

Publication number
JP2021525025A
JP2021525025A JP2020563899A JP2020563899A JP2021525025A JP 2021525025 A JP2021525025 A JP 2021525025A JP 2020563899 A JP2020563899 A JP 2020563899A JP 2020563899 A JP2020563899 A JP 2020563899A JP 2021525025 A JP2021525025 A JP 2021525025A
Authority
JP
Japan
Prior art keywords
reference block
block
current reference
current
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020563899A
Other languages
English (en)
Other versions
JP7431752B2 (ja
Inventor
涛 ▲張▼
涛 ▲張▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2021525025A publication Critical patent/JP2021525025A/ja
Application granted granted Critical
Publication of JP7431752B2 publication Critical patent/JP7431752B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本願は、ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及び記憶媒体に関し、前記ビデオ復号化方法は、現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得するステップと、前記現在符号化ブロックに対応する第１の現在参照ブロックを取得するステップと、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップと、前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得するステップと、を含む。上記方法は、ビデオ符号化品質を向上させることができる。

Description

本願は、２０１８年１０月１５日に提出された、出願番号が２０１８１１１９８９３８．３で、発明の名称が「ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及び記憶媒体」の中国特許出願の優先権を主張するものであり、その全ての内容は、参照により本願に組み込むものとする。
本願は、コンピュータの技術分野に関し、特に、ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及び記憶媒体に関する。
マルチメディア技術及びネットワーク技術の急速な発展と広い応用に伴い、人々は、日常生活及び生産活動において、ビデオ情報が大量に用いられている。ビデオのデータ伝送量及びデータ記憶量を減少させるために、ビデオを圧縮し符号化する必要がある。現在、複雑な符号化ブロックについては、従来のビデオ符号化方法で符号化されるとビデオ符号化品質が低くなる。
そこで、本願の実施例は、上記ビデオ符号化品質が低いという問題を解決することができる、ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及び記憶媒体を提供する。
コンピュータ装置が実行するビデオ符号化方法は、現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得するステップと、前記現在符号化ブロックに対応する第１の現在参照ブロックを取得するステップと、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックであるステップと、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得するステップとを含む。
ビデオ符号化装置は、現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得するように構成された符号化ブロック取得モジュールと、前記現在符号化ブロックに対応する第１の現在参照ブロックを取得するように構成された符号化参照ブロック取得モジュールと、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するように構成された符号化参照ブロックマッチングモジュールであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックである符号化参照ブロックマッチングモジュールと、前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得するように構成された符号化モジュールとを含む。
コンピュータ装置は、コンピュータプログラムが記憶されているメモリと、前記コンピュータプログラムを実行すると、現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得する操作、前記現在符号化ブロックに対応する第１の現在参照ブロックを取得する操作、前記第１の現在参照ブロックにマッチングする、１つ又は複数の第２の現在参照ブロックを取得する操作であって、前記１つ又は複数の第２の現在参照ブロックを取得する操作は、前記第１の現在参照ブロックと類似する操作、前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得する操作を実行するプロセッサと、を含む。
コンピュータ可読記憶媒体は、プロセッサによって実行されると、前記プロセッサに上記ビデオ符号化方法のステップを実行させるコンピュータプログラムが記憶されている。
上記ビデオ符号化方法、装置、コンピュータ装置及び記憶媒体は、符号化する場合、第１の現在参照ブロックにより、該第１の現在参照ブロックと類似する参照ブロックである、マッチングした１つ又は複数の第２の現在参照ブロックを取得することにより、現在符号化ブロックにマッチングした複数の参照ブロックを取得し、マッチングした複数の参照ブロックに基づいて符号化して、参照ブロックと現在符号化ブロックとのマッチング度合いを向上させ、予測残差を低減することができるため、ビデオ符号化品質を向上させることができる。
コンピュータ装置が実行するビデオ復号化方法は、復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得すステップと、前記現在復号化対象のブロックに対応する第１の現在参照ブロックを取得するステップと、前記第１の現在参照ブロックにマッチングする、１つ又は複数の第２の現在参照ブロックを取得するステップであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックであるステップと、前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得するステップと、を含む。
ビデオ復号化装置は、復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得する符号化データ取得モジュールと、前記現在復号化対象のブロックに対応する第１の現在参照ブロックを取得する復号化参照ブロック取得モジュールと、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する復号化参照ブロックマッチングモジュールであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックである復号化参照ブロックマッチングモジュールと、前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得する復号化モジュールと、を含む。
コンピュータ装置は、コンピュータプログラムが記憶されているメモリと、前記コンピュータプログラムを実行すると、復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得する操作と、前記現在復号化対象のブロックに対応する第１の現在参照ブロックを取得する操作と、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作であって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックである操作と、前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得する操作とを実行するプロセッサと、を含む。
コンピュータ可読記憶媒体は、プロセッサによって実行されると、前記プロセッサに上記ビデオ復号化方法のステップを実行させるコンピュータプログラムが記憶されている。
上記ビデオ復号化方法、装置、コンピュータ装置及び記憶媒体は、復号化する場合、第１の現在参照ブロックにより、該第１の現在参照ブロックと類似する参照ブロックである、マッチングした１つ又は複数の第２の現在参照ブロックを取得することにより、現在符号化ブロックにマッチングした複数の参照ブロックを取得し、マッチングした複数の参照ブロックに基づいて符号化データを復号化して、画像ブロックの損失を低減でき、ビデオ復号化品質が高くなる。
一実施例に係るビデオ符号化方法の適用環境図である。 一実施例に係るビデオ符号化方法に対応する符号化フレームワーク図である。 一実施例に係るビデオ復号化方法に対応する復号化フレームワーク図である。 一実施例におけるビデオ符号化方法のフローチャートである。 一実施例における画像ブロックの分割概略図である。 一実施例における第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて現在符号化ブロックを符号化して符号化データを取得するフローチャートである。 一実施例における第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得する概略図である。 一実施例における第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて現在符号化ブロックを符号化して、符号化データを取得するフローチャートである。 一実施例における第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択するフローチャートである。 一実施例における第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択するフローチャートである。 一実施例におけるビデオ復号化方法のフローチャートである。 一実施例におけるビデオ復号化方法のフローチャートである。 一実施例における現在符号化ブロックに対応する第１の参照ブロック及び第２の現在参照ブロックを取得する概略図である。 一実施例におけるビデオ符号化装置の構成ブロック図である。 一実施例におけるビデオ符号化装置の構成ブロック図である。 一実施例におけるコンピュータ装置の内部構成ブロック図である。 一実施例におけるコンピュータ装置の内部構成ブロック図である。
以下、本願の目的、技術手段及び利点をより明確にするために、に図面及び実施例を参照しながら、本願をさらに詳細に説明する。なお、本明細書に説明された具体的な実施例は、本願を説明するためのものに過ぎず、本願を限定するものではない。
なお、本願に用いられる用語「第１の」、「第２の」などは、本明細書において様々な素子を説明することができるが、特に説明しない限り、これらの素子は、これらの用語に限定されるものではない。これらの用語は、第１の素子と別の素子とを区別するためのものである。例えば、本願の範囲を逸脱することなく、第１のレート歪みコストを第２のレート歪みコストと呼ぶことができ、同様に、第２のレート歪みコストを第１のレート歪みコストと呼ぶことができる。
図１は、一実施例に係るビデオ符号化方法及びビデオ復号化方法の適用環境図であり、図１に示すように、該適用環境において、端末１１０及びサーバ１２０を含む。端末１１０は、エンコーダによってビデオ符号化を行うか、又はデコーダによってビデオ復号化を行ってもよく、端末１１０は、プロセッサによってビデオ符号化プログラムを実行してビデオ符号化を行うか、又はプロセッサによってビデオ復号化プログラムを実行してビデオ復号化を行ってもよい。
サーバ１２０は、エンコーダによってビデオ符号化を行うか、又はデコーダによってビデオ復号化を行い、或いは、プロセッサによってビデオ符号化プログラムを実行してビデオ符号化を行うか、又はプロセッサによってビデオ復号化プログラムを実行してビデオ復号化を行ってもよい。
例えば、サーバ１２０は、入力インタフェースによって、端末１１０が送信した符号化データを受信した後、そのままプロセッサに伝送して復号化してもよく、データベースに記憶して、後続きの復号化を待つようにしてもよい。当然のことながら、サーバ１２０は、端末１１０が送信した符号化データを取得した後、対応する受信端末に送信し、受信端末によって復号化してもよい。また、サーバ１２０は、プロセッサによって、ビデオフレームを符号化して符号化データを取得した後、そのまま出力インタフェースによって端末１１０に送信してもよく、符号化データをデータベースに記憶して、後続きの伝達を待つようにしてもよい。
端末１１０とサーバ１２０とは、ネットワークを介して接続されてもよい。端末１１０は、据置型端末又は携帯端末であってもよく、携帯端末は、携帯電話、タブレット型コンピュータ、ノート型パーソナルコンピュータなどのうちの少なくとも１種を含んでもよいが、これらに限定されるものではない。サーバ１２０は、独立したサーバ又は複数のサーバで構成されるサーバクラスタで実現されてもよい。
図２は、一実施例に係るビデオ符号化方法に対応する符号化フレームワーク図であるであり、本願の実施例に係るビデオ符号化方法は、ビデオシーケンスの各ビデオフレームを取得して符号化して、対応する符号化データを取得し、かつ記憶送信ユニット２１８により符号化データの記憶、送信のうちの１つ以上のステップを実行してもよい。
ビデオフレーム取得ユニット２０２では、現在ビデオフレームを取得する。
第１の予測ユニット２０４では、現在ビデオフレームの各符号化ブロックに対してフレーム内予測又はフレーム間予測を行ってもよい。例えば、符号化ブロックの予測モードがフレーム間予測モードであると、符号化ブロックに対応する参照ブロックの画像値に基づいて、予測値及び対応する動きベクトルを取得し、符号化ブロックの実際値と予測値を減算して予測残差を取得し、動きベクトルは、符号化ブロックの参照ブロックに対する変位を示す。
変換ユニット２０６では、空間領域における予測残差及び動きベクトル情報を周波数領域に変換し、変換係数を符号化してもよい。変換の方法は、離散フーリエ変換又は離散コサイン変換などであってもよく、動きベクトル情報は、変位を示す実際の動きベクトル又は動きベクトル差であってもよく、動きベクトル差は、実際の動きベクトルと予測動きベクトルとの差である。
量子化ユニット２０８では、変換後のデータを別の数値にマッピングし、例えば、変換後のデータを量子化ステップサイズで除算することにより、小さい値を取得してもよい。量子化パラメータは、量子化ステップサイズに対応する番号であり、量子化パラメータの値は整数である。量子化パラメータに基づいて、対応する量子化ステップサイズを検索することができる。量子化パラメータが小さいと、画像フレームの大部分の詳細が保留され、対応するビットレートが高い。量子化パラメータが大きいと、対応するビットレートが低いが、画像歪みが大きく、品質が高くない。
量子化の原理は、ＦＱ＝Ｒｏｕｎｄ（ｙ／Ｑｓｔｅｐ）の式で示される。ここで、ｙは、量子化前のビデオフレームに対応する予測残差である。Ｑｓｔｅｐは、量子化ステップサイズで、ＦＱは、ｙを量子化して得られた量子化値である。Ｒｏｕｎｄ（ｘ）関数とは、値に対して銀行型丸め処理を行い、即ち、値の末尾が４以下であると、切り捨てられ、値の末尾が６以上であると、切り上げられ、値の末尾が５であると、５後に数字があれば、５を切り捨て、切り上げ、５後に数字がなく、かつ、５の前桁の数字が奇数であれば、５を切り捨て、切り上げ、５の前桁の数字が偶数であれば、５を切り捨てるが、切り上げないことを意味する。量子化パラメータと量子化ステップサイズとの対応関係は、必要に応じて設定されてもよい。例えば、いくつかのビデオ符号化標準において、輝度符号化については、量子化ステップサイズは５２個の値であり、０〜５１の整数であり、色度符号化については、量子化ステップサイズの値は０〜３９の整数であり、かつ量子化ステップサイズは、量子化パラメータの増加に伴って増加し、量子化パラメータが６増加する毎に量子化ステップサイズは１倍増加する。
エントロピー符号化ユニット２１６は、エントロピー符号化を行い、エントロピー符号化は、エントロピー原理に従って符号化し、かついずれの情報を失わないデータ符号化方式であり、小さい文字で一定の情報を表現することができる。エントロピー符号化方法は、例えばシャノン（ｓｈａｎｎｏｎ）符号化又はハフマン（ｈｕｆｆｍａｎ）符号化などであってもよい。
第１の逆量子化ユニット２１０、第１の逆変換ユニット２１２、及び再構成ユニット２１４は、再構成パスに対応するユニットであり、再構成パスの各ユニットを用いてフレームの再構成を行って参照フレームを取得することにより、符号化及び復号化における参照フレームの一致を保持することができる。第１の逆量子化ユニット２１０が行うステップは、量子化の逆過程を行うことであり、第１の逆変換ユニット２１２が行うステップは、変換ユニット２０６が変換の逆過程を行うことであり、再構成ユニット２１４は、逆変換して得られた残差データに予測データを加算して再構成参照フレームを取得する。
図３は、一実施例に係るビデオ復号化方法に対応する復号化フレームワーク図であり、本願の実施例に係るビデオ復号化方法は、符号化データ取得ユニット３００により復号化対象のビデオシーケンスの各復号化対象のビデオフレームに対応する符号化データを取得し、エントロピー復号化ユニット３０２によりエントロピー復号化を行った後、エントロピー復号化データを取得し、第２の逆量子化ユニット３０４がエントロピー復号化データを逆量子化して逆量子化データを取得し、第２の逆変換ユニット３０６が逆量子化データを逆変換して、逆変換データを取得し、該逆変換データは、図２における第１の逆変換ユニット２１２が逆変換したデータと一致してもよい。
第２の予測ユニット３０８は、復号化対象のブロックの予測モードに基づいて復号化対象のブロックに対してフレーム内予測又はフレーム間予測を行い、例えば、フレーム間予測であると、符号化データに担持された動きベクトル情報に基づいて復号化対象のブロックに対応する目標参照ブロックを取得し、目標参照ブロックの画像値に基づいて図２における予測値と一致する予測値を取得し、予測値及び符号化データ中の予測残差に基づいて、復号化ビデオデータブロックの画素値を取得し、参照ブロックは、第２の予測ユニット３０８における復号化された参照フレームから取得されるものである。再生記憶ユニット３１０は、復号化されたビデオフレームに対してビデオ再生及びビデオ記憶のうちの１つ以上のステップを実行してもよい。
なお、上記符号化フレームワーク図、復号化フレームワーク図は、一例に過ぎず、本願の手段を適用した符号化方法を限定するものではなく、具体的な符号化フレームワーク図及び復号化フレームワーク図は、図に示したものよりも多い若しくは少ないユニットを含んでもよいか、又はいくつかのユニットを組み合わせてもよいか、又は異なる部材及びユニットなどを有してもよい。例えば、再構成ビデオフレームに対してループフィルタリングを行い、ビデオフレームのブロック効果を低減して、ビデオ品質を向上させてもよい。
本願の実施例では、符号化を実行する一端が符号化側と呼ばれ、復号化を実行する一端が復号化側と呼ばれる。符号化側と復号化側とは、同じ端又は異なる端であってもよく、上記コンピュータ装置、例えば、端末及びサーバは、符号化側であってもよく、復号化側であってもよい。
図４Ａに示すように、一実施例では、ビデオ符号化方法を提供し、本実施例に係るビデオ符号化方法は、上記図１における端末１１０及びサーバ１２０に適用されてもよい。以下のステップ４０２〜４０８を含んでもよい。
ステップＳ４０２では、現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得する。
ビデオフレームは、ビデオを構成する単位であり、コンピュータ装置がリアルタイムに収集したビデオフレームであってもよく、例えば、端末のカメラによってリアルタイムに取得されたビデオフレームであってもよく、予め記憶されたビデオシーケンスに対応するビデオフレームであってもよい。１つのビデオは、１つのビデオフレームシーケンスと見なされてもよく、１つのビデオフレームシーケンスは、複数のビデオフレームを含んでもよい。現在ビデオフレームとは、現在符号化に必要なビデオフレームであり、複数のビデオフレームのうちのいずれかのビデオフレームであってもよく、現在符号化ブロックは、現在ビデオフレームにおける現在符号化に必要な符号化ブロックである。ビデオフレームは、１つ以上の符号化ブロックを含んでよく、ビデオフレームにおける符号化ブロックのサイズは、必要に応じて設定されるか又は算出されてもよい。例えば、１つのビデオフレームをサイズが８＊８画素の複数の符号化ブロックに分割してもよい。ビデオフレームにおける符号化ブロックのサイズは、様々な符号化ブロックの分割方式に対応するレート歪みコストを算出することにより、レート歪みコストが小さい分割方式を選択して符号化ブロックを分割してもよい。図４Ｂに示すように、６４＊６４画素の画像ブロックの分割概略図であり、そのうちの１つのブロックは、１つの符号化ブロックを表す。図４Ｂから分かるように、符号化ブロックのサイズは、３２＊３２画素、１６＊１６画素、８＊８画素、及び４＊４画素を含んでもよい。当然のことながら、符号化ブロックのサイズは、他のサイズであってもよく、例えば３２＊１６画素又は６４＊６４画素であってもよい。
ステップＳ４０４では、現在符号化ブロックに対応する第１の現在参照ブロックを取得する。
第１の現在参照ブロックは、参照フレームから取得され、現在符号化ブロックにマッチングする参照ブロックである。ビデオ符号化を行う場合、参照フレーム内で動き探索アルゴリズムに従って現在符号化ブロックにマッチングするブロック、即ち参照ブロックを見つけ出し、参照ブロックに基づいて現在符号化ブロックを符号化する必要がある。
動き探索アルゴリズムは、例えば全探索アルゴリズム及び部分探索アルゴリズムのうちの１種以上を用いてもよく、部分探索アルゴリズムは、例えば２次元対数探索アルゴリズム、ダイヤモンド探索アルゴリズム及び六角形探索アルゴリズムのうちの１種以上であってもよい。
第１の現在参照ブロックは、片方向予測により得られた参照ブロックであってもよく、双方向予測により得られた参照ブロックであってもよい。ビデオフレームについては、符号化アルゴリズムに従って、対応するフレーム予測タイプを決定してもよく、フレーム予測タイプは、Ｉフレーム、Ｐフレーム、又はＢフレームであってもよく、Ｉフレームは、フレーム内予測フレームであり、Ｐフレームは、前方向予測フレームであり、Ｂフレームは、双方向予測フレームであり、ＰフレームとＢフレームの各符号化ブロックは、フレーム内予測方式又はフレーム間予測方式で符号化してもよい。なお、ビデオ符号化において、符号化側及び復号化側における参照フレームの一致を保持するために、参照ブロックは、符号化側で符号化されて再構成された参照フレームから取得されるものである。
一実施例では、第１の現在参照ブロックは、現在符号化ブロックとの相違度に応じて取得されるものであり、参照フレームにおける相違度が最も小さいブロックを第１の現在参照ブロックとして選択してもよい。例えば、現在符号化ブロックと、対応する参照フレームの画像ブロックとのＳＳＥ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｓ ｆｏｒ Ｅｒｒｏｒ、残差二乗和）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、絶対誤差和）値、ＭＡＤ（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、平均絶対誤差値）及びＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ、平均二乗誤差）のうちの１つ以上に基づいて、対応する第１の現在参照ブロックを取得してもよい。例えば、参照フレームの画像ブロックのうち、現在符号化ブロックとのＳＳＥ値が最も小さい画像ブロック、又はＳＳＥ値とＳＡＤ値との和が最も小さい画像ブロックを第１の現在参照ブロックとする。ＳＳＥの計算式は、式（１）のように示されてもよい。ＳＳＥＰは、現在符号化ブロックＣと参照フレームにおける画像ブロックＰとの残差二乗和を示し、Ｃ（ｉ，ｊ）は、現在符号化ブロックの第ｉ行第ｊ列の画素点を示し、Ｐ（ｉ，ｊ）は、参照フレームの画像ブロックＰの第ｉ行第ｊ列の画素点を示し、ｍは、画像ブロックの行数を示し、ｎは、画像ブロックの列数を示す。
Figure 2021525025
本願の実施例に係るビデオ符号化方法は、フレーム間予測に適用されてもよく、フレーム内予測に適用されてもよい。フレーム内予測に適用されれば、現在ビデオフレームにおいて既に符号化されて再構成された画像ブロックから画像ブロックを第１の現在参照ブロックとして取得してもよく、第１の現在参照ブロックは、所定の位置に応じて取得されるものであってもよく、例えば、現在ビデオフレームにおける現在符号化ブロックに隣接する再構成画像ブロックを第１の現在参照ブロックとしてもよい。フレーム間予測に適用されれば、現在符号化ブロックを取得する場合、対応する参照フレームで動き探索を行い、現在符号化ブロックを取得してもよい。
一実施例では、現在符号化ブロックの現在予測モードを取得してもよく、現在予測モードがフレーム間予測モードであれば、本願の実施例に係るビデオ符号化方法を実行し、フレーム内予測モードであれば、フレーム内予測に対応するビデオ符号化方法で符号化する。
ステップＳ４０６では、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する。
第２の現在参照ブロックは、第１の現在参照ブロックにマッチングする参照ブロックであり、第１の現在参照ブロック及びマッチングアルゴリズムによってマッチングして取得される。第１の現在参照ブロックと第２の現在参照ブロックは類似する参照ブロックである。マッチングするか否かの標準は、必要に応じて設定されてもよく、例えば、第１の現在参照ブロックと第２の現在参照ブロックとの相違度が所定の値より小さくてもよい。第２の現在参照ブロックの数は、必要に応じて設定されてもよく、例えば４つである。
一実施例では、符号化側が使用したマッチングアルゴリズムは、復号化側と一致し、復号化側と一致するマッチングアルゴリズムに従って、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する。即ち、復号化側は、同じマッチングアルゴリズムに従って、同様の第２の現在参照ブロックを取得してもよい。このように、第１の現在参照ブロックが復号化側で取得されてもよいため、符号化側は、第２の現在参照ブロックの動きベクトル情報を伝送する必要がなくなり、復号化側は、第１の現在参照ブロック及び一致するマッチングアルゴリズムに従って、第２の現在参照ブロックを取得し、複数の参照ブロックを用いてビデオ符号化を行うと共に、符号化データのデータ量を低減してもよい。
一実施例では、符号化側と復号化側のマッチングアルゴリズムが一致することは、第２の現在参照ブロックを取得する参照領域が一致し、且つマッチングするか否かを算出するルールが一致することを意味する。例えば、参照領域は、第１の現在参照ブロックが所在する参照ビデオフレームと、参照ビデオフレームの前フレームのビデオフレームのうちの１つ以上を含んでもよい。
一実施例では、参照領域は、ビデオフレームにおける所定の領域であってもよい。所定の領域は、例えば第１の現在参照ブロック及び現在符号化ブロックとの距離が所定の距離より小さい領域のうちの１つ以上を含んでもよい。例えば、参照領域は、第１の現在参照ブロックの位置を中心とし、辺の長さが１００画素の正方形に対応する領域であってもよい。
一実施例では、マッチングするか否かを算出するルールは、参照領域内の第１の現在参照ブロックとの相違度が所定の相違度より小さいこと、及び相違度が小さい順にランキングされ、所定のランキング内にあることのうちの１つ以上を含んでもよい。所定の相違度及び所定のランキングは、必要に応じて設定されてもよく、例えば、所定の相違度が１００であってもよい。参照領域内に設定されてもよく、第１の現在参照ブロックとの相違度が最も小さい３つの画像ブロックが第２の現在参照ブロックである。
一実施例では、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップは、第１の現在参照ブロックに対応する複数の候補参照ブロックを取得するステップと、第１の現在参照ブロックと各候補参照ブロックとの第１の相違度を算出するステップと、第１の相違度に基づいて、複数の候補参照ブロックから第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップと、を含む。
相違度は、画像ブロック間の相違の程度を判断し、相違度が小さいほど、画像ブロックが類似していることを示す。相違度と類似度は、画像が類似するか否かを判断してもよい。相違度が小さいほど画像が類似し、類似度が大きいほど画像が類似している。相違度は、類似度と負の相関関係を有してもよく、即ち相違度が大きいほど類似度が小さくなる。相違度に基づいて類似度を算出してもよく、類似度に基づいて相違度を算出してもよい。例えば、相違度の逆数が類似度であってもよい。一実施例では、相違度及び類似度を正規化した後、相違度と類似度との和は１であってもよく、例えば類似度が０．９であれば、相違度は０．１である。
第１の現在参照ブロックにマッチングする第２の現在参照ブロックを算出する測定方法は、相違度で示されてもよい。相違度は、ＳＳＥ、ＳＡＤ、ＭＡＤ及びＭＳＥのうちの１つ以上で示されてもよい。例えば、第１の現在参照ブロックＰ０と参照領域内の各候補参照ブロックのＳＳＥの計算式は、式（２）で示されてもよい。ＳＳＥ１は、第１の現在参照ブロックＰ０と候補画像ブロックＨとの残差二乗和を示し、Ｐ０（ｉ，ｊ）は、第１の現在参照ブロックの第ｉ行第ｊ列の画素点を示し、Ｈ（ｉ，ｊ）は、候補参照ブロックＨの第ｉ行第ｊ列の画素点を示し、ｍは、画像ブロックの行数を示し、ｎは、画像ブロックの列数を示す。各候補参照ブロックとの第１の相違度を取得した後、第１の相違度に基づいて選別して、１つ又は複数の第２の現在参照ブロックを取得する。例えば、参照領域内の第１の現在参照ブロックとの相違度が所定の相違度より小さいこと、及び相違度が小さい順にランキングされ、所定のランキング内にあることのうちの１つ以上のルールに基づいて選別して、第２の現在参照ブロックを取得する。
Figure 2021525025
ステップＳ４０８では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、現在符号化ブロックを符号化して、符号化データを取得する。
第１の現在参照ブロック及び第２の現在参照ブロックを取得した後、第１の現在参照ブロック及び各第２の現在参照ブロックを組み合わせて現在符号化ブロックを符号化する。第１の現在参照ブロック及び第２の現在参照ブロックを組み合わせて現在符号化ブロックの予測値を取得し、予測残差に基づいて変換、量子化及びエントロピー符号化のうちの１つ以上のステップを行って符号化データを取得してもよい。
変換とは、空間領域におけるデータを周波数領域に変換して、変換係数を符号化することを意味する。変換の方法は、離散フーリエ変換又は離散コサイン変換などであってもよく、量子化とは、データ、例えば変換後のデータを別の数値にマッピングし、例えば変換後のデータを量子化ステップサイズで除算することにより、小さい値を取得してもよい。エントロピー符号化は、エントロピー原理に従って符号化し、かついずれの情報を失わないデータ符号化方式であり、小さい文字で一定の情報を表現することができる。エントロピー符号化方法は、例えばシャノン（ｓｈａｎｎｏｎ）符号化又はハフマン（ｈｕｆｆｍａｎ）符号化などであってもよい。
一実施例では、符号化データには、第１の現在参照ブロックの動きベクトル情報が担持されている。動きベクトル（ＭＶ、Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）は、符号化ブロックの参照ブロックに対する変位を示す。フレーム間予測符号化において、現在符号化ブロックとその参照フレームにおける参照ブロックとの間の相対変位を動きベクトルで示してもよい。まず、参照ブロックのＭＶを用いて現在符号化ブロックのＭＶを予測して、対応する予測値ＭＶＰ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ、動きベクトル予測値）を取得し、次に、現在符号化ブロックに対応する実際のＭＶと現在符号化ブロックに対応する予測値ＭＶＰとの差、即ち動きベクトル差ＭＶＤ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）に基づいて符号化することにより、動きベクトル情報の符号化ビット数を効果的に低減することができる。復号化側では、符号化データに第１の現在参照ブロックの動きベクトル情報が担持されているため、動きベクトル情報に基づいて第１の現在参照ブロックを取得し、第１の現在参照ブロックに基づいて、対応する第２の現在参照ブロックを取得して、第１の現在参照ブロック及び第２の現在参照ブロックに基づいて復号化して、復号化された画像を取得してもよい。
関連技術に係るビデオ符号化方法において、一般的には、現在符号化ブロックに対応する１つの現在参照ブロックを取得し、該現在参照ブロックに基づいて符号化する。しかし、１つの現在参照ブロックのみを用いて現在参照ブロックをうまく予測することができず、予測性能に影響を及ぼし、ビデオ符号化品質を低下させる。上記ビデオ符号化方法は、符号化する場合、第１の現在参照ブロックにより、該第１の現在参照ブロックと類似する参照ブロックである、マッチングした１つ又は複数の第２の現在参照ブロックを取得することにより、現在符号化ブロックにマッチングした複数の参照ブロックを取得し、マッチングした複数の参照ブロックに基づいて符号化して、参照ブロックと現在符号化ブロックとのマッチング度合いを向上させ、予測残差を低減することができるため、ビデオ符号化品質を向上させることができる。
一実施例では、符号化データを取得した後、符号化データの送信及び記憶などのステップのうちの１つ以上のステップを実行してもよい。例えば、ビデオ通話を行う場合、ビデオ通話を行う他のコンピュータ装置に符号化データを送信する。ビデオウェブサイトサーバは、ビデオを再生する必要がある端末に符号化データを送信し、端末は、符号化データを受信して、復号化して、復号化されたビデオフレームを取得し再生してもよい。
一実施例では、ステップＳ４０８では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、現在符号化ブロックを符号化して、符号化データを取得するステップは、融合参照ブロックセットを取得し、第１の参照ブロック及び融合参照ブロックセットに基づいて、現在符号化ブロックを符号化して、符号化データを取得するステップを含む。
融合参照ブロックセットは、第１の現在参照ブロック及び第２の現在参照ブロックに基づいて、画像融合を行って取得された参照ブロック、及び複数の第２の現在参照ブロックに基づいて融合を行って取得された参照ブロックのうちの１つ以上を含んでもよい。融合参照ブロックのうちの参照ブロックは、第１の現在参照ブロック及び第２の現在参照ブロックに基づいて、画像融合を行って取得された参照ブロックを含んでもよく、複数の第２の現在参照ブロックに基づいて画像融合を行って取得された参照ブロックを含んでもよい。融合参照ブロックセットを取得した後、融合参照ブロックセットから、そのうちの融合参照ブロックを選別して符号化してもよい。
一実施例では、融合参照ブロックを用いて符号化することに対応するレート歪みコスト、及び融合参照ブロックと現在符号化ブロックとの相違度のうちの１つ以上に基づいて、融合参照ブロックを選択してもよい。例えば、レート歪みコストが最も小さい融合参照ブロック、又は相違度が最も小さい融合参照ブロックを選択して符号化してもよい。符号化データには、使用した目標参照ブロックの情報を示すための、目標参照ブロックに対応する参照ブロックモード情報が担持されてもよい。
一実施例では、融合参照ブロックセット内の融合参照ブロック又は第１の現在参照ブロックを目標参照ブロックとして、目標参照ブロックに基づいて符号化してもよい。例えば、レート歪みコスト及び相違度のうちの１つ以上に基づいて、融合参照ブロックセット及び第１の現在参照ブロックから選択して目標参照ブロックを取得してもよい。
一実施例では、第２の現在参照ブロックが複数含まれている場合、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、現在符号化ブロックを符号化して、符号化データを取得するステップは、複数の第２の現在参照ブロックに基づいて画像融合を行って、第２の融合参照ブロックを取得するステップと、第２の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択し、目標参照ブロックに基づいて現在符号化ブロックを符号化して、目標参照ブロックに対応する参照ブロックモード情報を担持する符号化データを取得するステップと、を含む。
第２の融合参照ブロックは、複数の第２の現在参照ブロックに基づいて融合して取得されるものである。融合の方式は、例えば、複数の第２の現在参照ブロックの同じ位置の画素値を重み付け加算して、第２の融合参照ブロックの対応する位置の画素値を取得することにより、複数の位置の画素値に基づいて第２の融合参照ブロックを構成してもよい。
一実施例では、第２の現在参照ブロックに対応する重み値は、必要に応じて設定されてもよく、例えば、第２の現在参照ブロックに対応する重みは、融合された参照ブロックの数の逆数である。第２の現在参照ブロックと現在符号化ブロックとの距離に基づいて、第２の現在参照ブロックに対応する重みを決定してもよく、第２の現在参照ブロックに対応する重みは、現在符号化ブロックとの距離と負の相関関係を有し、即ち、第２の現在参照ブロックと現在符号化ブロックとの距離が大きいほど、第２の現在参照ブロックに対応する重みが小さくなる。例えば、第２の現在参照ブロックに対応する重みは、距離の逆数に応じて正規化して取得されてもよい。参照ブロックモード情報は、現在符号化ブロックが使用した目標参照ブロックのタイプを説明し、例えば、目標参照ブロックが第２の融合参照ブロックであるか、第１の現在参照ブロックであるかを説明する。
一実施例では、図５Ａに示すように、ステップＳ４０８では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、現在符号化ブロックを符号化して、符号化データを取得するステップは、以下のステップＳ５０２〜５０４を含む。
ステップＳ５０２では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得する。
画像融合とは、複数枚の画像情報を融合して、融合して取得された画像に、より多くの有用な情報を含有させて、処理をより容易にすることができることを意味する。第１の融合参照ブロックは、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて融合して取得されるものである。融合の方式は、例えば、第１の現在参照ブロック及び第２の現在参照ブロックの同じ位置の画素値を重み付け加算して、第１の融合参照ブロックの対応する位置の画素値を取得することにより、複数の位置の画素値に基づいて第１の融合参照ブロックを構成してもよい。
一実施例では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得するステップは、第１の現在参照ブロックと各第２の現在参照ブロックに対応する重み付けの重みを取得するステップと、重み付けの重みに基づいて第１の現在参照ブロック及び各第２の現在参照ブロックを重み付けして第１の融合参照ブロックを取得するステップと、を含む。
第１の現在参照ブロック及び各第２の現在参照ブロックに対応する重み付けの重みは、必要に応じて設定されてもよい。例えば、第２の現在参照ブロックが４つであれば、第１の現在参照ブロックの重み付けの重みを０．６に設定し、各第２の現在参照ブロックの重み付けの重みをいずれも０．１に設定してもよい。各現在参照ブロックの重み付けの重みは、現在符号化ブロックとの距離に応じて取得されてもよく、重み付けの重みは、現在符号化ブロックとの距離と反比例関係を有し、即ち、距離が大きいほど、対応する重み付けの重みが小さくなる。例えば、重み付けの重みは、第１の現在参照ブロック及び各第２の現在参照ブロックと現在符号化ブロックとの距離の逆数を正規化して取得されるものであってもよい。重み付けの重みを取得した後、重み付けの重み及び対応する現在参照ブロックに対して重み付け加算を行って、対応する第１の融合参照ブロックを取得する。
例えば、第１の融合参照ブロックの計算方法は、公式（３）で示されてもよく、ここで、ＰＷは、第１の融合参照ブロックを示し、Ｐ０は、第１の現在参照ブロックであり、Ｗ０は、第１の現在参照ブロックの重み付けの重みであり、Ｐ１〜Ｐｎは、第２の現在参照ブロックであり、Ｗ１は、第２の現在参照ブロックＰ１の重み付けの重みであり、Ｗｎは、第２の現在参照ブロックＰｎの重み付けの重みであり、ｎは、第２の現在参照ブロックの数を示す。第１の現在参照ブロックと第２の現在参照ブロックに対応する重み付けの重みとの和は、１であり、即ち、Ｗ０＋Ｗ１＋…＋Ｗｎ＝１。
Figure 2021525025
実際の例を挙げると、図５Ｂに示すように、ビデオフレーム画像がグレースケール画像であり、第１の現在参照ブロックＰ０が２＊２個の画素を含み、対応する重みが０．８であり、第２の現在参照ブロックＰ１が１つであり、２＊２個の画素を含み、対応する重みが０．２であると仮定すると、Ｐ０の各画素値とＰ１の同じ位置の画素値とを重み付け加算してＰＷを取得してもよい。
一実施例では、第２の現在参照ブロックと第１の現在参照ブロックとの相違度、及び第２の現在参照ブロックと現在符号化ブロックとの相違度のうちの１つ以上に基づいて、第２の現在参照ブロックの重みを取得してもよい。例えば、第２の現在参照ブロックと第１の現在参照ブロックとの相違度、及び第２の現在参照ブロックと現在符号化ブロックとの相違度に基づいて、目標相違度を取得し、目標相違度に基づいて、重み付けの重みを取得してもよい。目標相違度は、第２の現在参照ブロックと第１の現在参照ブロックとの相違度と、第２の現在参照ブロックと現在符号化ブロックとの相違度との和であってもよい。第２の現在参照ブロックに対応する重み付けの重みは、目標相違度と負の相関関係を有する。即ち、目標相違度が大きいほど、重み付けの重みは小さくなる。第２の現在参照ブロックに対応する重み付けの重みが第２の現在参照ブロックと現在符号化ブロックとの相違度に基づいて算出されると、現在符号化ブロックが、符号化の過程において損失が存在し、即ち復号化側で復号化された画像ブロックが歪みのある画像ブロックであるため、符号化データにおいて、第２の現在参照ブロックに対応する重み付けの重みを担持することにより、復号化側が符号化データから第２の現在参照ブロックの重み付けの重みを抽出して、第１の現在参照ブロックの重み付けの重み及び第２の現在参照ブロックの重み付けの重みに基づいて第１の融合参照ブロックを算出し、第１の融合参照ブロックに基づいて復号化してもよい。
一実施例では、第１の現在参照ブロックと各第２の現在参照ブロックに対応する重み付けの重みを取得するステップは、各第２の現在参照ブロックと第１の現在参照ブロックとの第２の相違度を算出するステップと、第２の相違度に基づいて、対応する第２の相違度と負の相関関係を有する、各第２の現在参照ブロックに対応する重み付けの重みを取得するステップと、を含む。
第２の現在参照ブロックと第１の現在参照ブロックとの第２の相違度は、第２の現在参照ブロックと第１の現在参照ブロックとの間のＳＳＥ、ＳＡＤ、ＭＡＤ及びＭＳＥのうちの１つ以上で示されてもよい。第２の現在参照ブロックに対応する重み付けの重みが、対応する第２の相違度と負の相関関係を有することとは、第２の相違度が大きいほど、対応する第２の現在参照ブロックに対応する重み付けの重みが小さくなることである。
一実施例では、第１の現在参照ブロックに対応する重み付けの重みは、所定の重み、例えば０．６であってもよい。第２の現在参照ブロックに対応する重み付けの重みは、対応する第２の相違度に基づいて算出されるものである。例えば、第２の現在参照ブロックに対応する重み付けの重みは、対応する第２の相違度の逆数に基づいて正規化して取得されたものである。第２の現在参照ブロックがＰ１及びＰ２という２つであり、Ｐ１に対応する第１の現在参照ブロックとのＳＳＥが１００であり、Ｐ２に対応する第１の現在参照ブロックとのＳＳＥが３００であり、第１の現在参照ブロックに対応する重み付けの重みが０．６であると仮定すると、Ｐ１に対応する重み付けの重みは、０．４＊（１／１００÷（１／１００＋１／３００）＝０．３であり、Ｐ２に対応する重み付けの重みは、０．４＊（１／３００÷（１／１００＋１／３００）＝０．１である。
ステップＳ５０４では、第１の融合参照ブロックに基づいて現在符号化ブロックを符号化して、符号化データを取得する。
第１の融合参照ブロックを取得した後、第１の融合参照ブロックの画素値を現在符号化ブロックの予測値とし、現在符号化ブロックの実際値と予測値との差に基づいて予測残差を取得し、予測残差及び第１の現在参照ブロックに対応する動きベクトル情報を符号化して符号化データを取得してもよい。
本願の実施例では、第１の融合参照ブロックを予測ブロックとして符号化することにより、現在符号化ブロックにマッチングする予測ブロックを取得することができるため、予測残差を低減して、符号化データのデータ量を低減し、符号化品質を向上させることができる。
図６に示すように、ステップＳ４０８では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、現在符号化ブロックを符号化して、符号化データを取得するステップは、以下のステップＳ６０２〜６０４を含む。
ステップＳ６０２では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得する。
ステップＳ６０２では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得するステップは、ステップＳ５０２の説明を参照でき、ここでは説明を省略する。
ステップＳ６０４では、第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択し、目標参照ブロックに基づいて現在符号化ブロックを符号化して、目標参照ブロックに対応する参照ブロックモード情報を担持する符号化データを取得する。
参照ブロックモード情報は、現在符号化ブロックが使用した目標参照ブロックのタイプを説明し、即ち、目標参照ブロックが第１の融合参照ブロックであるか、第１の現在参照ブロックであるかを説明する。コンピュータ装置は、符号化データに、参照ブロックモード情報を説明するフラグビットｍｕｌｔｉ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを添加し、即ち符号化データに参照ブロックモード情報を説明するシンタックス要素を添加してもよい。
シンタックス要素とは、符号化データに担持される、特定の意味を示すいずれか又は一連の要素を意味する。参照ブロックモード情報に対応するフラグビットの値は、必要に応じて設定されてもよい。例えば、目標参照ブロックが第１の融合参照ブロックであると、対応するｍｕｌｔｉ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは０であってもよい。目標参照ブロックが第１の現在参照ブロックであると、対応するｍｕｌｔｉ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは１であってもよい。
一実施例では、予測ユニット（ＰＵ、ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）に対応するヘッダ情報に参照ブロックモード情報が付加されているため、符号化する場合、予測ユニットに対応するヘッダ情報に、現在符号化ブロックに対応する参照ブロックモード情報を添加し、第１の融合参照ブロック及び第１の現在参照ブロックのうちの１つの参照ブロックを目標参照ブロックとして選択し、目標参照ブロックの画素値に基づいて現在符号化ブロックの予測値を取得し、現在符号化ブロックの実際値と予測値との差に基づいて予測残差を取得し、予測残差、第１の現在参照ブロックに対応する動きベクトル情報及び参照ブロックモード情報を符号化して符号化データを取得してもよい。
目標参照ブロックを選択する場合、ビデオ符号化の需要に応じて選択してもよい。一実施例では、参照ブロックと現在符号化ブロックとの相違度及び符号化のレート歪みコストのうちの１つ以上に基づいて選択してもよい。例えば、第１の融合参照ブロックと現在符号化ブロックとの相違度及び第１の現在参照ブロックと現在符号化ブロックとの相違度がいずれも所定の相違度より小さければ、第１の融合参照ブロック及び第１の現在参照ブロックのうち、対応するレート歪みコストが小さい参照ブロックを目標参照ブロックとして選択する。第１の融合参照ブロックと現在符号化ブロックとの相違度及び第１の現在参照ブロックと現在符号化ブロックとの相違度がいずれも所定の相違度より大きければ、第１の融合参照ブロック及び第１の現在参照ブロックのうち、対応する相違度が小さい参照ブロックを目標参照ブロックとして選択する。
本願の実施例では、第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択することにより、現在符号化ブロックに、よりマッチングした参照ブロックを取得して符号化することができるため、符号化品質を向上させることができる。
一実施例では、符号化データには、第１の現在参照ブロックの動きベクトル情報が担持される。第１の現在参照ブロックを目標参照ブロックとして用いれば、復号化側で復号化する場合、動きベクトル情報に基づいて第１の現在参照ブロックを取得し、第１の現在参照ブロックを目標参照ブロックとして復号化する。第１の融合参照ブロックを目標参照ブロックとして用いれば、復号化側で復号化する場合、動きベクトル情報に基づいて第１の現在参照ブロックを取得し、一致するマッチングアルゴリズムに従って、第１の現在参照ブロックにマッチする第２の現在参照ブロックを取得し、第１の現在参照ブロック及び第２の現在参照ブロックに基づいて第１の融合参照ブロックを取得し、第１の融合参照ブロックを用いて復号化する。
一実施例では、図７に示すように、第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択するステップは、以下のステップＳ７０２〜７０４を含む。
ステップＳ７０２では、第１の融合参照ブロックと現在符号化ブロックとの第３の相違度を算出し、第１の現在参照ブロックと現在符号化ブロックとの第４の相違度を算出する。
第３の相違度及び第４の相違度は、ＳＳＥ、ＳＡＤ、ＭＡＤ及びＭＳＥのうちの１つ以上で示されてもよい。なお、第３の相違度及び第４の相違度は、同じ相違度計算方法で算出されるものである。例えば、第３の相違度は、ＳＳＥで示されれば、第４の相違度もＳＳＥで示される。第１の融合参照ブロックと現在符号化ブロックとの第３の相違度の計算方法は、公式（４）で示されてもよく、ここで、ＳＳＥＷは、現在符号化ブロックＣと第１の融合参照ブロックＰＷとの残差二乗和を示し、ＰＷ（ｉ，ｊ）は、第１の融合参照ブロックＰＷの第ｉ行第ｊ列の画素点を示し、Ｃ（ｉ，ｊ）は、現在符号化ブロックの第ｉ行第ｊ列の画素点を示し、ｍは、画像ブロックの行数を示し、ｎは、画像ブロックの列数を示す。
Figure 2021525025
ステップＳ７０４では、第３の相違度と第４の相違度の大きさに基づいて目標参照ブロックを選択する。
第３の相違度と第４の相違度とを取得した後、第３の相違度と第４の相違度との大小関係に基づいて目標参照ブロックを選択し、第４の相違度と第３の相違度とを減算して得られた差が第１の所定の閾値以下である場合、第１の現在参照ブロックを目標参照ブロックとして選択し、第４の相違度と第３の相違度とを減算して得られた差が第１の所定の閾値より大きい場合、第１の融合参照ブロックを目標参照ブロックとして選択してもよい。第１の所定の閾値は、必要に応じて設定されてもよく、例えば、０であってもよい。第１の所定の閾値は、０〜１００間の数であってもよく、かつ整数又は小数であってもよい。
例えば、第１の所定の閾値を０と設定してもよい。第４の相違度と第３の相違度とを減算して得られた差が０以下で、即ち、第４の相違度ＳＳＥ０が第３の相違度ＳＳＥＷ以下であると、Ｐ０である第１の現在参照ブロックを目標参照ブロックとして選択し、第４の相違度と第３の相違度とを減算して得られた差が０より大きく、即ち、第４の相違度ＳＳＥ０が第３の相違度ＳＳＥＷより大きいと、ＰＷである融合現在参照ブロックを目標参照ブロックとして選択するように設定してもよい。
Figure 2021525025
本願の実施例では、相違度により目標参照ブロックを選択して、符号化時に取得された予測残差を小さくし、符号化データのデータ量を低減することができる。
一実施例では、図８に示すように、第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択するステップは、以下のステップＳ８０２〜８０４を含む。
ステップＳ８０２では、第１の融合参照ブロックと現在符号化ブロックに基づいて、対応する第１のレート歪みコストを算出し、第１の現在参照ブロックと現在符号化ブロックに基づいて、対応する第２のレート歪みコストを算出する。
レート歪みとは、符号化ビットレートと画像歪み度との相互関係を指し、所定のレート歪みコスト関数で算出されたレート歪みコストで示されてもよく、レート歪みコストが小さければ、一定のビットレート制限下で、ビデオの歪み度が小さいことを示す。例えば、レート歪みコスト関数は、Ｊ＝Ｄ＋λＲで示されてもよく、ここで、Ｊは、レート歪みコストを示し、Ｄは、歪み度推定値であり、Ｒは、符号化に必要なビット数推定値であり、λは、ラグランジュ定数である。第１の融合参照ブロックを取得した後、第１の融合参照ブロックを用いて現在符号化ブロックを符号化する場合の第１のレート歪みコストを算出する。第１の現在参照ブロックを取得した後、第１の現在参照ブロックを用いて現在符号化ブロックを符号化する場合の第２のレート歪みコストを算出する。
ステップＳ８０４では、第１のレート歪みコストと第２のレート歪みコストの大きさに基づいて目標参照ブロックを選択する。
第１のレート歪みコストと第２のレート歪みコストとを取得した後、第１のレート歪みコストと第２のレート歪みコストとの大小関係に基づいて目標参照ブロックを選択し、第２のレート歪みコストと第１のレート歪みコストとを減算して得られた差が第２の所定の閾値以下である場合、第１の現在参照ブロックを目標参照ブロックとして選択し、第２のレート歪みコストと第１のレート歪みコストとを減算して得られた差が第２の所定の閾値より大きい場合、第１の融合参照ブロックを目標参照ブロックとして選択してもよい。第２の所定の閾値は、必要に応じて設定されてもよく、例えば、０であってもよい。第２の所定の閾値は、０〜３間の数であってもよく、かつ整数又は小数であってもよい。
例えば、第２の所定の閾値を０と設定してもよい。第２のレート歪みコストと第１のレート歪みコストとを減算して得られた差が０以下で、即ち、第２のレート歪みコストＪ０が第１のレート歪みコストＪＷ以下であると、Ｐ０である第１の現在参照ブロックを目標参照ブロックとして選択し、第２のレート歪みコストと第１のレート歪みコストとを減算して得られた差が０より大きく、即ち、第２のレート歪みコストＪ０が第１のレート歪みコストＪＷより大きいと、ＰＷである融合現在参照ブロックを目標参照ブロックとして選択するように設定してもよい。
Figure 2021525025
また、上記第１の所定の閾値と第２の所定の閾値とは、等しくてもよく、等しくなくてもよい。
本願の実施例では、レート歪みコストにより目標参照ブロックを選択して、ビットレートと歪み度をトレードオフして最適な符号化パラメータをエンコーダに選択し、効率的な符号化を実現することができる。
図９に示すように、一実施例では、ビデオ復号化方法を提供し、本実施例に係るビデオ復号化方法は、上記図１における端末１１０及びサーバ１２０に適用されてもよい。以下のステップ９０２〜９０８を含んでもよい。
ステップＳ９０２では、現在復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得する。
復号化対象のビデオフレームは、復号化を必要とするビデオフレームである。１つの復号化対象のビデオフレームシーケンスは、複数の復号化対象のビデオフレームを含んでもよい。復号化対象のビデオフレームは、リアルタイムに取得されたビデオフレームであってもよく、予め記憶された復号化対象のビデオフレームシーケンスから取得されたビデオフレームであってもよい。現在復号化対象のビデオフレームは、現在復号化を必要とするビデオフレームであり、現在復号化対象のブロックは、現在復号化対象のビデオフレームにおける現在復号化を必要とする復号化対象のブロックである。ビデオフレームは、１つ以上の復号化対象ブロックを含んでよもく、なお、復号化時には、符号化ブロックと復号化対象ブロックとが一対一に対応しているため、現在復号化対象のブロックに対応する符号化データは、対応する現在符号化ブロックを符号化して得られた符号化データである。したがって、符号化ブロックと復号化対象のブロックのサイズは一致しており、復号化対象のブロックの画素サイズは、３２＊３２画素、１６＊１６画素、８＊８画素及び４＊４画素などを含んでもよい。
ステップＳ９０４では、現在復号化対象のブロックに対応する第１の現在参照ブロックを取得する。
第１の現在参照ブロックは、参照フレームから取得され、現在復号化対象のブロックにマッチングする参照ブロックである。なお、符号化復号化ルールの一致性により、対応する現在符号化ブロック及び現在復号化対象のブロックに対して、第１の現在参照ブロックは同じである。符号化データには第１の現在参照ブロックに対応する動きベクトル情報が担持されてもよく、復号化側は、第１の現在参照ブロックに対応する動きベクトル情報に基づいて、対応する第１の現在参照ブロックを取得してもよい。
ステップＳ９０６では、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する。
第２の現在参照ブロックは、第１の現在参照ブロックにマッチングする参照ブロックであり、第１の現在参照ブロック及び所定のマッチングアルゴリズムによってマッチングして取得される。第１の現在参照ブロックと第２の現在参照ブロックは類似する参照ブロックである。マッチングするか否かの標準は、必要に応じて設定されてもよく、例えば、第１の現在参照ブロックと第２の現在参照ブロックとの相違度が所定の値より小さくてもよい。
一実施例では、符号化側が使用したマッチングアルゴリズムは、復号化側と一致し、即ち、復号化側は、同じマッチングアルゴリズムに従って、同じ第２の現在参照ブロックを取得してもよい。例えば、符号化側が所定の参照領域においてマッチングして第２の現在参照ブロックを取得すれば、復号化側も所定の参照領域においてマッチングして第２の現在参照ブロックを取得し、マッチングするか否かを算出するルールが一致するため、符号化側と復号化側が取得した第２の現在参照ブロックは同じである。
第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する方法は、ビデオ符号化に係る方法を参照してもよく、例えば、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップは、第１の現在参照ブロックに対応する複数の候補参照ブロックを取得するステップと、第１の現在参照ブロックと各候補参照ブロックとの第１の相違度を算出するステップと、第１の相違度に基づいて、複数の候補参照ブロックから第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップと、をも含む。本願の実施例は、ここでは説明を省略する。
なお、本願の実施例に係るビデオ復号化方法は、フレーム間予測に適用されるが、フレーム内予測にも適用されてもよく、例えば、現在復号化対象のビデオフレームにおいて復号化された画像ブロックから、マッチングする参照ブロックを第１の現在参照ブロックとして取得してもよい。フレーム間予測に適用されれば、現在復号化対象のブロックを取得する場合、現在復号化対象のブロックの現在予測モードを取得し、例えば、現在予測モードがフレーム間予測モードであれば、本願の実施例に係るビデオ復号化方法を実行し、フレーム内予測モードであれば、フレーム内予測に対応するビデオ復号化方法で復号化する。
ステップＳ９０８では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、符号化データを復号化して、現在復号化対象のブロックに対応するビデオ画像ブロックを取得する。
第１の現在参照ブロック及び各第２の現在参照ブロックを取得した後、第１の現在参照ブロック及び各第２の現在参照ブロックを組み合わせて符号化データを復号化して、復号化されたビデオ画像ブロックを取得する。例えば、第１の現在参照ブロック及び第２の現在参照ブロックを組み合わせて、現在復号化対象のブロックに対応する予測値を取得し、符号化データにおける予測残差と予測値との和に基づいて、ビデオ画像ブロックの画素値を取得してもよい。復号化の過程は、符号化の過程に応じて決定されてもよく、例えば、復号化には、逆変換、逆量子化及びエントロピー復号化のうちの少なくとも１つが含まれてもよい。
上記ビデオ復号化方法は、復号化する場合、第１の現在参照ブロックにより、該第１の現在参照ブロックと類似する参照ブロックである、マッチングした１つ又は複数の第２の現在参照ブロックを取得することにより、現在符号化ブロックにマッチングした複数の参照ブロックを取得し、マッチングした複数の参照ブロックに基づいて符号化データを復号化して、画像ブロックの損失を低減でき、ビデオ復号化品質が高くなる。
一実施例では、ビデオ復号化方法は、符号化データから参照ブロックモード情報を読み取り、参照ブロックモード情報が融合参照ブロックセットを用いた融合参照ブロックを復号化することを示すと、ステップＳ９０６に進み、即ち、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップに進み、取得された融合参照ブロックに基づいて符号化データを復号化するステップと、参照ブロックモード情報が第１の現在参照ブロックを用いて復号化することを示すと、第１の参照ブロックに基づいて符号化データを復号化するステップと、をさらに含んでもよい。
一実施例では、ビデオ復号化方法は、符号化データから参照ブロックモード情報を読み取り、参照ブロックモード情報が第２の融合参照ブロックを用いて復号化することを示すと、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップに進み、第２の現在参照ブロックに基づいて画像融合を行って、第２の融合参照ブロックを取得するステップと、第２の融合参照ブロックに基づいて復号化するステップと、参照ブロックモード情報が第１の現在参照ブロックを用いて復号化することを示すと、第１の参照ブロックに基づいて符号化データを復号化するステップと、をさらに含んでもよい。
一実施例では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、符号化データを復号化して、現在復号化対象のブロックに対応するビデオ画像ブロックを取得するステップは、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得するステップと、第１の融合参照ブロックに基づいて、符号化データを復号化して、現在復号化対象のブロックに対応するビデオ画像ブロックを取得するステップと、を含む。
画像融合を行う方法は、ビデオ符号化方法におけるステップＳ５０２の方法を参照して行ってもよく、ここでは説明を省略する。第１の融合参照ブロックを取得した後、第１の融合参照ブロックを予測ブロックとして、対応する予測値を取得し、予測値と符号化データにおける予測残差との和に基づいて、ビデオ画像ブロックに対応する画素値を取得する。
一実施例では、図１０に示すように、符号化データには、目標参照ブロックに対応する参照ブロックモード情報が担持されており、ビデオ復号化方法は、以下のステップＳ１００２〜１００４をさらに含む。
ステップＳ１００２では、符号化データから参照ブロックモード情報を読み取り、参照ブロックモード情報に対応する参照ブロックを決定する。
符号化データには、参照ブロックモード情報が担持されており、参照ブロックモード情報が第１の現在参照ブロックを目標参照ブロックとして用いることを示すと、例えば、ｍｕｌｔｉ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが１であると、ステップＳ１００４に進み、参照ブロックモード情報が第１の融合参照ブロックを目標参照ブロックとして用いることを示すと、例えば、ｍｕｌｔｉ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが０であると、ステップＳ９０６に進み、即ち、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップに進み、第１の現在参照ブロック及び第２の現在参照ブロックに基づいて符号化データを復号化する。
ステップＳ１００４では、第１の参照ブロックに基づいて符号化データを復号化する。
参照ブロックモード情報が第１の現在参照ブロックを用いて復号化することを示せば、第１の参照ブロックを目標参照ブロックとし、第１の参照ブロックを予測ブロックとすることにより、対応する予測値を取得し、予測値と符号化データにおける予測残差との和に基づいて、ビデオ画像ブロックに対応する画素値を取得してもよい。
なお、上記実施例に係るビデオ符号化方法及びビデオ復号化方法は、現在符号化ブロックを用いてビデオを符号化する過程と、現在復号化対象のブロックを用いてビデオを復号化する過程とを説明するものであり、実際の符号化過程において、各予測モードがフレーム間予測である符号化ブロックに対して、本願の実施例に係るビデオ符号化方法を実施して、符号化データを取得してもよい。同様に、対応する復号化対象のブロックに対して本願の実施例に係るビデオ復号化方法を実施して、復号化された画像ブロックを取得し、各復号化対象のビデオフレームにおける各復号化画像ブロックに基づいて、復号化されたビデオフレームを取得する。
以下、１つの例示的な実施例で、本願の実施例に係るビデオ符号化方法及びビデオ復号化方法を説明し、ビデオ符号化及び復号化標準における第２の現在参照ブロックの数は３つであると仮定する。
１、符号化側は、ビデオフレームシーケンスにおける現在ビデオフレームを取得し、第３のビデオフレームであると仮定し、前の２つのビデオフレームが既に符号化されている。現在ビデオフレームを分割すると、１６個の符号化ブロックに分割されていると仮定する。前の９つが既に符号化されるため、第１０の符号化ブロックを現在符号化ブロックとし、例えば、図１１における符号化ブロックＣを現在符号化ブロックとする。
２、符号化側は、現在ビデオフレームの前の２つのビデオフレームにおいて動き探索を行い、現在符号化ブロックとのＳＳＥ値が最も小さいブロックを第１の現在参照ブロックとして取得する。例えば、図１１に示すように、第１の現在参照ブロックＰ０を取得する。
３、符号化側は、第１の現在参照ブロックが所在する位置を中心とし、辺長が５０個の画素の正方形領域において、第１の現在参照ブロックとのＳＳＥ値が最も小さい前の３つの画像ブロックを第２の現在画像ブロックとして取得し、図１１に示すように、第２の現在参照ブロックＰ１、Ｐ２及びＰ３を取得する。
４、符号化側は、Ｐ０、Ｐ１、Ｐ２及びＰ３に対応する重みを取得し、重み付けの重みに基づいてＰ０、Ｐ１、Ｐ２及びＰ３を重み付けして第１の融合参照ブロックを取得する。所定の重みがそれぞれ０．７、０．１、０．１及び０．１であると仮定すると、第１の融合参照ブロックＰＷ＝Ｐ０＊０．７＋Ｐ１＊０．１＋Ｐ２＊０．１＋Ｐ３＊０．１である。
５、符号化側は、第１の融合参照ブロックＰＷを取得した後、ＰＷとＣとの相違度を算出し、Ｐ０とＣとの相違度を算出し、第１の融合参照ブロック及び第１の現在参照ブロックから相違度が小さいものを、選択された目標参照ブロックとして選択する。ＰＷとＣとの相違度は、Ｐ０とＣとの相違度より小さいため、第１の融合参照ブロックＰＷを目標参照ブロックとする。
６、符号化側は、第１の融合参照ブロックを用いて、現在符号化ブロックＣを符号化して、対応する符号化データを取得し、符号化データには、１ビットのシンタックス要素情報と、第１の現在参照ブロックＰ０に対応する動きベクトル（ＭＶ）情報とが担持され、シンタックス要素情報ｍｕｉｔｉ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは０であってもよく、参照ブロックモード情報が第１の融合参照ブロックを目標参照ブロックとして選択することを示す。
７、符号化側は、符号化データを復号化側に送信し、復号化側は、現在復号化対象のブロックに対応する符号化データを取得する。
８、復号化側は、符号化データに携帯された動きベクトル情報に基づいて現在復号化対象のブロックに対応する第１の現在参照ブロックＰ０を取得する。
９、復号化側は、符号化データから参照ブロックモード情報を示すシンタックス要素情報を抽出して、第１の融合参照ブロックを目標参照ブロックとして選択する参照ブロックモード情報を取得する。ステップ１０に進む。そうでなければ、そのまま第１の現在参照ブロックを用いて復号化する。
１０、復号化側は、第１の現在参照ブロックにマッチングする第２の現在参照ブロックＰ１、Ｐ２及びＰ３を取得する。
１１、復号化側は、Ｐ０、Ｐ１、Ｐ２及びＰ３に対応する所定の重みを取得し、それぞれ０．７、０．１、０．１及び０．１であり、融合画像ブロックＰＷ＝Ｐ０＊０．７＋Ｐ１＊０．１＋Ｐ２＊０．１＋Ｐ３＊０．１を取得する。
１２、復号化側は、第１の融合参照ブロックＰＷに基づいて符号化データを復号化して、現在復号化対象のブロックに対応するビデオ画像ブロックを取得する。
図１２に示すように、一実施例に係るビデオ符号化装置は、上記端末１１０及びサーバ１２０に集積されてもよく、符号化ブロック取得モジュール１２０２、符号化参照ブロック取得モジュール１２０４、符号化参照ブロックマッチングモジュール１２０６及び符号化モジュール１２０８を含んでもよい。
符号化ブロック取得モジュール１２０２は、現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得する。
符号化参照ブロック取得モジュール１２０４は、現在符号化ブロックに対応する第１の現在参照ブロックを取得する。
符号化参照ブロックマッチングモジュール１２０６は、第１の現在参照ブロックにマッチングする、第１の現在参照ブロックと類似する参照ブロックである１つ又は複数の第２の現在参照ブロックを取得する。
符号化モジュール１２０８は、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、現在符号化ブロックを符号化して、符号化データを取得する。
一実施例では、符号化参照ブロックマッチングモジュール１２０６は、復号化側と一致するマッチングアルゴリズムに従って、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得し、復号化側と一致するマッチングアルゴリズムは、参照ブロック取得領域が前記復号化側と一致し、且つマッチングルールが前記復号化側と一致するマッチングアルゴリズムを含む。
一実施例では、符号化参照ブロックマッチングモジュール１２０６は、
第１の現在参照ブロックに対応する複数の候補参照ブロックを取得する候補参照ブロック取得ユニットと、
第１の現在参照ブロックと各候補参照ブロックとの第１の相違度を算出する第１の相違度算出ユニットと、
第１の相違度に基づいて、複数の候補参照ブロックから第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する第２の参照ブロック取得ユニットと、を含む。
一実施例では、符号化モジュール１２０８は、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得し、第１の融合参照ブロックに基づいて現在符号化ブロックを符号化して、符号化データを取得する。
一実施例では、符号化モジュール１２０８は、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得し、第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択し、目標参照ブロックに基づいて現在符号化ブロックを符号化して、目標参照ブロックに対応する参照ブロックモード情報を担持する符号化データを取得する。
一実施例では、符号化モジュール１２０８は、第２の現在参照ブロックが複数含まれている場合、複数の第２の現在参照ブロックに基づいて画像融合を行って、第２の融合参照ブロックを取得し、第２の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択し、目標参照ブロックに基づいて現在符号化ブロックを符号化して、目標参照ブロックに対応する参照ブロックモード情報を担持する符号化データを取得する。
一実施例では、符号化モジュール１２０８は、第１の現在参照ブロックと各第２の現在参照ブロックに対応する重み付けの重みを取得し、重み付けの重みに基づいて第１の現在参照ブロック及び各第２の現在参照ブロックを重み付けして第１の融合参照ブロックを取得する。
一実施例では、符号化モジュール１２０８は、各第２の現在参照ブロックと第１の現在参照ブロックとの第２の相違度を算出し、第２の相違度に基づいて、対応する第２の相違度と負の相関関係を有する、各第２の現在参照ブロックに対応する重み付けの重みを取得する。
一実施例では、符号化モジュール１２０８は、第１の融合参照ブロックと現在符号化ブロックとの第３の相違度を算出し、第１の現在参照ブロックと現在符号化ブロックとの第４の相違度を算出し、第３の相違度と第４の相違度の大きさに基づいて目標参照ブロックを選択する。
一実施例では、符号化モジュール１２０８は、第１の融合参照ブロックと現在符号化ブロックに基づいて、対応する第１のレート歪みコストを算出し、第１の現在参照ブロックと現在符号化ブロックに基づいて、対応する第２のレート歪みコストを算出し、第１のレート歪みコストと第２のレート歪みコストの大きさに基づいて目標参照ブロックを選択する。
図１３に示すように、一実施例に係るビデオ復号化装置は、上記端末１１０及びサーバ１２０に集積されてもよく、符号化データ取得モジュール１３０２、復号化参照ブロック取得モジュール１３０４、復号化参照ブロックマッチングモジュール１３０６及び復号化モジュール１３０８を含んでもよい。
符号化データ取得モジュール１３０２は、復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得する。
復号化参照ブロック取得モジュール１３０４は、現在復号化対象のブロックに対応する第１の現在参照ブロックを取得する。
復号化参照ブロックマッチングモジュール１３０６は、第１の現在参照ブロックにマッチングする、第１の現在参照ブロックと類似する参照ブロックである１つ又は複数の第２の現在参照ブロックを取得する。
復号化モジュール１３０８は、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、符号化データを復号化して、現在復号化対象のブロックに対応するビデオ画像ブロックを取得する。
一実施例では、復号化参照ブロックマッチングモジュール１３０６は、符号化側にマッチングするマッチングアルゴリズムに従って、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得し、前記符号化側と一致するマッチングアルゴリズムは、参照ブロック取得領域が前記符号化側と一致し、且つマッチングルールが前記符号化側と一致するマッチングアルゴリズムを含む。
一実施例では、復号化参照ブロックマッチングモジュール１３０６は、第１の現在参照ブロックに対応する複数の候補参照ブロックを取得し、第１の現在参照ブロックと各候補参照ブロックとの第１の相違度を算出し、第１の相違度に基づいて、複数の候補参照ブロックから第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する。
一実施例では、復号化モジュール１３０８は、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得し、第１の融合参照ブロックに基づいて、符号化データを復号化して、現在復号化対象のブロックに対応するビデオ画像ブロックを取得する。
一実施例では、符号化データには、目標参照ブロックに対応する参照ブロックモード情報が担持されており、復号化装置は、
符号化データから参照ブロックモード情報を読み取るモード情報取得モジュールと、
参照ブロックモード情報が第１の現在参照ブロックを目標参照ブロックとして用いることを示すと、第１の参照ブロックに基づいて符号化データを復号化し、参照ブロックモード情報が第１の融合参照ブロックを目標参照ブロックとして用いることを示すと、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップに進む進みモジュールと、をさらに含む。
図１４は、一実施例におけるコンピュータ装置の内部構成図を示す。該コンピュータ装置は、図１における端末１１０であってもよい。図１４に示すように、該コンピュータ装置は、システムバスを介して接続されたプロセッサ、メモリ、ネットワークインタフェース、入力装置及びディスプレイスクリーンを含む。メモリは、不揮発性記憶媒体及び内部メモリを含む。該コンピュータ装置の不揮発性記憶媒体には、オペレーティングシステムが記憶されており、プロセッサによって実行されると、プロセッサにビデオ符号化方法及びビデオ復号化方法のうちの少なくとも１種の方法を実現させることができるコンピュータプログラムがさらに記憶されてもよい。該内部メモリには、プロセッサによって実行されると、プロセッサにビデオ符号化方法及びビデオ復号化方法のうちの少なくとも１種の方法を実現させることができるコンピュータプログラムが記憶されてもよい。コンピュータ装置のディスプレイスクリーンは、液晶ディスプレイスクリーン又は電子インクディスプレイスクリーンであってもよく、コンピュータ装置の入力装置は、ディスプレイ上に覆われたタッチ層であってもよく、コンピュータ装置の筐体に設けられたキー、トラックボール又はタッチパッドであってもよく、外付けのキーボード、タッチパッド又はマウス等であってもよい。
図１５は、一実施例におけるコンピュータ装置の内部構成図を示す。該コンピュータ装置は、図１におけるサーバ１２であってもよい。図１５に示すように、該コンピュータ装置は、システムバスを介して接続されたプロセッサ、メモリ及びネットワークインタフェースを含む。メモリは、不揮発性記憶媒体及び内部メモリを含む。該コンピュータ装置の不揮発性記憶媒体には、オペレーティングシステムが記憶されており、プロセッサによって実行されると、プロセッサにビデオ符号化方法及びビデオ復号化方法のうちの少なくとも１種の方法を実現させることができるコンピュータプログラムがさらに記憶されてもよい。該内部メモリには、プロセッサによって実行されると、プロセッサにビデオ符号化方法及びビデオ復号化方法のうちの少なくとも１種の方法を実現させることができるコンピュータプログラムが記憶されてもよい。
当業者であれば理解できるように、図１４及び１５に示される構成は、本願の技術手段に関連する部分構成のブロック図に過ぎず、本願の技術手段を適用したコンピュータ装置を限定するものではなく、具体的なコンピュータ装置は、図に示すものよりも多く又は少ない部材を含んでもよく、いくつかの部材を組み合わせてもよく、異なる部材の配置を有してもよい。
一実施例では、本願に係るビデオ符号化装置は、図１４及び１５に示されるコンピュータ装置上で実行できるコンピュータプログラムの形態で実現されてもよい。コンピュータ装置のメモリには、該ビデオ符号化装置を構成する各プログラムモジュール、例えば、図１２に示される符号化ブロック取得モジュール１２０２、符号化参照ブロック取得モジュール１２０４、符号化参照ブロックマッチングモジュール１２０６及び符号化モジュール１２０８が記憶されてもよい。各プログラムモジュールで構成されるコンピュータプログラムは、プロセッサに、本明細書に説明されている本願の各実施例のビデオ符号化方法における各ステップを実行させる。
例えば、図１４及び図１５に示されるコンピュータ装置は、図１２に示されるビデオ符号化装置における符号化ブロック取得モジュール１２０２により、現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得し、符号化参照ブロック取得モジュール１２０４により、現在符号化ブロックに対応する第１の現在参照ブロックを取得し、符号化参照ブロックマッチングモジュール１２０６により、第１の現在参照ブロックにマッチングする、第１の現在参照ブロックと類似する参照ブロックである１つ又は複数の第２の現在参照ブロックを取得し、符号化モジュール１２０８により、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、現在符号化ブロックを符号化して、符号化データを取得することができる。
一実施例では、本願に係るビデオ復号化装置は、図１４又は１５に示されるコンピュータ装置上で実行できるコンピュータプログラムの形態で実現されてもよい。コンピュータ装置のメモリには、該ビデオ復号化装置を構成する各プログラムモジュール、例えば、図１３に示される符号化データ取得モジュール１３０２、復号化参照ブロック取得モジュール１３０４、復号化参照ブロックマッチングモジュール１３０６及び復号化モジュール１３０８が記憶されてもよい。各プログラムモジュールで構成されるコンピュータプログラムは、プロセッサに、本明細書に説明されている本願の各実施例のビデオ復号化方法における各ステップを実行させる。
例えば、図１４及び図１５に示されるコンピュータ装置は、図１３に示されるビデオ復号化装置における符号化データ取得モジュール１３０２により、復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得してもよい。復号化参照ブロック取得モジュール１３０４により、現在復号化対象のブロックに対応する第１の現在参照ブロックを取得する。復号化参照ブロックマッチングモジュール１３０６により、第１の現在参照ブロックにマッチングする、第１の現在参照ブロックと類似する参照ブロックである１つ又は複数の第２の現在参照ブロックを取得する。復号化モジュール１３０８により、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、符号化データを復号化して、現在復号化対象のブロックに対応するビデオ画像ブロックを取得する。
一実施例に係るコンピュータ装置は、コンピュータプログラムが記憶されているメモリと、コンピュータプログラムを実行すると、
現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得し、
現在符号化ブロックに対応する第１の現在参照ブロックを取得し、
第１の現在参照ブロックにマッチングする、第１の現在参照ブロックと類似する参照ブロックである１つ又は複数の第２の現在参照ブロックを取得し、
第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、現在符号化ブロックを符号化して、符号化データを取得する操作を実行するプロセッサと、を含む。
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
復号化側と一致するマッチングアルゴリズムに従って、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作を実行させ、復号化側と一致するマッチングアルゴリズムは、参照ブロック取得領域が前記復号化側と一致し、且つマッチングルールが前記復号化側と一致するマッチングアルゴリズムとを含む。
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
第１の現在参照ブロックに対応する複数の候補参照ブロックを取得し、
第１の現在参照ブロックと各候補参照ブロックとの第１の相違度を算出し、
第１の相違度に基づいて、複数の候補参照ブロックから第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作を実行させる。
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得し、
第１の融合参照ブロックに基づいて現在符号化ブロックを符号化して、符号化データを取得する操作を実行させる。
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得し、
第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択し、目標参照ブロックに基づいて現在符号化ブロックを符号化して、目標参照ブロックに対応する参照ブロックモード情報を担持する符号化データを取得する操作を実行させる。
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
第２の現在参照ブロックが複数含まれている場合、複数の第２の現在参照ブロックに基づいて画像融合を行って、第２の融合参照ブロックを取得し、
第２の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択し、目標参照ブロックに基づいて現在符号化ブロックを符号化して、目標参照ブロックに対応する参照ブロックモード情報を担持する符号化データを取得する操作を実行させる。
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
第１の現在参照ブロックと各第２の現在参照ブロックに対応する重み付けの重みを取得し、
重み付けの重みに基づいて第１の現在参照ブロック及び各第２の現在参照ブロックを重み付けして第１の融合参照ブロックを取得する操作を実行させる。
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
各第２の現在参照ブロックと第１の現在参照ブロックとの第２の相違度を算出し、
第２の相違度に基づいて、対応する第２の相違度と負の相関関係を有する、各第２の現在参照ブロックに対応する重み付けの重みを取得する操作を実行させる。
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
第１の融合参照ブロックと現在符号化ブロックとの第３の相違度を算出し、第１の現在参照ブロックと現在符号化ブロックとの第４の相違度を算出し、
第３の相違度と第４の相違度の大きさに基づいて目標参照ブロックを選択する操作を実行させる。
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
第１の融合参照ブロックと現在符号化ブロックに基づいて、対応する第１のレート歪みコストを算出し、第１の現在参照ブロックと現在符号化ブロックに基づいて、対応する第２のレート歪みコストを算出し、
第１のレート歪みコストと第２のレート歪みコストの大きさに基づいて目標参照ブロックを選択する操作を実行させる。
一実施例に係るコンピュータ装置は、コンピュータプログラムが記憶されているメモリと、コンピュータプログラムを実行すると、
復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得し、
現在復号化対象のブロックに対応する第１の現在参照ブロックを取得し、
第１の現在参照ブロックにマッチングする、第１の現在参照ブロックと類似する参照ブロックである１つ又は複数の第２の現在参照ブロックを取得し、
第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、符号化データを復号化して、現在復号化対象のブロックに対応するビデオ画像ブロックを取得する操作を実行するプロセッサと、を含む。
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
符号化側にマッチングするマッチングアルゴリズムに従って第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作を実行させ、符号化側と一致するマッチングアルゴリズムは、参照ブロック取得領域が前記符号化側と一致し、且つマッチングルールが前記符号化側と一致するマッチングアルゴリズムを含む。
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
第１の現在参照ブロックに対応する複数の候補参照ブロックを取得し、
第１の現在参照ブロックと各候補参照ブロックとの第１の相違度を算出し、
第１の相違度に基づいて、複数の候補参照ブロックから第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作を実行させる。
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得し、
第１の融合参照ブロックに基づいて、符号化データを復号化して、現在復号化対象のブロックに対応するビデオ画像ブロックを取得する操作を実行させる。
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
符号化データから参照ブロックモード情報を読み取り、
参照ブロックモード情報が第１の現在参照ブロックを目標参照ブロックとして用いることを示すと、第１の参照ブロックに基づいて符号化データを復号化し、参照ブロックモード情報が第１の融合参照ブロックを目標参照ブロックとして用いることを示すと、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作を実行させる。
一実施例に係るコンピュータ読み取り可能な記憶媒体は、プロセッサによって実行されると、プロセッサに、上記ビデオ符号化方法及びビデオ復号化方法のうちの１つ以上の方法のステップを実行させるコンピュータプログラムが記憶されている。ここでのビデオ符号化方法及びビデオ復号化方法におけるステップは、上記各実施例のビデオ符号化方法及びビデオ復号化方法におけるステップであってもよい。
なお、本願の各実施例のフローチャートの各ステップは、矢印で順に示されるが、これらのステップは、必ずしも矢印で示される順序で順に実行されるものではない。本明細書で明確に説明しない限り、これらのステップの実行は、厳密な順序に限定されず、他の順序で実行されてもよい。さらに、各実施例における少なくとも一部のステップは、複数のサブステップ又は複数の段階を含んでよく、これらのサブステップ又は段階は、必ずしも同じ時刻で実行されるものではなく、異なる時刻で実行されてもよく、これらのサブステップ又は段階の実行順序も、必ずしもその順に行われるものではなく、その他のステップ又はその他のステップのサブステップ又は段階の少なくとも一部と順番に又は交互に実行されてもよい。
当業者であれば理解できるように、上記方法実施例の全部又は一部の流れは、コンピュータプログラムが関連ハードウェアを命令することにより実現され、コンピュータプログラムが不揮発性コンピュータ読み取り可能な記憶媒体に記憶することができ、該コンピュータプログラムが実行されるとき、上記各方法実施例の流れを含んでもよい。本願に係る各実施例において用いられる、メモリ、記憶、データベース又は他の媒体への任意の参照は、いずれも不揮発性及び／又は揮発性メモリを含んでもよい。非揮発性メモリは、読み取り専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）又はフラッシュメモリを含んでもよい。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）又は外部キャッシュメモリを含んでもよい。限定ではなく例示として、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、エンハンスドＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクロナスリンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）及びメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）などの多くの形態にあるＲＡＭが使用され得る。
上述した実施例の各技術的特徴を任意に組み合わせることができ、説明の便宜上、上記実施例における各技術的特徴の全ての可能な組み合わせを説明していないが、これらの技術的特徴の組み合わせに矛盾がない限り、本明細書に記載されている範囲に属するべきであると考えられる。
上述した実施例は、本願のいくつかの実施形態を説明したものに過ぎず、その説明が具体的かつ詳細であるが、これにより本願の特許範囲を限定するものと理解されるものではない。なお、当業者であれば、本発明の構想から逸脱しない前提で、いくつかの変形及び改善を行うことができ、これらも本発明の保護範囲に属する。したがって、本願特許の保護範囲は、添付の特許請求の範囲を基準とすべきである。
１１０ 端末
１２０ サーバ
２０２ ビデオフレーム取得ユニット
２０４ 第１の予測ユニット
２０６ 変換ユニット
２０８ 量子化ユニット
２１０ 第１の逆量子化ユニット
２１２ 第１の逆変換ユニット
２１４ 再構成ユニット
２１６ エントロピー符号化ユニット
２１８ 記憶送信ユニット
３００ 符号化データ取得ユニット
３０２ エントロピー復号化ユニット
３０４ 第２の逆量子化ユニット
３０６ 第２の逆変換ユニット
３０８ 第２の予測ユニット
３１０ 再生記憶ユニット
１２０２ 符号化ブロック取得モジュール
１２０４ 符号化参照ブロック取得モジュール
１２０６ 符号化参照ブロックマッチングモジュール
１２０８ 符号化モジュール
１３０２ 符号化データ取得モジュール
１３０４ 復号化参照ブロック取得モジュール
１３０６ 復号化参照ブロックマッチングモジュール
１３０８ 復号化モジュール
本願は、コンピュータの技術分野に関し、特に、ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及びコンピュータプログラムに関する。
そこで、本願の実施例は、上記ビデオ符号化品質が低いという問題を解決することができる、ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及びコンピュータプログラムを提供する。
コンピュータプログラムは、プロセッサによって実行されると、前記プロセッサに上記ビデオ符号化方法のステップを実行させる。
上記ビデオ符号化方法、装置、コンピュータ装置及びコンピュータプログラムは、符号化する場合、第１の現在参照ブロックにより、該第１の現在参照ブロックと類似する参照ブロックである、マッチングした１つ又は複数の第２の現在参照ブロックを取得することにより、現在符号化ブロックにマッチングした複数の参照ブロックを取得し、マッチングした複数の参照ブロックに基づいて符号化して、参照ブロックと現在符号化ブロックとのマッチング度合いを向上させ、予測残差を低減することができるため、ビデオ符号化品質を向上させることができる。
コンピュータプログラムは、プロセッサによって実行されると、前記プロセッサに上記ビデオ復号化方法のステップを実行させる。
上記ビデオ復号化方法、装置、コンピュータ装置及びコンピュータプログラムは、復号化する場合、第１の現在参照ブロックにより、該第１の現在参照ブロックと類似する参照ブロックである、マッチングした１つ又は複数の第２の現在参照ブロックを取得することにより、現在符号化ブロックにマッチングした複数の参照ブロックを取得し、マッチングした複数の参照ブロックに基づいて符号化データを復号化して、画像ブロックの損失を低減でき、ビデオ復号化品質が高くなる。

Claims (33)

  1. コンピュータ装置が実行するビデオ符号化方法であって、
    現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得するステップと、
    前記現在符号化ブロックに対応する第１の現在参照ブロックを取得するステップと、
    前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックであるステップと、
    前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得するステップと
    を含む、ビデオ符号化方法。
  2. 前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する前記ステップは、
    復号化側と一致するマッチングアルゴリズムに従って、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップを含み、
    前記復号化側と一致するマッチングアルゴリズムは、参照ブロック取得領域が前記復号化側と一致し、且つマッチングルールが前記復号化側と一致するマッチングアルゴリズムを含む、ことを特徴とする請求項１に記載の方法。
  3. 前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する前記ステップは、
    前記第１の現在参照ブロックに対応する複数の候補参照ブロックを取得するステップと、
    前記第１の現在参照ブロックと各前記候補参照ブロックとの第１の相違度を算出するステップと、
    前記第１の相違度に基づいて、前記複数の候補参照ブロックから、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップと
    を含む、ことを特徴とする請求項１に記載の方法。
  4. 前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得する前記ステップは、
    前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得するステップと、
    前記第１の融合参照ブロックに基づいて前記現在符号化ブロックを符号化して、符号化データを取得するステップと、
    を含むことを特徴とする請求項１に記載の方法。
  5. 前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得する前記ステップは、
    前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得するステップと、
    前記第１の融合参照ブロック及び前記第１の現在参照ブロックから目標参照ブロックを選択し、前記目標参照ブロックに基づいて前記現在符号化ブロックを符号化して、符号化データを取得するステップであって、前記符号化データには、前記目標参照ブロックに対応する参照ブロックモード情報が担持されているステップと
    を含む、ことを特徴とする請求項１に記載の方法。
  6. 前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得する前記ステップは、
    前記第２の現在参照ブロックが複数含まれている場合、複数の前記第２の現在参照ブロックに基づいて画像融合を行って、第２の融合参照ブロックを取得するステップと、
    前記第２の融合参照ブロック及び前記第１の現在参照ブロックから目標参照ブロックを選択し、前記目標参照ブロックに基づいて前記現在符号化ブロックを符号化して、符号化データを取得するステップであって、前記符号化データには、前記目標参照ブロックに対応する参照ブロックモード情報が担持されているステップと
    を含む、ことを特徴とする請求項１に記載の方法。
  7. 前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得する前記ステップは、
    前記第１の現在参照ブロックと各前記第２の現在参照ブロックに対応する重み付けの重みを取得するステップと、
    前記重み付けの重みに基づいて前記第１の現在参照ブロック及び各前記第２の現在参照ブロックを重み付けして、前記第１の融合参照ブロックを取得するステップと
    を含む、ことを特徴とする請求項４又は請求項５に記載の方法。
  8. 前記第１の現在参照ブロックと各前記第２の現在参照ブロックに対応する重み付けの重みを取得する前記ステップは、
    各前記第２の現在参照ブロックと前記第１の現在参照ブロックとの第２の相違度を算出するステップと、
    前記第２の相違度に基づいて、各前記第２の現在参照ブロックに対応する重み付けの重みを取得するステップであって、各前記第２の現在参照ブロックに対応する重み付けの重みは、対応する第２の相違度と負の相関関係を有するステップと
    を含む、ことを特徴とする請求項７に記載の方法。
  9. 前記第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択することは、
    前記第１の融合参照ブロックと前記現在符号化ブロックとの第３の相違度を算出し、前記第１の現在参照ブロックと前記現在符号化ブロックとの第４の相違度を算出するステップと、
    前記第３の相違度及び前記第４の相違度の大きさに基づいて目標参照ブロックを選択するステップと
    を含む、ことを特徴とする請求項５に記載の方法。
  10. 前記第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択することは、
    前記第１の融合参照ブロック及び前記現在符号化ブロックに基づいて、対応する第１のレート歪みコストを算出し、前記第１の現在参照ブロック及び前記現在符号化ブロックに基づいて、対応する第２のレート歪みコストを算出するステップと、
    前記第１のレート歪みコスト及び前記第２のレート歪みコストの大きさに基づいて目標参照ブロックを選択するステップと
    を含む、ことを特徴とする請求項５に記載の方法。
  11. コンピュータ装置が実行するビデオ復号化方法であって、
    復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得するステップと、
    前記現在復号化対象のブロックに対応する第１の現在参照ブロックを取得するステップと、
    前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックであるステップと、
    前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得するステップと
    を含む、ビデオ復号化方法。
  12. 前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する前記ステップは、
    符号化側にマッチングするマッチングアルゴリズムに従って、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップを含み、
    前記符号化側と一致するマッチングアルゴリズムは、参照ブロック取得領域が前記符号化側と一致し、且つマッチングルールが前記符号化側と一致するマッチングアルゴリズムを含む、ことを特徴とする請求項１１に記載の方法。
  13. 前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する前記ステップは、
    前記第１の現在参照ブロックに対応する複数の候補参照ブロックを取得するステップと、
    前記第１の現在参照ブロックと各前記候補参照ブロックとの第１の相違度を算出するステップと、
    前記第１の相違度に基づいて、前記複数の候補参照ブロックから前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップと
    を含む、ことを特徴とする請求項１１に記載の方法。
  14. 前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得する前記ステップは、
    前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得するステップと、
    前記第１の融合参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得するステップと
    を含む、ことを特徴とする請求項１１に記載の方法。
  15. 前記符号化データには、目標参照ブロックに対応する参照ブロックモード情報が担持されており、
    前記符号化データから前記参照ブロックモード情報を読み取るステップと、
    前記参照ブロックモード情報が前記第１の現在参照ブロックを目標参照ブロックとして用いることを示すと、前記第１の参照ブロックに基づいて前記符号化データを復号化し、前記参照ブロックモード情報が第１の融合参照ブロックを目標参照ブロックとして用いることを示すと、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップと
    をさらに含む、ことを特徴とする請求項１１に記載の方法。
  16. 現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得するように構成された符号化ブロック取得モジュールと、
    前記現在符号化ブロックに対応する第１の現在参照ブロックを取得するように構成された符号化参照ブロック取得モジュールと、
    前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するように構成された符号化参照ブロックマッチングモジュールであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックである符号化参照ブロックマッチングモジュールと、
    前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得するように構成された符号化モジュールと
    を含む、ビデオ符号化装置。
  17. 復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得するように構成された符号化データ取得モジュールと、
    前記現在復号化対象のブロックに対応する第１の現在参照ブロックを取得するように構成された復号化参照ブロック取得モジュールと、
    前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するように構成された復号化参照ブロックマッチングモジュールであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックである復号化参照ブロックマッチングモジュールと、
    前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得するように構成された復号化モジュールと
    を含む、ビデオ復号化装置。
  18. コンピュータプログラムが記憶されているメモリと、
    前記コンピュータプログラムを実行すると、
    現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得する操作、
    前記現在符号化ブロックに対応する第１の現在参照ブロックを取得する操作、
    前記第１の現在参照ブロックにマッチングする、１つ又は複数の第２の現在参照ブロックを取得する操作であって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する操作、
    前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得する操作
    を実行するプロセッサと、
    を含む、ことを特徴とするコンピュータ装置。
  19. 前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
    復号化側と一致するマッチングアルゴリズムに従って、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作を実行させ、
    前記復号化側と一致するマッチングアルゴリズムは、参照ブロック取得領域が前記復号化側と一致し、且つマッチングルールが前記復号化側と一致するマッチングアルゴリズムを含む、ことを特徴とする請求項１８に記載のコンピュータ装置。
  20. 前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
    前記第１の現在参照ブロックに対応する複数の候補参照ブロックを取得する操作と、
    前記第１の現在参照ブロックと各前記候補参照ブロックとの第１の相違度を算出する操作と、
    前記第１の相違度に基づいて、前記複数の候補参照ブロックから前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作と
    を実行させる、ことを特徴とする請求項１８に記載のコンピュータ装置。
  21. 前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
    前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得する操作と、
    前記第１の融合参照ブロックに基づいて前記現在符号化ブロックを符号化して、符号化データを取得する操作と
    を実行させる、ことを特徴とする請求項１８に記載のコンピュータ装置。
  22. 前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
    前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得する操作と、
    前記第１の融合参照ブロック及び前記第１の現在参照ブロックから目標参照ブロックを選択し、前記目標参照ブロックに基づいて前記現在符号化ブロックを符号化して、符号化データを取得する操作であって、前記符号化データには、前記目標参照ブロックに対応する参照ブロックモード情報が担持されている操作と
    を実行させる、ことを特徴とする請求項１８に記載のコンピュータ装置。
  23. 前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
    前記第２の現在参照ブロックが複数含まれている場合、複数の前記第２の現在参照ブロックに基づいて画像融合を行って、前記第２の融合参照ブロックを取得する操作と、
    前記第２の融合参照ブロック及び前記第１の現在参照ブロックから目標参照ブロックを選択し、前記目標参照ブロックに基づいて前記現在符号化ブロックを符号化して、符号化データを取得する操作であって、前記符号化データには、前記目標参照ブロックに対応する参照ブロックモード情報が担持されている操作と
    を実行させる、ことを特徴とする請求項１８に記載のコンピュータ装置。
  24. 前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
    前記第１の現在参照ブロックと各前記第２の現在参照ブロックに対応する重み付けの重みを取得する操作と、
    前記重み付けの重みに基づいて前記第１の現在参照ブロック及び各前記第２の現在参照ブロックを重み付けして、前記第１の融合参照ブロックを取得する操作と
    を実行させる、ことを特徴とする請求項２１又は請求項２２に記載のコンピュータ装置。
  25. 前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
    各前記第２の現在参照ブロックと前記第１の現在参照ブロックとの第２の相違度を算出する操作と、
    前記第２の相違度に基づいて、各前記第２の現在参照ブロックに対応する重み付けの重みを取得する操作であって、各前記第２の現在参照ブロックに対応する重み付けの重みは対応する第２の相違度と負の相関関係を有する操作とを実行させる、ことを特徴とする請求項２４に記載のコンピュータ装置。
  26. 前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
    前記第１の融合参照ブロックと前記現在符号化ブロックとの第３の相違度を算出し、前記第１の現在参照ブロックと前記現在符号化ブロックとの第４の相違度を算出する操作と、
    前記第３の相違度及び前記第４の相違度の大きさに基づいて目標参照ブロックを選択する操作と
    を実行させる、ことを特徴とする請求項２２に記載のコンピュータ装置。
  27. 前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
    前記第１の融合参照ブロックと前記現在符号化ブロックに基づいて、対応する第１のレート歪みコストを算出し、前記第１の現在参照ブロックと前記現在符号化ブロックに基づいて、対応する第２のレート歪みコストを算出する操作と、
    前記第１のレート歪みコスト及び前記第２のレート歪みコストの大きさに基づいて目標参照ブロックを選択する操作と
    を実行させる、ことを特徴とする請求項２２に記載のコンピュータ装置。
  28. コンピュータプログラムが記憶されているメモリと、
    前記コンピュータプログラムを実行すると、
    復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得する操作と、
    前記現在復号化対象のブロックに対応する第１の現在参照ブロックを取得する操作と、
    前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作であって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックである操作と、
    前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得する操作と
    を実行するプロセッサと
    を含む、ことを特徴とするコンピュータ装置。
  29. 前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
    符号化側にマッチングするマッチングアルゴリズムに従って、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作を実行させ、
    前記符号化側と一致するマッチングアルゴリズムは、参照ブロック取得領域が前記符号化側と一致し、且つマッチングルールが前記符号化側と一致するマッチングアルゴリズムを含む、ことを特徴とする請求項２８に記載のコンピュータ装置。
  30. 前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
    前記第１の現在参照ブロックに対応する複数の候補参照ブロックを取得する操作と、
    前記第１の現在参照ブロックと各前記候補参照ブロックとの第１の相違度を算出する操作と、
    前記第１の相違度に基づいて、前記複数の候補参照ブロックから前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作と
    を実行させる、ことを特徴とする請求項２８に記載のコンピュータ装置。
  31. 前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
    前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得する操作と、
    前記第１の融合参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得する操作と
    を実行させる、ことを特徴とする請求項２８に記載のコンピュータ装置。
  32. 前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
    前記符号化データから前記参照ブロックモード情報を読み取る操作と、
    前記参照ブロックモード情報が前記第１の現在参照ブロックを目標参照ブロックとして用いることを示すと、前記第１の参照ブロックに基づいて前記符号化データを復号化し、前記参照ブロックモード情報が第１の融合参照ブロックを目標参照ブロックとして用いることを示すと、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作と
    を実行させる、ことを特徴とする請求項２８に記載のコンピュータ装置。
  33. プロセッサによって実行されると、前記プロセッサに、請求項１〜請求項１０のうちのいずれか一項に記載の方法のステップ、又は請求項１１〜請求項１５のうちのいずれか一項に記載の方法のステップを実行させるコンピュータプログラムが記憶されている、ことを特徴とするコンピュータ可読記憶媒体。
JP2020563899A 2018-10-15 2019-09-30 ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及びコンピュータプログラム Active JP7431752B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811198938.3A CN111050177B (zh) 2018-10-15 2018-10-15 视频编码、视频解码方法、装置、计算机设备和存储介质
CN201811198938.3 2018-10-15
PCT/CN2019/109341 WO2020078211A1 (zh) 2018-10-15 2019-09-30 视频编码、视频解码方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
JP2021525025A true JP2021525025A (ja) 2021-09-16
JP7431752B2 JP7431752B2 (ja) 2024-02-15

Family

ID=70230389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020563899A Active JP7431752B2 (ja) 2018-10-15 2019-09-30 ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US11445205B2 (ja)
EP (1) EP3869806A4 (ja)
JP (1) JP7431752B2 (ja)
CN (1) CN111050177B (ja)
WO (1) WO2020078211A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950587B (zh) * 2020-07-02 2024-04-16 北京大学深圳研究生院 帧内编码块划分处理方法和硬件装置
CN115996214A (zh) * 2021-10-20 2023-04-21 腾讯科技（深圳）有限公司 多媒体数据处理方法、装置、设备及存储介质
CN115293994B (zh) * 2022-09-30 2022-12-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007125856A1 (ja) * 2006-04-28 2007-11-08 Ntt Docomo, Inc. 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5271271B2 (ja) * 2006-11-03 2013-08-21 サムスン エレクトロニクス カンパニー リミテッド 動きベクトル・トラッキングを利用した映像の符号化、復号化方法及び装置
KR101403343B1 (ko) * 2007-10-04 2014-06-09 삼성전자주식회사 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치
KR20090095012A (ko) * 2008-03-04 2009-09-09 삼성전자주식회사 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
EP2269379B1 (en) * 2008-04-11 2019-02-27 InterDigital Madison Patent Holdings Methods and apparatus for template matching prediction (tmp) in video encoding and decoding
US8995526B2 (en) * 2009-07-09 2015-03-31 Qualcomm Incorporated Different weights for uni-directional prediction and bi-directional prediction in video coding
CN102316317B (zh) * 2010-07-10 2013-04-24 华为技术有限公司 一种生成图像预测值的方法和装置
WO2012090425A1 (ja) * 2010-12-27 2012-07-05 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
KR20130023444A (ko) * 2011-08-29 2013-03-08 한양대학교 산학협력단 다단계 화면간 예측을 이용한 영상 부호화/복호화 장치 및 방법
EP2615832A1 (en) * 2012-01-13 2013-07-17 Thomson Licensing Method and device for encoding a block of an image and corresponding reconstructing method and device
CN104244002B (zh) * 2013-06-14 2019-02-05 北京三星通信技术研究有限公司 一种视频编/解码中运动信息的获取方法及装置
CN110121073B (zh) * 2018-02-06 2021-07-09 浙江大学 一种双向帧间预测方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007125856A1 (ja) * 2006-04-28 2007-11-08 Ntt Docomo, Inc. 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム

Also Published As

Publication number Publication date
US11445205B2 (en) 2022-09-13
CN111050177A (zh) 2020-04-21
JP7431752B2 (ja) 2024-02-15
EP3869806A4 (en) 2021-12-22
US20210037251A1 (en) 2021-02-04
EP3869806A1 (en) 2021-08-25
WO2020078211A1 (zh) 2020-04-23
CN111050177B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
US10659803B2 (en) Picture prediction method and related apparatus
US11831902B2 (en) Picture prediction method and picture prediction apparatus
US20060012719A1 (en) System and method for motion prediction in scalable video coding
CN110024392A (zh) 用于视频译码的低复杂度符号预测
JP2021525025A (ja) ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及びコンピュータプログラム
CN110268716B (zh) 由球面投影处理等量矩形对象数据以补偿畸变
US20190098312A1 (en) Image prediction method and related device
CN107852500A (zh) 运动矢量场编码方法和解码方法、编码和解码装置
CN101873490B (zh) 图像处理方法和使用该方法的图像信息编码设备
TR201904717T4 (tr) Hareketli görüntü kodlama cihazı, hareketi görüntü kod çözme cihazı, hareketli görüntü kodlama yöntem ve hareketli görüntü kod çözme yöntemi.
US11917156B2 (en) Adaptation of scan order for entropy coding
US9706220B2 (en) Video encoding method and decoding method and apparatuses
CN112602326A (zh) 一种运动矢量预测方法、装置与编解码器
CN104581179A (zh) 执行运动补偿的视频编码和解码方法及其装置
Su et al. An optimized template matching approach to intra coding in video/image compression
Zeeshan et al. HEVC compatible perceptual multiple description video coding for reliable video transmission over packet networks
Jubran et al. Sequence-level reference frames in video coding
EP3046326A1 (en) Method and device of construction of an epitome, coding and decoding methods and coding and decoding devices
CN116980603A (zh) 视频数据处理方法、装置、计算机设备和存储介质
Luka et al. Image Compression using only Attention based Neural Networks
CN115412727A (zh) 编码方法、解码方法及其装置
JP4785769B2 (ja) 符号化装置及び符号化プログラム
CN116074534A (zh) 双向帧间预测方法及装置
CN117714705A (zh) 图像编解码方法、装置、设备及存储介质
CN117939157A (zh) 图像处理方法、装置及设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220421

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221125

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221125

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221205

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221212

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230217

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20230227

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230306

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240202

R150 Certificate of patent or registration of utility model

Ref document number: 7431752

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150