JP2020520194A - ビデオ画像の処理方法及び装置 - Google Patents

ビデオ画像の処理方法及び装置 Download PDF

Info

Publication number
JP2020520194A
JP2020520194A JP2019563038A JP2019563038A JP2020520194A JP 2020520194 A JP2020520194 A JP 2020520194A JP 2019563038 A JP2019563038 A JP 2019563038A JP 2019563038 A JP2019563038 A JP 2019563038A JP 2020520194 A JP2020520194 A JP 2020520194A
Authority
JP
Japan
Prior art keywords
pixel
half pixel
estimation
rate distortion
positions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019563038A
Other languages
English (en)
Other versions
JP6921461B2 (ja
Inventor
宏▲順▼ ▲張▼
宏▲順▼ ▲張▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2020520194A publication Critical patent/JP2020520194A/ja
Application granted granted Critical
Publication of JP6921461B2 publication Critical patent/JP6921461B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/533Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本開示の実施例は、ビデオ圧縮性能を保証しながら、符号化速度を改善し、計算の複雑さを低下するビデオ画像の処理方法及び装置を開示する。当該方法では、ターゲット画像フレームに対して整数画素動き推定を行って、整数画素推定による最適位置を取得し、整数画素推定による最適位置に対してハーフ画素推定を行って、ハーフ画素推定による最適位置を取得し、ハーフ画素推定による最適位置の周囲エリアを4つのパーティションに分割し、ハーフ画素推定による最適位置に隣接する4つのハーフ画素位置にそれぞれ対応するレート歪みコストに従って、4つのパーティションからクォーター画素推定に使用される第1のパーティションを確定し、ハーフ画素推定による最適位置に従って第1のパーティション内でクォーター画素推定を行って、クォーター画素推定による最適位置を取得し、クォーター画素推定による最適位置を動き推定結果として、動き補償を行う。

Description

本出願は、2017年10月31日に中国特許庁に提出された、出願番号が201711050289.8であって、発明の名称が「ビデオ画像の処理方法及び装置」である中国特許出願に基づく優先権を主張するものであり、その全内容を本開示に参照により援用する。
本開示は、コンピュータ技術分野に関し、特に、ビデオ画像処理に関する。
現在、ビデオ圧縮技術は急速に発展しており、将来のビデオの開発の傾向は高精細、高フレームレート、高圧縮率であり、現在普及しているH.264圧縮方式は、圧縮原理に一定の制限があり、将来のニーズに適応できない。そのため、高効率ビデオ符号化(High Efficiency Video Coding、HEVC)プロトコルが登場した。例えば、H.264符号化ユニットは、16x16のブロックサイズしか達成できないが、HEVC符号化ユニットは128x128や64x64、8x8などの複数のブロックサイズに達成することができる。また、H.264符号化ユニットに9種のフレーム内予測方向があるが、HEVC符号化ユニットには35種のフレーム内予測方法がある。また、フレーム間分割モードの場合、H.264符号化ユニットは、長方形分割方式しか採用できないが、HEVC符号化ユニットは、非対称分割方式も採用できる。全体的に、HEVCは、H.264と比較して圧縮率を40%向上させることができる。
現在のHEVC符号化では、まず、整数画素に従って補間して対応する位置の参照画素を取得する必要がある。そのため、マッチングする画素点が多いほど、補間の回数は多くなる。従って、HEVC符号化プロトコルは、マシンの性能に対する要求が高く、通常のマシンではリアルタイム符号化の機能を実現できない。これは、必然的にビデオ圧縮性能の低下につながる。
これを考慮して、本開示の実施例は、ユーザー資産状態マイニングの処理効率を改善するためのデータ処理方法、装置及サーバーを提供する。
上記の目的を達成するために、本開示の実施例は以下の技術的解決策を提供する。
一態様によれば、本開示の実施例はビデオ画像の処理方法を提供し、
符号化待ちビデオ画像からターゲット画像フレームを取得することと、
ターゲット画像フレームに対して整数画素動き推定を行って、整数画素推定による最適位置を取得することと、
前記整数画素推定による最適位置に対してハーフ画素推定を行って、ハーフ画素推定による最適位置を取得することと、
前記ハーフ画素推定による最適位置の周囲エリアを4つのパーティションに分割し、各パーティション内にはそれぞれクォーター補間による2つのクォーター画素位置が含まれることと、
前記4つのパーティションにおける各ハーフ画素位置から最小レート歪みコストに対応する位置を取得して、前記最小レート歪みコストに対応する位置が属するパーティションが第1のパーティションであることを確定することと、
ハーフ画素推定による最適位置に従って、前記第1のパーティション内でクォーター画素推定を行って、クォーター画素推定による最適位置を取得することと、
前記クォーター画素推定による最適位置を動き推定結果として、動き補償を行うことと、
を含む。
他の態様によれば、本開示の実施例はビデオ画像の処理装置をさらに提供し、
符号化待ちビデオ画像からターゲット画像フレームを取得するための画像取得モジュールと、
ターゲット画像フレームに対して整数画素動き推定を行って、整数画素推定による最適位置を取得するための整数画素推定モジュールと、
前記整数画素推定による最適位置に対してハーフ画素推定を行って、ハーフ画素推定による最適位置を取得するための第1のサブ画素推定モジュールと、
前記ハーフ画素推定による最適位置の周囲エリアを4つのパーティションに分割するための画像パーティションモジュールであって、各パーティション内にはそれぞれクォーター補間による2つのクォーター画素位置が含まれる画像パーティションモジュールと、
前記4つのパーティションにおける各ハーフ画素位置から最小レート歪みコストに対応する位置を取得し、前記最小レート歪みコストに対応する位置が属するパーティションが第1のパーティションであることを確定するための第1のパーティション取得モジュールと、
ハーフ画素推定による最適位置に従って、前記第1のパーティション内でクォーター画素推定を行って、クォーター画素推定による最適位置を取得するための第2のサブ画素推定モジュールと、
前記クォーター画素推定による最適位置を動き推定結果として、動き補償を行うための動き補償モジュールと、
を含む。
さらに他の態様によれば、本開示の実施例はビデオ処理装置を提供し、前記ビデオ処理装置は、プロセッサー、通信インタフェース、メモリ及び通信バスを含み、
前記プロセッサー、前記通信インタフェース及び前記メモリは前記通信バスを介して相互の通信を完成し、前記通信インタフェースは通信モジュールのインタフェースであり、
前記メモリは、プログラムコードを記憶し、前記プログラムコードを前記プロセッサーに伝送し、
前記プロセッサーは、メモリ内のプログラムコードの指令を呼び出して、第1の態様に記載の方法を実行する。
さらに他の態様によれば、本開示の実施例は、第1の態様に記載の方法を実行するために使用されるプログラムコードを記憶するための記憶媒体を提供する。
さらに他の態様によれば、本開示の実施例は、コンピュータで実行されるときに第1の態様に記載の方法を前記コンピュータに実行させる指令が含まれるコンピュータプログラムを提供する。
以上の技術的解決策から分かるように、本開示の実施例は以下の利点を有し、
本開示の実施例では、本開示の実施例におけるクォーター画素推定は、ハーフ画素推定による最適位置に従って第1のパーティション内で完成され、第1のパーティションは最小レート歪みコストに対応する位置が属するパーティションであるので、クォーター画素推定では、全てのエリア内でクォーター補間を行う必要がなく、全てのエリア内の各クォーター画素位置の最小レート歪みコストを計算する必要もなく、第1のパーティション内のクォーター画素位置に対して最小レート歪みコストを計算すればよいため、ビデオ圧縮性能を保証しながら、符号化速度を効果的に改善し、計算の複雑さを低下することができ、これにより、マシンの性能に対するビデオ圧縮リアルタイム符号化の要求が低減される。
本開示の実施例における技術的解決策をより明確に説明するために、実施例の説明で使用される図面を以下に簡単に説明する。以下の説明における図面は本開示の実施例のほんの一部に過ぎないことは明らかであり、当業者にとって、それらの図面から他の図面を得ることができる。
本開示の実施例によるビデオ画像の処理方法の概略ブロックフローチャートである。 本開示の実施例によるHEVC符号化フレームワークの概略構成図である。 本開示の実施例によるハーフ画素動き推定プロセスにおける中心点位置と周囲位置との関係の識別子概略図である。 本開示の実施例によるハーフ画素動き推定プロセスにおける計算点位置識別子概略図である。 本開示の実施例による中心点位置が最適位置である場合の4つのブロックのパーティション識別子概略図である。 本開示の実施例によるハーフ画素動き推定プロセスにおける最適位置が最初の4つの点位置である場合の補充点位置識別子概略図である。 本開示の実施例によるハーフ画素動き推定プロセスにおける最適位置が最初の4つの点位置ではない場合の補充点位置識別子概略図である。 本開示の実施例によるクォーター画素動き推定前の中心点位置と周囲位置との関係識別子概略図である。 本開示の実施例によるビデオ画像の処理装置の概略構成図である。 本開示の実施例による第1のサブ画素推定モジュールの概略構成図である。 本開示の実施例による別の第1のサブ画素推定モジュールの概略構成図である。 本開示の実施例による第1のパーティション取得モジュールの概略構成図である。 本開示の実施例による別の第1のパーティション取得モジュールの概略構成図である。 本開示の実施例による第2のサブ画素推定モジュールの概略構成図である。 本開示の実施例によるビデオ画像の処理方法がサーバーに適用される概略構成図である。
本開示の実施例は、ビデオ圧縮性能を保証しながら、符号化速度を改善し、計算の複雑さを低下するためのビデオ画像の処理方法及び装置を提供する。
以下、本開示の発明目的、特徴、利点をより明らかにし且つ容易に理解するために、本開示の実施例における添付の図面を参照しながら、本開示の実施例における技術的解決策を明確かつ完全に説明する。記載された実施例は本開示の実施例の一部にすぎず、全ての実施例ではないことは明らかである。本開示の実施例に基づいて当業者によって得られる他の全ての実施例は全て、本開示の保護範囲内に属する。
本開示の明細書、請求の範囲及び上記の図面における「含む」及び「有する」という用語及びそれらの任意変形は、一連のユニットを含むプロセス、方法、システム、製品又はデバイスが必ずしもそれらのユニットに限定されず、明示的にリストされていないか、又はそれらのプロセス、方法、製品又はデバイスに固有のその他のユニットを含むことができるように、非排他的な包含を網羅することを意図している。
以下、それぞれ詳細に説明する。
本開示の実施例によって提供されるビデオ画像の処理方法は、ビデオ処理装置に適用されてもよく、ビデオ処理装置は、ビデオ処理能力を有するCPU(中央処理装置)又はGPU(グラフィックプロセッサー)であってもよい。任意選択で、ビデオ処理装置は携帯電話、ノートブックコンピュータなどの端末を使用して実現してもよいし、サーバーを使用して実現してもよい。
本開示のビデオ画像の処理方法の一実施例は、具体的に、サブ画素高速動き推定と動き補償に適用できる。例えば、本開示の実施例によって提供されるHEVC符号化では、動き推定(Motion Estimation、ME)は、整数画素動き推定、ハーフ画素動き推定(Half Motion Estimation、HME)、及びクォーター画素動き推定(Quarter Motion Estimation、QME)という3つの構成要素を含むことができる。HME及びQMEでは、画像は整数画素精度であるため、圧縮率を上げるには、まず各画素を4倍に拡大してから、最適なマッチング位置を検索する必要があり、その中、HMEは2倍に拡大された画像が必要であり、QMEは4倍に拡大された画像が必要であり、これらのデータは全て存在しないため、まず、整数画素に従って補間を実行して、対応する位置の参照画素を取得する必要がある。本開示の実施例では、ハーフ画素動き推定とクォーター画素動き推定は互いに独立するものではなく、ハーフ画素動き推定に基づいて補間の範囲を縮小してから、クォーター画素推定を行う。これにより、符号化速度が改善され、計算の複雑さが低下される。図1を参照すると、本開示の一実施例によるビデオ画像の処理方法は、以下のステップを含むことができる。
101、符号化待ちビデオ画像からターゲット画像フレームを取得する。
本開示の実施例では、HEVC符号化フレームワークに基づいて、画像フレームに対する動き推定を完成することができる。まず、ターゲット画像フレームを抽出し、例えば、フレームキャッシュ(Frame Buffer)からターゲット画像フレームを読み取ってもよい。FrameBufferは1つの表示キャッシュであり、表示キャッシュに特定のフォーマットのデータを書き込むことは、スクリーンにコンテンツを出力することを意味する。フレームキャッシュは、システムメモリ(内部メモリ)の任意の位置であり得、ビデオコントローラーはフレームキャッシュへのアクセスによってスクリーンをリフレッシュする。フレームキャッシュにアドレスがあり、内部メモリにある。
102、ターゲット画像フレームに対して整数画素動き推定を行って、整数画素推定による最適位置を取得する。
本開示の実施例では、ターゲット画像フレームを抽出した後、当該ターゲット画像フレームに対して整数画素動き推定を行って、整数画素推定による最適位置を取得することができる。前記最適位置は複数の整数画素位置から選択されたレート歪みコスト(Rate Distortion Cost)の値が最小となる整数画素位置であり、整数画素推定のプロセスでは、各整数画素位置に対応するレート歪みコストを計算する必要があり、最小レート歪みコストに対応する整数画素位置は整数画素推定による最適位置である。
103、整数画素推定による最適位置に対してハーフ画素推定を行って、ハーフ画素推定による最適位置を取得する。
本開示の実施例では、上記ステップ102にて整数画素動き推定が完成した後、次に、ターゲットフレームにおける整数画素推定による最適位置に対してハーフ画素推定を行って、ハーフ画素推定による最適位置を取得する。前記最適位置は複数のハーフ画素位置から選択されたレート歪みコストの値が最小となるハーフ画素位置を示し、ハーフ画素推定のプロセスでは、各ハーフ画素位置に対応するレート歪みコストを計算する必要があり、最小レート歪みコストに対応するハーフ画素位置はハーフ画素推定による最適位置である。
本開示のいくつかの実施例では、ハーフ補間による計算量を減少するために、4つの位置点を選択してハーフ補間を行うことができる。具体的に、整数画素推定による最適位置に対してハーフ画素推定を行って、ハーフ画素推定による最適位置を取得するステップ103は、
整数画素推定による最適位置に隣接する4つのハーフ画素位置を取得し、4つのハーフ画素位置は整数画素推定による最適位置の真上、真下、左側、右側にある4つの画素位置であるステップA1と、
整数画素推定による最適位置と4つのハーフ画素位置から第1の最小レート歪みコストに対応する位置を取得するステップA2と、
第1の最小レート歪みコストに対応する位置が整数画素推定による最適位置である場合に、ハーフ画素推定による最適位置が整数画素推定による最適位置であることを確定するステップA3と、
を含む。
上述のステップA1からステップA3では、まず、整数画素推定による最適位置を中心点位置とするハーフ画素動き推定を例として使用する。その中、整数画素推定による最適位置の真上、真下、左側、右側で4つの画素位置を確定することができ、即ち、整数画素推定による最適位置に対して4つの周囲位置のハーフ補間を行った結果を取得し、当該補間結果を解析して、整数画素推定による最適位置に隣接する4つのハーフ画素位置を取得し、ハーフ補間とは、整数画素推定による最適位置に対して補間を実行することによってハーフ画素位置が得られるということである。ステップA2では、整数画素推定による最適位置と4つのハーフ画素位置という5つの画素位置のレート歪みコストを計算し、計算された5つのレート歪みコストから最小レート歪みコストに対応する位置を選択する必要がある。本開示の実施例では、レート歪みコストを計算する複数のプロセスがあるため、ステップA2の最小レート歪みコストを「第1の最小レート歪みコスト」として定義する。ステップA3では、第1の最小レート歪みコストに対応する位置が整数画素推定による最適位置である場合に、ステップA1で当該数画素推定による最適位置に対して補間を行って得られた4つのハーフ画素位置を取得したため、整数画素推定による最適位置に対するハーフ補間が既に完成し、当該ハーフ画素推定による最適位置は整数画素推定による最適位置である。
本開示の他のいくつかの実施例では、整数画素推定による最適位置に対してハーフ画素推定を行って、ハーフ画素推定による最適位置を取得するステップ103は、
整数画素推定による最適位置に隣接する4つのハーフ画素位置を取得し、4つのハーフ画素位置が整数画素推定による最適位置の真上、真下、左側、右側にある4つの画素位置であるステップA1と、
整数画素推定による最適位置と4つのハーフ画素位置から第1の最小レート歪みコストに対応する位置を取得するステップA2と、
第1の最小レート歪みコストに対応する位置が第1のハーフ画素位置である場合に、第1のハーフ画素位置に隣接する2つのハーフ画素位置を取得し、第1のハーフ画素位置に隣接する2つのハーフ画素位置が第1のハーフ画素位置と同じ軸方向に位置し、第1のハーフ画素位置が4つのハーフ画素位置のうちレート歪みコストが最小となるハーフ画素位置であるステップA4と、
第1のハーフ画素位置と当該第1のハーフ画素位置に隣接する2つのハーフ画素位置から、第2の最小レート歪みコストに対応する位置を取得するステップA5と、
第2の最小レート歪みコストに対応する位置が第1のハーフ画素位置である場合に、ハーフ画素推定による最適位置が第1のハーフ画素位置であることを確定するステップA6、又は、
第2の最小レート歪みコストに対応する位置が第3のハーフ画素位置である場合に、ハーフ画素推定による最適位置が第3のハーフ画素位置であることを確定し、第3のハーフ画素位置が第1のハーフ画素位置に隣接する2つのハーフ画素位置のうちレート歪みコストが最小となるハーフ画素位置であるステップA7と、
を含む。
上述のステップA1、A2、A4からステップA7で、整数画素推定による最適位置の真上、真下、左側、右側で4つの画素位置を確定することができ、即ち、整数画素推定による最適位置に対して4つの周囲位置のハーフ補間を行った結果を取得し、当該ハーフ補間結果を解析して、整数画素推定による最適位置に隣接する4つのハーフ画素位置を取得し、その中、ハーフ補間とは、整数画素推定による最適位置に対して補間を行って得られたハーフ画素位置である。ステップA2では、整数画素推定による最適位置と4つのハーフ画素位置という5つの画素位置のレート歪みコストを計算し、計算された5つのレート歪みコストから最小レート歪みコストに対応する位置を選択する必要がある。本開示の実施例では、レート歪みコストを計算する複数のプロセスがあるため、ステップA2の最小レート歪みコストを「第1の最小レート歪みコスト」として定義する。第1の最小レート歪みコストに対応する位置が整数画素推定による最適位置ではない場合に、ハーフ画素推定による最適位置を再検索するために、ステップA4からA7の実行をトリガーすることができる。
ステップA4では、4つのハーフ画素位置のうちレート歪みコストが最小となるハーフ画素位置を「第1のハーフ画素位置」として定義し、第1のハーフ画素位置に隣接する2つのハーフ画素位置を取得し、第1のハーフ画素位置に隣接する2つのハーフ画素位置は第1のハーフ画素位置と同じ軸方向にある。そのため、補間によって得られた2つのハーフ画素位置及び第1のハーフ画素位置は水平軸又は垂直軸の軸方向に位置することができ、即ち、補間によって得られた2つのハーフ画素位置は第1のハーフ画素位置の水平方向にあるか、又は、補間によって得られた2つのハーフ画素位置は第1のハーフ画素位置の垂直方向にある。ステップA4にてハーフ補間結果を取得した後、第1のハーフ画素位置、第1のハーフ画素位置に隣接する2つのハーフ画素位置という3つの画素位置のレート歪みコストを計算し、計算された3つのレート歪みコストから最小レート歪みコストに対応する位置を選択する必要がある。本開示の実施例では、レート歪みコストを計算する複数のプロセスがあるため、ステップA5の最小レート歪みコストを「第2の最小レート歪みコスト」として定義し、最小レート歪みコストに対応する位置によって、ステップA6又はA7が実行される。
104、ハーフ画素推定による最適位置の周囲エリアを4つのパーティションに分割する。
本開示の実施例では、上述のステップ103にてハーフ画素推定による最適位置を確定した後、ハーフ画素推定による最適位置の周囲エリアを、当該ハーフ画素推定による最適位置を中心点として、水平軸方向及び垂直軸方向に分割することで、ハーフ画素推定による最適位置の周囲エリアを4つのパーティションに分割することができ、前記ハーフ画素推定による最適位置の周囲エリアとは、ハーフ画素推定による最適位置を中心点とする上、下、左、右、左上、右上、左下、右下の合計8方向のクォーター画素位置である。上記から分かるように、ハーフ画素推定のプロセスではハーフ補間結果を取得することができるので、各パーティションにはそれぞれハーフ補間による1つのハーフ画素位置が含まれることができる。
本開示のいくつかの実施例では、上述のステップA1からステップA3を実行する実現シナリオでは、ハーフ画素推定による最適位置の周囲エリアを4つのパーティションに分割するステップ104は、
第1の最小レート歪みコストに対応する位置が整数画素推定による最適位置である場合に、整数画素推定による最適位置の周囲エリアを4つのパーティションに分割し、各パーティションが整数画素推定による最適位置、4つのハーフ画素位置のうち2つのハーフ画素位置によって分割されたエリアから得られるステップB1を含む。
その中、第1の最小レート歪みコストに対応する位置が整数画素推定による最適位置である場合に、ハーフ画素推定による最適位置が整数画素推定による最適位置であることを確定し、当該整数画素推定による最適位置の周りに、4つのパーティションを分割することができ、上述のステップA1ではハーフ補間結果を取得するときに4つのハーフ画素位置がそれぞれ補間によって得られ、これらの4つのハーフ画素位置のうち2つのハーフ画素位置は第1の中心点エリアと1つのエリアを分割でき、分割されたエリアは一つの独立のパーティションとして定義できる。
本開示のいくつかの実施例では、上述のステップA1、A2、A4からステップA6を実行する実現シナリオでは、ハーフ画素推定による最適位置の周囲エリアを4つのパーティションに分割するステップ104は、
第2の最小レート歪みコストに対応する位置が第1のハーフ画素位置である場合に、第1のハーフ画素位置に隣接する第2のハーフ画素位置を取得し、第2のハーフ画素位置が第1のハーフ画素位置の真上、真下、左側、右側にある4つの画素位置のうちハーフ補間されていない画素位置であるステップC1と、
第1のハーフ画素位置の周囲エリアを4つのパーティションに分割し、各パーティションは第1のハーフ画素位置と整数画素推定による最適位置、前記第1のハーフ画素位置に隣接する2つのハーフ画素位置、第2のハーフ画素位置によって分割されたエリアから得られるステップC2と、
を含む。
その中、第2の最小レート歪みコストに対応する位置が第1のハーフ画素位置である場合に、ハーフ画素推定による最適位置が第1のハーフ画素位置であることを確定し、当該第1のハーフ画素位置の周りの真上、真下、左側、右側の4つの画素位置のうち3つの画素位置のみの補間が完成し、この場合に、第1のハーフ画素位置に隣接する第2のハーフ画素位置を取得する必要がある。次に、第1のハーフ画素位置の周囲エリアを4つのパーティションに分割し、上述のステップA4、上述のステップC1でハーフ補間結果を取得するときに、整数画素推定による最適位置、第1のハーフ画素位置に隣接する2つのハーフ画素位置、第2のハーフ画素位置という4つのハーフ画素位置が補間によって得られる。これらの4つのハーフ画素位置のうち2つのハーフ画素位置と第1の中心点エリアによって、1つのエリアが分割され、分割されたエリアは一つの独立のパーティションとして定義できる。
本開示のいくつかの実施例では、上記のステップA1、A2、A4、ステップA5及びステップA7を実行する実現シナリオでは、ハーフ画素推定による最適位置の周囲エリアを4つのパーティションに分割するステップ104は、
第2の最小レート歪みコストに対応する位置が第3のハーフ画素位置である場合に、第3のハーフ画素位置に隣接する2つの第4のハーフ画素位置を取得し、2つの第4のハーフ画素が第3のハーフ画素位置の真上、真下、左側、右側にある4つの画素位置のうち補間されていない画素位置であるステップD1と、
第3のハーフ画素位置の周囲エリアを4つのパーティションに分割し、各パーティションは前記第3のハーフ画素位置と前記4つのハーフ画素位置のうち前記第3のハーフ画素位置に隣接する2つの画素位置と前記2つの第4のハーフ画素位置とによって分割されたエリアから得られるステップD2と、
を含む。
その中、第1のハーフ画素位置に隣接する2つのハーフ画素位置のうちレート歪みコストが最小となるハーフ画素位置を「第3のハーフ画素位置」として定義し、第2の最小レート歪みコストに対応する位置が第3のハーフ画素位置である場合に、当該第3のハーフ画素位置の周りの真上、真下、左側、右側の4つの画素位置のうち、2つの画素位置のみの補間が完成し、この場合、第3のハーフ画素位置に隣接する2つの第4のハーフ画素位置を取得する必要がある。次に、第3のハーフ画素位置の周囲エリアを4つのパーティションに分割し、上述のステップA4、上述のステップD1でハーフ補間結果を取得するときに、4つのハーフ画素位置のうち第3のハーフ画素位置に隣接する2つの画素位置、2つの第4のハーフ画素位置という4つのハーフ画素位置がそれぞれ補間によって得られる。これらの4つのハーフ画素位置のうち2つのハーフ画素位置と第1の中心点エリアによって、1つのエリアが分割され、分割されたエリアは一つの独立のパーティションとして定義できる。
105、ハーフ画素推定による最適位置に隣接する4つのハーフ画素位置にそれぞれ対応するレート歪みコストに従って、4つのパーティションからクォーター画素推定に使用される第1のパーティションを確定する。
本開示の実施例では、上記のステップ104にてハーフ画素推定による最適位置の周囲エリアを4つのパーティションに分割し、各パーティションにはそれぞれクォーター補間による2つのクォーター画素位置が含まれ、4つのパーティションのそれぞれには2つのクォーター画素位置がある。当該4つのパーティションにおける各ハーフ画素位置に対して、レート歪みコストをそれぞれ計算して、4つのレート歪みコストから最小レート歪みコストを選択することができ、当該最小レート歪みコストに対応する位置が属するパーティションは第1のパーティションである。本開示の実施例では、ハーフ画素動き推定で、周囲の4つの画素のコストに従って、クォーター画素動き推定を確定する際、第1のパーティションの位置点のみに対して補間を行えばよく、クォーター画素動き推定の補間範囲が大幅に縮小されるので、符号化速度を改善し、計算の複雑さを低下することができる。
本開示のいくつかの実施例では、ハーフ画素推定による最適位置に隣接する4つのハーフ画素位置にそれぞれ対応するレート歪みコストに従って、4つのパーティションからクォーター画素推定に使用される第1のパーティションを確定するステップ105は、
ハーフ画素推定による最適位置の真上、真下、左側、右側の4つのハーフ画素位置を、ハーフ画素推定による最適位置に隣接する4つのハーフ画素位置として確定することと、
ハーフ画素推定による最適位置に隣接する4つのハーフ画素位置に対応するレート歪みコストをそれぞれ計算することと、
真上のハーフ画素位置に対応するレート歪みコストと真下のハーフ画素位置に対応するレート歪みコストとの間の数値関係、左側のハーフ画素位置に対応するレート歪みコストと右側的ハーフ画素位置に対応するレート歪みコストとの間の数値関係に従って、第1のパーティションを確定することと、
を含む。
例えば、ハーフ画素推定による最適位置の周囲エリアが右上エリア、左上エリア、右下エリア、左下エリアに分割され、真上のハーフ画素位置と真下のハーフ画素位置にそれぞれ対応するレート歪みコストの数値を比較し、左側のハーフ画素位置と右側のハーフ画素位置にそれぞれ対応するレート歪みコストの数値を比較する。真上のハーフ画素位置に対応するレート歪みコストが真下のハーフ画素位置に対応するレート歪みコスト以下であり、且つ、左側のハーフ画素位置に対応するレート歪みコストが右側のハーフ画素位置に対応するレート歪みコスト以下である場合に、第1のパーティションが左上エリアであることを確定する。真上のハーフ画素位置に対応するレート歪みコストが真下のハーフ画素位置に対応するレート歪みコスト以下であり、且つ、左側のハーフ画素位置に対応するレート歪みコストが右側のハーフ画素位置に対応するレート歪みコストよりも大きい場合に、第1のパーティションが右上エリアであることを確定する。真上のハーフ画素位置に対応するレート歪みコストが真下のハーフ画素位置に対応するレート歪みコストよりも大きく、且つ、左側のハーフ画素位置に対応するレート歪みコストが右側のハーフ画素位置に対応するレート歪みコスト以下である場合に、第1のパーティションが左下エリアであることを確定する。真上のハーフ画素位置に対応するレート歪みコストが真下のハーフ画素位置に対応するレート歪みコストよりも大きく、且つ、左側のハーフ画素位置に対応するレート歪みコストが右側のハーフ画素位置に対応するレート歪みコストよりも大きい場合、第1のパーティションが右下エリアであることを確定する。
106、ハーフ画素推定による最適位置に従って第1のパーティション内でクォーター画素推定を行って、クォーター画素推定による最適位置を取得する。
本開示の実施例では、上記のステップにてハーフ画素推定による最適位置及び最小レート歪みコストに対応する位置が属する第1のパーティションを算出するため、HEVC符号化でQMEを行う場合、第1のパーティション内のみで行えばよく、全てのエリア位置でQMEを行う必要がない。そのため、クォーター画素動き推定の補間範囲が大幅に縮小されるので、符号化速度を改善し、計算の複雑さを低下することができる。
本開示のいくつかの実施例では、ハーフ画素推定による最適位置に従って第1のパーティション内でクォーター画素推定を行って、クォーター画素推定による最適位置を取得するステップ106は、
ハーフ画素推定による最適位置に従って第1のパーティション内で3つの周囲位置のクォーター補間を行って、ハーフ画素推定による最適位置に隣接する3つのクォーター画素位置を取得し、3つのクォーター画素位置が第1のパーティション内にあるステップE1と、
ハーフ画素推定による最適位置と3つのクォーター画素位置から第3の最小レート歪みコストに対応する位置を取得するステップE2と、
第3の最小レート歪みコストに対応する位置がクォーター画素推定による最適位置であることを確定するステップE3と、
を含む。
ここで、上述のステップE1からステップE3の実現シナリオでは、第1のパーティション内のみで3つの周囲位置のクォーター補間を行って、ハーフ画素推定による最適位置に隣接する3つのクォーター画素位置を取得すればよく、3つのクォーター画素位置が第1のパーティション内にあり、ステップE1ではクォーター補間を完成した後、ハーフ画素推定による最適位置、3つのクォーター画素位置という4つの画素位置のレート歪みコストを計算して、計算された4つのレート歪みコストから最小レート歪みコストに対応する位置を選択する必要がある。本開示の実施例ではレート歪みコストを計算する複数のプロセスがあるため、ステップE2の最小レート歪みコストを「第3の最小レート歪みコスト」として定義し、最後に、第3の最小レート歪みコストに対応する位置をクォーター画素推定による最適位置とすることができる。
107、クォーター画素推定による最適位置を動き推定結果として、動き補償を行う。
本開示の実施例では、上述のステップ106にてクォーター画素推定による最適位置を取得した後、当該クォーター画素推定による最適位置に基づいて動き補償を行うことができ、動き補償の方法は従来技術を参照することができ、ここで説明しない。動き補償が完成した後、予測符号化を行うことができ、主に、ビデオの空間相関及び時間相関を利用して、フレーム内予測及びフレーム間予測をそれぞれ採用して時空間ドメイン冗長情報を除去し、これにより、予測画像ブロックを取得する。その後、予測残差ブロックを取得するために、予測画像ブロックとオリジナル画像ブロックの差分をとり、次に、予測残差に対して離散コサイン変換(Discrete Cosine Transform、DCT)及び量子化を行って、量子化されたDCT係数を取得する。最後に、量子化されたDCT係数に対してエントロピー符号化を行って、圧縮コードストリームを取得する。
以上の実施例に基づく本開示の実施例の説明から分かるように、本開示の実施例ではクォーター画素推定はハーフ画素推定による最適位置に従って第1のパーティション内で完成し、第1のパーティションは最小レート歪みコストに対応する位置が属するパーティションであるため、クォーター画素推定では全てのエリアでクォーター補間を行う必要がなく、全てのエリアの各クォーター画素位置の最小レート歪みコストを計算する必要もなく、第1のパーティション内のクォーター画素位置のみに対して最小レート歪みコストを計算すればよいので、ビデオ圧縮性能を保証しながら、符号化速度を効果的に改善し、計算の複雑さを低下することができ、それにより、マシンの性能に対するビデオ圧縮リアルタイム符号化の要求が低減される。
図2に示すように、本開示の実施例によるHEVC符号化フレームワークの概略構成図である。まず、HEVCの符号化プロセスについて詳細に説明し、1フレーム画像がフレームキャッシュから読み取られた後、エンコーダに伝送され、フレーム内又はフレーム間予測が行われ、予測値が取得され、その中、フレーム内予測とは、周囲画素を参照して補間によって予測画素を取得することであり、参照するのが空間領域の情報であり、フレーム間予測とは、参照フレームからターゲットブロックに最もマッチングする位置を検索することである、参照するのが時間領域の情報であり、フレーム間予測は、動き推定 (Motion Estimation、ME)及び動き補償(Motion Compensation、MC)を含むことができる。予測値が取得された後、予測値と入力データに対して減算して、残差を取得し、その後、離散コサイン変換(Discrete Cosine Transform、DCT)変化及び量子化を行って、残差係数を取得し、その後、当該残差係数をエントロピー符号化モジュールに伝送し、コードストリームが出力され、同時に、残差係数に対して逆量子化及び逆変換を行った後、再構成画像の残差値が取得され、それとフレーム内又はフレーム間の予測値を加算して、再構成画像を取得し、再構成画像は、ループ内フィルタリングが行われた後、参照フレームキューに入り、次のフレームの参照画像となり、これにより、1フレームごとに後に符号化される。その中、ループ内フィルタリングは、デブロッキングフィルター(Deblocking Filter、DBF)及びサンプルアダプティブオフセット(Sample Adaptive Offset、SAO)を含むことができる。
HEVC符号化では、分割がより細かくなり、方向がより多くなるため、計算量は非常に大きく、高い圧縮性能を実現するには、エンコーダ全体を最適化する必要があり、一般的に、フレーム間予測とフレーム間部分のエントロピー符号化は、合計計算量の約90%を占め、フレーム内予測とフレーム内部分のエントロピー符号化は8%を占め、SAOとDBは合計1%未満を占める。その中で、ME部分は合計計算量の30%〜40%を占め、他の部分の最適化に伴って、割合も増加していく。
MEは、整数画素動き推定、ハーフ画素動き推定(Half Motion Estimation、HME)、クォーター画素動き推定(Quarter Motion Estimation、QME)という3つの部分を含む。
本開示の実施例では、動き推定点の数を減らしながら、圧縮性能を低下させない解決策が提案され、符号化速度を改善し、計算の複雑さを低下することができ、これにより、マシンに対するビデオ圧縮リアルタイム符号化の要求が低減される。
本開示の実施例では、エンコーダアーキテクチャ調整、HME最適化、QHE最適化の3つの部分を含む。まず、サブ画素動き推定に必要な補間部分は、ターゲットブロック再構成データがDB及びSAOによって処理された直後に行われるように配置され、ハーフ画素の全ての位置に対応する参照画素、及びクォーターの水平方向の2つの位置の参照画素が補間によって得られ、その後、フレーム間予測ハーフ画素推定を行うときに、mvに応じて値を直接取り、クォーター画素動き推定を行うときに、mvの状況に応じて補間を行うかどうかを確定し、繰り返しの補間を回避する。同時に、ハーフ画素動き推定を行うときに、周囲の4つの画素のコストに従って、クォーター画素動き推定を行うときにどのエリアの位置点を処理する必要があるかを確定し、最終に、クォーター画素推定を行うときに、3点だけで、元の8点の圧縮性能を達成する。また、ハーフ画素動き推定中に、完全な点補充策略が設計され、最初に4つの点を処理し、次に、終了するかどうかを確定するか、又は、他の位置点を補充する。
図2に示すエンコーダアーキテクチャでは、フレーム全体の全てのコーディングツリーユニット(coding tree unit、 CTU)の符号化が完成した後、フレーム全体のDBを処理し、その後、フレーム全体のSAOを行い、最後に、参照フレームキューに入り、サブ画素動き推定の場合に、参照画素が存在せず、mv座標に従って補間を行い、つまり、プラグアンドプレイであり、必要な位置があれば補間によって当該位置が得られ、その後、計算及び比較によって最適なmv位置が得られる。
本開示の実施例では、補間部分はSAOの後に処理され、以下の調整が行われる。1つのCTUが符号化された後、DB及びSAOがすぐに行われ、その後、補間によってハーフ画素位置の全ての参照画素が得られ、CTUブロックごとにそれぞれ補間を行い、各位置はそれぞれ1つの画像バッファに対応し、使用する場合、mvのハーフ画素位置に従って、対応する画像バッファを選択して、相応的な位置に移行し、同時に、クォーター画素の水平方向の2つの面が補間によって得られ、mvのクォーター画素位置は既に補間が行われた水平方向の位置ではない場合、補間を行う。
次に、本開示の実施例のHMEの最適化プロセスについて説明し、図3aに示すように、中心点及び周囲の8つの点位置は、具体的に、実線で表される整数画素位置、ドットで形成される破線で表されるハーフ画素位置、短線で形成される破線で表されるクォーター画素位置という3種類の画素位置を含むことができる。
ハーフ画素推定は事前に補間が行われ、使用する場合に、mvの対応する座標に従って選択する。その後、costに従って最適なmvの位置を判定する。例えば、Rate Distortioncost(レート歪みコスト)を使用して、複数のオプションから最適なものを選択することができ、対応する値はcostと呼ばれる。最小costに対応するmvは最適なmvであり、ここで、costは次の式で得られ、
cost=satd+lamda*bit、
bitは(mv-mvp)に対応するbitsを表す。
なお、SATDとは、Sum of Absolute Transformed Differenceであり、hadamard変換後の絶対値の合計は、歪みを計算する方法であり、残差信号に対してhadamard変換を行った後、各要素の絶対値の合計を求める方法であり、SADと比較して、高い計算量精度を持っている。Lamdaはラグランジュ定数であり、mvpは動きベクトル予測を表し、この値はプロトコルに従って推測する必要があり、実際の符号化では、符号化されたmvd、即ち、mvd=mv-mvpであり、このように、コードを節約することができる。
ハーフ画素動き推定には主に以下のプロセスが含まれる。
ステップ1:図3bの円の位置に示すように、中心点及び上下左右の4つの位置、即ち、位置0、1、2、3、4のcostを計算する。
cost値の比較によって、最小cost値及びそれに対応する位置を検索する。
ステップ2:最小costが中心位置、即ち、0点にある場合、HMEを終了し、位置1と2に対応するcostの大きさ、及び3と4位置のcost値の大きさを比較し、次の表に従って、表1に示すように、中心点を座標原点とし、座標点5、6、7、8で囲まれたエリアを4つのパーティションに分割する。

Figure 2020520194
図3cに示すように、図のZ0、Z1、Z2、Z3の4つのパーティションに対応し、パーティションによって、クォーター画素動き推定の3つの点を指示することができる。確率から、これらの3つの点のみを計算することによって、全ての点の計算を達成することができる。このようにして、クォーター画素動き推定点の数が減少され、符号化速度が改善される。
最小costの位置が中心点ではない場合、ステップ3に進む。
ステップ3:まず、ターゲット最適位置(即ち、各位置が計算された後、得られた最小costに対応する位置)に従って、2つの点を補充し、以下に示す規則に従って点を補充し、図3dで三角形がある位置に示すように、
最小cost位置が1位置である場合、5、6点をさらに補充する必要があり、
最小cost位置が2位置である場合、7、8点をさらに補充する必要があり、
最小cost位置が3位置である場合、5、7点をさらに補充する必要があり、
最小cost位置が4位置である場合、6、8点をさらに補充する必要がある。
なお、本開示の実施例では、最小cost位置があるハーフ画素位置で、ターゲット位置の左、右、上、下の行われていない位置を再選択し、行われていない位置を補充する。例えば1位置である場合に、位置5、6、n1を補充する必要があり、5又は6は最適であり得、n1位置は必ずしも行われるのではなく、5と6を計算する必要があり、1位置が依然として最適である場合、n1位置をさらに補充し、さもなければ、ステップ5に従って点を補充する。
その後、補充された点のcost値を最小cost点と比較する。これは、最適位置を検索するためであり、最小costに対応する位置が変更されないと、ステップ4に従って1つの点をさらに補充し、比較を行い、さもなければ、新しい最小cost位置を中心として、ステップ5に従って2点をさらに補充する。
ステップ4:まず、図3dに示す位置に従って1つの点を補充し、図3dに示すように、即ち、
最小cost位置が1位置である場合、n1点をさらに補充する必要があり、
最小cost位置が2位置である場合、n2点をさらに補充する必要があり、
最小cost位置が3位置である場合、n3点をさらに補充する必要があり、
最小cost位置が4位置である場合、n4点をさらに補充する必要があり、
その中、ステップ4に従って点を補充する場合、最小cost位置が1又は2又は3又は4位置であり、これらの4つの位置は全てハーフ画素点位置である。
その後、最小costがある位置を中心として、ステップ2に従って、4つのパーティションのどのパーティションに属するかを判断する。
ステップ5:図3eに示す位置に従って、2点を補充する。
図3eでは、ハーフ動き推定による最適位置が最初の4つの点の位置ではない場合の補充点の位置識別子である。補充点の目的は、ターゲット最適位置の上、下、左、右の4つの位置の全てを計算して、どのパーティションに属するかを判断し、クォーター画素動き推定を指導するための準備を行うことであり、具体的に、どの点が補充されるかは、どの点が欠落するかにより決定される。例えば、ターゲット最適位置が7であり、位置7の上及び右で既に計算されているが、左及び下で計算されていないので、p4及びp5点を補充する。
最小cost位置が5位置である場合、p0、p1点をさらに補充する必要があり、対応する座標が(-4,-2)、(-2,-4)であり、
最小cost位置が6位置である場合、p2、p3点をさらに補充する必要があり、対応する座標は(2,-4)、(4,-2)であり、
最小cost位置が7位置である場合、p4、p5点をさらに補充する必要があり、対応する座標は(-4,2)、(-2,4)であり、
最小cost位置が8位置である場合、p6、p7点をさらに補充する必要があり、対応する座標は(2,4)、(4,2)であり、
ここで、上記の座標は、整数画素動き推定による最適位置に対するものであり、ハーフ動き推定の原点でもあり、この原点から、上又は左はマイナスであり、下又は右はプラスである。
その後、最小costがある位置を中心として、ステップ2に従って、4つのパーティションのどのパーティションに属するかを判断する。
上記のステップ1からステップ5で説明したループ全体によって、全てのハーフ画素動き推定の可能性を実現することができる。
次に、QMEの最適化を行う。ハーフ画素推定による最適位置で、図3fの星がある位置に示すように、周囲の8つのクォーター画素の位置を確定し、円はハーフ画素動き推定による最適位置を表す。
ハーフ画素推定による最適位置が中心点であることを例として、HMEで得られた、属するパーティションの識別子を組み合わせることにより、各パーティションに対応して、クォーター画素動き推定は3つの点だけ行い、即ち、ハーフ画素を行うときに、クォーター画素動き推定の最適結果がどのエリアに属するかということは事前に判断されるため、補充点のパーティションを実現することができる。
第0パーティション、即ち、z0である場合、q5、q3、q1位置で行われ、
第1パーティション、即ち、z1である場合、q6、q1、q4位置で行われ、
第2パーティション、即ち、z2である場合、q7、q3、q2位置で行われ、
第3パーティション、即ち、z3である場合、q8、q2、q4位置で行われ、
その後、比較を行って、最小costに対応するmv及びcostは最適なmv及び最適なコストであり、QMEは終了する。
本開示の実施例では、フレーム間予測が行われるときに、このmvによって、参照フレームに対応する位置から画素を読み取り、その後、補間が必要になるクォーター画素が存在する場合、残差などを計算し、最終的に、コードストリームに書き込む。デコーダーもデコードしてこのmvを取得し、その後、同じ方法で画素を読み取り、補間が必要になる可能性があり、その後、残差データを加算して再構成画像を取得する。
本開示の実施例では、繰り返しの補間を回避するために、補間するときに、多くの画素は重複する。例えば、ハーフ画素のうち5及び6の位置は、1列のデータのみ異なり、他の部分は同じである。補間とは、ターゲット予測ブロックのサイズのデータが補間によって得られることであり、ブロックが大きいほど、重複が多くなる。また、クォーター画素補間は、ハーフ画素に基づいて補間が行われる。プラグアンドプレイ方式は、位置が確定されていないため、毎回新たに補間が行われ、まず、ハーフ画素が補間によって得られ、次に、クォーター画素が補間によって得られる。本開示の実施例では、補間は各位置で一回だけ行われ、繰り返されない。クォーター補間は既存のハーフ画素に基づいて行われ、2つの位置で既に行われている。クォーター補間は少ない点で行われるため、その場で補間できる。
上記の例示によれば、最適化の前に、ハーフ画素及びクォーター画素動き推定の両方は8つの点が行われ、その場の補間が使用され、その後、動き探索が実行される。本開示の実施例によって提供される解決策について、ハーフ画素動き推定では、35%の確率で4つの点が行われ、40%の確率で7つの点が行われ、25%の確率で8つの点が行われ、その中、8つの点の元の方法で統計された最適位置を使用して、4つの点、7つの点、8つの点に落ちる確率を計算する場合に、4つの点は、HMEのステップ1が実行された後終了することを意味し、7つの点は、最適位置が1又は2又は3又は4位置である場合、3つの点を補充する必要があることを意味し、8つの点は、ステップ5が実行されることを意味し、当該部分の計算では22.5%の計算量節約できる。クォーター画素動き推定では、3つの点のみが行われ、当該部分の計算では62.5%の計算量節約でき、また、アーキテクチャの調整により、繰り返しの補間が回避され、全体的な符号化の速度は32.2%アップし、圧縮性能指標(bitrate distortion-rate、bd-rate)は0.24%しか低下しない。そのため、効果は顕著である。
本開示の実施例の上記の解決策のよりよい理解及び実施を容易にするために、以下、対応する適用シナリオを例示して具体的に説明する。
なお、前述の方法の実施例では、簡単な説明のために、それらは全て一連の動作の組み合わせとして表されている。しかしながら、当業者は、本開示が記載された動作の順序によって制限されないことを理解すべきである。なぜなら、本開示によれば、あるステップは、他の順序で又は同時に実行できるからである。さらに、当業者は、本明細書に記載された実施例は全て好ましい実施例であり、関与する動作及びモジュールは必ずしも本開示において必要ではないことも理解すべきである。
本開示の実施例の上記の解決策のよりよい実施を容易にするために、上記の解決策を実施するための関連する装置も以下に提供される。
図4aに示すように、本開示の実施例によるビデオ画像の処理装置400は、画像取得モジュール401、整数画素推定モジュール402、第1のサブ画素推定モジュール403、画像パーティションモジュール404、第1のパーティション取得モジュール405、第2のサブ画素推定モジュール406及び動き補償モジュール407を含むことができ、
画像取得モジュール401は、符号化待ちビデオ画像からターゲット画像フレームを取得し、
整数画素推定モジュール402は、ターゲット画像フレームに対して整数画素動き推定を行って、整数画素推定による最適位置を取得し、
第1のサブ画素推定モジュール403は、前記整数画素推定による最適位置に対してハーフ画素推定を行って、ハーフ画素推定による最適位置を取得し、
画像パーティションモジュール404は、前記ハーフ画素推定による最適位置の周囲エリアを4つのパーティションに分割し、
第1のパーティション取得モジュール405は、前記ハーフ画素推定による最適位置に隣接する4つのハーフ画素位置にそれぞれ対応するレート歪みコストに従って、前記4つのパーティションからクォーター画素推定に使用される第1のパーティションを確定し、
第2のサブ画素推定モジュール406は、ハーフ画素推定による最適位置に従って前記第1のパーティション内でクォーター画素推定を行って、クォーター画素推定による最適位置を取得し、
動き補償モジュール407は、前記クォーター画素推定による最適位置を動き推定結果として、動き補償を行う。
本開示のいくつかの実施例では、図4bに示すように、前記第1のサブ画素推定モジュール403は、
前記整数画素推定による最適位置に隣接する4つのハーフ画素位置を取得するための第1のハーフ画素取得モジュール4031であって、前記4つのハーフ画素位置が前記整数画素推定による最適位置の真上、真下、左側、右側にある4つの画素位置である第1のハーフ画素取得モジュール4031と、
前記整数画素推定による最適位置と前記4つのハーフ画素位置から第1の最小レート歪みコストに対応する位置を取得するための第1のコスト計算モジュール4032と、
前記第1の最小レート歪みコストに対応する位置が前記整数画素推定による最適位置である場合、前記ハーフ画素推定による最適位置が前記整数画素推定による最適位置であることを確定するための第1の最適位置確定モジュール4033と、
を含む。
さらに、本開示のいくつかの実施例では、前記第1のパーティション取得モジュール405は、具体的に、前記第1の最小レート歪みコストに対応する位置が前記整数画素推定による最適位置である場合に、前記整数画素推定による最適位置の周囲エリアを4つのパーティションに分割し、各パーティションにはそれぞれ前記4つのハーフ画素位置のうち1つのハーフ画素位置が含まれる。
本開示のいくつかの実施例では、図4cに示すように、前記第1のサブ画素推定モジュール403は、
整数画素推定による最適位置に隣接する4つのハーフ画素位置を取得するための第1のハーフ画素取得モジュール4031であって、前記4つのハーフ画素位置が前記整数画素推定による最適位置の真上、真下、左側、右側にある4つの画素位置である第1のハーフ画素取得モジュール4031と、
前記整数画素推定による最適位置と前記4つのハーフ画素位置から第1の最小レート歪みコストに対応する位置を取得するための第1のコスト計算モジュール4032と、
前記第1の最小レート歪みコストに対応する位置が第1のハーフ画素位置である場合に、前記第1のハーフ画素位置に隣接する2つのハーフ画素位置を取得するための第2のハーフ画素取得モジュール4034であって、前記第1のハーフ画素位置に隣接する2つのハーフ画素位置が前記第1のハーフ画素位置と同じ軸方向にあり、前記第1のハーフ画素位置が前記4つのハーフ画素位置のうちレート歪みコストが最小となるハーフ画素位置である第2のハーフ画素取得モジュール4034と、
前記第1のハーフ画素位置と前記第1のハーフ画素位置に隣接する2つのハーフ画素位置から、第2の最小レート歪みコストに対応する位置を取得するための第2のコスト計算モジュール4035と、
前記第2の最小レート歪みコストに対応する位置が前記第1のハーフ画素位置である場合に、前記ハーフ画素推定による最適位置が前記第1のハーフ画素位置であることを確定するか、又は、前記第2の最小レート歪みコストに対応する位置が第3のハーフ画素位置である場合、前記ハーフ画素推定による最適位置が前記第3のハーフ画素位置であることを確定するための第2の最適位置確定モジュール4036であって、前記第3のハーフ画素位置が前記第1のハーフ画素位置に隣接する2つのハーフ画素位置のうちレート歪みコストが最小となるハーフ画素位置である第2の最適位置確定モジュール4036と、
を含む。
さらに、本開示のいくつかの実施例では、図4dに示すように、前記第1のパーティション取得モジュール405は、
前記第2の最小レート歪みコストに対応する位置が前記第1のハーフ画素位置である場合に、前記第1のハーフ画素位置に隣接する第2のハーフ画素位置を取得するための第3のハーフ画素取得モジュール4051であって、前記第2のハーフ画素位置が前記第1のハーフ画素位置の真上、真下、左側、右側にある4つの画素位置のうちハーフ補間されていない画素位置である第3のハーフ画素取得モジュール4051と、
前記第1のハーフ画素位置の周囲エリアを4つのパーティションに分割するための第1のエリア分割モジュール4052であって、各パーティション内には、前記整数画素推定による最適位置、前記第1のハーフ画素位置に隣接する2つのハーフ画素位置、前記第2のハーフ画素位置という4つの位置のうち1つが含まれる第1のエリア分割モジュール4052と、
を含む。
本開示のいくつかの実施例では、図4eに示すように、前記第1のパーティション取得モジュール405は、
前記第2の最小レート歪みコストに対応する位置が第3のハーフ画素位置である場合に、前記第3のハーフ画素位置に隣接する2つの第4のハーフ画素位置を取得するための第4のハーフ画素取得モジュール4053であって、前記2つの第4のハーフ画素が前記第3のハーフ画素位置の真上、真下、左側、右側にある4つの画素位置のうち補間されていない画素位置である第4のハーフ画素取得モジュール4053と、
前記第3のハーフ画素位置の周囲エリアを4つのパーティションに分割するための第2のエリア分割モジュール4054であって、各パーティション内には、前記4つのハーフ画素位置のうち前記第3のハーフ画素位置に隣接する2つの画素位置、前記2つの第4のハーフ画素位置という4つの位置のうち1つが含まれる第2のエリア分割モジュール4054と、
を含む。
本開示のいくつかの実施例では、図4fに示すように、前記第2のサブ画素推定モジュール406は、
前記ハーフ画素推定による最適位置に従って前記第1のパーティション内で3つの周囲位置のクォーター補間を行って、前記ハーフ画素推定による最適位置に隣接する3つのクォーター画素位置を取得するためのクォーター補間モジュール4061であって、前記3つのクォーター画素位置が前記第1のパーティション内にあるクォーター補間モジュール4061と、
前記ハーフ画素推定による最適位置と前記3つのクォーター画素位置から第3の最小レート歪みコストに対応する位置を取得するための第3のコスト計算モジュール4062と、
前記第3の最小レート歪みコストに対応する位置がクォーター画素推定による最適位置であることを確定するための第3の最適位置確定モジュール4063と、
を含む。
本開示の実施例の上記の説明から分かるように、本開示の実施例におけるクォーター画素推定は、ハーフ画素推定による最適位置に従って、第1のパーティション内で完成され、第1のパーティションは、最小レート歪みコストに対応する位置が属するパーティションであるので、クォーター画素推定では、全てのエリアでクォーター補間を行う必要はなく、全てのエリア内の各クォーター画素位置の最小レート歪みコストを計算する必要もなく、第1のパーティション内のクォーター画素位置に対して最小レート歪みコストを計算すればよい。そのため、ビデオ圧縮性能を保証しながら、符号化速度を効果的に改善し、計算の複雑さを低下することができ、これにより、マシンの性能に対するビデオ圧縮リアルタイム符号化の要求が低減される。
図5は、本開示の実施例によるサーバーの概略構成図であり、当該サーバー1100は、異なる配置又は性能によって大きく相違する可能性があり、1つまたは複数の中央処理装置(central processing units、CPU)1122(例えば、1つ以上のプロセッサー)と、メモリ1132と、アプリケーションプログラム1142又はデータ1144を記憶する1つまたは複数の記憶媒体1130(例えば1つまたは複数の大容量記憶装置)とを含むことができる。ここで、メモリ1132及び記憶媒体1130は、一時的記憶装置又は永続的記憶装置であり得る。記憶媒体1130に記憶されるプログラムは1つまたは複数のモジュール(図示せず)を含むことができ、各モジュールは、サーバーに対する一連の指令操作を含むことができる。さらに、中央処理装置1122は、記憶媒体1130と通信し、サーバー1100上で記憶媒体1130内の一連の指令操作を実行するように配置できる。
サーバー1100は1つまたは複数の電源1126、1つまたは複数の有線又は無線ネットワークインタフェース1150、1つまたは複数の入出力インタフェース1158、及び/又は、例えばWindows Server(登録商標)、Mac OS XTM、Unix(登録商標)、Linux(登録商標)、FreeBSD(登録商標)などの1つまたは複数のオペレーティングシステム1141を含むことができる。
上記の実施例においてサーバーによって実行されるビデオ画像の処理方法ステップは、当該図5に示されるサーバー構成に基づくことができる。
また、本開示の実施例は、上記の実施例による方法を実行するためのプログラムコードを記憶するための記憶媒体をさらに提供する。
本開示の実施例は、サーバーで実行されるときに上記の実施例による方法をサーバーに実行させる指令を含むコンピュータプログラム製品をさらに提供する。
また、上述した装置の実施例は単なる例示であり、別々の部分として説明したユニットは、物理的に分離されてもよく或いは分離されなくてもよく、ユニットとして表示される部分は、物理的なユニットでもよく或いは物理的なユニットでなくてもよく、1つの場所に位置してもよく、或いは複数のネットワークユニットに分散されてもよいことに留意すべきである。モジュールの一部又は全部は、実施例の解決策の目的を達成するために、実際のニーズに従って選択されてもよい。さらに、本開示によって提供される装置の実施例の添付図面において、モジュールの間の接続関係は、モジュールが互いに通信接続を有することを示し、これは、具体的には1つ以上の通信バス又は信号ケーブルとして実現されてもよい。当業者は、創造的取り組みなしに本開示の実施例を理解して実現し得る。
上記の実施例の説明に基づいて、当業者は、本開示が必要なユニバーサルハードウェアに加えてソフトウェアにより実現されてもよく、専用集積回路、専用CPU、専用メモリ、専用コンポーネントなどを含む専用ハードウェアのみにより実現されてもよいことを明確に理解し得る。一般的に、コンピュータプログラムにより実行可能な如何なる機能は、対応するハードウェアを使用することにより容易に実現可能である。さらに、同じ機能を達成するために使用される具体的なハードウェア構成は様々な形式、例えば、アナログ回路、デジタル回路、専用回路などの形式であってもよい。ただし、本開示について、ソフトウェアプログラムの実現がほとんどの場合によりよい実現方式である。このことに基づいて、本開示の技術的解決策又は従来の技術に貢献する部分は、ソフトウェアプロダクトの形式で実質的に具現できる。コンピュータソフトウェアプロダクトは、読み取り可能記憶媒体、例えば、コンピュータのフロッピーディスク、USBフラッシュドライブ、取り外し可能ハードディスク、読み取り専用メモリ(ROM、Read-Only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、磁気ディスク又は光ディスクに記憶され、1台のコンピュータデバイス(例えば、パーソナルコンピュータ、サーバー又はネットワークデバイス)に本開示の各実施例による方法を実行させるためのいくつかの指令を含む。
要約すると、上記の実施例は、単に本開示の技術的解決策を説明することを意図したものであり、本開示を限定することを意図したものではない。本開示について上記の実施例を参照して詳細に説明したが、当業者は、本開示の実施例の技術的解決策の精神及び範囲を逸脱することなく、依然として上記の実施例に記載の技術的解決策に修正を加えるか、又はその一部の技術的特徴を同等に置き換えることができることを理解すべきである。
400 ビデオ画像の処理装置
401 画像取得モジュール
402 整数画素推定モジュール
403 第1のサブ画素推定モジュール
404 画像パーティションモジュール
405 第1のパーティション取得モジュール
406 第2のサブ画素推定モジュール
407 動き補償モジュール
1100 サーバー
1122 中央処理装置
1126 電源
1130 記憶媒体
1132 メモリ
1141 オペレーティングシステム
1142 アプリケーションプログラム
1144 データ
1150 有線又は無線ネットワークインタフェース
1158 入出力インタフェース
4031 第1のハーフ画素取得モジュール
4032 第1のコスト計算モジュール
4033 第1の最適位置確定モジュール
4034 第2のハーフ画素取得モジュール
4035 第2のコスト計算モジュール
4036 第2の最適位置確定モジュール
4051 第3のハーフ画素取得モジュール
4052 第1のエリア分割モジュール
4053 第4のハーフ画素取得モジュール
4054 第2のエリア分割モジュール
4061 クォーター補間モジュール
4062 第3のコスト計算モジュール
4063 第3の最適位置確定モジュール

Claims (19)

  1. ビデオ処理装置に適用されるビデオ画像の処理方法であって、
    符号化待ちビデオ画像からターゲット画像フレームを取得することと、
    前記ターゲット画像フレームに対して整数画素動き推定を行って、整数画素推定による最適位置を取得することと、
    前記整数画素推定による最適位置に対してハーフ画素推定を行って、ハーフ画素推定による最適位置を取得することと、
    前記ハーフ画素推定による最適位置の周囲エリアを4つのパーティションに分割することと、
    前記ハーフ画素推定による最適位置に隣接する4つのハーフ画素位置にそれぞれ対応するレート歪みコストに従って、前記4つのパーティションからクォーター画素推定に使用される第1のパーティションを確定することと、
    ハーフ画素推定による最適位置に従って前記第1のパーティション内でクォーター画素推定を行って、クォーター画素推定による最適位置を取得することと、
    前記クォーター画素推定による最適位置を動き推定結果として、動き補償を行うことと、
    を含むことを特徴とする方法。
  2. 前記整数画素推定による最適位置に対してハーフ画素推定を行って、ハーフ画素推定による最適位置を取得することは、
    前記整数画素推定による最適位置に隣接する4つのハーフ画素位置を取得し、前記4つのハーフ画素位置が前記整数画素推定による最適位置の真上、真下、左側、右側にある4つの画素位置であることと、
    前記整数画素推定による最適位置及び前記4つのハーフ画素位置から第1の最小レート歪みコストに対応する位置を取得することと、
    前記第1の最小レート歪みコストに対応する位置が前記整数画素推定による最適位置である場合に、前記ハーフ画素推定による最適位置が前記整数画素推定による最適位置であることを確定することと、
    を含むことを特徴とする請求項1に記載の方法。
  3. 前記ハーフ画素推定による最適位置の周囲エリアを4つのパーティションに分割することは、
    前記第1の最小レート歪みコストに対応する位置が前記整数画素推定による最適位置である場合、前記整数画素推定による最適位置の周囲エリアを4つのパーティションに分割し、各パーティションが、前記整数画素推定による最適位置と前記4つのハーフ画素位置のうち2つのハーフ画素位置によって分割されたエリアから得られること、
    を含むことを特徴とする請求項2に記載の方法。
  4. 前記整数画素推定による最適位置に対してハーフ画素推定を行って、ハーフ画素推定による最適位置を取得することは、
    前記整数画素推定による最適位置に隣接する4つのハーフ画素位置を取得し、前記4つのハーフ画素位置が前記整数画素推定による最適位置の真上、真下、左側、右側にある4つの画素位置であることと、
    前記整数画素推定による最適位置及び前記4つのハーフ画素位置から第1の最小レート歪みコストに対応する位置を取得することと、
    前記第1の最小レート歪みコストに対応する位置が第1のハーフ画素位置である場合に、前記第1のハーフ画素位置に隣接する2つのハーフ画素位置を取得し、前記第1のハーフ画素位置に隣接する2つのハーフ画素位置が前記第1のハーフ画素位置と同じ軸方向にあり、前記第1のハーフ画素位置が前記4つのハーフ画素位置のうちレート歪みコストが最小となるハーフ画素位置であることと、
    前記第1のハーフ画素位置と、前記第1のハーフ画素位置に隣接する2つのハーフ画素位置から、第2の最小レート歪みコストに対応する位置を取得することと、
    前記第2の最小レート歪みコストに対応する位置が前記第1のハーフ画素位置である場合に、前記ハーフ画素推定による最適位置が前記第1のハーフ画素位置であることを確定することと、
    を含むことを特徴とする請求項1に記載の方法。
  5. 前記整数画素推定による最適位置に対してハーフ画素推定を行って、ハーフ画素推定による最適位置を取得することは、
    前記整数画素推定による最適位置に隣接する4つのハーフ画素位置を取得し、前記4つのハーフ画素位置が前記整数画素推定による最適位置の真上、真下、左側、右側にある4つの画素位置であることと、
    前記整数画素推定による最適位置と前記4つのハーフ画素位置から第1の最小レート歪みコストに対応する位置を取得することと、
    前記第1の最小レート歪みコストに対応する位置が第1のハーフ画素位置である場合に、前記第1のハーフ画素位置に隣接する2つのハーフ画素位置を取得し、前記第1のハーフ画素位置に隣接する2つのハーフ画素位置が前記第1のハーフ画素位置と同じ軸方向にあり、前記第1のハーフ画素位置が前記4つのハーフ画素位置のうちレート歪みコストが最小となるハーフ画素位置であることと、
    前記第1のハーフ画素位置と、前記第1のハーフ画素位置に隣接する2つのハーフ画素位置から、第2の最小レート歪みコストに対応する位置を取得することと、
    前記第2の最小レート歪みコストに対応する位置が第3のハーフ画素位置である場合、前記ハーフ画素推定による最適位置が前記第3のハーフ画素位置であると確定し、前記第3のハーフ画素位置が前記第1のハーフ画素位置に隣接する2つのハーフ画素位置のうちレート歪みコストが最小となるハーフ画素位置であることと、
    を含むことを特徴とする請求項1に記載の方法。
  6. 前記ハーフ画素推定による最適位置の周囲エリアを4つのパーティションに分割することは、
    前記第2の最小レート歪みコストに対応する位置が前記第1のハーフ画素位置である場合に、前記第1のハーフ画素位置に隣接する第2のハーフ画素位置を取得し、前記第2のハーフ画素位置が前記第1のハーフ画素位置の真上、真下、左側、右側にある4つの画素位置のうちハーフ補間されていない画素位置であることと、
    前記第1のハーフ画素位置の周囲エリアを4つのパーティションに分割し、各パーティションが前記第1のハーフ画素位置と、前記整数画素推定による最適位置と、前記第1のハーフ画素位置に隣接する2つのハーフ画素位置と、前記第2のハーフ画素位置とによって分割されたエリアから得られることと、
    を含むことを特徴とする請求項4に記載の方法。
  7. 前記ハーフ画素推定による最適位置の周囲エリアを4つのパーティションに分割することは、
    前記第2の最小レート歪みコストに対応する位置が第3のハーフ画素位置である場合に、前記第3のハーフ画素位置に隣接する2つの第4のハーフ画素位置を取得し、前記2つの第4のハーフ画素が前記第3のハーフ画素位置の真上、真下、左側、右側にある4つの画素位置のうち補間されていない画素位置であることと、
    前記第3のハーフ画素位置の周囲エリアを4つのパーティション分割し、各パーティションが、前記第3のハーフ画素位置と、前記4つのハーフ画素位置のうち前記第3のハーフ画素位置に隣接する2つの画素位置と、前記2つの第4のハーフ画素位置とによって分割されたエリアから得られることと、
    を含むことを特徴とする請求項5に記載の方法。
  8. 前記ハーフ画素推定による最適位置に従って前記第1のパーティション内でクォーター画素推定を行って、クォーター画素推定による最適位置を取得することは、
    前記ハーフ画素推定による最適位置に従って前記第1のパーティション内で3つの周囲位置のクォーター補間を行って、前記ハーフ画素推定による最適位置に隣接する3つのクォーター画素位置を取得し、前記3つのクォーター画素位置が前記第1のパーティション内にあることと、
    前記ハーフ画素推定による最適位置と前記3つのクォーター画素位置から第3の最小レート歪みコストに対応する位置を取得することと、
    前記第3の最小レート歪みコストに対応する位置がクォーター画素推定による最適位置であることを確定することと、
    を含むことを特徴とする請求項1から7のいずれか1項に記載の方法。
  9. ビデオ画像の処理装置であって、
    符号化待ちビデオ画像からターゲット画像フレームを取得するための画像取得モジュールと、
    ターゲット画像フレームに対して整数画素動き推定を行って、整数画素推定による最適位置を取得するための整数画素推定モジュールと、
    前記整数画素推定による最適位置に対してハーフ画素推定を行って、ハーフ画素推定による最適位置を取得するための第1のサブ画素推定モジュールと、
    前記ハーフ画素推定による最適位置の周囲エリアを4つのパーティションに分割するための画像パーティションモジュールであって、各パーティションにはそれぞれクォーター補間による2つのクォーター画素位置が含まれる画像パーティションモジュールと、
    前記4つのパーティションにおける各ハーフ画素位置から最小レート歪みコストに対応する位置を取得し、前記最小レート歪みコストに対応する位置が属するパーティションが第1のパーティションであることを確定するための第1のパーティション取得モジュールと、
    ハーフ画素推定による最適位置に従って前記第1のパーティション内でクォーター画素推定を行って、クォーター画素推定による最適位置を取得するための第2のサブ画素推定モジュールと、
    前記クォーター画素推定による最適位置を動き推定結果として、動き補償を行うための動き補償モジュールと、
    を含むことを特徴とする装置。
  10. 前記第1のサブ画素推定モジュールは、
    前記整数画素推定による最適位置に隣接する4つのハーフ画素位置を取得するための第1のハーフ画素取得モジュールであって、前記4つのハーフ画素位置が前記整数画素推定による最適位置の真上、真下、左側、右側にある4つの画素位置である第1のハーフ画素取得モジュールと、
    前記整数画素推定による最適位置と前記4つのハーフ画素位置から第1の最小レート歪みコストに対応する位置を取得するための第1のコスト計算モジュールと、
    前記第1の最小レート歪みコストに対応する位置が前記整数画素推定による最適位置である場合に、前記ハーフ画素推定による最適位置が前記整数画素推定による最適位置であることを確定するための第1の最適位置確定モジュールと、
    を含むことを特徴とする請求項9に記載の装置。
  11. 前記第1のパーティション取得モジュールは、さらに、前記第1の最小レート歪みコストに対応する位置が前記整数画素推定による最適位置である場合に、前記整数画素推定による最適位置の周囲エリアを4つのパーティションに分割し、各パーティションは前記整数画素推定による最適位置、前記4つのハーフ画素位置のうち2つのハーフ画素位置によって分割されたエリアから得られる、
    ことを特徴とする請求項10に記載の装置。
  12. 前記第1のサブ画素推定モジュールは、
    前記整数画素推定による最適位置に隣接する4つのハーフ画素位置を取得するための第1のハーフ画素取得モジュールであって、前記4つのハーフ画素位置が前記整数画素推定による最適位置の真上、真下、左側、右側にある4つの画素位置である第1のハーフ画素取得モジュールと、
    前記整数画素推定による最適位置と前記4つのハーフ画素位置から第1の最小レート歪みコストに対応する位置を取得するための第1のコスト計算モジュールと、
    前記第1の最小レート歪みコストに対応する位置が第1のハーフ画素位置である場合に、前記第1のハーフ画素位置に隣接する2つのハーフ画素位置を取得するための第2のハーフ画素取得モジュールであって、前記第1のハーフ画素位置に隣接する2つのハーフ画素位置が前記第1のハーフ画素位置と同じ軸方向にあり、前記第1のハーフ画素位置が前記4つのハーフ画素位置のうちレート歪みコストが最小となるハーフ画素位置である第2のハーフ画素取得モジュールと、
    前記第1のハーフ画素位置と前記第1のハーフ画素位置に隣接する2つのハーフ画素位置から、第2の最小レート歪みコストに対応する位置を取得するための第2のコスト計算モジュールと、
    前記第2の最小レート歪みコストに対応する位置が前記第1のハーフ画素位置である場合に、前記ハーフ画素推定による最適位置が前記第1のハーフ画素位置であることを確定するための第2の最適位置確定モジュールと、
    を含むことを特徴とする請求項9に記載の装置。
  13. 前記第1のサブ画素推定モジュールは、
    前記整数画素推定による最適位置に隣接する4つのハーフ画素位置を取得するための第1のハーフ画素取得モジュールであって、前記4つのハーフ画素位置が前記整数画素推定による最適位置の真上、真下、左側、右側にある4つの画素位置である第1のハーフ画素取得モジュールと、
    前記整数画素推定による最適位置と前記4つのハーフ画素位置から第1の最小レート歪みコストに対応する位置を取得するための第1のコスト計算モジュールと、
    前記第1の最小レート歪みコストに対応する位置が第1のハーフ画素位置である場合に、前記第1のハーフ画素位置に隣接する2つのハーフ画素位置を取得するための第2のハーフ画素取得モジュールであって、前記第1のハーフ画素位置に隣接する2つのハーフ画素位置が前記第1のハーフ画素位置と同じ軸方向にあり、前記第1のハーフ画素位置が前記4つのハーフ画素位置のうちレート歪みコストが最小となるハーフ画素位置である第2のハーフ画素取得モジュールと、
    前記第1のハーフ画素位置と前記第1のハーフ画素位置に隣接する2つのハーフ画素位置から、第2の最小レート歪みコストに対応する位置を取得するための第2のコスト計算モジュールと、
    前記第2の最小レート歪みコストに対応する位置が第3のハーフ画素位置である場合に、前記ハーフ画素推定による最適位置が前記第3のハーフ画素位置であることを確定するための第2の最適位置確定モジュールであって、前記第3のハーフ画素位置が前記第1のハーフ画素位置に隣接する2つのハーフ画素位置のうちレート歪みコストが最小となるハーフ画素位置である第2の最適位置確定モジュールと、
    を含むことを特徴とする請求項9に記載の装置。
  14. 前記第1のパーティション取得モジュールは、
    前記第2の最小レート歪みコストに対応する位置が前記第1のハーフ画素位置である場合に、前記第1のハーフ画素位置に隣接する第2のハーフ画素位置を取得するための第3のハーフ画素取得モジュールであって、前記第2のハーフ画素位置が前記第1のハーフ画素位置の真上、真下、左側、右側にある4つの画素位置のうちハーフ補間されていない画素位置である第3のハーフ画素取得モジュールと、
    前記第1のハーフ画素位置の周囲エリアを4つのパーティションに分割するための第1のエリア分割モジュールであって、各パーティションが前記第1のハーフ画素位置と、前記整数画素推定による最適位置と、前記第1のハーフ画素位置に隣接する2つのハーフ画素位置と、前記第2のハーフ画素位置とによって分割されたエリアから得られる第1のエリア分割モジュールと、
    を含むことを特徴とする請求項12に記載の装置。
  15. 前記第1のパーティション取得モジュールは、
    前記第2の最小レート歪みコストに対応する位置が第3のハーフ画素位置である場合に、前記第3のハーフ画素位置に隣接する2つの第4のハーフ画素位置を取得するための第4のハーフ画素取得モジュールであって、前記2つの第4のハーフ画素が前記第3のハーフ画素位置の真上、真下、左側、右側にある4つの画素位置のうち補間されていない画素位置である第4のハーフ画素取得モジュールと、
    前記第3のハーフ画素位置の周囲エリアを4つのパーティションに分割するための第2のエリア分割モジュールであって、各パーティションが、前記第3のハーフ画素位置と、前記4つのハーフ画素位置のうち前記第3のハーフ画素位置に隣接する2つの画素位置と、前記2つの第4のハーフ画素位置とによって分割されたエリアから得られる第2のエリア分割モジュールと、
    を含むことを特徴とする請求項12に記載の装置。
  16. 前記第2のサブ画素推定モジュールは、
    前記ハーフ画素推定による最適位置に従って前記第1のパーティション内で3つの周囲位置のクォーター補間を行って、前記ハーフ画素推定による最適位置に隣接する3つのクォーター画素位置を取得するためのクォーター補間モジュールであって、前記3つのクォーター画素位置が前記第1のパーティション内にあるクォーター補間モジュールと、
    前記ハーフ画素推定による最適位置と前記3つのクォーター画素位置から第3の最小レート歪みコストに対応する位置を取得するための第3のコスト計算モジュールと、
    前記第3の最小レート歪みコストに対応する位置がクォーター画素推定による最適位置であることを確定するための第3の最適位置確定モジュールと、
    を含むことを特徴とする請求項9から15のいずれか1項に記載の装置。
  17. プロセッサー、通信インタフェース、メモリ及び通信バスを含むビデオ処理装置であって、
    前記プロセッサー、前記通信インタフェース、及び前記メモリは前記通信バスを介して相互の通信を完成し、前記通信インタフェースは通信モジュールのインタフェースであり、
    前記メモリは、プログラムコードを記憶し、前記プログラムコードを前記プロセッサーに伝送し、
    前記プロセッサーは、メモリ内のプログラムコードの指令を呼び出して請求項1から8のいずれか1項に記載の方法を実行する、
    ことを特徴とするビデオ処理装置。
  18. 請求項1から8のいずれか1項に記載の方法を実行するためのプログラムコードを記憶するための記憶媒体。
  19. コンピュータで実行されるときに請求項1から8のいずれか1項に記載の方法を前記コンピュータに実行させる指令を含むコンピュータプログラム。
JP2019563038A 2017-10-31 2018-09-05 ビデオ画像の処理方法及び装置 Active JP6921461B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711050289.8 2017-10-31
CN201711050289.8A CN109729363B (zh) 2017-10-31 2017-10-31 一种视频图像的处理方法和装置
PCT/CN2018/104073 WO2019085636A1 (zh) 2017-10-31 2018-09-05 一种视频图像的处理方法和装置

Publications (2)

Publication Number Publication Date
JP2020520194A true JP2020520194A (ja) 2020-07-02
JP6921461B2 JP6921461B2 (ja) 2021-08-18

Family

ID=66294470

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019563038A Active JP6921461B2 (ja) 2017-10-31 2018-09-05 ビデオ画像の処理方法及び装置

Country Status (7)

Country Link
US (2) US10944985B2 (ja)
EP (1) EP3706420A4 (ja)
JP (1) JP6921461B2 (ja)
KR (1) KR102276264B1 (ja)
CN (1) CN109729363B (ja)
MA (1) MA50861A (ja)
WO (1) WO2019085636A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109729363B (zh) * 2017-10-31 2022-08-19 腾讯科技(深圳)有限公司 一种视频图像的处理方法和装置
CN112866719B (zh) * 2019-11-27 2022-09-23 北京博雅慧视智能技术研究院有限公司 一种针对avs2的快速分像素预测方法
WO2022246809A1 (zh) * 2021-05-28 2022-12-01 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757330B1 (en) * 2000-06-01 2004-06-29 Hewlett-Packard Development Company, L.P. Efficient implementation of half-pixel motion prediction
JP2006254349A (ja) 2005-03-14 2006-09-21 Toshiba Corp 動きベクトル検出方法、動きベクトル検出装置およびコンピュータ上で動きベクトル検出処理を実行するコンピュータプログラム
US20070217515A1 (en) 2006-03-15 2007-09-20 Yu-Jen Wang Method for determining a search pattern for motion estimation
CN101247523B (zh) * 2008-03-18 2010-09-08 上海华平信息技术股份有限公司 用于h.264编码器的半像素运动估计方法
JP4742325B2 (ja) * 2009-06-22 2011-08-10 カシオ計算機株式会社 動きベクトル検出装置、および、プログラム
CN102164283A (zh) * 2011-05-30 2011-08-24 江苏大学 一种基于avs的亚像素运动估计方法
CN104378642A (zh) * 2014-10-29 2015-02-25 南昌大学 一种基于cuda的h.264分数像素快速插值方法
US10462480B2 (en) * 2014-12-31 2019-10-29 Microsoft Technology Licensing, Llc Computationally efficient motion estimation
WO2017082443A1 (ko) * 2015-11-13 2017-05-18 엘지전자 주식회사 영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치
CN109729363B (zh) * 2017-10-31 2022-08-19 腾讯科技(深圳)有限公司 一种视频图像的处理方法和装置

Also Published As

Publication number Publication date
EP3706420A1 (en) 2020-09-09
KR20200002038A (ko) 2020-01-07
JP6921461B2 (ja) 2021-08-18
CN109729363A (zh) 2019-05-07
US20210235113A1 (en) 2021-07-29
CN109729363B (zh) 2022-08-19
US11589073B2 (en) 2023-02-21
EP3706420A4 (en) 2021-07-21
US20200053384A1 (en) 2020-02-13
WO2019085636A1 (zh) 2019-05-09
MA50861A (fr) 2020-09-09
KR102276264B1 (ko) 2021-07-12
US10944985B2 (en) 2021-03-09

Similar Documents

Publication Publication Date Title
JP7237874B2 (ja) イメージ予測方法および装置
US11770556B2 (en) Method and apparatus for processing intra prediction mode
KR102060184B1 (ko) 픽쳐 예측 방법 및 관련 장치
JP7463460B2 (ja) ビデオ復号方法およびビデオデコーダ
US11589073B2 (en) Method and device for processing video image
JP2010514300A (ja) ビデオ画像のブロックを復号化する方法
JP7346601B2 (ja) Mpmリストを構成する方法、クロマブロックのイントラ予測モードを取得する方法、および装置
CN116668679A (zh) 编解码设备、非暂态计算机可读存储介质和数据发送设备
KR102273670B1 (ko) 움직임 보상 정보를 수정하는 데이터 처리 시스템과 데이터 처리 방법
JP2024514294A (ja) マルチメディアデータ処理方法、装置、機器、コンピュータ可読記憶媒体及びコンピュータプログラム
CN108156460B (zh) 视频解码系统、视频解码方法和相应地计算机存储介质
CN110602493B (zh) 一种仿射运动补偿的交织预测的方法及设备
US10805611B2 (en) Method and apparatus of constrained sequence header
JP2022540982A (ja) 情報処理方法及び装置、設備、記憶媒体
US12003764B2 (en) Prediction method for current block and electronic device
US20220217399A1 (en) Prediction method for current block and electronic device
JP2010041235A (ja) 画像符号化装置及び復号装置
WO2021003671A1 (en) Resolution-adaptive video coding
WO2021046692A1 (en) Resolution-adaptive video coding with conditional interpolation filters
KR20230162988A (ko) 멀티미디어 데이터 프로세싱 방법 및 장치, 컴퓨터 디바이스, 및 컴퓨터-판독가능 저장 매체
KR20230140450A (ko) 디코딩 프로세스의 에너지 소비를 나타내는 정보를 시그널링하기 위한 메타데이터
WO2024030692A1 (en) Systems and methods of video decoding with improved buffer storage and bandwidth efficiency
CN115190302A (zh) 在视频解码装置中进行图像处理的方法、装置及系统
JP2012090031A (ja) 復号装置及び復号方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210721

R150 Certificate of patent or registration of utility model

Ref document number: 6921461

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150