JP2017505021A - 画像処理方法及び装置 - Google Patents

画像処理方法及び装置 Download PDF

Info

Publication number
JP2017505021A
JP2017505021A JP2016538630A JP2016538630A JP2017505021A JP 2017505021 A JP2017505021 A JP 2017505021A JP 2016538630 A JP2016538630 A JP 2016538630A JP 2016538630 A JP2016538630 A JP 2016538630A JP 2017505021 A JP2017505021 A JP 2017505021A
Authority
JP
Japan
Prior art keywords
motion information
reference image
image block
candidate
position range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016538630A
Other languages
English (en)
Inventor
▲ジン▼文 ▲ザン▼
▲ジン▼文 ▲ザン▼
四新 林
四新 林
思▲偉▼ ▲馬▼
思▲偉▼ ▲馬▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2017505021A publication Critical patent/JP2017505021A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

メモリ帯域幅の要件を低減することができる画像処理方法及び装置が提供される。本方法は、現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得するステップであって、N個の隣接画像ブロックはN個の動き情報と1対1で対応し、N個の動き情報は現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報はN個の参照画像ブロックと1対1で対応する、ステップと、事前設定ルールに従ってN個の動き情報から候補動き情報を判定するステップと、記憶されるべき画素の位置範囲を参照画像内で判定し、その位置範囲内のすべての画素を記憶するステップであって、位置範囲は候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックはN個の参照画像ブロックのうちの少なくとも1つの画像ブロックであり、候補動き情報は候補参照画像ブロックに対応する動き情報である、ステップと、その位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行するステップとを含む。

Description

本願は、参照により本明細書にその全部が組み込まれている、2013年12月13日に中国特許庁に出願した、中国特許出願第201310689002.1号、表題「IMAGE PROCESSING METHOD AND APPARTUS」の優先権を主張するものである。
本発明は、ビデオ処理の分野に関し、より詳細には、画像処理方法及び装置に関する。
インターネットの急速な発展と人々の益々豊かになる物質的及び精神的文化に伴い、インターネット上のビデオのアプリケーション需要、特に高解像度ビデオのアプリケーション需要、は増加している。しかし、高解像度ビデオのデータ量は非常に大きく、限られた帯域幅を有するインターネットで高解像度ビデオを送信するために、高解像度ビデオ圧縮符号化及び復号化の問題は、先ず解決される必要のある問題である。
現在、複数の動き情報が隣接画像ブロックから取得され、1つの最適動き情報が取得された複数の動き情報から選択され、動き補償が最適動き情報を使用することによって現在のコーディングブロックで実行される、符号化及び復号化技術が存在する。前述の隣接画像ブロックは、時間的に隣接する画像ブロック又は空間的に隣接する画像ブロックでもよいことに留意されたい。空間的に隣接する画像ブロックは、現在処理される画像ブロックと同じ画像(たとえば、同じビデオフレーム)内の符号化又は復号される画像ブロックであり、時間画像ブロックは、現在処理される画像ブロックの時間領域参照画像(たとえば、順方向参照フレーム又は逆方向参照フレーム)内の対応する符号化又は復号される画像ブロックである。したがって、隣接画像ブロックの動き情報は、現在のコーディングブロックの動き情報をデータストリームに明示的に書き込むことなしに現在処理される画像ブロックの動き情報を判定するために効果的に使用され得る。
しかし、取得された複数の動き情報から1つの最適動き情報を選択する前述のプロセスでは、参照画像(参照画像ブロックとも呼ばれる)内にある及び各動き情報に対応する画素ブロック(又は、各動き情報が指す画素ブロック)に基づいて計算を実行することが必要とされる。したがって、参照画像から、各動き情報が指す参照画像ブロックを読み取り、前述の最適動き情報の計算に使用するためにメモリに参照画像ブロックを記憶することが必要とされる。
具体的には、比較的大量の候補動きベクトルが存在するとき、比較的大量の参照画像ブロックを記憶することが必要とされる。結果として、より高い要件がメモリ帯域幅に課され、システム費用は増える。
したがって、メモリ帯域幅の要件を低減することができる技術を提供することが求められている。
本発明の実施形態は、メモリ帯域幅の要件を低減することができる画像処理方法及び装置を提供する。
第1の態様によれば、画像処理方法が提供され、本方法は、
現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得するステップであって、N個の隣接画像ブロックがN個の動き情報と1対1で対応し、N個の動き情報が現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報がN個の参照画像ブロックと1対1で対応する、ステップと、
事前設定ルールに従ってN個の動き情報から候補動き情報を判定するステップであって、候補動き情報が、N個の動き情報のうちの少なくとも1つの情報である、ステップと、
その候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップと、
その位置範囲内のすべての画素を記憶するステップであって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがN個の参照画像ブロックのうちの少なくとも1つの画像ブロックであり、候補参照画像ブロックが候補動き情報に対応する画像ブロックである、ステップと、
その位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップと
を含む。
1つの可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行するステップは、
候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って現在の画像ブロックで符号化処理を実行するステップと
を含む。
第1の態様及び第1の可能な実装方式を参照して、第2の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
第1の態様、第1の可能な実装方式、及び第2の可能な実装方式を参照して、第3の可能な実装方式では、事前設定ルールに従ってN個の動き情報から候補動き情報を判定するステップは、
使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定するステップ
を含み、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも1つを示すために使用される。
第1の態様、第1の可能な実装方式、第2の可能な実装方式、及び第3の可能な実装方式を参照して、第4の可能な実装方式では、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、その目標データストリームが第1のインデックス情報を含み、第1のインデックス情報が候補動き情報を示すために使用される、ステップ
を含む。
第1の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、及び第4の可能な実装方式を参照して、第5の可能な実装方式では、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、目標データストリームが第2のインデックス情報を含み、第2のインデックス情報が参照画像内の位置範囲の位置及び対象範囲を示すために使用される、ステップ
を含む。
第1の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、第4の可能な実装方式、及び第5の可能な実装方式を参照して、第6の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
第2の態様によれば、画像処理方法が提供され、本方法は、
現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得するステップであって、N個の隣接画像ブロックがN個の動き情報と1対1で対応し、N個の動き情報が現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報がN個の参照画像ブロックと1対1で対応する、ステップと、
記憶されるべき画素の位置範囲を参照画像内で判定し、その位置範囲内のすべての画素を記憶するステップであって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがN個の参照画像ブロックのうちの少なくとも1つの画像ブロックである、ステップと、
その動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成するステップであって、候補動き情報が、候補参照画像ブロックに対応する動き情報である、ステップと
を含む。
1つの可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、その位置範囲内の画素に従って目標データストリームで復号化処理を実行するステップは、
動き情報から候補動き情報を判定するステップと、
その候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って目標データストリームで復号化処理を実行するステップと
を含む。
第2の態様及び第1の可能な実装方式を参照して、第2の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
第2の態様、第1の可能な実装方式、及び第2の可能な実装方式を参照して、第3の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
第2の態様、第1の可能な実装方式、第2の可能な実装方式、及び第3の可能な実装方式を参照して、第4の可能な実装方式では、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
動き情報から候補動き情報を判定するステップと、
候補動き情報に従って参照画像内で位置範囲を判定するステップと
を含む。
第2の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、及び第4の可能な実装方式を参照して、第5の可能な実装方式では、動き情報から候補動き情報を判定するステップは、
使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定するステップ
を含み、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも1つを示すために使用される。
第2の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、第4の可能な実装方式、及び第5の可能な実装方式を参照して、第6の可能な実装方式では、動き情報から候補動き情報を判定するステップは、
第1のインデックス情報を目標データストリームから取得するステップであって、第1のインデックス情報が候補動き情報を示すために使用されるステップと、
第1のインデックス情報に従って動き情報から候補動き情報を判定するステップと
を含む。
第2の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、第4の可能な実装方式、第5の可能な実装方式、及び第6の可能な実装方式を参照して、第7の可能な実装方式では、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
第2のインデックス情報を目標データストリームから取得するステップであって、第2のインデックス情報が参照画像内の位置範囲の位置及び対象範囲を示すために使用される、ステップと、
第2のインデックス情報に従って参照画像において位置範囲を判定するステップと
を含む。
第3の態様によれば、画像処理装置が提供され、その装置は、
現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得するように構成された取得ユニットであって、N個の隣接画像ブロックがN個の動き情報と1対1で対応し、N個の動き情報が現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報がN個の参照画像ブロックと1対1で対応する、取得ユニットと、
事前設定ルールに従ってN個の動き情報からそのN個の動き情報のうちの少なくとも1つの情報である候補動き情報を判定し、その候補動き情報に従って記憶されるべき画素の位置範囲を参照画像内で判定するように構成された判定ユニットであって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがN個の参照画像ブロックのうちの少なくとも1つの画像ブロックであり、候補動き情報が候補参照画像ブロックに対応する動き情報である、判定ユニットと、
位置範囲内のすべての画素を記憶するように構成された記憶ユニットと、
記憶ユニットから位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成された、処理ユニットと
を含む。
1つの可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、処理ユニットは、具体的に、候補動き情報に従って記憶ユニットから位置範囲内の画素を読み取って候補参照画像ブロックを取得し、候補参照画像ブロックに従って候補動き情報から最適動き情報を判定し、最適動き情報に従って現在の画像ブロックで符号化処理を実行するように構成される。
第3の態様及び第1の可能な実装方式を参照して、第2の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
第3の態様、第1の可能な実装方式、及び第2の可能な実装方式を参照して、第3の可能な実装方式では、判定ユニットは、具体的に、使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成され、その属性情報は、現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイルのパラメータのうちの少なくとも1つを示すために使用される。
第3の態様、第1の可能な実装方式、第2の可能な実装方式、及び第3の可能な実装方式を参照して、第4の可能な実装方式では、処理ユニットは、具体的に、記憶ユニットから位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、その目標データストリームは第1のインデックス情報を含み、第1のインデックス情報は候補動き情報を示すために使用される。
第3の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、及び第4の可能な実装方式を参照して、第5の可能な実装方式では、処理ユニットは、具体的に、記憶ユニットから位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、その目標データストリームは、第2のインデックス情報を含み、第2のインデックス情報は、参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
第3の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、第4の可能な実装方式、及び第5の可能な実装方式を参照して、第6の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
第4の態様によれば、画像処理装置が提供され、その装置は、
現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得するように構成された取得ユニットであって、N個の隣接画像ブロックがN個の動き情報と1対1で対応し、N個の動き情報が現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報がN個の参照画像ブロックと1対1で対応する、取得ユニットと、
記憶されるべき画素の位置範囲を参照画像内で判定するように構成された判定ユニットであって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがN個の参照画像ブロックのうちの少なくとも1つの画像ブロックである、判定ユニットと、
位置範囲内のすべての画素を記憶するように構成された記憶ユニットと、
動き情報のうちの候補動き情報に従って記憶ユニットから位置範囲内の画素を読み取り、その位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成するように構成された処理ユニットであって、候補動き情報が候補参照画像ブロックに対応する動き情報である、処理ユニットと
を含む。
1つの可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、判定ユニットはさらに、動き情報から候補動き情報を判定するように構成され、そして、処理ユニットは、具体的に、判定ユニットから候補動き情報を取得し、候補動き情報に従って位置範囲内の画素を読み取って、候補参照画像ブロックを取得し、候補参照画像ブロックに従って候補動き情報から最適動き情報を判定し、最適動き情報に従って目標データストリームで復号化処理を実行するように構成される。
第4の態様及び第1の可能な実装方式を参照して、第2の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
第4の態様、第1の可能な実装方式、及び第2の可能な実装方式を参照して、第3の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
第4の態様、第1の可能な実装方式、第2の可能な実装方式、及び第3の可能な実装方式を参照して、第4の可能な実装方式では、判定ユニットは、具体的に、動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成される。
第4の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、及び第4の可能な実装方式を参照して、第5の可能な実装方式では、判定ユニットは、具体的に、使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定するように構成され、その属性情報は、現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイルのパラメータのうちの少なくとも1つを示すために使用される。
第4の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、第4の可能な実装方式、及び第5の可能な実装方式を参照して、第6の可能な実装方式では、判定ユニットは、具体的に、目標データストリームから第1のインデックス情報を取得し、第1のインデックス情報に従って動き情報から候補動き情報を判定するように構成され、第1のインデックス情報は候補動き情報を示すために使用される。
第4の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、第4の可能な実装方式、第5の可能な実装方式、及び第6の可能な実装方式を参照して、第7の可能な実装方式では、判定ユニットは、具体的に、目標データストリームから第2のインデックス情報を取得し、第2のインデックス情報に従って参照画像内で位置範囲を判定するように構成され、第2のインデックス情報は、参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
本発明の実施形態における画像処理方法及び装置によれば、位置範囲が少なくとも1つの動き情報に対応する画素をカバーするように、位置範囲は参照画像内で判定され、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、少なくとも1つの動き情報から判定することができる。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
本発明の実施形態における技術的解決法をより明確に説明するために、本発明の実施形態を説明するために必要とされる添付の図面を以下に簡単に紹介する。明らかに、以下の説明にある添付の図面は、本発明のいくつかの実施形態を単に示し、当業者は、創造的努力なしにこれらの添付の図面から他の図面をさらに導出し得る。
本発明の一実施形態による画像処理方法の概略的流れ図である。 現在の画像ブロックに空間的に隣接する隣接画像ブロックの概略図である。 現在の画像ブロックに時間的に隣接する隣接画像ブロックの概略図である。 本発明の一実施形態の画像処理方法に従って判定される位置範囲の一例の概略図である。 本発明の一実施形態の画像処理方法に従って判定される位置範囲のもう1つの例の概略図である。 本発明のもう1つの実施形態による画像処理方法の概略的流れ図である。 本発明の一実施形態による画像処理装置の概略的ブロック図である。 本発明のもう1つの実施形態による画像処理装置の概略的ブロック図である。 本発明の一実施形態による画像処理エンコーダの概略的構造図である。 本発明のもう1つの実施形態による画像処理デコーダの概略的構造図である。
以下では、本発明の実施形態において添付の図面を参照して本発明の実施形態における技術的解決法を明確に及び完全に説明する。明らかに、説明される実施形態は、本発明の実施形態のいくつかであり、すべてではない。創造的努力なしに本発明の実施形態に基づいて当業者によって得られるすべての他の実施形態は、本発明の保護範囲内にあるものとする。
本発明の実施形態による画像処理方法及び装置は、複数の動き情報から最適動き情報を判定すること及びその最適動き情報に従って現在の画像ブロックで動き補償を実行することによって、現在の画像ブロックで符号化及び復号化を実装するための様々な技術、たとえば、隣接画像ブロックの動き情報を使用することによって現在処理される画像ブロックの動き情報を判定する、デコーダ側動きベクトル導出(DMVD:Decorder−side motion vector derivation)技術、マージ(MERGE)技術、及び高度動きベクトル予測(AMVP:Advanced Motion Vector Prediction)技術などの技術、に適用可能であり得る。理解及び説明を容易にするために、本発明の実施形態における画像処理方法及び装置がDMVD技術に適用される例を使用することによって、以下の説明は行われる。
加えて、本発明の実施形態では、画像は、ビデオ内のビデオフレームでもよい。この場合、画像ブロックは、ビデオフレーム内のフレームブロックでもよい。
図1は、本発明の一実施形態による、エンコーダ側の視点から説明された、画像処理方法100の概略的流れ図である。図1に示すように、方法100は、以下を含む。
S110:現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得し、ここで、N個の隣接画像ブロックは、N個の動き情報と1対1で対応し、N個の動き情報は、現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報は、N個の参照画像ブロックと1対1で対応する。
S120:事前設定ルールに従ってN個の動き情報から候補動き情報を判定し、ここで、候補動き情報は、N個の動き情報のうちの少なくとも1つの情報である。
S130:候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定し、位置範囲内のすべての画素を記憶し、ここで、位置範囲は候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも1つの画像ブロックであり、候補参照画像ブロックは、候補動き情報に対応する画像ブロックである。
S140:位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成する。
具体的には、エンコーダ側は、N個の動き情報を取得することができ、Nは正の整数である。
本発明の本実施形態では、動き情報は、予測方向、参照画像インデックス、又は動きベクトルのうちの1つ以上を含むことができ、予測方向は、単方向予測及び双方向予測を含むことができ、単方向予測は順方向予測及び逆方向予測を含み得る。
順方向予測は、順方向参照画像list、すなわちlist(リスト)0、内の参照画像を使用することによって予測信号を生成することを示す。
逆方向予測は、逆方向参照画像list、すなわちlist1、で参照画像を使用することによって予測信号を生成することを示す。双方向予測は、list0内の参照画像及びlist1内の参照画像を同時に使用することによって予測信号を生成することを示す。
単方向予測では、参照画像インデックスが、list0又はlist1から選択された参照画像を示すために必要とされる。双方向予測では、2つの参照画像インデックスが、list0から選択された参照画像及びlist1から選択された参照画像をそれぞれ示すために必要とされる。
各動きベクトルは、水平方向構成要素x及び垂直方向構成要素yを含み、(x、y)によって示すことができる。単方向予測では、動きベクトルが、list0又はlist1から選択された参照画像における予測信号の変位を示すために必要とされる。双方向予測では、2つの動きベクトルが、list0から選択された参照画像及びlist1から選択された参照画像内の順方向予測信号及び逆方向予測信号の変位をそれぞれ示すために必要とされる。
本発明の本実施形態では、動き情報は、現在の画像ブロック(すなわち、エンコーダ側の符号化されるべき画像ブロック、及び、デコーダ側では、復号される及び再構成されるべき画像ブロック)の隣接画像ブロックから取得される動き情報を示す。本発明の本実施形態では、動き情報は、空間的動き情報及び時間的動き情報を含み得る。
空間的動き情報は、現在の画像ブロックの空間的に隣接するブロックから取得される動き情報であり、時間的動き情報は、時間的に隣接するブロックから取得される動き情報を示す。
図2aは、DMVD技術における空間的動き情報のソース位置(取得された位置)を示し、図2bは、DMVD技術における時間的動き情報のソース位置(取得された位置)を示す。
図2aに示すように、DMVD技術において、空間的動き情報は、
現在の画像ブロックの左側の画像ブロックA(隣接するブロックの一例)の動き情報であって、以下にMV#Aによって示される動き情報、
現在の画像ブロックの上側の画像ブロックB(隣接するブロックのもう1つの例)の動き情報であって、以下にMV#Bによって示される動き情報、
現在の画像ブロックの右上方の画像ブロックC(隣接するブロックのもう1つの例)の動き情報であって、以下にMV#Cによって示される動き情報、及び、
現在の画像ブロックの左上方の画像ブロックD(隣接するブロックのもう1つの例)の動き情報であって、以下にMV#Dによって示される動き情報
を含み得る。
予測方向が単方向であるとき、1つの動き情報は、参照画像内の参照ブロックを示すことができ、そして、予測方向が双方向であるとき、1つの動き情報は、順方向参照画像内の参照ブロック及び逆方向参照画像内の参照ブロックを示し得ることに留意されたい。
図2bに示すように、DMVD技術において、時間的動き情報は、たとえば、現在の画像ブロックに基づいてMV#T’でパニング処理を実行することによって取得される動き情報を含むことができ、動き情報は、以下にMV#Tによって示され、MV#T’は、逆方向参照画像内にある及び現在の画像ブロックに対応する位置にある画像ブロックE(隣接するブロックのもう1つの例)の動き情報である。
したがって、エンコーダ側は、前述の5つの動き情報、すなわちN個の動き情報の一例、を含む動き情報セット(又は、動き情報list)を取得することができ、その動き情報セットは、
{MV#A,MV#B,MV#C,MV#D,MV#T}
によって示される。
N個の動き情報を取得するための前記で説明された方法は、単に、例示的説明を目的とし、本発明はそれに限定されないことを理解されたい。異なる取得方法が、本発明において具体的に限定されない、本発明の本実施形態における画像処理方法が適用可能な技術に従って、使用され得る。
前述のようにN個の動き情報を判定した後、エンコーダ側は、参照画像から各動き情報に対応する参照画像ブロック(又は、各動き情報が指す参照画像ブロック)を判定することができる。予測方向が双方向である場合、エンコーダ側は2つの参照画像(順方向参照画像及び逆方向参照画像)から各動きベクトルに対応する参照画像ブロックをそれぞれ判定する必要があることに本明細書では留意されたい。理解及び説明を容易にするために、及び一般性の喪失なしに、以下の説明は、例として逆方向参照画像での処理を使用することによって行われる。
次いで、エンコーダ側は、符号化処理、具体的には、目標動き情報による現在の画像ブロックの動き補償処理、を実行するために、N個の動き情報から1つの動き情報(理解及び説明を容易にするために以下で目標動き情報と呼ばれる)を判定する必要がある。本プロセスは、後で詳しく説明する。
本発明の本実施形態では、目標動き情報は、事前設定ルールによる計算方式で計算することができ(すなわち、方式1)、或いは、目標動き情報は、現在の画像ブロックの属性及び/又はデバイス性能に従って判定することができる(すなわち、方式2)。前述の2つの場合の処理は、以下で別個に詳しく説明する。
方式1
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
本発明の本実施形態では、N個の動き情報のすべてが、候補動き情報として使用され得る。したがって、最適動き情報は、計算方式でN個の動き情報から判定することができ、最適動き情報は、前述の目標動き情報として使用される。計算プロセスにおいて、N個の動き情報(具体的には、動きベクトルが指す参照画像ブロック)に対応する参照画像(候補参照画像ブロックの一例)内の参照画像ブロックを取得することが必要とされ、計算が、参照画像ブロック(具体的には、参照画像ブロック内の画素の画素値)に基づいて実行される。
したがって、本発明の本実施形態では、エンコーダ側は、参照画像内の画素(すなわち、各参照画像ブロック)の位置分布を判定することができ、それらの画素は、記憶される必要があり、後の処理のために使用される。
前述の判定された動き情報の各々は、現在の符号化されるべきブロックの隣接する(時間的に隣接する及び/又は空間的に隣接する)画像ブロックから取得されるので、動き情報(具体的には、動きベクトル)の間に比較的強い相関関係(又は類似性)が存在する。したがって、図3a及び図3bに示すように、外面的表現は、参照画像ブロックが重複する、又は複数の参照画像ブロックが同じ位置にある画素を含むということである。
先行技術では、エンコーダ側は、各参照画像ブロックに基づいてN個の動き情報から最適動き情報を判定するために、各動き情報が指す参照画像ブロックを参照画像から別個に取得し、各参照画像ブロック(具体的には、参照画像ブロック内の画素値)をメモリ空間において独立して記憶する必要がある。したがって、デバイスのメモリ帯域幅がN個の参照画像ブロックの読取りに対応し得ることが必要とされ、前述の重複するエリアが複数回にわたり記憶される場合が生じ得る、すなわち、最適動き情報が判定されるとき、N個の参照画像ブロックを読み取るために、指定された時間内にN回の読取りを実行することが必要とされ、メモリ帯域幅の比較的高い要件を結果としてもたらす。
対照的に、本発明の本実施形態では、エリアの範囲が、N個の参照画像ブロックによって含まれるすべての画素をカバーし得るように、エリア(すなわち、位置範囲)は、前述の判定されるN個の動き情報の間に比較的強い相関関係及び類似性が存在するという特徴に基づいて参照画像から判定することができる。たとえば限定ではなくて、たとえば、N個の参照画像ブロックの最小公開画像ブロック、すなわち図3aに破線で示されるエリア、が位置範囲として使用され得る。
最小公開画像ブロックは、以下の方式で判定することができる。すなわち、
現在の符号化されるべき画像内の現在の画像ブロックの座標が(cur_x,cur_y)であり、そのサイズが(blk_x)×(blk_y)画素であり、一般性を失うことなく、参照画像において、動きベクトルの水平構成要素がxによって示され、動きベクトルの垂直構成要素がyによって示されると仮定すると、参照画像において、MV#Aは{MV#A_x,MV#A_y}として記述することができ、MV#Bは{MV#B_x,MV#B_y}として記述することができ、MV#Cは{MV#C_x,MV#C_y}として記述することができ、MV#Dは{MV#D_x,MV#D_y}として記述することができ、そして、MV#Tは{MV#T_x,MV#T_y}として記述することができる。
したがって、各参照画像ブロックにおいて、以下のように判定することができる。
目標画像ブロックに関する水平方向における最小変位Δx_minは、min(MV#A_x,MV#B_x,MV#C_x,MV#D_x,MV#T_x)に等しく、
目標画像ブロックに関する水平方向における最大変位Δx_maxは、max(MV#A_x,MV#B_x,MV#C_x,MV#D_x,MV#T_x)に等しく
目標画像ブロックに関する垂直方向における最小変位Δy_minは、min(MV#A_y,MV#B_y,MV#C_y,MV#D_y,MV#T_y)に等しく、そして、
目標画像ブロックに関する垂直方向における最大変位Δy_maxは、max(MV#A_y,MV#B_y,MV#C_y,MV#D_y,MV#T_y)に等しい。
本定義において、参照画像から一度に読み取られ、一時的に記憶される位置範囲は、矩形領域でもよく、ここで、
矩形領域の左上角の画素の座標は、(cur_x+Δx_min,cur_y+Δy_min)であり、そして、
矩形領域の右下角の画素の座標は、(cur_x+Δx_max+blk_x,cur_y+Δy_max+blk_y)である。
したがって、位置範囲内の各画素の情報(画素値など)は、最適動き情報の判定のその後の処理で使用するために、読み取り、メモリに記憶することができる。
任意選択で、動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップの前に、本方法は、
N個の参照画像ブロックのうちの少なくとも2つの参照画像ブロックが互いに重複すると判定するステップ
をさらに含む。
具体的に、各参照画像ブロックが前述のように判定された後、参照画像が互いに重複するかどうかを先ず判定することができ、参照画像が重複する場合、位置範囲の判定及びその位置範囲内の画素の情報の記憶の前述のプロセスが、実行され得る。
したがって、メモリ帯域幅の要件が先行技術と比較して低減されることを確保することができる。
任意選択で、動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップの前に、本方法は、
N個の参照画像ブロックのうちの少なくとも2つの参照画像ブロックが互いに重複し、及び重複する参照画像ブロックの量が事前設定された量閾値以上であり、又は重複する範囲が事前設定された範囲閾値以上であると判定するステップ
をさらに含む。
具体的には、各参照画像ブロックが前述のように判定された後、参照画像が互いに重複するかどうかを先ず判定することができ、そして、参照画像が重複する場合、重複するエリアの特徴(たとえば、重複する参照画像ブロックの量及び/又は重複する範囲のサイズ)をさらに判定することができ、前述の重複するエリアの特徴が事前設定条件に合う、たとえば、重複する参照画像ブロックの量が事前設定された量閾値以上である、及び/又は重複する範囲が事前設定された範囲閾値以上である)場合、位置範囲の判定及び位置範囲内の画素の情報の記憶の前述のプロセスが、実行され得る。前述の量閾値は、参照画像ブロックの量(又は、動き情報の量)に従ってセットされ得ることに留意されたい。たとえば、参照画像ブロックの量が5である場合、量閾値は5にセットされ得る。同様に、前述の範囲閾値は、参照画像ブロックのサイズに従ってセットされ得る。
したがって、メモリ帯域幅の要件が先行技術と比較して低減されることが、さらに確保され得る。
次いで、最適動き情報が、記憶された位置範囲(具体的には、その位置範囲内の画素)に従って、N個の動き情報から判定され得る。
すなわち、任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行するステップは、
候補動き情報に従って位置範囲内の画素を読み取って候補画像ブロックを取得するステップと、
候補画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って現在の画像ブロックで符号化処理を実行するステップと
を含む。
具体的に、前述の判定された位置範囲はすべての参照画像ブロックをカバーするので、各動き情報に対応する参照画像ブロック(具体的には、各参照画像ブロックの画素の情報)は、その位置範囲内の画素の記憶された情報から取得され得る。したがって、最適動き情報は、参照画像ブロックに従って動き情報から判定され得る。たとえば、評価が、各動き情報に対応する評価値を取得するために、各動き情報に対応する画素の情報に基づいて及び所定の基準(たとえば、レート歪み基準)を適用することによって、実行可能であり、そして、最小評価値を有する動き情報が、最適動き情報、すなわち、現在の画像ブロックで符号化処理(たとえば、動き補償処理)を実行するための動き情報、として選択される。
前述の所定の基準は、適用される符号化技術に従って適切に変更することができ、本発明において具体的に限定されないことを理解されたい。たとえば、DMVD技術において、双方向予測の場合、各動き情報は順方向動き情報及び逆方向動き情報を含み、順方向動き情報は、順方向参照画像内の参照画像ブロック(順方向参照画像ブロックと呼ばれる)を示すために使用され、そして、逆方向動き情報は、逆方向参照画像内の画像ブロック(順方向参照画像ブロックと呼ばれる)を示すために使用され、そして、順方向参照画像ブロック及び逆方向参照画像ブロックの対応する位置の画素値の平方差の和が、測定基準として使用される場合、最小の平方差の和を有する動き情報が、最適動き情報として使用され得る。
次いで、エンコーダ側は、最適動き情報を使用して目標画像ブロックでの動き補償符号化動作などの処理を実行して、現在の画像ブロックで符号化を実装し、目標データストリームを生成し、デコーダ側に目標データストリームを送信することができる。本明細書において、最適動き情報に従って現在の画像ブロックで符号化処理をエンコーダ側によって実行するプロセス及び方法は、先行技術におけるそれらと同様でもよい。説明の繰返しを避けるために、その説明は、本明細書では省略される。
任意選択で、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、目標データストリームが第2のインデックス情報を含み、第2のインデックス情報が参照画像内の位置範囲の位置を示すために使用される、ステップ
を含む。
具体的に、本発明の本実施形態では、前述のように位置範囲を判定した後に、エンコーダ側はさらに、生成されたデータストリームに参照画像内のその位置範囲の位置を示すための情報、すなわち第2のインデックス情報、を追加することができ、デコーダ側は、第2のインデックス情報に従って参照画像内で位置範囲を直接判定することができる。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
本発明の本実施形態における画像処理方法によれば、最適動き情報の取得を確保することができ、画像処理効果を改善することができ、ユーザ体験を向上させることができるように、判定される位置範囲は、すべての参照画像をカバーする。
方式2
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
具体的に、エンコーダ側のデバイスのハードウェアによって限定されるため、たとえば、メモリ帯域幅によって限定されるため、現在使用可能なメモリ帯域幅が、前述の方式1で判定された最小公開画像ブロック(位置範囲の一例)の要件を満たすことができない場合が存在し得る。
前述の問題を考慮して、本発明の本実施形態は、以下の技術的解決法を提供する。すなわち、判定された位置範囲は、いくつかの参照画像ブロック(すなわち、候補参照画像ブロックの一例)のみをカバーし得る。カバーされる参照画像ブロックの量がMであると仮定すると、1≦M<Nが満たされる。
したがって、位置範囲が少なくとも1つの完全な参照画像ブロックをカバーすること、すなわち、少なくとも1つの動き情報が使用可能であること、を確保することができ、そして、符号化が動き情報を使用することによって現在の画像ブロックで実行されることを確保することを前提として、メモリ帯域幅の要件は低減することができる。
この場合、エリアの範囲が、M個の参照画像ブロックによって含まれるすべての画素、すなわち図3bで破線によって示されるエリア、をカバーし得るように、エリア(すなわち、位置範囲)が、参照画像内で判定され得る。
任意選択で、事前設定ルールに従ってN個の動き情報から候補動き情報を判定するステップは、
使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定するステップ
を含み、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも1つを示すために使用される。
具体的に、本発明の本実施形態では、M個の候補参照画像ブロックが選択され得る、或いは、M個の候補参照画像ブロックに対応する動き情報が、使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従って、選択され得る。
前述のパラメータを使用するための方法を以下に別個に説明する。
A.現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、及び現在の画像ブロックが属する画像の制作スタイル
たとえば、画像が内容によって分類される場合、画像は、ニュース画像、スポーツ画像、映画−テレビジョン画像などでもよい。同様に、画像はまた、ソース及び制作スタイルによって分類することもできる。同じタイプの画像の最適動き情報(又は最適動き情報が由来する隣接画像ブロック)は、常に同じである。したがって、本発明の本実施形態では、各タイプの画像の優先度の高い動き情報の統計値は、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、現在の画像ブロックが属する画像の制作スタイルなどに従って、収集することができ、優先度の高い動き情報は、このタイプの画像の最適動き情報になる最も大きな可能性を有する。
したがって、位置範囲が判定されているとき、その位置範囲が前述の優先度の高い動き情報に対応する参照画像ブロックをカバーすることが優先的に確保され得る。
任意選択で、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
その位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、目標データストリームが第1のインデックス情報を含み、第1のインデックス情報が候補動き情報を示すために使用される、ステップ
を含む。
具体的に、前述のように優先度の高い動き情報(すなわち、候補動き情報の一例)を判定した後に、エンコーダ側は、生成されたデータストリームに候補動き情報を示すための情報、すなわち第1のインデックス情報、を加えることができ、そして、デコーダ側は、各候補動き情報に対応する参照画像ブロック(すなわち、候補参照画像ブロック)を判定するために、第1のインデックス情報に従ってN個の動き情報から候補動き情報を直接判定することができる。したがって、位置範囲は、参照画像内で判定することができ、そして、その位置範囲は、候補参照画像ブロックをカバーし得る。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
B.使用可能なメモリ帯域幅
本発明の本実施形態では、読み取る及び記憶することができる位置範囲のサイズは、現在使用可能なメモリ帯域幅のサイズに従って判定され得る。したがって、カバーされ得る参照画像ブロックの量及び位置は、位置範囲のサイズに従って判定され得る。したがって、候補画像ブロック及びその候補画像ブロックを指す候補動き情報が、判定され得る。
現在使用可能なメモリ帯域幅が十分大きい場合、その位置範囲によってカバーされる参照画像ブロックの複数の組合せが存在する場合が存在し得ることに留意されたい。たとえば、同サイズの位置範囲では、参照画像内の位置範囲の位置が異なる場合、カバーされ得る参照画像ブロックの量は異なることがあり、又は同サイズの位置範囲では、参照画像内の位置範囲の位置が異なる場合、カバーされ得る参照画像ブロックに対応する動き情報は異なる。
この場合、最大の参照画像ブロックをカバーし得る範囲が、使用される位置範囲として使用され得る。したがって、比較的多量の参照画像ブロックが提供可能であり、最終的に判定される及び符号化処理のために使用される動き情報は、最適化され得る。
別法として、前述の判定された優先度の高い動き情報に対応する参照画像ブロックをカバーし得る範囲が、使用される位置範囲として使用され得る。したがって、符号化処理が優先度の高い動き情報に従って実行されることが、確保され得る。
C.現在の画像ブロックが属する画像の解像度
異なる画像解像度は、エンコーダ側のハードウェアで異なる要件を有する。たとえば、比較的高い解像度を有する画像では、その画像で符号化を実装するために、比較的高い性能、たとえば、比較的高いメモリ帯域幅、を有するハードウェアを構成することが通常は必要とされる。したがって、記憶され得る位置範囲のサイズは、現在の画像ブロックが属する画像の解像度に従って判定され、すなわち、解像度がより高い場合、位置範囲はより大きい。したがって、カバーされ得る参照画像ブロックの量及び位置は、位置範囲のサイズに従って判定され得る。したがって、候補画像ブロック及びその候補画像ブロックを指す候補動き情報が、判定され得る。
位置範囲が、使用可能なメモリ帯域幅及び現在の画像ブロックが属する画像の解像度(又は、エンコーダ側のハードウェア性能)に従って判定される場合、その位置範囲は、以下の方式で判定することができる。すなわち、
現在の符号化されるべき画像内の現在の画像ブロックの座標が(cur_x,cur_y)であり、そのサイズが(blk_x)×(blk_y)画素であり、一般性を失うことなく、参照画像において、動きベクトルの水平構成要素がxによって示され、動きベクトルの垂直構成要素がyによって示されると仮定すると、その参照画像において、MV#Aは{MV#A_x,MV#A_y}として記述することができ、MV#Bは{MV#B_x,MV#B_y}として記述することができ、MV#Cは{MV#C_x,MV#C_y}として記述することができ、MV#Dは{MV#D_x,MV#D_y}として記述することができ、そして、MV#Tは{MV#T_x,MV#T_y}として記述することができる。
したがって、各参照画像ブロックにおいて、以下のように判定することができる。
目標画像ブロックに関する水平方向における最小変位Δx_minは、min(MV#A_x,MV#B_x,MV#C_x,MV#D_x,MV#T_x)に等しく、
目標画像ブロックに関する水平方向における最大変位Δx_maxは、max(MV#A_x,MV#B_x,MV#C_x,MV#D_x,MV#T_x)に等しく、
目標画像ブロックに関する垂直方向における最小変位Δy_minは、min(MV#A_y,MV#B_y,MV#C_y,MV#D_y,MV#T_y)に等しく、そして、
目標画像ブロックに関する垂直方向における最大変位Δy_maxは、max(MV#A_y,MV#B_y,MV#C_y,MV#D_y,MV#T_y)に等しい。
本定義において、参照画像から一度に読み取られ、一時的に記憶される位置範囲は、矩形領域でもよく、ここで、
矩形領域の左上角の画素の座標は、(cur_x+max(−Ωx_min,Δ_x_min),cur_y+max(−Ωy_min,Δ_y_min))であり、そして、
矩形領域の右下角の画素の座標は、(cur_x+blk_x+min(Ωx_max,Δx_max),cur_y+blk_y+min(Ωy_max,Δy_max)であり、
但し、Ωx_min、Ωx_max,Ωy_min、及びΩy_maxの値は、使用可能なメモリ帯域幅又はエンコーダのハードウェア性能に従って判定され得る。
任意選択で、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、目標データストリームが第2のインデックス情報を含み、第2のインデックス情報が参照画像内の位置範囲の位置を示すために使用される、ステップ
を含む。
具体的に、本発明の本実施形態では、前述のように位置範囲を判定した後に、エンコーダ側はさらに、生成されたデータストリームに参照画像内のその位置範囲の位置を示すための情報、すなわち第2のインデックス情報、を追加することができ、デコーダ側は、第2のインデックス情報に従って、参照画像内で位置範囲を直接判定することができる。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
たとえば限定ではなくて、本発明の本実施形態では、第2のインデックス情報は、Ωx_min、Ωx_max、Ωy_min、及びΩy_maxの前述の値でもよい。加えて、第2のインデックス情報は、適切な構文要素を使用することによって、データストリームの異なる位置で識別することができ、たとえば、ピクチャパラメータセット(PPS、Picture parameter set)又はスライスヘッダ(slice header)において識別され得る。ピクチャパラメータセット又はスライスヘッダがデータストリームにおいて出現する頻度は比較的低いので、これらの位置でのΩx_min、Ωx_max、Ωy_min、及びΩy_maxの前述の値の識別によってもたらされる余分な帯域幅の効果は、ほとんど無視することができる。
位置範囲が前述のように判定された後、位置範囲内の各画素の情報(画素値など)は、読み取り、メモリに記憶することができる。
加えて、位置範囲が、1つのみの完全な参照画像ブロック(すなわち、候補画像ブロック)をカバーし得るとき、符号化処理が、候補参照画像ブロック及び候補参照画像ブロックに対応する動き情報を直接使用することによって、現在のブロックで実行され得る。
位置範囲が、2つより多い完全な参照画像ブロック(すなわち、候補画像ブロック)をカバーし得るとき、最適動き情報は、記憶された位置範囲(具体的には、位置範囲内の画素)に従って、それらの2つより多い候補画像ブロックに対応する動き情報から判定され得る。
すなわち、任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行するステップは、
候補動き情報に従って位置範囲内の画素を読み取って候補画像ブロックを取得するステップと、
候補画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って現在の画像ブロックで符号化処理を実行するステップと
を含む。
具体的に、前述の判定された位置範囲は2つより多い参照画像ブロックをカバーするので、各候補動き情報に対応する候補参照画像ブロック(具体的には、各参照画像ブロックの画素の情報)は、その位置範囲内の画素の記憶された情報から取得され得る。したがって、最適動き情報は、候補動き情報から判定され得る。たとえば、評価が、候補動き情報に対応する画素の情報に基づいて及び所定の基準を適用することによって実行されて、各候補動き情報に対応する評価値を取得することができ、そして、最小評価値を有する候補動き情報が、最適動き情報、すなわち、現在の画像ブロックで符号化処理(たとえば、動き補償処理)を実行するための動き情報、として選択される。
次いで、エンコーダ側は、最適動き情報を使用して目標画像ブロックでの動き補償符号化動作などの処理を実行して、現在の画像ブロックで符号化を実装し、目標データストリームを生成し、デコーダ側に目標データストリームを送信することができる。本明細書において、最適動き情報に従って現在の画像ブロックで符号化処理をエンコーダ側によって実行するプロセス及び方法は、先行技術におけるそれらと同様でもよい。説明の繰返しを避けるために、その説明は本明細書では省略される。
本発明の本実施形態における画像処理方法によれば、位置範囲が、少なくとも1つの動き情報に対応する画素をカバーするように、位置範囲は、参照画像において判定され、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、少なくとも1つの動き情報から判定することができる。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
図4は、本発明の一実施形態による、デコーダ側の視点から説明された、画像処理方法200の概略的流れ図である。図4に示すように、方法200は、以下を含む。
S210:現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得し、ここで、N個の隣接画像ブロックは、N個の動き情報と1対1で対応し、N個の動き情報は、現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報は、N個の参照画像ブロックと1対1で対応する。
S220:記憶されるべき画素の位置範囲を参照画像内で判定し、位置範囲内のすべての画素を記憶し、ここで、位置範囲は、候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも1つの画像ブロックである。
S230:動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成し、ここで、候補動き情報は、候補参照画像ブロックに対応する動き情報である。
具体的には、デコーダ側は、N個の動き情報を取得することができ、Nは正の整数である。
本発明の本実施形態では、動き情報は、予測方向、参照画像インデックス、又は動きベクトルのうちの1つ以上を含むことができ、予測方向は単方向予測及び双方向予測を含むことができ、そして、単方向予測は順方向予測及び逆方向予測を含むことができる。
順方向予測は、順方向参照画像list、すなわちlist(リスト)0、内の参照画像を使用することによって予測信号を生成することを示す。
逆方向予測は、逆方向参照画像list、すなわちlist1、内の参照画像を使用することによって予測信号を生成することを示す。双方向予測は、list0内の参照画像及びlist1内の参照画像を同時に使用することによって予測信号を生成することを示す。
単方向予測では、参照画像インデックスが、list0又はlist1から選択された参照画像を示すために必要とされる。双方向予測では、2つの参照画像インデックスが、list0から選択された参照画像及びlist1から選択された参照画像をそれぞれ示すために必要とされる。
各動きベクトルは、水平方向構成要素x及び垂直方向構成要素yを含み、(x、y)によって示すことができる。単方向予測では、動きベクトルが、list0又はlist1から選択された参照画像における予測信号の変位を示すために必要とされる。双方向予測では、2つの動きベクトルが、list0から選択された参照画像及びlist1から選択された参照画像内の順方向予測信号及び逆方向予測信号の変位をそれぞれ示すために必要とされる。
本発明の本実施形態では、動き情報は、現在の画像ブロック(すなわち、エンコーダ側の符号化されるべき画像ブロック、及びデコーダ側では、復号される及び再構成されるべき画像ブロック)の隣接画像ブロックから取得される動き情報を示す。本発明の本実施形態では、動き情報は、空間的動き情報及び時間的動き情報を含み得る。
空間的動き情報は、現在の画像ブロックの空間的に隣接するブロックから取得される動き情報であり、時間的動き情報は、時間的に隣接するブロックから取得される動き情報を示す。
図2aは、DMVD技術における空間的動き情報のソース位置(取得された位置)を示し、図2bは、DMVD技術における時間的動き情報のソース位置(取得された位置)を示す。
図2aに示すように、DMVD技術において、空間的動き情報は、
現在の画像ブロックの左側の画像ブロックA(隣接するブロックの一例)の動き情報であって、以下でMV#Aによって示される動き情報と、
現在の画像ブロックの上側の画像ブロックB(隣接するブロックのもう1つの例)の動き情報であって、以下でMV#Bによって示される動き情報と、
現在の画像ブロックの右上の画像ブロックC(隣接するブロックのもう1つの例)の動き情報であって、以下でMV#Cによって示される動き情報と、
現在の画像ブロックの左上方の画像ブロックD(隣接するブロックのもう1つの例)の動き情報であって、以下でMV#Dによって示される動き情報と
を含み得る。
予測方向が単方向であるとき、1つの動き情報は、参照画像内の参照ブロックを示すことができ、そして、予測方向が双方向であるとき、1つの動き情報は、順方向参照画像内の参照ブロック及び逆方向参照画像内の参照ブロックを示し得ることに留意されたい。
図2bに示すように、DMVD技術において、時間的動き情報は、たとえば、現在の画像ブロックに基づいてMV#T’でパニング処理を実行することによって取得された動き情報を含むことができ、その動き情報は以下にMV#Tによって示され、MV#T’は、逆方向参照画像内にある及び現在の画像ブロックに対応する位置にある画像ブロックE(隣接するブロックのもう1つの例)の動き情報である。
したがって、デコーダ側は、前述の5つの動き情報、すなわちN個の動き情報の一例、を含む動き情報セット(又は、動き情報list)を取得することができ、その動き情報セットは、
{MV#A,MV#B,MV#C,MV#D,MV#T}
によって示される。
前述の取得された動き情報が繰り返される場合、繰り返される動き情報は、N個の動き情報が互いに異なることを確保するために、削除され得ることに留意されたい。
N個の動き情報を取得するための前述で説明された方法は、単に例示的説明を目的とし、本発明はそれに限定されないことを理解されたい。異なる取得方法が、本発明において具体的に限定されない、本発明の本実施形態における画像処理方法が適用可能な技術に従って、使用され得る。
前述のようにN個の動き情報を判定した後に、デコーダ側は、参照画像から各動き情報に対応する参照画像ブロック(又は、各動き情報が指す参照画像ブロック)を判定することができる。予測方向が双方向である場合、デコーダ側は、2つの参照画像(順方向参照画像及び逆方向参照画像)から各動きベクトルに対応する参照画像ブロックをそれぞれ判定する必要があることに留意されたい。理解及び説明を容易にするために、並びに一般性を失うことなく、以下の説明は、一例として逆方向参照画像での処理を使用することによって行われる。
次いで、デコーダ側は、復号化処理、具体的には、目標動き情報による動き補償処理、を実行するために、N個の動き情報から1つの動き情報(理解及び区別を容易にするために以下で目標動き情報と呼ばれる)を判定する必要がある。そのプロセスは次に詳細に説明される。
本発明の本実施形態では、目標動き情報は、事前設定ルールによる計算方式で計算され得る(すなわち、方式3)、或いは、目標動き情報は、現在の画像ブロックの属性及び/又はデバイス性能に従って判定され得る(すなわち、方式4)。前述の2つの場合における処理は、以下で別個に詳細に説明される。
方式3
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
本発明の本実施形態では、最適動き情報は、計算方式でN個の動き情報(候補動き情報の一例)から判定することができ、その最適動き情報は、前述の目標動き情報として使用される。計算プロセスにおいて、N個の動き情報(具体的には、動きベクトルが指す参照画像ブロック)に対応する参照画像ブロック(候補参照画像ブロックの一例)を取得することが必要とされ、計算が、参照画像ブロック(具体的には、参照画像ブロック内の画素の画素値)に基づいて実行される。
したがって、本発明の本実施形態では、デコーダ側は、参照画像内の画素(すなわち、各参照画像ブロック)の位置分布を判定することができ、それらの画素は、記憶される必要があり、後の処理のために使用される。
前述の判定された動き情報の各々は、復号される必要がある現在の画像ブロックの隣接する(時間的に隣接する及び/又は空間的に隣接する)画像ブロックから取得されるので、動き情報(具体的には、動きベクトル)の間に比較的強い相関関係(又は類似性)が存在する。したがって、図3a及び図3bに示すように、外面的表現は、参照画像ブロックが重複する、又は複数の参照画像ブロックが同じ位置にある画素を含むということである。
先行技術では、デコーダ側は、各動き情報が指す参照画像ブロックを参照画像から別個に取得する必要があり、各参照画像ブロック(具体的には、参照画像ブロック内の画素値)をメモリ空間に独立して記憶して各参照画像ブロックに基づいてN個の動き情報から最適動き情報を判定する必要がある。したがって、デバイスのメモリ帯域幅が、N個の参照画像ブロックの読取り及び記憶に対応し得ることが必要とされ、そして、前述の重複するエリアが複数回にわたり記憶される場合が生じることがあり、メモリ帯域幅の比較的高い要件をもたらす。
対照的に、本発明の本実施形態では、エリアの範囲が、N個の参照画像ブロックによって含まれるすべての画素をカバーし得るように、エリア(すなわち、位置範囲)は、前述の判定されたN個の動き情報の間に比較的強い相関関係及び類似性が存在するという特徴に基づいて参照画像から判定され得る。たとえば限定ではなくて、たとえば、N個の参照画像ブロックの最小公開画像ブロック、すなわち図3aに破線で示されるエリア、が位置範囲として使用され得る。
最小公開画像ブロックは、以下の方式で判定することができる。すなわち、
現在の再構成されるべき画像内の現在の画像ブロックの座標が(cur_x,cur_y)であり、そのサイズが(blk_x)×(blk_y)画素であり、一般性を失うことなく、参照画像において、動きベクトルの水平構成要素がxによって示され、動きベクトルの垂直構成要素がyによって示されると仮定すると、その参照画像において、MV#Aは{MV#A_x,MV#A_y}として記述することができ、MV#Bは{MV#B_x,MV#B_y}として記述することができ、MV#Cは{MV#C_x,MV#C_y}として記述することができ、MV#Dは{MV#D_x,MV#D_y}として記述することができ、そして、MV#Tは{MV#T_x,MV#T_y}として記述することができる。
したがって、各参照画像ブロックにおいて、以下のように判定することができる。
目標画像ブロックに関する水平方向における最小変位Δx_minは、min(MV#A_x,MV#B_x,MV#C_x,MV#D_x,MV#T_x)に等しく、
目標画像ブロックに関する水平方向における最大変位Δx_maxは、max(MV#A_x,MV#B_x,MV#C_x,MV#D_x,MV#T_x)に等しく
目標画像ブロックに関する垂直方向における最小変位Δy_minは、min(MV#A_y,MV#B_y,MV#C_y,MV#D_y,MV#T_y)に等しく、そして、
目標画像ブロックに関する垂直方向における最大変位Δy_maxは、max(MV#A_y,MV#B_y,MV#C_y,MV#D_y,MV#T_y)に等しい。
本定義において、参照画像から一度に読み取られ、一時的に記憶される位置範囲は、矩形領域でもよく、ここで、
矩形領域の左上角の画素の座標は、(cur_x+Δx_min,cur_y+Δy_min)であり、そして、
矩形領域の右下角の画素の座標は、(cur_x+Δx_max+blk_x,cur_y+Δy_max+blk_y)である。
したがって、位置範囲内の各画素の情報(画素値など)は、最適動き情報の判定のその後の処理で使用するために、読み取り、メモリに記憶され得る。
任意選択で、動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップの前に、本方法は、
N個の参照画像ブロックのうちの少なくとも2つの参照画像ブロックが互いに重複すると判定するステップ
をさらに含む。
具体的に、各参照画像ブロックが前述のように判定された後、参照画像が互いに重複するかどうかを先ず判定することができ、参照画像が重複する場合、位置範囲の判定及び位置範囲内の画素の情報の記憶の前述のプロセスが、実行され得る。
したがって、メモリ帯域幅の要件が先行技術と比較して低減されることを確保することができる。
任意選択で、動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップの前に、本方法は、
N個の参照画像ブロックのうちの少なくとも2つの参照画像ブロックが互いに重複し、及び重複する参照画像ブロックの量が事前設定された量閾値以上であり、又は重複する範囲が事前設定された範囲閾値以上であると判定するステップ
をさらに含む。
具体的に、各参照画像ブロックが前述のように判定された後、参照画像が互いに重複するかどうかを先ず判定することができ、そして、参照画像が重複する場合、重複するエリアの特徴(たとえば、重複する参照画像ブロックの量及び/又は重複する範囲のサイズ)はさらに判定することができ、そして、前述の重複するエリアの特徴が事前設定条件に合う、たとえば、重複する参照画像ブロックの量が事前設定された量閾値以上である、及び/又は重複する範囲が事前設定された範囲閾値以上である)場合、位置範囲の判定及びその位置範囲内の画素の情報の記憶の前述のプロセスが、実行され得る。前述の量閾値は、参照画像ブロックの量(又は、動き情報の量)に従ってセットされ得ることに留意されたい。たとえば、参照画像ブロックの量が5である場合、量閾値は、5にセットされ得る。同様に、前述の範囲閾値は、参照画像ブロックのサイズに従ってセットされ得る。
したがって、メモリ帯域幅の要件が、先行技術と比較して低減されることが、さらに確保され得る。
次いで、最適動き情報が、記憶された位置範囲(具体的には、位置範囲内の画素)に従って、N個の動き情報から判定され得る。
すなわち、任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行するステップは、
動き情報から候補動き情報を判定するステップと、
候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って目標データストリームで復号化処理を実行するステップと
を含む。
具体的に、前述の判定された位置範囲はすべての参照画像ブロックをカバーするので、各動き情報に対応する参照画像ブロック(具体的には、各参照画像ブロックの画素の情報)は、その位置範囲内の画素の記憶された情報から取得され得る。したがって、最適動き情報は、参照画像ブロックに従って動き情報から判定され得る。たとえば、評価が、各動き情報に対応する評価値を取得するために、各動き情報に対応する画素の情報に基づいて及び所定の基準(たとえば、レート歪み基準)を適用することによって、実行可能であり、そして、最小評価値を有する動き情報が、最適動き情報、すなわち、現在の画像ブロックで復号化及び再構成処理(たとえば、動き補償処理)を実行するための動き情報、として選択される。
前述の所定の基準は、適用された復号化技術に従って、適切に変更することができ、本発明において具体的に限定されないことを理解されたい。たとえば、DMVD技術において、双方向予測の場合、各動き情報は順方向動き情報及び逆方向動き情報を含み、順方向動き情報は、順方向参照画像内の参照画像ブロック(順方向参照画像ブロックと呼ばれる)を示すために使用され、そして、逆方向動き情報は、逆方向参照画像内の画像ブロック(順方向参照画像ブロックと呼ばれる)を示すために使用され、順方向参照画像ブロック及び逆方向参照画像ブロックの対応する位置の画素値の平方差の和が測定基準として使用される場合、最小の平方差の和を有する動き情報が、最適動き情報として使用され得る。
次いで、デコーダ側は、現在の画像ブロックで再構成を実装するために、最適動き情報を使用して、エンコーダ側からのデータストリームで動き補償復号化動作などの処理を実行することができる。本明細書において、最適動き情報による現在の画像ブロックの復号化処理をデコーダ側によって実行するプロセス及び方法は、先行技術におけるそれらと同様でもよい。説明の繰返しを避けるために、その説明は、本明細書では省略される。
任意選択で、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
第2のインデックス情報を目標データストリームから取得するステップであって、第2のインデックス情報が参照画像内の位置範囲の位置及び対象範囲を示すために使用される、ステップと、
第2のインデックス情報に従って参照画像において位置範囲を判定するステップと
を含む。
具体的に、本発明の本実施形態では、エンコーダ側は、データストリームに参照画像内の位置範囲の位置及び範囲を示すための情報、すなわち第2のインデックス情報、を追加することができる。したがって、デコーダ側は、データストリームから第2のインデックス情報を取得し、第2のインデックス情報に従って、参照画像内の位置範囲(具体的には、メモリに記憶される必要がある画素)を直接判定することができる。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
本発明の本実施形態における画像処理方法によれば、最適動き情報の取得を確保することができ、画像処理効果を改善することができ、ユーザ体験を改善することができるように、判定される位置範囲は、すべての参照画像をカバーする。
方式4
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
具体的には、デコーダ側のデバイスのハードウェアによって限定されるため、たとえば、メモリ帯域幅によって限定されるため、現在使用可能なメモリ帯域幅が、前述の方式3において判定される最小公開画像ブロック(位置範囲の一例)の要件を満たすことができない場合があり得る。
前述の問題を考慮して、本発明の本実施形態は、以下の技術的解決法を提供し、すなわち、判定された位置範囲は、いくつかの参照画像ブロック(すなわち、候補参照画像ブロックの一例)のみをカバーし得る。カバーされる参照画像ブロックの量がMであると仮定すると、1≦M<Nが満たされる。
したがって、位置範囲が少なくとも1つの完全な参照画像ブロックをカバーする、すなわち少なくとも1つの動き情報が使用可能である、ことを確保することができ、復号化及び再構成が動き情報を使用することによって現在の画像ブロックで実行されることを確保することを前提として、メモリ帯域幅の要件は低減され得る。
この場合、エリアの範囲が、M個の参照画像ブロックによって含まれるすべての画素、すなわち図3bで破線によって示されるエリア、をカバーし得るように、エリア(すなわち、位置範囲)が、参照画像内で判定され得る。
任意選択で、動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するステップ
を含み、ここで、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも1つを示すために使用される。
具体的に、本発明の本実施形態では、M個の候補参照画像ブロックが選択され得る、或いは、M個の候補参照画像ブロックに対応する動き情報が、使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従って、選択され得る。
前述のパラメータを使用するための方法を以下で別個に説明する。
A.現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、及び現在の画像ブロックが属する画像の制作スタイル
たとえば、画像が内容によって分類される場合、画像は、ニュース画像、スポーツ画像、映画−テレビジョン画像などでもよい。同様に、画像はまた、ソース及び制作スタイルによって分類することもできる。同じタイプの画像の最適動き情報(又は、最適動き情報が由来する隣接画像ブロック)は、常に同じである。したがって、本発明の本実施形態では、各タイプの画像の優先度の高い動き情報の統計値は、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、現在の画像ブロックが属する画像の制作スタイルなどに従って集めることができ、優先度の高い動き情報は、このタイプの画像の最適動き情報になる最も大きな可能性を有する。
したがって、位置範囲が判定されているとき、その位置範囲が前述の優先度の高い動き情報に対応する参照画像ブロックをカバーすることが優先的に確保され得る。
任意選択で、動き情報から候補動き情報を判定するステップは、
第1のインデックス情報を目標データストリームから取得するステップであって、第1のインデックス情報が候補動き情報を示すために使用されるステップと、
第1のインデックス情報に従って動き情報から候補動き情報を判定するステップと
を含む。
具体的に、エンコーダ側は、生成されたデータストリームに候補動き情報に関する情報を示すための情報、すなわち、第1のインデックス情報、を追加することができ、デコーダ側は、各候補動き情報に対応する参照画像ブロック(すなわち、候補参照画像ブロック)を判定するために、データストリームから第1のインデックス情報を取得し、第1のインデックス情報に従ってN個の動き情報から候補動き情報を直接判定する。したがって、位置範囲を参照画像内で判定することができ、その位置範囲は、候補参照画像ブロックをカバーし得る。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
B.使用可能なメモリ帯域幅
本発明の本実施形態では、読み取る及び記憶することができる位置範囲のサイズは、現在使用可能なメモリ帯域幅のサイズに従って判定され得る。したがって、カバーされ得る参照画像ブロックの量及び位置は、位置範囲のサイズに従って判定され得る。したがって、候補画像ブロック及び候補画像ブロックを指す動き情報が、判定され得る。
現在使用可能なメモリ帯域幅が十分大きい場合、位置範囲によってカバーされる参照画像ブロックの複数の組合せが存在する場合が存在し得ることに留意されたい。たとえば、同サイズの位置範囲について、参照画像内の位置範囲の位置が異なる場合、カバーされ得る参照画像ブロックの量は異なることがあり、又は同サイズの位置範囲について、参照画像内の位置範囲の位置が異なる場合、カバーされ得る参照画像ブロックに対応する動き情報は異なる。
この場合、最大参照画像ブロックをカバーし得る範囲が、使用される位置範囲として使用され得る。したがって、比較的多量の参照画像ブロックが提供可能であり、そして、最終的に判定される及び復号化処理のために使用される動き情報が、最適化され得る。
別法として、前述の判定された優先度の高い動き情報に対応する参照画像ブロックをカバーし得る範囲が、使用される位置範囲として使用され得る。したがって、復号化処理が優先度の高い動き情報に従って実行されることが確保され得る。
C.現在の画像ブロックが属する画像の解像度
異なる画像解像度は、デコーダ側のハードウェアの異なる要件を有する。たとえば、比較的高い解像度を有する画像では、画像の復号化を実装するために、比較的高い性能、たとえば、比較的高いメモリ帯域幅、を有するハードウェアを構成することが通常は必要とされる。したがって、記憶され得る位置範囲のサイズは、現在の画像ブロックが属する画像の解像度に従って判定され、すなわち、解像度がより高い場合、位置範囲はより大きい。したがって、カバーされ得る参照画像ブロックの量及び位置は、位置範囲のサイズに従って判定され得る。したがって、候補画像ブロック及び候補画像ブロックを指す動き情報が、判定され得る。
位置範囲が、使用可能なメモリ帯域幅及び現在の画像ブロックが属する画像の解像度(又は、デコーダ側のハードウェア性能)に従って判定される場合、その位置範囲は、以下の方式で判定することができる。すなわち、
現在の画像内の現在の画像ブロックの座標が(cur_x,cur_y)であり、そのサイズが(blk_x)×(blk_y)画素であり、一般性を失うことなく、参照画像において、動きベクトルの水平構成要素がxによって示され、動きベクトルの垂直構成要素がyによって示されると仮定すると、その参照画像において、MV#Aは{MV#A_x,MV#A_y}として記述することができ、MV#Bは{MV#B_x,MV#B_y}として記述することができ、MV#Cは{MV#C_x,MV#C_y}として記述することができ、MV#Dは{MV#D_x,MV#D_y}として記述することができ、そして、MV#Tは{MV#T_x,MV#T_y}として記述することができる。
したがって、各参照画像ブロックにおいて、以下のように判定することができる。
目標画像ブロックに関する水平方向における最小変位Δx_minは、min(MV#A_x,MV#B_x,MV#C_x,MV#D_x,MV#T_x)に等しく、
目標画像ブロックに関する水平方向における最大変位Δx_maxは、max(MV#A_x,MV#B_x,MV#C_x,MV#D_x,MV#T_x)に等しく
目標画像ブロックに関する垂直方向における最小変位Δy_minは、min(MV#A_y,MV#B_y,MV#C_y,MV#D_y,MV#T_y)に等しく、そして、
目標画像ブロックに関する垂直方向における最大変位Δy_maxは、max(MV#A_y,MV#B_y,MV#C_y,MV#D_y,MV#T_y)に等しい。
本定義において、参照画像から一度に読み取られ、一時的に記憶される位置範囲は、矩形領域でもよく、ここで、
矩形領域の左上角の画素の座標は、(cur_x+max(−Ωx_min,Δ_x_min),cur_y+max(−Ωy_min,Δ_y_min))であり、そして、
矩形領域の右下角の画素の座標は、(cur_x+blk_x+min(Ωx_max,Δx_max),cur_y+blk_y+min(Ωy_max,Δy_max)であり、
但し、Ωx_min、Ωx_max、Ωy_min、及びΩy_maxの値は、使用可能なメモリ帯域幅又はデコーダのハードウェア性能に従って判定され得る。
任意選択で、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
第2のインデックス情報を目標データストリームから取得するステップであって、第2のインデックス情報が参照画像内の位置範囲の位置及び対象範囲を示すために使用されるステップと、
第2のインデックス情報に従って参照画像において位置範囲を判定するステップと
を含む。
具体的に、本発明の本実施形態では、エンコーダ側は、生成されたデータストリームに参照画像内の位置範囲の位置及び範囲(又は、カバーされる画素)を示すための情報、すなわち、第2のインデックス情報、を追加することができる。したがって、デコーダ側は、データストリームから第2のインデックス情報を取得し、第2のインデックス情報に従って参照画像内の位置範囲を直接判定する。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
たとえば限定ではなくて、本発明の本実施形態では、第2のインデックス情報は、Ωx_min、Ωx_max、Ωy_min、及びΩy_maxの前述の値でもよい。加えて、第2のインデックス情報は、適切な構文要素を使用することによって、そのデータストリームの異なる位置で識別することができ、たとえば、ピクチャパラメータセット(PPS、Picture parameter set)又はスライスヘッダ(slice header)において識別され得る。ピクチャパラメータセット又はスライスヘッダがデータストリームにおいて出現する頻度は比較的低いので、これらの位置でのΩx_min、Ωx_max、Ωy_min、及びΩy_maxの前述の値の識別によってもたらされる余分な帯域幅の効果は、ほとんど無視することができる。
位置範囲が前述のように判定された後、その位置範囲内の各画素の情報(画素値など)は、読み取り、メモリに記憶することができる。
加えて、位置範囲が、1つのみの完全な参照画像ブロック(すなわち、候補画像ブロック)をカバーし得るとき、復号化処理が、候補参照画像ブロック及び候補参照画像ブロックに対応する動き情報を直接使用することによって、現在のブロックで実行され得る。
位置範囲が、2つより多い完全な参照画像ブロック(すなわち、候補画像ブロック)をカバーし得るとき、最適動き情報は、記憶された位置範囲(具体的には、位置範囲内の画素)に従って、それらの2つより多い候補画像ブロックに対応する動き情報から判定され得る。
すなわち、任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行するステップは、
動き情報から候補動き情報を判定するステップと、
候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って目標データストリームで復号化処理を実行するステップと
を含む。
具体的に、前述の判定される位置範囲は2つより多い参照画像ブロックをカバーするので、各候補動き情報に対応する候補参照画像ブロック(具体的には、各参照画像ブロックの画素の情報)は、その位置範囲内の画素の記憶された情報から取得され得る。したがって、最適動き情報が、候補動き情報から判定され得る。たとえば、評価が、候補動き情報に対応する画素の情報に基づいて及び所定の基準を適用することによって実行されて、各候補動き情報に対応する評価値を取得することができ、そして、最小評価値を有する候補動き情報が、最適動き情報、すなわち、現在の画像ブロックで復号化処理(たとえば、動き補償処理)を実行するための動き情報、として選択される。
次いで、デコーダ側は、現在の画像ブロックで再構成を実装するために、最適動き情報を使用してデータストリームの動き補償復号化動作などの処理を実行することができる。本明細書において、最適動き情報による現在の画像ブロックの復号化処理をデコーダ側によって実行するプロセス及び方法は、先行技術におけるそれらと同様でもよい。説明の繰返しを避けるために、その説明は、本明細書では省略される。
本発明の本実施形態における画像処理方法によれば、位置範囲は、その位置範囲が少なくとも1つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、その少なくとも1つの動き情報から判定され得る。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
前述では、図1から図4を参照して本発明の実施形態による画像処理方法を詳細に説明したが、以下では、図5及び図6を参照して本発明の実施形態による画像処理装置を詳細に説明する。
図5は、本発明の一実施形態による画像処理装置300の概略的ブロック図である。図5に示すように、装置300は、
現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得するように構成された、取得ユニット310であって、N個の隣接画像ブロックがN個の動き情報と1対1で対応し、N個の動き情報が現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報がN個の参照画像ブロックと1対1で対応する、取得ユニット310と、
N個の動き情報のうちの少なくとも1つの情報である候補動き情報を事前設定ルールに従ってN個の動き情報から判定し、候補動き情報に従って記憶されるべき画素の位置範囲を参照画像において判定するように構成された、判定ユニット320であって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがN個の参照画像ブロックのうちの少なくとも1つの画像ブロックであり、候補動き情報が候補参照画像ブロックに対応する動き情報である、判定ユニット320と、
位置範囲内のすべての画素を記憶するように構成された、記憶ユニット330と、
記憶ユニット330から位置範囲内の画素を読み取るように及び位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成された、処理ユニット340と
を含む。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
処理ユニット340は、具体的に、候補参照画像ブロックを取得するために、候補動き情報に従って記憶ユニット330から位置範囲内の画素を読み取るように、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するように、及び、
最適動き情報に従って現在の画像ブロックで符号化処理を実行するように構成される。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
任意選択で、判定ユニット320は、具体的に、使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成され、その属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも1つを示すために使用される。
任意選択で、処理ユニット340は、具体的に、記憶ユニット330から位置範囲内の画素を読み取るように及び位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、その目標データストリームは第1のインデックス情報を含み、第1のインデックス情報は候補動き情報を示すために使用される。
任意選択で、処理ユニット340は、具体的に、記憶ユニット330から位置範囲内の画素を読み取るように及び位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、その目標データストリームは第2のインデックス情報を含み、第2のインデックス情報は、参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
本発明の本実施形態による画像処理装置300は、本発明の本実施形態の方法におけるエンコーダ側に対応することができ、そして、画像処理装置300の各ユニット、すなわち各モジュール、の前述の及び他の動作及び/又は機能は、図1の方法100の対応するプロセスを実装することを別個に意図されており、詳細は、簡潔性を目的として、本明細書で再度説明はされない。
本発明の本実施形態における画像処理装置によれば、位置範囲は、その位置範囲が少なくとも1つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、その少なくとも1つの動き情報から判定され得る。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
図7は、本発明の一実施形態による画像処理装置400の概略的ブロック図である。図7に示すように、装置400は、
現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得するように構成された、取得ユニット410であって、N個の隣接画像ブロックがN個の動き情報と1対1で対応し、N個の動き情報が現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報がN個の参照画像ブロックと1対1で対応する、取得ユニット410と、
記憶されるべき画素の位置範囲を参照画像内で判定するように構成された、判定ユニット420であって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがN個の参照画像ブロックのうちの少なくとも1つの画像ブロックである、判定ユニット420と、
位置範囲内のすべての画素を記憶するように構成された、記憶ユニット430と、
動き情報のうちの候補動き情報に従って記憶ユニット430から位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成するように構成された、処理ユニット440であって、候補動き情報が候補参照画像ブロックに対応する動き情報である、処理ユニット440と
を含む。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
判定ユニット420はさらに、動き情報から候補動き情報を判定するように構成され、そして、
処理ユニット440は、具体的に、判定ユニット420から候補動き情報を取得し、その候補動き情報に従って位置範囲内の画素を読み取って、候補参照画像ブロックを取得し、候補参照画像ブロックに従って候補動き情報から最適動き情報を判定し、その最適動き情報に従って目標データストリームで復号化処理を実行するように構成される。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
任意選択で、判定ユニット420は、具体的に、動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成される。
任意選択で、判定ユニット420は、具体的に、使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定するように構成され、属性情報は
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも1つを示すために使用される。
任意選択で、判定ユニット420は、具体的に、目標データストリームから第1のインデックス情報を取得し、第1のインデックス情報に従って動き情報から候補動き情報を判定するように構成され、第1のインデックス情報は、候補動き情報を示すために使用される。
任意選択で、判定ユニット420は、具体的に、目標データストリームから第2のインデックス情報を取得し、第2のインデックス情報に従って参照画像内で位置範囲を判定するように構成され、第2のインデックス情報は、参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
本発明の本実施形態による画像処理装置400は、本発明の実施形態の方法におけるデコーダ側に対応し、画像処理装置400の各ユニット、すなわち各モジュール、の前述の及び他の動作及び/又は機能は、図4の方法200の対応するプロセスを実装することを別個に意図されており、詳細は、簡潔性を目的として、本明細書で再度説明はされない。
本発明の本実施形態における画像処理装置によれば、位置範囲は、その位置範囲が少なくとも1つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、少なくとも1つの動き情報から判定することができる。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
前述では、図1から図4を参照して本発明の実施形態による画像処理方法を詳細に説明したが、以下では、図7及び図8を参照して本発明の実施形態による画像処理エンコーダ及びデコーダを詳細に説明する。
図7は、本発明の一実施形態による画像処理エンコーダ500の概略的ブロック図である。図7に示すように、エンコーダ500は、
バス510と、
そのバスに接続されたプロセッサ520と、
そのバスに接続されたメモリ530と
を含むことができ、ここで、
プロセッサ520は、メモリ530に記憶されたプログラムをバス510を使用することによって呼び出して、
現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得することであって、N個の隣接画像ブロックはN個の動き情報と1対1で対応し、N個の動き情報は現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報がN個の参照画像ブロックと1対1で対応する、取得すること
N個の動き情報のうちの少なくとも1つの情報である候補動き情報を事前設定ルールに従ってN個の動き情報から判定し、その候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定し、位置範囲内のすべての画素を記憶するようにメモリ530を制御することであって、位置範囲は候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックはN個の参照画像ブロックのうちの少なくとも1つの画像ブロックであり、候補動き情報は候補参照画像ブロックに対応する動き情報である、制御すること、及び、
メモリ530から位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成すること
を行うように構成される。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
プロセッサ520は、具体的に、候補参照画像ブロックを取得するために、候補動き情報に従ってメモリ530から位置範囲内の画素を読み取ること、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定すること、及び、
最適動き情報に従って現在の画像ブロックで符号化処理を実行こと
を行うように構成される。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
任意選択で、プロセッサ520は、具体的に、メモリ530の使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成され、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも1つを示すために使用される。
任意選択で、プロセッサ520は、具体的に、メモリ530から位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、目標データストリームは第1のインデックス情報を含み、第1のインデックス情報は候補動き情報を示すために使用される。
任意選択で、プロセッサ520は、具体的に、メモリ530から位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、目標データストリームは第2のインデックス情報を含み、第2のインデックス情報は参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
本発明の本実施形態では、デバイス500の構成要素は、バス510を使用することによって、ともに結合される。バス510は、データバスに加えて、電力バス、制御バス、及びステータス信号バスを含む。しかし、明確な説明のために、様々なタイプのバスは、図中でバス510として示される。
プロセッサ520は、本発明の本方法の実施形態で開示されるステップ及び論理ブロック図を実装又は実行することができる。プロセッサ520は、マイクロプロセッサでもよく、又は、そのプロセッサは、従来のプロセッサ、デコーダなどでもよい。本発明の実施形態を参照して開示される本方法のステップは、ハードウェアプロセッサを使用することによって直接実行及び完了することができ、又は、復号化プロセッサにおいてハードウェア及びソフトウェアモジュールの組合せを使用することによって実行及び完了することができる。そのソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読取り専用メモリ、プログラマブル読取り専用メモリ、電気的消去可能プログラマブルメモリ、又はレジスタなどの本分野の成熟した記憶媒体内に置かれ得る。記憶媒体はメモリ530内に置かれ、プロセッサはメモリ530内の情報を読み取り、そのプロセッサのハードウェアと組み合わせて前述の方法のステップを完了する。
本発明の本実施形態では、プロセッサ520は、中央処理装置(Central Processing Unit、 略して「CPU」)でもよく、又は、プロセッサ520は、別の汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、又は別のプログラマブル論理デバイス、離散的ゲート又はトランジスタ論理デバイス、離散的ハードウェア構成要素などでもよいことを理解されたい。その汎用プロセッサは、マイクロプロセッサでもよく、又は、そのプロセッサは、任意の従来のプロセッサなどでもよい。
メモリ530は、読取り専用メモリ及びランダムアクセスメモリを含むことができ、プロセッサ520に命令及びデータを提供することができる。メモリ530の一部はさらに、不揮発性ランダムアクセスメモリを含み得る。たとえば、メモリ530はさらに、デバイスタイプ情報を記憶することができる。
一実装プロセスで、前述の方法のステップが、プロセッサ520内のハードウェアの集積論理回路によって、又はソフトウェア形式の命令によって、実行され得る。本発明の実施形態を参照して開示される本方法のステップは、ハードウェアプロセッサを使用することによって直接実行及び完了することができ、又は、プロセッサ内のハードウェア及びソフトウェアモジュールの組合せを使用することによって実行及び完了することができる。そのソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読取り専用メモリ、プログラマブル読取り専用メモリ、電気的消去可能プログラマブルメモリ、又はレジスタなどの本分野の成熟した記憶媒体内に置かれ得る。
本発明の本実施形態による画像処理エンコーダ500は、本発明の実施形態の本方法におけるエンコーダ側に対応することができ、そして、画像処理エンコーダ500の各ユニット、すなわち各モジュール、の前述の及び他の動作及び/又は機能は、図1の方法100の対応するプロセスを実装することを別個に意図されており、詳細は、簡潔性を目的として、本明細書で再度説明はされない。
本発明の本実施形態における画像処理エンコーダによれば、位置範囲は、その位置範囲が少なくとも1つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、その少なくとも1つの動き情報から判定され得る。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
図8は、本発明の一実施形態による画像処理デコーダ600の概略的ブロック図である。図9に示すように、デコーダ600は、
バス610と、
そのバスに接続されたプロセッサ620と、
そのバスに接続されたメモリ630と
を含むことができ、ここで、
プロセッサ620は、メモリ630に記憶されたプログラムをバス610を使用することによって呼び出して、
現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得することであって、N個の隣接画像ブロックは、N個の動き情報と1対1で対応し、N個の動き情報は、現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報は、N個の参照画像ブロックと1対1で対応する、取得すること、
記憶されるべき画素の位置範囲を参照画像内で判定し、その位置範囲内のすべての画素を記憶するようにメモリ630を制御することであって、位置範囲は候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックはN個の参照画像ブロックのうちの少なくとも1つの画像ブロックである、制御すること、及び、
動き情報のうちの候補動き情報に従ってメモリ630からその位置範囲内の画素を読み取り、その位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成することであって、候補動き情報は、候補参照画像ブロックに対応する動き情報である、再構成すること
を行うように構成される。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
プロセッサ620は、具体的に、動き情報から候補動き情報を判定すること、
候補動き情報に従ってメモリ630から位置範囲内の画素を読み取って候補参照画像ブロックを取得すること、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定すること、及び、
最適動き情報に従って目標データストリームで復号化処理を実行すること
を行うように構成される。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
任意選択で、プロセッサ620は、具体的に、動き情報から候補動き情報を判定すること、及び、
候補動き情報に従って参照画像内で位置範囲を判定すること
を行うように構成される。
任意選択で、プロセッサ620は、具体的に、メモリ630の使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定するように構成され、ここで、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも1つを示すために使用される。
任意選択で、プロセッサ620は、具体的に、候補動き情報を示すために使用される第1のインデックス情報を目標データストリームから取得すること、及び
第1のインデックス情報に従って動き情報から候補動き情報を判定すること
を行うように構成される。
任意選択で、プロセッサ620は、具体的に、参照画像内の位置範囲の位置及び対象範囲を示すために使用される第2のインデックス情報を目標データストリームから取得すること、及び、
第2のインデックス情報に従って参照画像内で位置範囲を判定すること
を行うように構成される。
本発明の本実施形態では、デバイス600の構成要素は、バス610を使用することによって、ともに結合される。バス610は、データバスに加えて、電力バス、制御バス、及びステータス信号バスを含む。しかし、明確な説明のために、様々なタイプのバスは、図中でバス610として示される。
プロセッサ620は、本発明の本方法の実施形態で開示されるステップ及び論理ブロック図を実装又は実行することができる。プロセッサ620は、マイクロプロセッサでもよく、又は、そのプロセッサは、従来のプロセッサ、デコーダなどでもよい。本発明の実施形態を参照して開示される本方法のステップは、ハードウェアプロセッサを使用することによって直接実行及び完了することができ、又は、復号化プロセッサにおいてハードウェア及びソフトウェアモジュールの組合せを使用することによって実行及び完了することができる。そのソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読取り専用メモリ、プログラマブル読取り専用メモリ、電気的消去可能プログラマブルメモリ、又はレジスタなどの本分野の成熟した記憶媒体内に置かれ得る。その記憶媒体はメモリ630内に置かれ、プロセッサはメモリ630内の情報を読み取り、プロセッサのハードウェアと組み合わせて前述の方法のステップを完了する。
本発明の本実施形態では、プロセッサ620は、中央処理装置(Central Processing Unit、略して「CPU」)でもよく、或いは、プロセッサ620は、別の汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、又は別のプログラマブル論理デバイス、離散的ゲート又はトランジスタ論理デバイス、離散的ハードウェア構成要素などでもよい。汎用プロセッサは、マイクロプロセッサでもよく、又は、プロセッサは任意の従来のプロセッサなどでもよいことを理解されたい。
メモリ630は、読取り専用メモリ及びランダムアクセスメモリを含み、命令及びデータをプロセッサ620に提供することができる。メモリ630の一部はさらに、不揮発性ランダムアクセスメモリを含み得る。たとえば、メモリ630はさらに、デバイスタイプ情報を記憶することができる。
一実装プロセスで、前述の方法のステップは、プロセッサ620内のハードウェアの集積論理回路によって又はソフトウェア形式の命令によって実行され得る。本発明の実施形態を参照して開示される本方法のステップは、ハードウェアプロセッサを使用することによって直接実行及び完了することができ、又は、プロセッサ内のハードウェア及びソフトウェアモジュールの組合せを使用することによって実行及び完了することができる。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読取り専用メモリ、プログラマブル読取り専用メモリ、電気的消去可能プログラマブルメモリ、又はレジスタなどの本分野の成熟した記憶媒体内に置かれ得る。
本発明の実施形態において画像処理エンコーダ600は、本発明の実施形態の本方法におけるエンコーダ側に対応することができ、そして、画像処理エンコーダ600の各ユニット、すなわち各モジュール、の前述の及び他の動作及び/又は機能は、図4の方法200の対応するプロセスを実装することを別個に意図されており、詳細は、簡潔性を目的として、本明細書で再度説明はされない。
本発明の本実施形態における画像処理エンコーダによれば、位置範囲は、その位置範囲が少なくとも1つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、少なくとも1つの動き情報から判定することができる。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
本発明の実施形態では、エンコーダ側及びデコーダ側が、同じルールを使用することによって、位置範囲と、符号化及び復号化処理のために使用される動きベクトルとを前もって判定する場合、エンコーダ側及びデコーダ側が位置範囲を判定する方式(すなわち、判定された位置範囲がすべての又はいくつかの参照画像ブロックをカバーする場合)が一致することが確保される必要があることに留意されたい。具体的には、判定された位置範囲がいくつかの参照画像ブロックをカバーする場合、エンコーダ側によって判定される位置範囲によってカバーされる画像ブロックが、デコーダ側によって判定される位置範囲によってカバーされる画像ブロックと一致することが確保されることが必要とされる。
加えて、前述の説明では、位置範囲が参照画像内の矩形範囲である実施形態が列挙されたが、本発明はそれに限定されない。位置範囲の形は、その位置範囲が候補参照画像ブロックをカバーし得ることが確保され得る限り、任意で設定することができ、本発明で具体的に限定されない。
前述のプロセスのシーケンス番号は、本発明の様々な実施形態における実行順序を意味しないことを理解されたい。プロセスの実行順序は、プロセスの機能及び内部ロジックに従って判定されるべきであり、本発明の実施形態の実装プロセスの制限として解釈されるべきではない。
加えて、メモリ帯域幅は、単位時間内のメモリのメモリ空間アクセスの時間の量を評価するための指標である。
本明細書で開示される実施形態で説明される例と組み合わせて、ユニット及びアルゴリズムステップが、電子ハードウェア或いはコンピュータソフトウェア及び電子ハードウェアの組合せによって実装され得ることが、当業者には理解され得る。機能がハードウェアによって実行されるかソフトウェアによって実行されるかは、本技術的解決法の個々の適用例及び設計制約条件に応じて決まる。当業者は、異なる方法を使用して各特定の適用例のために記載された機能を実装し得るが、その実装が本発明の範囲を超えると考えられるべきではない。
前述のシステム、装置、及びユニットの詳細な動作プロセスについて、便利及び簡潔な説明を目的として、前述の方法の実施形態における対応するプロセスが参照され得ることを当業者は明確に理解することができ、詳細は本明細書で再度説明はされない。
本願で提供されるいくつかの実施形態では、開示されるシステム、装置、及び方法は他の方式でも実装され得ることを理解されたい。たとえば、記載された装置実施形態は、単に例示である。たとえば、ユニット分割は、単に論理的機能分割であり、実際の実装形態では他の分割でもよい。たとえば、複数のユニット又は構成要素は、別のシステムに結合又は統合することができ、或いは、いくつかの特徴は、省略しても又は実行しなくてもよい。加えて、表示された又は論じられた相互結合若しくは直接結合又は通信接続は、いくつかのインターフェースを使用することによって、実装することができる。装置又はユニット間の間接結合又は通信接続が、電子的、機械的、又は他の形で実装され得る。
別個の部分として説明されたユニットは、物理的に別個であってもなくてもよく、ユニットとして表示された部分は、物理ユニットであってもなくてもよく、1か所に置かれてもよく、又は、複数のネットワークユニットで分散されてもよい。ユニットのうちのいくつか又はすべては、実施形態の解決法の目的を達成するための実際のニーズに従って、選択することができる。
加えて、本発明の実施形態における機能ユニットは、1つの処理ユニットに統合してもよく、又は、各々のユニットが物理的に離れて存在してもよく、又は、2つ以上のユニットが1つのユニットに統合される。
機能がソフトウェア機能ユニットの形で実装され、独立した製品として販売又は使用されるとき、それらの機能は、コンピュータ可読記憶媒体に記憶され得る。そのような理解に基づいて、基本的に本発明の技術的解決法、又は先行技術に寄与する部分、又は本技術的解決法の一部は、ソフトウェア製品の形で実装することができる。コンピュータソフトウェア製品は、記憶媒体に記憶され、本発明の実施形態で説明される本方法のステップのすべて又は一部を実行するようにコンピュータデバイス(パーソナルコンピュータ、サーバ、ネットワークデバイスなどでもよい)に命令するためのいくつかの命令を含む。前述の記憶媒体は、USBフラッシュドライブ、取外し可能ハードディスク、読取り専用メモリ(ROM、Read−only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、磁気ディスク、又は光ディスクなど、プログラムコードを記憶することができる任意の媒体を含む。
前述の説明は単に、本発明の特定の実装方式であるが、本発明の保護範囲を限定するものではない。本発明で開示される技術的範囲内で当業者によって容易に考え出される任意の変更又は置換は、本発明の保護範囲内にあるものとする。したがって、本発明の保護範囲は、本特許請求の範囲の保護範囲によるものとする。
本願は、参照により本明細書にその全部が組み込まれている、2013年12月13日に中国特許庁に出願した、中国特許出願第201310689002.1号、表題「IMAGE PROCESSING METHOD AND APPARTUS」の優先権を主張するものである。
本発明は、ビデオ処理の分野に関し、より詳細には、画像処理方法及び装置に関する。
インターネットの急速な発展と人々の益々豊かになる物質的及び精神的文化に伴い、インターネット上のビデオのアプリケーション需要、特に高解像度ビデオのアプリケーション需要、は増加している。しかし、高解像度ビデオのデータ量は非常に大きく、限られた帯域幅を有するインターネットで高解像度ビデオを送信するために、高解像度ビデオ圧縮符号化及び復号化の問題は、先ず解決される必要のある問題である。
現在、複数の動き情報が隣接画像ブロックから取得され、1つの最適動き情報が取得された複数の動き情報から選択され、動き補償が最適動き情報を使用することによって現在のコーディングブロックで実行される、符号化及び復号化技術が存在する。前述の隣接画像ブロックは、時間的に隣接する画像ブロック又は空間的に隣接する画像ブロックでもよいことに留意されたい。空間的に隣接する画像ブロックは、現在処理される画像ブロックと同じ画像(たとえば、同じビデオフレーム)内の符号化又は復号される画像ブロックであり、時間的に近隣のブロックは、現在処理される画像ブロックの時間領域参照画像(たとえば、順方向参照フレーム又は逆方向参照フレーム)内の対応する符号化又は復号される画像ブロックである。したがって、隣接画像ブロックの動き情報は、現在のコーディングブロックの動き情報をデータストリームに明示的に書き込むことなしに現在処理される画像ブロックの動き情報を判定するために効果的に使用され得る。
しかし、取得された複数の動き情報から1つの最適動き情報を選択する前述のプロセスでは、参照画像(参照画像ブロックとも呼ばれる)内にある及び各動き情報に対応する画素ブロック(又は、各動き情報が指す画素ブロック)に基づいて計算を実行することが必要とされる。したがって、参照画像から、各動き情報が指す参照画像ブロックを読み取り、前述の最適動き情報の計算に使用するためにメモリに参照画像ブロックを記憶することが必要とされる。
具体的には、比較的大量の候補動きベクトルが存在するとき、比較的大量の参照画像ブロックを記憶することが必要とされる。結果として、より高い要件がメモリ帯域幅に課され、システム費用は増える。
したがって、メモリ帯域幅の要件を低減することができる技術を提供することが求められている。
本発明の実施形態は、メモリ帯域幅の要件を低減することができる画像処理方法及び装置を提供する。
第1の態様によれば、画像処理方法が提供され、本方法は、
現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得するステップであって、N個の隣接画像ブロックがN個の動き情報と1対1で対応し、N個の動き情報が現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報がN個の参照画像ブロックと1対1で対応する、ステップと、
事前設定ルールに従ってN個の動き情報から候補動き情報を判定するステップであって、候補動き情報が、N個の動き情報のうちの少なくとも1つの情報である、ステップと、
その候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップと、
その位置範囲内のすべての画素を記憶するステップであって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがN個の参照画像ブロックのうちの少なくとも1つの画像ブロックであり、候補参照画像ブロックが候補動き情報に対応する画像ブロックである、ステップと、
その位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップと
を含む。
第1の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行するステップは、
候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って現在の画像ブロックで符号化処理を実行するステップと
を含む。
第1の態様及び第1の可能な実装方式を参照して、第2の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
第1の態様、第1の可能な実装方式、及び第2の可能な実装方式を参照して、第3の可能な実装方式では、事前設定ルールに従ってN個の動き情報から候補動き情報を判定するステップは、
使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従ってN個の動き情報から候補動き情報を判定するステップ
を含み、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも1つを示すために使用される。
第1の態様、第1の可能な実装方式、第2の可能な実装方式、及び第3の可能な実装方式を参照して、第4の可能な実装方式では、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、その目標データストリームが第1のインデックス情報を含み、第1のインデックス情報が候補動き情報を示すために使用される、ステップ
を含む。
第1の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、及び第4の可能な実装方式を参照して、第5の可能な実装方式では、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、目標データストリームが第2のインデックス情報を含み、第2のインデックス情報が参照画像内の位置範囲の位置及び対象範囲を示すために使用される、ステップ
を含む。
第1の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、第4の可能な実装方式、及び第5の可能な実装方式を参照して、第6の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
第2の態様によれば、画像処理方法が提供され、本方法は、
現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得するステップであって、N個の隣接画像ブロックがN個の動き情報と1対1で対応し、N個の動き情報が現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報がN個の参照画像ブロックと1対1で対応する、ステップと、
記憶されるべき画素の位置範囲を参照画像内で判定し、その位置範囲内のすべての画素を記憶するステップであって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがN個の参照画像ブロックのうちの少なくとも1つの画像ブロックである、ステップと、
その動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成するステップであって、候補動き情報が、候補参照画像ブロックに対応する動き情報である、ステップと
を含む。
第1の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、その位置範囲内の画素に従って目標データストリームで復号化処理を実行するステップは、
N個の動き情報から候補動き情報を判定するステップと、
その候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って目標データストリームで復号化処理を実行するステップと
を含む。
第2の態様及び第1の可能な実装方式を参照して、第2の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
第2の態様、第1の可能な実装方式、及び第2の可能な実装方式を参照して、第3の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
第2の態様、第1の可能な実装方式、第2の可能な実装方式、及び第3の可能な実装方式を参照して、第4の可能な実装方式では、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
N個の動き情報から候補動き情報を判定するステップと、
候補動き情報に従って参照画像内で位置範囲を判定するステップと
を含む。
第2の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、及び第4の可能な実装方式を参照して、第5の可能な実装方式では、N個の動き情報から候補動き情報を判定するステップは、
使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従ってN個の動き情報から候補動き情報を判定するステップ
を含み、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも1つを示すために使用される。
第2の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、第4の可能な実装方式、及び第5の可能な実装方式を参照して、第6の可能な実装方式では、N個の動き情報から候補動き情報を判定するステップは、
第1のインデックス情報を目標データストリームから取得するステップであって、第1のインデックス情報が候補動き情報を示すために使用されるステップと、
第1のインデックス情報に従ってN個の動き情報から候補動き情報を判定するステップと
を含む。
第2の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、第4の可能な実装方式、第5の可能な実装方式、及び第6の可能な実装方式を参照して、第7の可能な実装方式では、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
第2のインデックス情報を目標データストリームから取得するステップであって、第2のインデックス情報が参照画像内の位置範囲の位置及び対象範囲を示すために使用される、ステップと、
第2のインデックス情報に従って参照画像において位置範囲を判定するステップと
を含む。
第3の態様によれば、画像処理装置が提供され、その装置は、
現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得するように構成された取得ユニットであって、N個の隣接画像ブロックがN個の動き情報と1対1で対応し、N個の動き情報が現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報がN個の参照画像ブロックと1対1で対応する、取得ユニットと、
事前設定ルールに従ってN個の動き情報からそのN個の動き情報のうちの少なくとも1つの情報である候補動き情報を判定し、その候補動き情報に従って記憶されるべき画素の位置範囲を参照画像内で判定するように構成された判定ユニットであって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがN個の参照画像ブロックのうちの少なくとも1つの画像ブロックであり、候補動き情報が候補参照画像ブロックに対応する動き情報である、判定ユニットと、
位置範囲内のすべての画素を記憶するように構成された記憶ユニットと、
記憶ユニットから位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成された、処理ユニットと
を含む。
第1の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、処理ユニットは、具体的に、候補動き情報に従って記憶ユニットから位置範囲内の画素を読み取って候補参照画像ブロックを取得し、候補参照画像ブロックに従って候補動き情報から最適動き情報を判定し、最適動き情報に従って現在の画像ブロックで符号化処理を実行するように構成される。
第3の態様及び第1の可能な実装方式を参照して、第2の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
第3の態様、第1の可能な実装方式、及び第2の可能な実装方式を参照して、第3の可能な実装方式では、判定ユニットは、具体的に、使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従ってN個の動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成され、その属性情報は、現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイルのパラメータのうちの少なくとも1つを示すために使用される。
第3の態様、第1の可能な実装方式、第2の可能な実装方式、及び第3の可能な実装方式を参照して、第4の可能な実装方式では、処理ユニットは、具体的に、記憶ユニットから位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、その目標データストリームは第1のインデックス情報を含み、第1のインデックス情報は候補動き情報を示すために使用される。
第3の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、及び第4の可能な実装方式を参照して、第5の可能な実装方式では、処理ユニットは、具体的に、記憶ユニットから位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、その目標データストリームは、第2のインデックス情報を含み、第2のインデックス情報は、参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
第3の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、第4の可能な実装方式、及び第5の可能な実装方式を参照して、第6の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
第4の態様によれば、画像処理装置が提供され、その装置は、
現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得するように構成された取得ユニットであって、N個の隣接画像ブロックがN個の動き情報と1対1で対応し、N個の動き情報が現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報がN個の参照画像ブロックと1対1で対応する、取得ユニットと、
記憶されるべき画素の位置範囲を参照画像内で判定するように構成された判定ユニットであって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがN個の参照画像ブロックのうちの少なくとも1つの画像ブロックである、判定ユニットと、
位置範囲内のすべての画素を記憶するように構成された記憶ユニットと、
動き情報のうちの候補動き情報に従って記憶ユニットから位置範囲内の画素を読み取り、その位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成するように構成された処理ユニットであって、候補動き情報が候補参照画像ブロックに対応する動き情報である、処理ユニットと
を含む。
第1の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、判定ユニットはさらに、N個の動き情報から候補動き情報を判定するように構成され、そして、処理ユニットは、具体的に、判定ユニットから候補動き情報を取得し、候補動き情報に従って位置範囲内の画素を読み取って、候補参照画像ブロックを取得し、候補参照画像ブロックに従って候補動き情報から最適動き情報を判定し、最適動き情報に従って目標データストリームで復号化処理を実行するように構成される。
第4の態様及び第1の可能な実装方式を参照して、第2の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
第4の態様、第1の可能な実装方式、及び第2の可能な実装方式を参照して、第3の可能な実装方式では、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
第4の態様、第1の可能な実装方式、第2の可能な実装方式、及び第3の可能な実装方式を参照して、第4の可能な実装方式では、判定ユニットは、具体的に、N個の動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成される。
第4の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、及び第4の可能な実装方式を参照して、第5の可能な実装方式では、判定ユニットは、具体的に、使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従ってN個の動き情報から候補動き情報を判定するように構成され、その属性情報は、現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイルのパラメータのうちの少なくとも1つを示すために使用される。
第4の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、第4の可能な実装方式、及び第5の可能な実装方式を参照して、第6の可能な実装方式では、判定ユニットは、具体的に、目標データストリームから第1のインデックス情報を取得し、第1のインデックス情報に従ってN個の動き情報から候補動き情報を判定するように構成され、第1のインデックス情報は候補動き情報を示すために使用される。
第4の態様、第1の可能な実装方式、第2の可能な実装方式、第3の可能な実装方式、第4の可能な実装方式、第5の可能な実装方式、及び第6の可能な実装方式を参照して、第7の可能な実装方式では、判定ユニットは、具体的に、目標データストリームから第2のインデックス情報を取得し、第2のインデックス情報に従って参照画像内で位置範囲を判定するように構成され、第2のインデックス情報は、参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
本発明の実施形態における画像処理方法及び装置によれば、位置範囲が少なくとも1つの動き情報に対応する画素をカバーするように、位置範囲は参照画像内で判定され、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、少なくとも1つの動き情報から判定することができる。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
本発明の実施形態における技術的解決法をより明確に説明するために、本発明の実施形態を説明するために必要とされる添付の図面を以下に簡単に紹介する。明らかに、以下の説明にある添付の図面は、本発明のいくつかの実施形態を単に示し、当業者は、創造的努力なしにこれらの添付の図面から他の図面をさらに導出し得る。
本発明の一実施形態による画像処理方法の概略的流れ図である。 現在の画像ブロックに空間的に隣接する隣接画像ブロックの概略図である。 現在の画像ブロックに時間的に隣接する隣接画像ブロックの概略図である。 本発明の一実施形態の画像処理方法に従って判定される位置範囲の一例の概略図である。 本発明の一実施形態の画像処理方法に従って判定される位置範囲のもう1つの例の概略図である。 本発明のもう1つの実施形態による画像処理方法の概略的流れ図である。 本発明の一実施形態による画像処理装置の概略的ブロック図である。 本発明のもう1つの実施形態による画像処理装置の概略的ブロック図である。 本発明の一実施形態による画像処理エンコーダの概略的構造図である。 本発明のもう1つの実施形態による画像処理デコーダの概略的構造図である。
以下では、本発明の実施形態において添付の図面を参照して本発明の実施形態における技術的解決法を明確に及び完全に説明する。明らかに、説明される実施形態は、本発明の実施形態のいくつかであり、すべてではない。創造的努力なしに本発明の実施形態に基づいて当業者によって得られるすべての他の実施形態は、本発明の保護範囲内にあるものとする。
本発明の実施形態による画像処理方法及び装置は、複数の動き情報から最適動き情報を判定すること及びその最適動き情報に従って現在の画像ブロックで動き補償を実行することによって、現在の画像ブロックで符号化及び復号化を実装するための様々な技術、たとえば、隣接画像ブロックの動き情報を使用することによって現在処理される画像ブロックの動き情報を判定する、デコーダ側動きベクトル導出(DMVD:Decorder−side motion vector derivation)技術、マージ(MERGE)技術、及び高度動きベクトル予測(AMVP:Advanced Motion Vector Prediction)技術などの技術、に適用可能であり得る。理解及び説明を容易にするために、本発明の実施形態における画像処理方法及び装置がDMVD技術に適用される例を使用することによって、以下の説明は行われる。
加えて、本発明の実施形態では、画像は、ビデオ内のビデオフレームでもよい。この場合、画像ブロックは、ビデオフレーム内のフレームブロックでもよい。
図1は、本発明の一実施形態による、エンコーダ側の視点から説明された、画像処理方法100の概略的流れ図である。図1に示すように、方法100は、以下を含む。
S110:現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得し、ここで、N個の隣接画像ブロックは、N個の動き情報と1対1で対応し、N個の動き情報は、現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報は、N個の参照画像ブロックと1対1で対応する。
S120:事前設定ルールに従ってN個の動き情報から候補動き情報を判定し、ここで、候補動き情報は、N個の動き情報のうちの少なくとも1つの情報である。
S130:候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定し、位置範囲内のすべての画素を記憶し、ここで、位置範囲は候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも1つの画像ブロックであり、候補参照画像ブロックは、候補動き情報に対応する画像ブロックである。
S140:位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成する。
具体的には、エンコーダ側は、N個の動き情報を取得することができ、Nは正の整数である。
本発明の本実施形態では、動き情報は、予測方向、参照画像インデックス、又は動きベクトルのうちの1つ又は複数を含むことができ、予測方向は、単方向(単方向予測及び双方向(双方向予測)でもよく、単方向予測は順方向予測及び逆方向予測を含み得る。
順方向予測は、順方向参照画像list、すなわちlist(リスト)0、内の参照画像を使用することによって予測信号を生成することを示す。
逆方向予測は、逆方向参照画像list、すなわちlist1、で参照画像を使用することによって予測信号を生成することを示す。双方向予測は、list0内の参照画像及びlist1内の参照画像を同時に使用することによって予測信号を生成することを示す。
単方向予測では、参照画像インデックスが、list0又はlist1から選択された参照画像を示すために必要とされる。双方向予測では、2つの参照画像インデックスが、list0から選択された参照画像及びlist1から選択された参照画像をそれぞれ示すために必要とされる。
各動きベクトルは、水平方向構成要素x及び垂直方向構成要素yを含み、(x、y)によって示すことができる。単方向予測では、動きベクトルが、list0又はlist1から選択された参照画像における予測信号の変位を示すために必要とされる。双方向予測では、2つの動きベクトルが、list0から選択された参照画像及びlist1から選択された参照画像内の順方向予測信号及び逆方向予測信号の変位をそれぞれ示すために必要とされる。
本発明の本実施形態では、動き情報は、現在の画像ブロック(すなわち、エンコーダ側の符号化されるべき画像ブロック、及び、デコーダ側では、復号される及び再構成されるべき画像ブロック)の隣接画像ブロックから取得される動き情報を示す。本発明の本実施形態では、動き情報は、空間的動き情報及び時間的動き情報を含み得る。
空間的動き情報は、現在の画像ブロックの空間的に隣接するブロックから取得される動き情報であり、時間的動き情報は、時間的に隣接するブロックから取得される動き情報を示す。
図2aは、DMVD技術における空間的動き情報のソース位置(取得された位置)を示し、図2bは、DMVD技術における時間的動き情報のソース位置(取得された位置)を示す。
図2aに示すように、DMVD技術において、空間的動き情報は、
現在の画像ブロックの左側の画像ブロックA(隣接するブロックの一例)の動き情報であって、以下にMV#Aによって示される動き情報、
現在の画像ブロックの上側の画像ブロックB(隣接するブロックのもう1つの例)の動き情報であって、以下にMV#Bによって示される動き情報、
現在の画像ブロックの右上方の画像ブロックC(隣接するブロックのもう1つの例)の動き情報であって、以下にMV#Cによって示される動き情報、及び、
現在の画像ブロックの左上方の画像ブロックD(隣接するブロックのもう1つの例)の動き情報であって、以下にMV#Dによって示される動き情報
を含み得る。
予測方向が単方向であるとき、1つの動き情報は、参照画像内の参照ブロックを示すことができ、そして、予測方向が双方向であるとき、1つの動き情報は、順方向参照画像内の参照ブロック及び逆方向参照画像内の参照ブロックを示し得ることに留意されたい。
図2bに示すように、DMVD技術において、時間的動き情報は、たとえば、現在の画像ブロックに基づいてMV#T’でシフト処理を実行することによって取得される動き情報を含むことができ、動き情報は、以下にMV#Tによって示され、MV#T’は、逆方向参照画像内にある及び現在の画像ブロックに対応する位置にある画像ブロックE(隣接するブロックのもう1つの例)の動き情報である。
したがって、エンコーダ側は、前述の5つの動き情報、すなわちN個の動き情報の一例、を含む動き情報セット(又は、動き情報list)を取得することができ、その動き情報セットは、
{MV#A,MV#B,MV#C,MV#D,MV#T}
によって示される。
N個の動き情報を取得するための前記で説明された方法は、単に、例示的説明を目的とし、本発明はそれに限定されないことを理解されたい。異なる取得方法が、本発明において具体的に限定されない、本発明の本実施形態における画像処理方法が適用可能な技術に従って、使用され得る。
前述のようにN個の動き情報を判定した後、エンコーダ側は、参照画像から各動き情報に対応する参照画像ブロック(又は、各動き情報が指す参照画像ブロック)を判定することができる。予測方向が双方向である場合、エンコーダ側は2つの参照画像(順方向参照画像及び逆方向参照画像)から各動き情報に対応する参照画像ブロックをそれぞれ判定する必要があることに本明細書では留意されたい。理解及び説明を容易にするために、及び一般性の喪失なしに、以下の説明は、例として逆方向参照画像での処理を使用することによって行われる。
次いで、エンコーダ側は、符号化処理、具体的には、目標動き情報による現在の画像ブロックの動き補償処理、を実行するために、N個の動き情報から1つの動き情報(理解及び説明を容易にするために以下で目標動き情報と呼ばれる)を判定する必要がある。本プロセスは、後で詳しく説明する。
本発明の本実施形態では、目標動き情報は、事前設定ルールによる計算方式で計算することができ(すなわち、方式1)、或いは、目標動き情報は、現在の画像ブロックの属性及び/又はデバイス性能に従って判定することができる(すなわち、方式2)。前述の2つの場合の処理は、以下で別個に詳しく説明する。
方式1
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
本発明の本実施形態では、N個の動き情報のすべてが、候補動き情報として使用され得る。したがって、最適動き情報は、計算方式でN個の動き情報から判定することができ、最適動き情報は、前述の目標動き情報として使用される。計算プロセスにおいて、N個の動き情報(具体的には、動きベクトルが指す参照画像ブロック)に対応する参照画像(候補参照画像ブロックの一例)内の参照画像ブロックを取得することが必要とされ、計算が、参照画像ブロック(具体的には、参照画像ブロック内の画素の画素値)に基づいて実行される。
したがって、本発明の本実施形態では、エンコーダ側は、参照画像内の画素(すなわち、各参照画像ブロック)の位置分布を判定することができ、それらの画素は、記憶される必要があり、後の処理のために使用される。
前述の判定された動き情報の各々は、現在の符号化されるべきブロックの隣接する(時間的に隣接する及び/又は空間的に隣接する)画像ブロックから取得されるので、動き情報(具体的には、動きベクトル)の間に比較的強い相関関係(又は類似性)が存在する。したがって、図3a及び図3bに示すように、外面的表現は、参照画像ブロックが重複する、又は複数の参照画像ブロックが同じ位置にある画素を含むということである。
先行技術では、エンコーダ側は、各参照画像ブロックに基づいてN個の動き情報から最適動き情報を判定するために、各動き情報が指す参照画像ブロックを参照画像から別個に取得し、各参照画像ブロック(具体的には、参照画像ブロック内の画素値)をメモリ空間において独立して記憶する必要がある。したがって、デバイスのメモリ帯域幅がN個の参照画像ブロックの読取りに対応し得ることが必要とされ、前述の重複するエリアが複数回にわたり記憶される場合が生じ得る、すなわち、最適動き情報が判定されるとき、N個の参照画像ブロックを読み取るために、指定された時間内にN回の読取りを実行することが必要とされ、メモリ帯域幅の比較的高い要件を結果としてもたらす。
対照的に、本発明の本実施形態では、エリアの範囲が、N個の参照画像ブロックによって含まれるすべての画素をカバーし得るように、エリア(すなわち、位置範囲)は、前述の判定されるN個の動き情報の間に比較的強い相関関係及び類似性が存在するという特徴に基づいて参照画像から判定することができる。たとえば限定ではなくて、N個の参照画像ブロックの最小公開画像ブロック、すなわち図3aに破線で示されるエリア、が位置範囲として使用され得る。
最小公開画像ブロックは、以下の方式で判定することができる。すなわち、
現在の符号化されるべき画像内の現在の画像ブロックの座標が(cur_x,cur_y)であり、そのサイズが(blk_x)×(blk_y)画素であり、一般性を失うことなく、参照画像において、動きベクトルの水平構成要素がxによって示され、動きベクトルの垂直構成要素がyによって示されると仮定すると、参照画像において、MV#Aは{MV#A_x,MV#A_y}として記述することができ、MV#Bは{MV#B_x,MV#B_y}として記述することができ、MV#Cは{MV#C_x,MV#C_y}として記述することができ、MV#Dは{MV#D_x,MV#D_y}として記述することができ、そして、MV#Tは{MV#T_x,MV#T_y}として記述することができる。
したがって、各参照画像ブロックにおいて、以下のように判定することができる。
目標画像ブロックに関する水平方向における最小変位Δx_minは、min(MV#A_x,MV#B_x,MV#C_x,MV#D_x,MV#T_x)に等しく、
目標画像ブロックに関する水平方向における最大変位Δx_maxは、max(MV#A_x,MV#B_x,MV#C_x,MV#D_x,MV#T_x)に等しく
目標画像ブロックに関する垂直方向における最小変位Δy_minは、min(MV#A_y,MV#B_y,MV#C_y,MV#D_y,MV#T_y)に等しく、そして、
目標画像ブロックに関する垂直方向における最大変位Δy_maxは、max(MV#A_y,MV#B_y,MV#C_y,MV#D_y,MV#T_y)に等しい。
本定義において、参照画像から一度に読み取られ、一時的に記憶される位置範囲は、矩形領域でもよく、ここで、
矩形領域の左上角の画素の座標は、(cur_x+Δx_min,cur_y+Δy_min)であり、そして、
矩形領域の右下角の画素の座標は、(cur_x+Δx_max+blk_x,cur_y+Δy_max+blk_y)である。
したがって、位置範囲内の各画素の情報(画素値など)は、最適動き情報の判定のその後の処理で使用するために、読み取り、メモリに記憶することができる。
任意選択で、動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップの前に、本方法は、
N個の参照画像ブロックのうちの少なくとも2つの参照画像ブロックが互いに重複すると判定するステップ
をさらに含む。
具体的に、各参照画像ブロックが前述のように判定された後、参照画像が互いに重複するかどうかを先ず判定することができ、参照画像が重複する場合、位置範囲の判定及びその位置範囲内の画素の情報の記憶の前述のプロセスが、実行され得る。
したがって、メモリ帯域幅の要件が先行技術と比較して低減されることを確保することができる。
任意選択で、動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップの前に、本方法は、
N個の参照画像ブロックのうちの少なくとも2つの参照画像ブロックが互いに重複し、及び重複する参照画像ブロックの量が事前設定された量閾値以上であり、又は重複する範囲が事前設定された範囲閾値以上であると判定するステップ
をさらに含む。
具体的には、各参照画像ブロックが前述のように判定された後、参照画像が互いに重複するかどうかを先ず判定することができ、そして、参照画像が重複する場合、重複するエリアの特徴(たとえば、重複する参照画像ブロックの量及び/又は重複する範囲のサイズ)をさらに判定することができ、前述の重複するエリアの特徴が事前設定条件に合う、たとえば、重複する参照画像ブロックの量が事前設定された量閾値以上である、及び/又は重複する範囲が事前設定された範囲閾値以上である)場合、位置範囲の判定及び位置範囲内の画素の情報の記憶の前述のプロセスが、実行され得る。前述の量閾値は、参照画像ブロックの量(又は、動き情報の量)に従ってセットされ得ることに留意されたい。たとえば、参照画像ブロックの量が5である場合、量閾値は5にセットされ得る。同様に、前述の範囲閾値は、参照画像ブロックのサイズに従ってセットされ得る。
したがって、メモリ帯域幅の要件が先行技術と比較して低減されることが、さらに確保され得る。
次いで、最適動き情報が、記憶された位置範囲(具体的には、その位置範囲内の画素)に従って、N個の動き情報から判定され得る。
すなわち、任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行するステップは、
候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って現在の画像ブロックで符号化処理を実行するステップと
を含む。
具体的に、前述の判定された位置範囲はすべての参照画像ブロックをカバーするので、各動き情報に対応する参照画像ブロック(具体的には、各参照画像ブロックの画素の情報)は、その位置範囲内の画素の記憶された情報から取得され得る。したがって、最適動き情報は、参照画像ブロックに従って動き情報から判定され得る。たとえば、評価が、各動き情報に対応する評価値を取得するために、各動き情報に対応する画素の情報に基づいて及び所定の基準(たとえば、レート歪み基準)を適用することによって、実行可能であり、そして、最小評価値を有する動き情報が、最適動き情報、すなわち、現在の画像ブロックで符号化処理(たとえば、動き補償処理)を実行するための動き情報、として選択される。
前述の所定の基準は、適用される符号化技術に従って適切に変更することができ、本発明において具体的に限定されないことを理解されたい。たとえば、DMVD技術において、双方向予測の場合、各動き情報は順方向動き情報及び逆方向動き情報を含み、順方向動き情報は、順方向参照画像内の参照画像ブロック(順方向参照画像ブロックと呼ばれる)を示すために使用され、そして、逆方向動き情報は、逆方向参照画像内の参照画像ブロック(順方向参照画像ブロックと呼ばれる)を示すために使用され、そして、順方向参照画像ブロック及び逆方向参照画像ブロックの対応する位置の画素値の平方差の和が、測定基準として使用される場合、最小の平方差の和を有する動き情報が、最適動き情報として使用され得る。
次いで、エンコーダ側は、最適動き情報を使用して目標画像ブロックでの動き補償符号化動作などの処理を実行して、現在の画像ブロックで符号化を実装し、目標データストリームを生成し、デコーダ側に目標データストリームを送信することができる。本明細書において、最適動き情報に従って現在の画像ブロックで符号化処理をエンコーダ側によって実行するプロセス及び方法は、先行技術におけるそれらと同様でもよい。説明の繰返しを避けるために、その説明は、本明細書では省略される。
任意選択で、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、目標データストリームが第2のインデックス情報を含み、第2のインデックス情報が参照画像内の位置範囲の位置を示すために使用される、ステップ
を含む。
具体的に、本発明の本実施形態では、前述のように位置範囲を判定した後に、エンコーダ側はさらに、生成されたデータストリームに参照画像内のその位置範囲の位置を示すための情報、すなわち第2のインデックス情報、を追加することができ、デコーダ側は、第2のインデックス情報に従って参照画像内で位置範囲を直接判定することができる。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
本発明の本実施形態における画像処理方法によれば、最適動き情報の取得を確保することができ、画像処理効果を改善することができ、ユーザ体験を向上させることができるように、判定される位置範囲は、すべての参照画像をカバーする。
方式2
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
具体的に、エンコーダ側のデバイスのハードウェアによって限定されるため、たとえば、メモリ帯域幅によって限定されるため、現在使用可能なメモリ帯域幅が、前述の方式1で判定された最小公開画像ブロック(位置範囲の一例)の要件を満たすことができない場合が存在し得る。
前述の問題を考慮して、本発明の本実施形態は、以下の技術的解決法を提供する。すなわち、判定された位置範囲は、いくつかの参照画像ブロック(すなわち、候補参照画像ブロックの一例)のみをカバーし得る。カバーされる参照画像ブロックの量がMであると仮定すると、1≦M<Nが満たされる。
したがって、位置範囲が少なくとも1つの完全な参照画像ブロックをカバーすること、すなわち、少なくとも1つの動き情報が使用可能であること、を確保することができ、そして、符号化が動き情報を使用することによって現在の画像ブロックで実行されることを確保することを前提として、メモリ帯域幅の要件は低減することができる。
この場合、エリアの範囲が、M個の参照画像ブロックによって含まれるすべての画素、すなわち図3bで破線によって示されるエリア、をカバーし得るように、エリア(すなわち、位置範囲)が、参照画像内で判定され得る。
任意選択で、事前設定ルールに従ってN個の動き情報から候補動き情報を判定するステップは、
使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従ってN個の動き情報から候補動き情報を判定するステップ
を含み、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも1つを示すために使用される。
具体的に、本発明の本実施形態では、M個の候補参照画像ブロックが選択され得る、或いは、M個の候補参照画像ブロックに対応する動き情報が、使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従って、選択され得る。
前述のパラメータを使用するための方法を以下に別個に説明する。
A.現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、及び現在の画像ブロックが属する画像の制作スタイル
たとえば、画像が内容によって分類される場合、画像は、ニュース画像、スポーツ画像、映画−テレビジョン画像などでもよい。同様に、画像はまた、ソース及び制作スタイルによって分類することもできる。同じタイプの画像の最適動き情報(又は最適動き情報が由来する隣接画像ブロック)は、常に同じである。したがって、本発明の本実施形態では、各タイプの画像の優先度の高い動き情報の統計値は、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、現在の画像ブロックが属する画像の制作スタイルなどに従って、収集することができ、優先度の高い動き情報は、このタイプの画像の最適動き情報になる最も大きな可能性を有する。
したがって、位置範囲が判定されているとき、その位置範囲が前述の優先度の高い動き情報に対応する参照画像ブロックをカバーすることが優先的に確保され得る。
任意選択で、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
その位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、目標データストリームが第1のインデックス情報を含み、第1のインデックス情報が候補動き情報を示すために使用される、ステップ
を含む。
具体的に、前述のように優先度の高い動き情報(すなわち、候補動き情報の一例)を判定した後に、エンコーダ側は、生成されたデータストリームに候補動き情報を示すための情報、すなわち第1のインデックス情報、を加えることができ、そして、デコーダ側は、各候補動き情報に対応する参照画像ブロック(すなわち、候補参照画像ブロック)を判定するために、第1のインデックス情報に従ってN個の動き情報から候補動き情報を直接判定することができる。したがって、位置範囲は、参照画像内で判定することができ、そして、その位置範囲は、候補参照画像ブロックをカバーし得る。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
B.使用可能なメモリ帯域幅
本発明の本実施形態では、読み取る及び記憶することができる位置範囲のサイズは、現在使用可能なメモリ帯域幅のサイズに従って判定され得る。したがって、カバーされ得る参照画像ブロックの量及び位置は、位置範囲のサイズに従って判定され得る。したがって、候補参照画像ブロック及びその候補参照画像ブロックを指す候補動き情報が、判定され得る。
現在使用可能なメモリ帯域幅が十分大きい場合、その位置範囲によってカバーされる参照画像ブロックの複数の組合せが存在する場合が存在し得ることに留意されたい。たとえば、同サイズの位置範囲では、参照画像内の位置範囲の位置が異なる場合、カバーされ得る参照画像ブロックの量は異なることがあり、又は同サイズの位置範囲では、参照画像内の位置範囲の位置が異なる場合、カバーされ得る参照画像ブロックに対応する動き情報は異なる。
この場合、最大の参照画像ブロックをカバーし得る範囲が、使用される位置範囲として使用され得る。したがって、比較的多量の参照画像ブロックが提供可能であり、最終的に判定される及び符号化処理のために使用される動き情報は、最適化され得る。
別法として、前述の判定された優先度の高い動き情報に対応する参照画像ブロックをカバーし得る範囲が、使用される位置範囲として使用され得る。したがって、符号化処理が優先度の高い動き情報に従って実行されることが、確保され得る。
C.現在の画像ブロックが属する画像の解像度
異なる画像解像度は、エンコーダ側のハードウェアで異なる要件を有する。たとえば、比較的高い解像度を有する画像では、その画像で符号化を実装するために、比較的高い性能、たとえば、比較的高いメモリ帯域幅、を有するハードウェアを構成することが通常は必要とされる。したがって、記憶され得る位置範囲のサイズは、現在の画像ブロックが属する画像の解像度に従って判定され、すなわち、解像度がより高い場合、位置範囲はより大きい。したがって、カバーされ得る参照画像ブロックの量及び位置は、位置範囲のサイズに従って判定され得る。したがって、候補参照画像ブロック及びその候補参照画像ブロックを指す候補動き情報が、判定され得る。
位置範囲が、使用可能なメモリ帯域幅及び現在の画像ブロックが属する画像の解像度(又は、エンコーダのハードウェア性能)に従って判定される場合、その位置範囲は、以下の方式で判定することができる。すなわち、
現在の符号化されるべき画像内の現在の画像ブロックの座標が(cur_x,cur_y)であり、そのサイズが(blk_x)×(blk_y)画素であり、一般性を失うことなく、参照画像において、動きベクトルの水平構成要素がxによって示され、動きベクトルの垂直構成要素がyによって示されると仮定すると、その参照画像において、MV#Aは{MV#A_x,MV#A_y}として記述することができ、MV#Bは{MV#B_x,MV#B_y}として記述することができ、MV#Cは{MV#C_x,MV#C_y}として記述することができ、MV#Dは{MV#D_x,MV#D_y}として記述することができ、そして、MV#Tは{MV#T_x,MV#T_y}として記述することができる。
したがって、各参照画像ブロックにおいて、以下のように判定することができる。
目標画像ブロックに関する水平方向における最小変位Δx_minは、min(MV#A_x,MV#B_x,MV#C_x,MV#D_x,MV#T_x)に等しく、
目標画像ブロックに関する水平方向における最大変位Δx_maxは、max(MV#A_x,MV#B_x,MV#C_x,MV#D_x,MV#T_x)に等しく、
目標画像ブロックに関する垂直方向における最小変位Δy_minは、min(MV#A_y,MV#B_y,MV#C_y,MV#D_y,MV#T_y)に等しく、そして、
目標画像ブロックに関する垂直方向における最大変位Δy_maxは、max(MV#A_y,MV#B_y,MV#C_y,MV#D_y,MV#T_y)に等しい。
本定義において、参照画像から一度に読み取られ、一時的に記憶される位置範囲は、矩形領域でもよく、ここで、
矩形領域の左上角の画素の座標は、(cur_x+max(−Ωx_min,Δ_x_min),cur_y+max(−Ωy_min,Δ_y_min))であり、そして、
矩形領域の右下角の画素の座標は、(cur_x+blk_x+min(Ωx_max,Δx_max),cur_y+blk_y+min(Ωy_max,Δy_max)であり、
但し、Ωx_min、Ωx_max,Ωy_min、及びΩy_maxの値は、使用可能なメモリ帯域幅又はエンコーダのハードウェア性能に従って判定され得る。
任意選択で、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、目標データストリームが第2のインデックス情報を含み、第2のインデックス情報が参照画像内の位置範囲の位置を示すために使用される、ステップ
を含む。
具体的に、本発明の本実施形態では、前述のように位置範囲を判定した後に、エンコーダ側はさらに、生成されたデータストリームに参照画像内のその位置範囲の位置を示すための情報、すなわち第2のインデックス情報、を追加することができ、デコーダ側は、第2のインデックス情報に従って、参照画像内で位置範囲を直接判定することができる。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
たとえば限定ではなくて、本発明の本実施形態では、第2のインデックス情報は、Ωx_min、Ωx_max、Ωy_min、及びΩy_maxの前述の値でもよい。加えて、第2のインデックス情報は、適切な構文要素を使用することによって、データストリームの異なる位置で識別することができ、たとえば、ピクチャパラメータセット(PPS、Picture parameter set)又はスライスヘッダ(slice header)において識別され得る。ピクチャパラメータセット又はスライスヘッダがデータストリームにおいて出現する頻度は比較的低いので、これらの位置でのΩx_min、Ωx_max、Ωy_min、及びΩy_maxの前述の値の識別によってもたらされる余分な帯域幅の効果は、ほとんど無視することができる。
位置範囲が前述のように判定された後、位置範囲内の各画素の情報(画素値など)は、読み取り、メモリに記憶することができる。
加えて、位置範囲が、1つのみの完全な参照画像ブロック(すなわち、候補参照画像ブロック)をカバーし得るとき、符号化処理が、候補参照画像ブロック及び候補参照画像ブロックに対応する動き情報を直接使用することによって、現在の画像ブロックで実行され得る。
位置範囲が、少なくとも2つの完全な参照画像ブロック(すなわち、候補参照画像ブロック)をカバーし得るとき、最適動き情報は、記憶された位置範囲(具体的には、位置範囲内の画素)に従って、それらの少なくとも2つの候補参照画像ブロックに対応する動き情報から判定され得る。
すなわち、任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行するステップは、
候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って現在の画像ブロックで符号化処理を実行するステップと
を含む。
具体的に、前述の判定された位置範囲は少なくとも2つの参照画像ブロックをカバーするので、各候補動き情報に対応する候補参照画像ブロック(具体的には、各参照画像ブロックの画素の情報)は、その位置範囲内の画素の記憶された情報から取得され得る。したがって、最適動き情報は、候補動き情報から判定され得る。たとえば、評価が、候補動き情報に対応する画素の情報に基づいて及び所定の基準を適用することによって実行されて、各候補動き情報に対応する評価値を取得することができ、そして、最小評価値を有する候補動き情報が、最適動き情報、すなわち、現在の画像ブロックで符号化処理(たとえば、動き補償処理)を実行するための動き情報、として選択される。
次いで、エンコーダ側は、最適動き情報を使用して目標画像ブロックでの動き補償符号化動作などの処理を実行して、現在の画像ブロックで符号化を実装し、目標データストリームを生成し、デコーダ側に目標データストリームを送信することができる。本明細書において、最適動き情報に従って現在の画像ブロックで符号化処理をエンコーダ側によって実行するプロセス及び方法は、先行技術におけるそれらと同様でもよい。説明の繰返しを避けるために、その説明は本明細書では省略される。
本発明の本実施形態における画像処理方法によれば、位置範囲が、少なくとも1つの動き情報に対応する画素をカバーするように、位置範囲は、参照画像において判定され、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、少なくとも1つの動き情報から判定することができる。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
図4は、本発明の一実施形態による、デコーダ側の視点から説明された、画像処理方法200の概略的流れ図である。図4に示すように、方法200は、以下を含む。
S210:現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得し、ここで、N個の隣接画像ブロックは、N個の動き情報と1対1で対応し、N個の動き情報は、現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報は、N個の参照画像ブロックと1対1で対応する。
S220:記憶されるべき画素の位置範囲を参照画像内で判定し、位置範囲内のすべての画素を記憶し、ここで、位置範囲は、候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも1つの画像ブロックである。
S230:動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成し、ここで、候補動き情報は、候補参照画像ブロックに対応する動き情報である。
具体的には、デコーダ側は、N個の動き情報を取得することができ、Nは正の整数である。
本発明の本実施形態では、動き情報は、予測方向、参照画像インデックス、又は動きベクトルのうちの1つ又は複数含むことができ、予測方向は単方向予測及び双方向予測を含むことができ、そして、単方向予測は順方向予測及び逆方向予測を含むことができる。
順方向予測は、順方向参照画像list、すなわちlist(リスト)0、内の参照画像を使用することによって予測信号を生成することを示す。
逆方向予測は、逆方向参照画像list、すなわちlist1、内の参照画像を使用することによって予測信号を生成することを示す。双方向予測は、list0内の参照画像及びlist1内の参照画像を同時に使用することによって予測信号を生成することを示す。
単方向予測では、参照画像インデックスが、list0又はlist1から選択された参照画像を示すために必要とされる。双方向予測では、2つの参照画像インデックスが、list0から選択された参照画像及びlist1から選択された参照画像をそれぞれ示すために必要とされる。
各動きベクトルは、水平方向構成要素x及び垂直方向構成要素yを含み、(x、y)によって示すことができる。単方向予測では、動きベクトルが、list0又はlist1から選択された参照画像における予測信号の変位を示すために必要とされる。双方向予測では、2つの動きベクトルが、list0から選択された参照画像及びlist1から選択された参照画像内の順方向予測信号及び逆方向予測信号の変位をそれぞれ示すために必要とされる。
本発明の本実施形態では、動き情報は、現在の画像ブロック(すなわち、エンコーダ側の符号化されるべき画像ブロック、及びデコーダ側では、復号される及び再構成されるべき画像ブロック)の隣接画像ブロックから取得される動き情報を示す。本発明の本実施形態では、動き情報は、空間的動き情報及び時間的動き情報を含み得る。
空間的動き情報は、現在の画像ブロックの空間的に隣接するブロックから取得される動き情報であり、時間的動き情報は、時間的に隣接するブロックから取得される動き情報を示す。
図2aは、DMVD技術における空間的動き情報のソース位置(取得された位置)を示し、図2bは、DMVD技術における時間的動き情報のソース位置(取得された位置)を示す。
図2aに示すように、DMVD技術において、空間的動き情報は、
現在の画像ブロックの左側の画像ブロックA(隣接するブロックの一例)の動き情報であって、以下でMV#Aによって示される動き情報と、
現在の画像ブロックの上側の画像ブロックB(隣接するブロックのもう1つの例)の動き情報であって、以下でMV#Bによって示される動き情報と、
現在の画像ブロックの右上の画像ブロックC(隣接するブロックのもう1つの例)の動き情報であって、以下でMV#Cによって示される動き情報と、
現在の画像ブロックの左上方の画像ブロックD(隣接するブロックのもう1つの例)の動き情報であって、以下でMV#Dによって示される動き情報と
を含み得る。
予測方向が単方向であるとき、1つの動き情報は、参照画像内の参照ブロックを示すことができ、そして、予測方向が双方向であるとき、1つの動き情報は、順方向参照画像内の参照ブロック及び逆方向参照画像内の参照ブロックを示し得ることに留意されたい。
図2bに示すように、DMVD技術において、時間的動き情報は、たとえば、現在の画像ブロックに基づいてMV#T’でパニング処理を実行することによって取得された動き情報を含むことができ、その動き情報は以下にMV#Tによって示され、MV#T’は、逆方向参照画像内にある及び現在の画像ブロックに対応する位置にある画像ブロックE(隣接するブロックのもう1つの例)の動き情報である。
したがって、デコーダ側は、前述の5つの動き情報、すなわちN個の動き情報の一例、を含む動き情報セット(又は、動き情報list)を取得することができ、その動き情報セットは、
{MV#A,MV#B,MV#C,MV#D,MV#T}
によって示される。
前述の取得された動き情報が繰り返される場合、繰り返される動き情報は、N個の動き情報が互いに異なることを確保するために、削除され得ることに留意されたい。
N個の動き情報を取得するための前述で説明された方法は、単に例示的説明を目的とし、本発明はそれに限定されないことを理解されたい。異なる取得方法が、本発明において具体的に限定されない、本発明の本実施形態における画像処理方法が適用可能な技術に従って、使用され得る。
前述のようにN個の動き情報を判定した後に、デコーダ側は、参照画像から各動き情報に対応する参照画像ブロック(又は、各動き情報が指す参照画像ブロック)を判定することができる。予測方向が双方向である場合、デコーダ側は、2つの参照画像(順方向参照画像及び逆方向参照画像)から各動き情報に対応する参照画像ブロックをそれぞれ判定する必要があることに留意されたい。理解及び説明を容易にするために、並びに一般性を失うことなく、以下の説明は、一例として逆方向参照画像での処理を使用することによって行われる。
次いで、デコーダ側は、復号化処理、具体的には、目標動き情報による動き補償処理、を実行するために、N個の動き情報から1つの動き情報(理解及び区別を容易にするために以下で目標動き情報と呼ばれる)を判定する必要がある。そのプロセスは次に詳細に説明される。
本発明の本実施形態では、目標動き情報は、事前設定ルールによる計算方式で計算され得る(すなわち、方式3)、或いは、目標動き情報は、現在の画像ブロックの属性及び/又はデバイス性能に従って判定され得る(すなわち、方式4)。前述の2つの場合における処理は、以下で別個に詳細に説明される。
方式3
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
本発明の本実施形態では、最適動き情報は、計算方式でN個の動き情報(候補動き情報の一例)から判定することができ、その最適動き情報は、前述の目標動き情報として使用される。計算プロセスにおいて、N個の動き情報(具体的には、動きベクトルが指す参照画像ブロック)に対応する参照画像ブロック(候補参照画像ブロックの一例)を取得することが必要とされ、計算が、参照画像ブロック(具体的には、参照画像ブロック内の画素の画素値)に基づいて実行される。
したがって、本発明の本実施形態では、デコーダ側は、参照画像内の画素(すなわち、各参照画像ブロック)の位置分布を判定することができ、それらの画素は、記憶される必要があり、後の処理のために使用される。
前述の判定された動き情報の各々は、復号される必要がある現在の画像ブロックの隣接する(時間的に隣接する及び/又は空間的に隣接する)画像ブロックから取得されるので、動き情報(具体的には、動きベクトル)の間に比較的強い相関関係(又は類似性)が存在する。したがって、図3a及び図3bに示すように、外面的表現は、参照画像ブロックが重複する、又は複数の参照画像ブロックが同じ位置にある画素を含むということである。
先行技術では、デコーダ側は、各動き情報が指す参照画像ブロックを参照画像から別個に取得する必要があり、各参照画像ブロック(具体的には、参照画像ブロック内の画素値)をメモリ空間に独立して記憶して各参照画像ブロックに基づいてN個の動き情報から最適動き情報を判定する必要がある。したがって、デバイスのメモリ帯域幅が、N個の参照画像ブロックの読取り及び記憶に対応し得ることが必要とされ、そして、前述の重複するエリアが複数回にわたり記憶される場合が生じることがあり、メモリ帯域幅の比較的高い要件をもたらす。
対照的に、本発明の本実施形態では、エリアの範囲が、N個の参照画像ブロックによって含まれるすべての画素をカバーし得るように、エリア(すなわち、位置範囲)は、前述の判定されたN個の動き情報の間に比較的強い相関関係及び類似性が存在するという特徴に基づいて参照画像から判定され得る。たとえば限定ではなくて、たとえば、N個の参照画像ブロックの最小公開画像ブロック、すなわち図3aに破線で示されるエリア、が位置範囲として使用され得る。
最小公開画像ブロックは、以下の方式で判定することができる。すなわち、
現在の再構成されるべき画像内の現在の画像ブロックの座標が(cur_x,cur_y)であり、そのサイズが(blk_x)×(blk_y)画素であり、一般性を失うことなく、参照画像において、動きベクトルの水平構成要素がxによって示され、動きベクトルの垂直構成要素がyによって示されると仮定すると、その参照画像において、MV#Aは{MV#A_x,MV#A_y}として記述することができ、MV#Bは{MV#B_x,MV#B_y}として記述することができ、MV#Cは{MV#C_x,MV#C_y}として記述することができ、MV#Dは{MV#D_x,MV#D_y}として記述することができ、そして、MV#Tは{MV#T_x,MV#T_y}として記述することができる。
したがって、各参照画像ブロックにおいて、以下のように判定することができる。
目標画像ブロックに関する水平方向における最小変位Δx_minは、min(MV#A_x,MV#B_x,MV#C_x,MV#D_x,MV#T_x)に等しく、
目標画像ブロックに関する水平方向における最大変位Δx_maxは、max(MV#A_x,MV#B_x,MV#C_x,MV#D_x,MV#T_x)に等しく
目標画像ブロックに関する垂直方向における最小変位Δy_minは、min(MV#A_y,MV#B_y,MV#C_y,MV#D_y,MV#T_y)に等しく、そして、
目標画像ブロックに関する垂直方向における最大変位Δy_maxは、max(MV#A_y,MV#B_y,MV#C_y,MV#D_y,MV#T_y)に等しい。
本定義において、参照画像から一度に読み取られ、一時的に記憶される位置範囲は、矩形領域でもよく、ここで、
矩形領域の左上角の画素の座標は、(cur_x+Δx_min,cur_y+Δy_min)であり、そして、
矩形領域の右下角の画素の座標は、(cur_x+Δx_max+blk_x,cur_y+Δy_max+blk_y)である。
したがって、位置範囲内の各画素の情報(画素値など)は、最適動き情報の判定のその後の処理で使用するために、読み取り、メモリに記憶され得る。
任意選択で、動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップの前に、本方法は、
N個の参照画像ブロックのうちの少なくとも2つの参照画像ブロックが互いに重複すると判定するステップ
をさらに含む。
具体的に、各参照画像ブロックが前述のように判定された後、参照画像が互いに重複するかどうかを先ず判定することができ、参照画像が重複する場合、位置範囲の判定及び位置範囲内の画素の情報の記憶の前述のプロセスが、実行され得る。
したがって、メモリ帯域幅の要件が先行技術と比較して低減されることを確保することができる。
任意選択で、動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップの前に、本方法は、
N個の参照画像ブロックのうちの少なくとも2つの参照画像ブロックが互いに重複し、及び重複する参照画像ブロックの量が事前設定された量閾値以上であり、又は重複する範囲が事前設定された範囲閾値以上であると判定するステップ
をさらに含む。
具体的に、各参照画像ブロックが前述のように判定された後、参照画像が互いに重複するかどうかを先ず判定することができ、そして、参照画像が重複する場合、重複するエリアの特徴(たとえば、重複する参照画像ブロックの量及び/又は重複する範囲のサイズ)はさらに判定することができ、そして、前述の重複するエリアの特徴が事前設定条件に合う、たとえば、重複する参照画像ブロックの量が事前設定された量閾値以上である、及び/又は重複する範囲が事前設定された範囲閾値以上である)場合、位置範囲の判定及びその位置範囲内の画素の情報の記憶の前述のプロセスが、実行され得る。前述の量閾値は、参照画像ブロックの量(又は、動き情報の量)に従ってセットされ得ることに留意されたい。たとえば、参照画像ブロックの量が5である場合、量閾値は、5にセットされ得る。同様に、前述の範囲閾値は、参照画像ブロックのサイズに従ってセットされ得る。
したがって、メモリ帯域幅の要件が、先行技術と比較して低減されることが、さらに確保され得る。
次いで、最適動き情報が、記憶された位置範囲(具体的には、位置範囲内の画素)に従って、N個の動き情報から判定され得る。
すなわち、任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行するステップは、
N個の動き情報から候補動き情報を判定するステップと、
候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って目標データストリームで復号化処理を実行するステップと
を含む。
具体的に、前述の判定された位置範囲はすべての参照画像ブロックをカバーするので、各動き情報に対応する参照画像ブロック(具体的には、各参照画像ブロックの画素の情報)は、その位置範囲内の画素の記憶された情報から取得され得る。したがって、最適動き情報は、参照画像ブロックに従って動き情報から判定され得る。たとえば、評価が、各動き情報に対応する評価値を取得するために、各動き情報に対応する画素の情報に基づいて及び所定の基準(たとえば、レート歪み基準)を適用することによって、実行可能であり、そして、最小評価値を有する動き情報が、最適動き情報、すなわち、現在の画像ブロックで復号化及び再構成処理(たとえば、動き補償処理)を実行するための動き情報、として選択される。
前述の所定の基準は、適用された復号化技術に従って、適切に変更することができ、本発明において具体的に限定されないことを理解されたい。たとえば、DMVD技術において、双方向予測の場合、各動き情報は順方向動き情報及び逆方向動き情報を含み、順方向動き情報は、順方向参照画像内の参照画像ブロック(順方向参照画像ブロックと呼ばれる)を示すために使用され、そして、逆方向動き情報は、逆方向参照画像内の画像ブロック(順方向参照画像ブロックと呼ばれる)を示すために使用され、順方向参照画像ブロック及び逆方向参照画像ブロックの対応する位置の画素値の平方差の和が測定基準として使用される場合、最小の平方差の和を有する動き情報が、最適動き情報として使用され得る。
次いで、デコーダ側は、現在の画像ブロックで再構成を実装するために、最適動き情報を使用して、エンコーダ側からのデータストリームで動き補償復号化動作などの処理を実行することができる。本明細書において、最適動き情報に従って現在の画像ブロックの復号化処理をデコーダ側によって実行するプロセス及び方法は、先行技術におけるそれらと同様でもよい。説明の繰返しを避けるために、その説明は、本明細書では省略される。
任意選択で、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
第2のインデックス情報を目標データストリームから取得するステップであって、第2のインデックス情報が参照画像内の位置範囲の位置及び対象範囲を示すために使用される、ステップと、
第2のインデックス情報に従って参照画像において位置範囲を判定するステップと
を含む。
具体的に、本発明の本実施形態では、エンコーダ側は、データストリームに参照画像内の位置範囲の位置及び範囲を示すための情報、すなわち第2のインデックス情報、を追加することができる。したがって、デコーダ側は、データストリームから第2のインデックス情報を取得し、第2のインデックス情報に従って、参照画像内の位置範囲(具体的には、メモリに記憶される必要がある画素)を直接判定することができる。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
本発明の本実施形態における画像処理方法によれば、最適動き情報の取得を確保することができ、画像処理効果を改善することができ、ユーザ体験を改善することができるように、判定される位置範囲は、すべての参照画像をカバーする。
方式4
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
具体的には、デコーダ側のデバイスのハードウェアによって限定されるため、たとえば、メモリ帯域幅によって限定されるため、現在使用可能なメモリ帯域幅が、前述の方式3において判定される最小公開画像ブロック(位置範囲の一例)の要件を満たすことができない場合があり得る。
前述の問題を考慮して、本発明の本実施形態は、以下の技術的解決法を提供し、すなわち、判定された位置範囲は、いくつかの参照画像ブロック(すなわち、候補参照画像ブロックの一例)のみをカバーし得る。カバーされる参照画像ブロックの量がMであると仮定すると、1≦M<Nが満たされる。
したがって、位置範囲が少なくとも1つの完全な参照画像ブロックをカバーする、すなわち少なくとも1つの動き情報が使用可能である、ことを確保することができ、復号化及び再構成が動き情報を使用することによって現在の画像ブロックで実行されることを確保することを前提として、メモリ帯域幅の要件は低減され得る。
この場合、エリアの範囲が、M個の参照画像ブロックによって含まれるすべての画素、すなわち図3bで破線によって示されるエリア、をカバーし得るように、エリア(すなわち、位置範囲)が、参照画像内で判定され得る。
任意選択で、N個の動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従ってN個の動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するステップ
を含み、ここで、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも1つを示すために使用される。
具体的に、本発明の本実施形態では、M個の候補参照画像ブロックが選択され得る、或いは、M個の候補参照画像ブロックに対応する動き情報が、使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従って、選択され得る。
前述のパラメータを使用するための方法を以下で別個に説明する。
A.現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、及び現在の画像ブロックが属する画像の制作スタイル
たとえば、画像が内容によって分類される場合、画像は、ニュース画像、スポーツ画像、映画−テレビジョン画像などでもよい。同様に、画像はまた、ソース及び制作スタイルによって分類することもできる。同じタイプの画像の最適動き情報(又は、最適動き情報が由来する隣接画像ブロック)は、常に同じである。したがって、本発明の本実施形態では、各タイプの画像の優先度の高い動き情報の統計値は、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、現在の画像ブロックが属する画像の制作スタイルなどに従って集めることができ、優先度の高い動き情報は、このタイプの画像の最適動き情報になる最も大きな可能性を有する。
したがって、位置範囲が判定されているとき、その位置範囲が前述の優先度の高い動き情報に対応する参照画像ブロックをカバーすることが優先的に確保され得る。
任意選択で、N個の動き情報から候補動き情報を判定するステップは、
第1のインデックス情報を目標データストリームから取得するステップであって、第1のインデックス情報が候補動き情報を示すために使用されるステップと、
第1のインデックス情報に従ってN個の動き情報から候補動き情報を判定するステップと
を含む。
具体的に、エンコーダ側は、生成されたデータストリームに候補動き情報に関する情報を示すための情報、すなわち、第1のインデックス情報、を追加することができ、デコーダ側は、各候補動き情報に対応する参照画像ブロック(すなわち、候補参照画像ブロック)を判定するために、データストリームから第1のインデックス情報を取得し、第1のインデックス情報に従ってN個の動き情報から候補動き情報を直接判定する。したがって、位置範囲を参照画像内で判定することができ、その位置範囲は、候補参照画像ブロックをカバーし得る。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
B.使用可能なメモリ帯域幅
本発明の本実施形態では、読み取る及び記憶することができる位置範囲のサイズは、現在使用可能なメモリ帯域幅のサイズに従って判定され得る。したがって、カバーされ得る参照画像ブロックの量及び位置は、位置範囲のサイズに従って判定され得る。したがって、候補参照画像ブロック及び候補参照画像ブロックを指す動き情報が、判定され得る。
現在使用可能なメモリ帯域幅が十分大きい場合、位置範囲によってカバーされる参照画像ブロックの複数の組合せが存在する場合が存在し得ることに留意されたい。たとえば、同サイズの位置範囲について、参照画像内の位置範囲の位置が異なる場合、カバーされ得る参照画像ブロックの量は異なることがあり、又は同サイズの位置範囲について、参照画像内の位置範囲の位置が異なる場合、カバーされ得る参照画像ブロックに対応する動き情報は異なる。
この場合、最大参照画像ブロックをカバーし得る範囲が、使用される位置範囲として使用され得る。したがって、比較的多量の参照画像ブロックが提供可能であり、そして、最終的に判定される及び復号化処理のために使用される動き情報が、最適化され得る。
別法として、前述の判定された優先度の高い動き情報に対応する参照画像ブロックをカバーし得る範囲が、使用される位置範囲として使用され得る。したがって、復号化処理が優先度の高い動き情報に従って実行されることが確保され得る。
C.現在の画像ブロックが属する画像の解像度
異なる画像解像度は、デコーダ側のハードウェアの異なる要件を有する。たとえば、比較的高い解像度を有する画像では、画像の復号化を実装するために、比較的高い性能、たとえば、比較的高いメモリ帯域幅、を有するハードウェアを構成することが通常は必要とされる。したがって、記憶され得る位置範囲のサイズは、現在の画像ブロックが属する画像の解像度に従って判定され、すなわち、解像度がより高い場合、位置範囲はより大きい。したがって、カバーされ得る参照画像ブロックの量及び位置は、位置範囲のサイズに従って判定され得る。したがって、候補参照画像ブロック及び候補参照画像ブロックを指す動き情報が、判定され得る。
位置範囲が、使用可能なメモリ帯域幅及び現在の画像ブロックが属する画像の解像度(又は、デコーダ側のハードウェア性能)に従って判定される場合、その位置範囲は、以下の方式で判定することができる。すなわち、
現在の画像内の現在の画像ブロックの座標が(cur_x,cur_y)であり、そのサイズが(blk_x)×(blk_y)画素であり、一般性を失うことなく、参照画像において、動きベクトルの水平構成要素がxによって示され、動きベクトルの垂直構成要素がyによって示されると仮定すると、その参照画像において、MV#Aは{MV#A_x,MV#A_y}として記述することができ、MV#Bは{MV#B_x,MV#B_y}として記述することができ、MV#Cは{MV#C_x,MV#C_y}として記述することができ、MV#Dは{MV#D_x,MV#D_y}として記述することができ、そして、MV#Tは{MV#T_x,MV#T_y}として記述することができる。
したがって、各参照画像ブロックにおいて、以下のように判定することができる。
目標画像ブロックに関する水平方向における最小変位Δx_minは、min(MV#A_x,MV#B_x,MV#C_x,MV#D_x,MV#T_x)に等しく、
目標画像ブロックに関する水平方向における最大変位Δx_maxは、max(MV#A_x,MV#B_x,MV#C_x,MV#D_x,MV#T_x)に等しく
目標画像ブロックに関する垂直方向における最小変位Δy_minは、min(MV#A_y,MV#B_y,MV#C_y,MV#D_y,MV#T_y)に等しく、そして、
目標画像ブロックに関する垂直方向における最大変位Δy_maxは、max(MV#A_y,MV#B_y,MV#C_y,MV#D_y,MV#T_y)に等しい。
本定義において、参照画像から一度に読み取られ、一時的に記憶される位置範囲は、矩形領域でもよく、ここで、
矩形領域の左上角の画素の座標は、(cur_x+max(−Ωx_min,Δ_x_min),cur_y+max(−Ωy_min,Δ_y_min))であり、そして、
矩形領域の右下角の画素の座標は、(cur_x+blk_x+min(Ωx_max,Δx_max),cur_y+blk_y+min(Ωy_max,Δy_max)であり、
但し、Ωx_min、Ωx_max、Ωy_min、及びΩy_maxの値は、使用可能なメモリ帯域幅又はデコーダのハードウェア性能に従って判定され得る。
任意選択で、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
第2のインデックス情報を目標データストリームから取得するステップであって、第2のインデックス情報が参照画像内の位置範囲の位置及び対象範囲を示すために使用されるステップと、
第2のインデックス情報に従って参照画像において位置範囲を判定するステップと
を含む。
具体的に、本発明の本実施形態では、エンコーダ側は、生成されたデータストリームに参照画像内の位置範囲の位置及び範囲(又は、カバーされる画素)を示すための情報、すなわち、第2のインデックス情報、を追加することができる。したがって、デコーダ側は、データストリームから第2のインデックス情報を取得し、第2のインデックス情報に従って参照画像内の位置範囲を直接判定する。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
たとえば限定ではなくて、本発明の本実施形態では、第2のインデックス情報は、Ωx_min、Ωx_max、Ωy_min、及びΩy_maxの前述の値でもよい。加えて、第2のインデックス情報は、適切な構文要素を使用することによって、そのデータストリームの異なる位置で識別することができ、たとえば、ピクチャパラメータセット(PPS、Picture parameter set)又はスライスヘッダ(slice header)において識別され得る。ピクチャパラメータセット又はスライスヘッダがデータストリームにおいて出現する頻度は比較的低いので、これらの位置でのΩx_min、Ωx_max、Ωy_min、及びΩy_maxの前述の値の識別によってもたらされる余分な帯域幅の効果は、ほとんど無視することができる。
位置範囲が前述のように判定された後、その位置範囲内の各画素の情報(画素値など)は、読み取り、メモリに記憶することができる。
加えて、位置範囲が、1つのみの完全な参照画像ブロック(すなわち、候補参照画像ブロック)をカバーし得るとき、復号化処理が、候補参照画像ブロック及び候補参照画像ブロックに対応する動き情報を直接使用することによって、現在のブロックで実行され得る。
位置範囲が、少なくとも2つの完全な参照画像ブロック(すなわち、候補参照画像ブロック)をカバーし得るとき、最適動き情報は、記憶された位置範囲(具体的には、位置範囲内の画素)に従って、それらの少なくとも2つの候補参照画像ブロックに対応する動き情報から判定され得る。
すなわち、任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行するステップは、
N個の動き情報から候補動き情報を判定するステップと、
候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って目標データストリームで復号化処理を実行するステップと
を含む。
具体的に、前述の判定される位置範囲は少なくとも2つの参照画像ブロックをカバーするので、各候補動き情報に対応する候補参照画像ブロック(具体的には、各参照画像ブロックの画素の情報)は、その位置範囲内の画素の記憶された情報から取得され得る。したがって、最適動き情報が、候補動き情報から判定され得る。たとえば、評価が、候補動き情報に対応する画素の情報に基づいて及び所定の基準を適用することによって実行されて、各候補動き情報に対応する評価値を取得することができ、そして、最小評価値を有する候補動き情報が、最適動き情報、すなわち、現在の画像ブロックで復号化処理(たとえば、動き補償処理)を実行するための動き情報、として選択される。
次いで、デコーダ側は、現在の画像ブロックで再構成を実装するために、最適動き情報を使用してデータストリームの動き補償復号化動作などの処理を実行することができる。本明細書において、最適動き情報に従って現在の画像ブロックの復号化処理をデコーダ側によって実行するプロセス及び方法は、先行技術におけるそれらと同様でもよい。説明の繰返しを避けるために、その説明は、本明細書では省略される。
本発明の本実施形態における画像処理方法によれば、位置範囲は、その位置範囲が少なくとも1つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、その少なくとも1つの動き情報から判定され得る。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
前述では、図1から図4を参照して本発明の実施形態による画像処理方法を詳細に説明したが、以下では、図5及び図6を参照して本発明の実施形態による画像処理装置を詳細に説明する。
図5は、本発明の一実施形態による画像処理装置300の概略的ブロック図である。図5に示すように、装置300は、
現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得するように構成された、取得ユニット310であって、N個の隣接画像ブロックがN個の動き情報と1対1で対応し、N個の動き情報が現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報がN個の参照画像ブロックと1対1で対応する、取得ユニット310と、
N個の動き情報のうちの少なくとも1つの情報である候補動き情報を事前設定ルールに従ってN個の動き情報から判定し、候補動き情報に従って記憶されるべき画素の位置範囲を参照画像において判定するように構成された、判定ユニット320であって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがN個の参照画像ブロックのうちの少なくとも1つの画像ブロックであり、候補動き情報が候補参照画像ブロックに対応する動き情報である、判定ユニット320と、
位置範囲内のすべての画素を記憶するように構成された、記憶ユニット330と、
記憶ユニット330から位置範囲内の画素を読み取るように及び位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成された、処理ユニット340と
を含む。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
処理ユニット340は、具体的に、候補参照画像ブロックを取得するために、候補動き情報に従って記憶ユニット330から位置範囲内の画素を読み取るように、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するように、及び、
最適動き情報に従って現在の画像ブロックで符号化処理を実行するように構成される。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
任意選択で、判定ユニット320は、具体的に、使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従ってN個の動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成され、その属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも1つを示すために使用される。
任意選択で、処理ユニット340は、具体的に、記憶ユニット330から位置範囲内の画素を読み取るように及び位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、その目標データストリームは第1のインデックス情報を含み、第1のインデックス情報は候補動き情報を示すために使用される。
任意選択で、処理ユニット340は、具体的に、記憶ユニット330から位置範囲内の画素を読み取るように及び位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、その目標データストリームは第2のインデックス情報を含み、第2のインデックス情報は、参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
本発明の本実施形態による画像処理装置300は、本発明の本実施形態の方法におけるエンコーダ側に対応することができ、そして、画像処理装置300の各ユニット、すなわち各モジュール、の前述の及び他の動作及び/又は機能は、図1の方法100の対応するプロセスを実装することを別個に意図されており、詳細は、簡潔性を目的として、本明細書で再度説明はされない。
本発明の本実施形態における画像処理装置によれば、位置範囲は、その位置範囲が少なくとも1つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、その少なくとも1つの動き情報から判定され得る。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
は、本発明の一実施形態による画像処理装置400の概略的ブロック図である。図7に示すように、装置400は、
現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得するように構成された、取得ユニット410であって、N個の隣接画像ブロックがN個の動き情報と1対1で対応し、N個の動き情報が現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報がN個の参照画像ブロックと1対1で対応する、取得ユニット410と、
記憶されるべき画素の位置範囲を参照画像内で判定するように構成された、判定ユニット420であって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがN個の参照画像ブロックのうちの少なくとも1つの画像ブロックである、判定ユニット420と、
位置範囲内のすべての画素を記憶するように構成された、記憶ユニット430と、
動き情報のうちの候補動き情報に従って記憶ユニット430から位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成するように構成された、処理ユニット440であって、候補動き情報が候補参照画像ブロックに対応する動き情報である、処理ユニット440と
を含む。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
判定ユニット420はさらに、N個の動き情報から候補動き情報を判定するように構成され、そして、
処理ユニット440は、具体的に、判定ユニット420から候補動き情報を取得し、その候補動き情報に従って位置範囲内の画素を読み取って、候補参照画像ブロックを取得し、候補参照画像ブロックに従って候補動き情報から最適動き情報を判定し、その最適動き情報に従って目標データストリームで復号化処理を実行するように構成される。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
任意選択で、判定ユニット420は、具体的に、N個の動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成される。
任意選択で、判定ユニット420は、具体的に、使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従ってN個の動き情報から候補動き情報を判定するように構成され、属性情報は
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも1つを示すために使用される。
任意選択で、判定ユニット420は、具体的に、目標データストリームから第1のインデックス情報を取得し、第1のインデックス情報に従ってN個の動き情報から候補動き情報を判定するように構成され、第1のインデックス情報は、候補動き情報を示すために使用される。
任意選択で、判定ユニット420は、具体的に、目標データストリームから第2のインデックス情報を取得し、第2のインデックス情報に従って参照画像内で位置範囲を判定するように構成され、第2のインデックス情報は、参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
本発明の本実施形態による画像処理装置400は、本発明の実施形態の方法におけるデコーダ側に対応し、画像処理装置400の各ユニット、すなわち各モジュール、の前述の及び他の動作及び/又は機能は、図4の方法200の対応するプロセスを実装することを別個に意図されており、詳細は、簡潔性を目的として、本明細書で再度説明はされない。
本発明の本実施形態における画像処理装置によれば、位置範囲は、その位置範囲が少なくとも1つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、少なくとも1つの動き情報から判定することができる。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
前述では、図1から図4を参照して本発明の実施形態による画像処理方法を詳細に説明したが、以下では、図7及び図8を参照して本発明の実施形態による画像処理エンコーダ及びデコーダを詳細に説明する。
図7は、本発明の一実施形態による画像処理エンコーダ500の概略的ブロック図である。図7に示すように、エンコーダ500は、
バス510と、
そのバスに接続されたプロセッサ520と、
そのバスに接続されたメモリ530と
を含むことができ、ここで、
プロセッサ520は、メモリ530に記憶されたプログラムをバス510を使用することによって呼び出して、
現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得することであって、N個の隣接画像ブロックはN個の動き情報と1対1で対応し、N個の動き情報は現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報がN個の参照画像ブロックと1対1で対応する、取得すること
N個の動き情報のうちの少なくとも1つの情報である候補動き情報を事前設定ルールに従ってN個の動き情報から判定し、その候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定し、位置範囲内のすべての画素を記憶するようにメモリ530を制御することであって、位置範囲は候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックはN個の参照画像ブロックのうちの少なくとも1つの画像ブロックであり、候補動き情報は候補参照画像ブロックに対応する動き情報である、制御すること、及び、
メモリ530から位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成すること
を行うように構成される。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
プロセッサ520は、具体的に、候補参照画像ブロックを取得するために、候補動き情報に従ってメモリ530から位置範囲内の画素を読み取ること、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定すること、及び、
最適動き情報に従って現在の画像ブロックで符号化処理を実行こと
を行うように構成される。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
任意選択で、プロセッサ520は、具体的に、メモリ530の使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従ってN個の動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成され、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも1つを示すために使用される。
任意選択で、プロセッサ520は、具体的に、メモリ530から位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、目標データストリームは第1のインデックス情報を含み、第1のインデックス情報は候補動き情報を示すために使用される。
任意選択で、プロセッサ520は、具体的に、メモリ530から位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、目標データストリームは第2のインデックス情報を含み、第2のインデックス情報は参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
本発明の本実施形態では、エンコーダ500の構成要素は、バス510を使用することによって、ともに結合される。バス510は、データバスに加えて、電力バス、制御バス、及びステータス信号バスを含む。しかし、明確な説明のために、様々なタイプのバスは、図中でバス510として示される。
プロセッサ520は、本発明の本方法の実施形態で開示されるステップ及び論理ブロック図を実装又は実行することができる。プロセッサ520は、マイクロプロセッサでもよく、又は、そのプロセッサは、従来のプロセッサ、デコーダなどでもよい。本発明の実施形態を参照して開示される本方法のステップは、ハードウェアプロセッサを使用することによって直接実行及び完了することができ、又は、復号化プロセッサにおいてハードウェア及びソフトウェアモジュールの組合せを使用することによって実行及び完了することができる。そのソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読取り専用メモリ、プログラマブル読取り専用メモリ、電気的消去可能プログラマブルメモリ、又はレジスタなどの本分野の成熟した記憶媒体内に置かれ得る。記憶媒体はメモリ530内に置かれ、プロセッサはメモリ530内の情報を読み取り、そのプロセッサのハードウェアと組み合わせて前述の方法のステップを完了する。
本発明の本実施形態では、プロセッサ520は、中央処理装置(Central Processing Unit、 略して「CPU」)でもよく、又は、プロセッサ520は、別の汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、又は別のプログラマブル論理デバイス、離散的ゲート又はトランジスタ論理デバイス、離散的ハードウェア構成要素などでもよいことを理解されたい。その汎用プロセッサは、マイクロプロセッサでもよく、又は、そのプロセッサは、任意の従来のプロセッサなどでもよい。
メモリ530は、読取り専用メモリ及びランダムアクセスメモリを含むことができ、プロセッサ520に命令及びデータを提供することができる。メモリ530の一部はさらに、不揮発性ランダムアクセスメモリを含み得る。たとえば、メモリ530はさらに、デバイスタイプ情報を記憶することができる。
一実装プロセスで、前述の方法のステップが、プロセッサ520内のハードウェアの集積論理回路によって、又はソフトウェア形式の命令によって、実行され得る。本発明の実施形態を参照して開示される本方法のステップは、ハードウェアプロセッサを使用することによって直接実行及び完了することができ、又は、プロセッサ内のハードウェア及びソフトウェアモジュールの組合せを使用することによって実行及び完了することができる。そのソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読取り専用メモリ、プログラマブル読取り専用メモリ、電気的消去可能プログラマブルメモリ、又はレジスタなどの本分野の成熟した記憶媒体内に置かれ得る。
本発明の本実施形態による画像処理エンコーダ500は、本発明の実施形態の本方法におけるエンコーダ側に対応することができ、そして、画像処理エンコーダ500の各ユニット、すなわち各モジュール、の前述の及び他の動作及び/又は機能は、図1の方法100の対応するプロセスを実装することを別個に意図されており、詳細は、簡潔性を目的として、本明細書で再度説明はされない。
本発明の本実施形態における画像処理エンコーダによれば、位置範囲は、その位置範囲が少なくとも1つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、その少なくとも1つの動き情報から判定され得る。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
図8は、本発明の一実施形態による画像処理デコーダ600の概略的ブロック図である。図に示すように、デコーダ600は、
バス610と、
そのバスに接続されたプロセッサ620と、
そのバスに接続されたメモリ630と
を含むことができ、ここで、
プロセッサ620は、メモリ630に記憶されたプログラムをバス610を使用することによって呼び出して、
現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得することであって、N個の隣接画像ブロックは、N個の動き情報と1対1で対応し、N個の動き情報は、現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、N個の動き情報は、N個の参照画像ブロックと1対1で対応する、取得すること、
記憶されるべき画素の位置範囲を参照画像内で判定し、その位置範囲内のすべての画素を記憶するようにメモリ630を制御することであって、位置範囲は候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックはN個の参照画像ブロックのうちの少なくとも1つの画像ブロックである、制御すること、及び、
動き情報のうちの候補動き情報に従ってメモリ630からその位置範囲内の画素を読み取り、その位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成することであって、候補動き情報は、候補参照画像ブロックに対応する動き情報である、再構成すること
を行うように構成される。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、候補動き情報は、N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
プロセッサ620は、具体的に、N個の動き情報から候補動き情報を判定すること、
候補動き情報に従ってメモリ630から位置範囲内の画素を読み取って候補参照画像ブロックを取得すること、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定すること、及び、
最適動き情報に従って目標データストリームで復号化処理を実行すること
を行うように構成される。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのすべての画像ブロックである。
任意選択で、候補参照画像ブロックは、N個の参照画像ブロックのうちのいくつかの画像ブロックである。
任意選択で、プロセッサ620は、具体的に、N個の動き情報から候補動き情報を判定すること、及び、
候補動き情報に従って参照画像内で位置範囲を判定すること
を行うように構成される。
任意選択で、プロセッサ620は、具体的に、メモリ630の使用可能なメモリ帯域幅及び/又は現在の画像ブロックが属する画像の属性情報に従ってN個の動き情報から候補動き情報を判定するように構成され、ここで、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも1つを示すために使用される。
任意選択で、プロセッサ620は、具体的に、候補動き情報を示すために使用される第1のインデックス情報を目標データストリームから取得すること、及び
第1のインデックス情報に従ってN個の動き情報から候補動き情報を判定すること
を行うように構成される。
任意選択で、プロセッサ620は、具体的に、参照画像内の位置範囲の位置及び対象範囲を示すために使用される第2のインデックス情報を目標データストリームから取得すること、及び、
第2のインデックス情報に従って参照画像内で位置範囲を判定すること
を行うように構成される。
本発明の本実施形態では、デコーダ600の構成要素は、バス610を使用することによって、ともに結合される。バス610は、データバスに加えて、電力バス、制御バス、及びステータス信号バスを含む。しかし、明確な説明のために、様々なタイプのバスは、図中でバス610として示される。
プロセッサ620は、本発明の本方法の実施形態で開示されるステップ及び論理ブロック図を実装又は実行することができる。プロセッサ620は、マイクロプロセッサでもよく、又は、そのプロセッサは、従来のプロセッサ、デコーダなどでもよい。本発明の実施形態を参照して開示される本方法のステップは、ハードウェアプロセッサを使用することによって直接実行及び完了することができ、又は、復号化プロセッサにおいてハードウェア及びソフトウェアモジュールの組合せを使用することによって実行及び完了することができる。そのソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読取り専用メモリ、プログラマブル読取り専用メモリ、電気的消去可能プログラマブルメモリ、又はレジスタなどの本分野の成熟した記憶媒体内に置かれ得る。その記憶媒体はメモリ630内に置かれ、プロセッサはメモリ630内の情報を読み取り、プロセッサのハードウェアと組み合わせて前述の方法のステップを完了する。
本発明の本実施形態では、プロセッサ620は、中央処理装置(Central Processing Unit、略して「CPU」)でもよく、或いは、プロセッサ620は、別の汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、又は別のプログラマブル論理デバイス、離散的ゲート又はトランジスタ論理デバイス、離散的ハードウェア構成要素などでもよい。汎用プロセッサは、マイクロプロセッサでもよく、又は、プロセッサは任意の従来のプロセッサなどでもよいことを理解されたい。
メモリ630は、読取り専用メモリ及びランダムアクセスメモリを含み、命令及びデータをプロセッサ620に提供することができる。メモリ630の一部はさらに、不揮発性ランダムアクセスメモリを含み得る。たとえば、メモリ630はさらに、デバイスタイプ情報を記憶することができる。
一実装プロセスで、前述の方法のステップは、プロセッサ620内のハードウェアの集積論理回路によって又はソフトウェア形式の命令によって実行され得る。本発明の実施形態を参照して開示される本方法のステップは、ハードウェアプロセッサを使用することによって直接実行及び完了することができ、又は、プロセッサ内のハードウェア及びソフトウェアモジュールの組合せを使用することによって実行及び完了することができる。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読取り専用メモリ、プログラマブル読取り専用メモリ、電気的消去可能プログラマブルメモリ、又はレジスタなどの本分野の成熟した記憶媒体内に置かれ得る。
本発明の実施形態において画像処理デコーダ600は、本発明の実施形態の本方法におけるエンコーダ側に対応することができ、そして、画像処理デコーダ600の各ユニット、すなわち各モジュール、の前述の及び他の動作及び/又は機能は、図4の方法200の対応するプロセスを実装することを別個に意図されており、詳細は、簡潔性を目的として、本明細書で再度説明はされない。
本発明の本実施形態における画像処理デコーダによれば、位置範囲は、その位置範囲が少なくとも1つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、少なくとも1つの動き情報から判定することができる。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
本発明の実施形態では、エンコーダ側及びデコーダ側が、同じルールを使用することによって、位置範囲と、符号化及び復号化処理のために使用される動きベクトルとを前もって判定する場合、エンコーダ側及びデコーダ側が位置範囲を判定する方式(すなわち、判定された位置範囲がすべての又はいくつかの参照画像ブロックをカバーする場合)が一致することが確保される必要があることに留意されたい。具体的には、判定された位置範囲がいくつかの参照画像ブロックをカバーする場合、エンコーダ側によって判定される位置範囲によってカバーされる画像ブロックが、デコーダ側によって判定される位置範囲によってカバーされる画像ブロックと一致することが確保されることが必要とされる。
加えて、前述の説明では、位置範囲が参照画像内の矩形範囲である実施形態が列挙されたが、本発明はそれに限定されない。位置範囲の形は、その位置範囲が候補参照画像ブロックをカバーし得ることが確保され得る限り、任意で設定することができ、本発明で具体的に限定されない。
前述のプロセスのシーケンス番号は、本発明の様々な実施形態における実行順序を意味しないことを理解されたい。プロセスの実行順序は、プロセスの機能及び内部ロジックに従って判定されるべきであり、本発明の実施形態の実装プロセスの制限として解釈されるべきではない。
加えて、メモリ帯域幅は、単位時間内のメモリのメモリ空間アクセスの時間の量を評価するための指標である。
本明細書で開示される実施形態で説明される例と組み合わせて、ユニット及びアルゴリズムステップが、電子ハードウェア或いはコンピュータソフトウェア及び電子ハードウェアの組合せによって実装され得ることが、当業者には理解され得る。機能がハードウェアによって実行されるかソフトウェアによって実行されるかは、本技術的解決法の個々の適用例及び設計制約条件に応じて決まる。当業者は、異なる方法を使用して各特定の適用例のために記載された機能を実装し得るが、その実装が本発明の範囲を超えると考えられるべきではない。
前述のシステム、装置、及びユニットの詳細な動作プロセスについて、便利及び簡潔な説明を目的として、前述の方法の実施形態における対応するプロセスが参照され得ることを当業者は明確に理解することができ、詳細は本明細書で再度説明はされない。
本願で提供されるいくつかの実施形態では、開示されるシステム、装置、及び方法は他の方式でも実装され得ることを理解されたい。たとえば、記載された装置実施形態は、単に例示である。たとえば、ユニット分割は、単に論理的機能分割であり、実際の実装形態では他の分割でもよい。たとえば、複数のユニット又は構成要素は、別のシステムに結合又は統合することができ、或いは、いくつかの特徴は、省略しても又は実行しなくてもよい。加えて、表示された又は論じられた相互結合若しくは直接結合又は通信接続は、いくつかのインターフェースを使用することによって、実装することができる。装置又はユニット間の間接結合又は通信接続が、電子的、機械的、又は他の形で実装され得る。
別個の部分として説明されたユニットは、物理的に別個であってもなくてもよく、ユニットとして表示された部分は、物理ユニットであってもなくてもよく、1か所に置かれてもよく、又は、複数のネットワークユニットで分散されてもよい。ユニットのうちのいくつか又はすべては、実施形態の解決法の目的を達成するための実際のニーズに従って、選択することができる。
加えて、本発明の実施形態における機能ユニットは、1つの処理ユニットに統合してもよく、又は、各々のユニットが物理的に離れて存在してもよく、又は、2つ以上のユニットが1つのユニットに統合される。
機能がソフトウェア機能ユニットの形で実装され、独立した製品として販売又は使用されるとき、それらの機能は、コンピュータ可読記憶媒体に記憶され得る。そのような理解に基づいて、基本的に本発明の技術的解決法、又は先行技術に寄与する部分、又は本技術的解決法の一部は、ソフトウェア製品の形で実装することができる。コンピュータソフトウェア製品は、記憶媒体に記憶され、本発明の実施形態で説明される本方法のステップのすべて又は一部を実行するようにコンピュータデバイス(パーソナルコンピュータ、サーバ、ネットワークデバイスなどでもよい)に命令するためのいくつかの命令を含む。前述の記憶媒体は、USBフラッシュドライブ、取外し可能ハードディスク、読取り専用メモリ(ROM、Read−only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、磁気ディスク、又は光ディスクなど、プログラムコードを記憶することができる任意の媒体を含む。
前述の説明は単に、本発明の特定の実装方式であるが、本発明の保護範囲を限定するものではない。本発明で開示される技術的範囲内で当業者によって容易に考え出される任意の変更又は置換は、本発明の保護範囲内にあるものとする。したがって、本発明の保護範囲は、本特許請求の範囲の保護範囲によるものとする。

Claims (30)

  1. 現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得するステップであって、前記N個の隣接画像ブロックは、前記N個の動き情報と1対1で対応し、前記N個の動き情報は、前記現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、前記N個の動き情報は、前記N個の参照画像ブロックと1対1で対応する、ステップと、
    事前設定ルールに従って前記N個の動き情報から候補動き情報を判定するステップであって、前記候補動き情報は、前記N個の動き情報のうちの少なくとも1つの情報である、ステップと、
    前記候補動き情報に従って、記憶されるべき画素の位置範囲を前記参照画像内で判定し、前記位置範囲内のすべての画素を記憶するステップであって、前記位置範囲は候補参照画像ブロックのすべての画素をカバーし、前記候補参照画像ブロックは、前記N個の参照画像ブロックのうちの少なくとも1つの画像ブロックであり、前記候補参照画像ブロックは、前記候補動き情報に対応する画像ブロックである、ステップと、
    前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップと
    を含む、画像処理方法。
  2. 前記候補参照画像ブロックが、前記N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、前記候補動き情報が、前記N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
    前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行する前記ステップが、
    前記候補動き情報に従って前記位置範囲内の前記画素を読み取って前記候補参照画像ブロックを取得するステップと、
    前記候補参照画像ブロックに従って前記候補動き情報から最適動き情報を判定するステップと、
    前記最適動き情報に従って前記現在の画像ブロックで符号化処理を実行するステップと
    を含む、請求項1に記載の方法。
  3. 前記候補参照画像ブロックが、前記N個の参照画像ブロックのうちのいくつかの画像ブロックである、請求項1又は2に記載の方法。
  4. 事前設定ルールに従って前記N個の動き情報から候補動き情報を判定する前記ステップが、
    使用可能なメモリ帯域幅及び/又は前記現在の画像ブロックが属する画像の属性情報に従って前記動き情報から前記候補動き情報を判定するステップ
    を含み、前記属性情報は、
    前記現在の画像ブロックが属する前記画像の解像度、前記現在の画像ブロックが属する前記画像の内容、前記現在の画像ブロックが属する前記画像のソース、又は前記現在の画像ブロックが属する前記画像の制作スタイル
    のパラメータのうちの少なくとも1つを示すために使用される、請求項3に記載の方法。
  5. 前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して目標データストリームを生成する前記ステップが、
    前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して前記目標データストリームを生成するステップであって、前記目標データストリームが第1のインデックス情報を備え、前記第1のインデックス情報が前記候補動き情報を示すために使用される、ステップ
    を含む、請求項3又は4に記載の方法。
  6. 前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して目標データストリームを生成する前記ステップが、
    前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して前記目標データストリームを生成するステップであって、前記目標データストリームは、第2のインデックス情報を備え、前記第2のインデックス情報は、前記参照画像内の前記位置範囲の位置及び対象範囲を示すために使用される、ステップ
    を含む、請求項3から5のいずれか一項に記載の方法。
  7. 前記候補参照画像ブロックが、前記N個の参照画像ブロックのすべての画像ブロックである、請求項1又は2に記載の方法。
  8. 現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得するステップであって、前記N個の隣接画像ブロックは、前記N個の動き情報と1対1で対応し、前記N個の動き情報は、前記現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、前記N個の動き情報は、前記N個の参照画像ブロックと1対1で対応する、ステップと、
    記憶されるべき画素の位置範囲を前記参照画像内で判定し、前記位置範囲内のすべての画素を記憶するステップであって、前記位置範囲は、候補参照画像ブロックのすべての画素をカバーし、前記候補参照画像ブロックは、前記N個の参照画像ブロックのうちの少なくとも1つの画像ブロックである、ステップと、
    前記動き情報のうちの候補動き情報に従って前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って目標データストリームで復号化処理を実行して前記現在の画像ブロックを再構成するステップであって、前記候補動き情報は、前記候補参照画像ブロックに対応する動き情報である、ステップと
    を含む、画像処理方法。
  9. 前記候補参照画像ブロックは、前記N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、前記候補動き情報は、前記N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
    前記動き情報のうちの候補動き情報に従って前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って目標データストリームで復号化処理を実行する前記ステップが、
    前記動き情報から前記候補動き情報を判定するステップと、
    前記候補動き情報に従って前記位置範囲内の前記画素を読み取って前記候補参照画像ブロックを取得するステップと、
    前記候補参照画像ブロックに従って前記候補動き情報から最適動き情報を判定するステップと、
    前記最適動き情報に従って前記目標データストリームで復号化処理を実行するステップと
    を含む、請求項8に記載の方法。
  10. 前記候補参照画像ブロックが、前記N個の参照画像ブロックのすべての画像ブロックである、請求項8又は9に記載の方法。
  11. 前記候補参照画像ブロックが、前記N個の参照画像ブロックのうちのいくつかの画像ブロックである、請求項8又は9に記載の方法。
  12. 記憶されるべき画素の位置範囲を前記参照画像内で判定する前記ステップが、
    前記動き情報から前記候補動き情報を判定するステップと、
    前記候補動き情報に従って前記参照画像内で前記位置範囲を判定するステップと
    を含む、請求項11に記載の方法。
  13. 前記動き情報から前記候補動き情報を判定する前記ステップが、
    使用可能なメモリ帯域幅及び/又は前記現在の画像ブロックが属する画像の属性情報に従って前記動き情報から前記候補動き情報を判定するステップ
    を含み、前記属性情報が、
    前記現在の画像ブロックが属する前記画像の解像度、前記現在の画像ブロックが属する前記画像の内容、前記現在の画像ブロックが属する前記画像のソース、又は前記現在の画像ブロックが属する前記画像の制作スタイル
    のパラメータのうちの少なくとも1つを示すために使用される、請求項9又は12に記載の方法。
  14. 前記動き情報から前記候補動き情報を判定する前記ステップが、
    前記候補動き情報を示すために使用される第1のインデックス情報を前記目標データストリームから取得するステップと、
    前記第1のインデックス情報に従って前記動き情報から前記候補動き情報を判定するステップと
    を含む、請求項9又は12に記載の方法。
  15. 記憶されるべき画素の位置範囲を前記参照画像内で判定する前記ステップが、
    前記参照画像内の前記位置範囲の位置及び対象範囲を示すために使用される第2のインデックス情報を前記目標データストリームから取得するステップと、
    前記第2のインデックス情報に従って前記参照画像において前記位置範囲を判定するステップと
    を含む、請求項8から14のいずれか一項に記載の方法。
  16. 現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得するように構成された取得ユニットであって、前記N個の隣接画像ブロックは、前記N個の動き情報と1対1で対応し、前記N個の動き情報は、前記現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、前記N個の動き情報は、前記N個の参照画像ブロックと1対1で対応する、取得ユニットと、
    前記N個の動き情報のうちの少なくとも1つの情報である候補動き情報を事前設定ルールに従って前記N個の動き情報から判定し、前記候補動き情報に従って記憶されるべき画素の位置範囲を前記参照画像内で判定するように構成された判定ユニットであって、前記位置範囲は、候補参照画像ブロックのすべての画素をカバーし、前記候補参照画像ブロックは、前記N個の参照画像ブロックのうちの少なくとも1つの画像ブロックであり、前記候補動き情報は、前記候補参照画像ブロックに対応する動き情報である、判定ユニットと、
    前記位置範囲内のすべての画素を記憶するように構成された、記憶ユニットと、
    前記記憶ユニットから前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成された、処理ユニットと
    を備える、画像処理装置。
  17. 前記候補参照画像ブロックが、前記N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、前記候補動き情報が、前記N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
    前記処理ユニットが、具体的に、前記候補動き情報に従って前記記憶ユニットから前記位置範囲内の前記画素を読み取って前記候補参照画像ブロックを取得し、
    前記候補参照画像ブロックに従って前記候補動き情報から最適動き情報を判定し、
    前記最適動き情報に従って前記現在の画像ブロックで符号化処理を実行するように構成された、請求項16に記載の装置。
  18. 前記候補参照画像ブロックが、前記N個の参照画像ブロックのうちのいくつかの画像ブロックである、請求項16又は17に記載の装置。
  19. 前記判定ユニットが、具体的に、使用可能なメモリ帯域幅及び/又は前記現在の画像ブロックが属する画像の属性情報に従って前記動き情報から前記候補動き情報を判定し、前記候補動き情報に従って前記参照画像内で前記位置範囲を判定するように構成され、前記属性情報が、
    前記現在の画像ブロックが属する前記画像の解像度、前記現在の画像ブロックが属する前記画像の内容、前記現在の画像ブロックが属する前記画像のソース、又は前記現在の画像ブロックが属する前記画像の制作スタイル
    のパラメータのうちの少なくとも1つを示すために使用される、請求項18に記載の装置。
  20. 前記処理ユニットが、具体的に、前記記憶ユニットから前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して前記目標データストリームを生成するように構成され、前記目標データストリームは、第1のインデックス情報を備え、前記第1のインデックス情報は、前記候補動き情報を示すために使用される、請求項18又は19に記載の装置。
  21. 前記処理ユニットが、具体的に、前記記憶ユニットから前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して前記目標データストリームを生成するように構成され、前記目標データストリームは、第2のインデックス情報を備え、前記第2のインデックス情報は、前記参照画像内の前記位置範囲の位置及び対象範囲を示すために使用される、請求項18から20のいずれか一項に記載の装置。
  22. 前記候補参照画像ブロックが、前記N個の参照画像ブロックのすべての画像ブロックである、請求項16又は17に記載の装置。
  23. 現在の画像ブロックに隣接するN個の隣接画像ブロックからN個の動き情報を取得するように構成された取得ユニットであって、前記N個の隣接画像ブロックは、前記N個の動き情報と1対1で対応し、前記N個の動き情報は、前記現在の画像ブロックの参照画像内のN個の参照画像ブロックを示すために使用され、前記N個の動き情報は、前記N個の参照画像ブロックと1対1で対応する、取得ユニットと、
    記憶されるべき画素の位置範囲を前記参照画像内で判定するように構成された判定ユニットであって、前記位置範囲は、候補参照画像ブロックのすべての画素をカバーし、前記候補参照画像ブロックは、前記N個の参照画像ブロックのうちの少なくとも1つの画像ブロックである、判定ユニットと、
    前記位置範囲内のすべての画素を記憶するように構成された、記憶ユニットと、
    前記動き情報のうちの候補動き情報に従って前記記憶ユニットから前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って目標データストリームで復号化処理を実行して前記現在の画像ブロックを再構成するように構成された処理ユニットであって、前記候補動き情報は、前記候補参照画像ブロックに対応する動き情報である、処理ユニットと
    を備える、画像処理装置。
  24. 前記候補参照画像ブロックが、前記N個の参照画像ブロックのうちの少なくとも2つの画像ブロックであり、前記候補動き情報が、前記N個の動き情報のうちの少なくとも2つの動き情報であり、そして、
    前記判定ユニットがさらに、前記動き情報から前記候補動き情報を判定するように構成され、そして、
    前記処理ユニットが、具体的に、前記判定ユニットから前記候補動き情報を取得し、前記候補動き情報に従って前記位置範囲内の前記画素を読み取って、前記候補参照画像ブロックを取得し、前記候補参照画像ブロックに従って前記候補動き情報から最適動き情報を判定し、前記最適動き情報に従って前記目標データストリームで復号化処理を実行するように構成された、請求項23に記載の装置。
  25. 前記候補参照画像ブロックが、前記N個の参照画像ブロックのすべての画像ブロックである、請求項23又は24に記載の装置。
  26. 前記候補参照画像ブロックが、前記N個の参照画像ブロックのうちのいくつかの画像ブロックである、請求項23又は24に記載の装置。
  27. 前記判定ユニットが、具体的に、前記動き情報から前記候補動き情報を判定し、前記候補動き情報に従って前記参照画像内で前記位置範囲を判定するように構成された、請求項26に記載の装置。
  28. 前記判定ユニットが、具体的に、使用可能なメモリ帯域幅及び/又は前記現在の画像ブロックが属する画像の属性情報に従って前記動き情報から前記候補動き情報を判定するように構成され、前記属性情報が、
    前記現在の画像ブロックが属する前記画像の解像度、前記現在の画像ブロックが属する前記画像の内容、前記現在の画像ブロックが属する前記画像のソース、又は前記現在の画像ブロックが属する前記画像の制作スタイル
    のパラメータのうちの少なくとも1つを示すために使用される、請求項24又は27に記載の装置。
  29. 前記判定ユニットが、具体的に、前記目標データストリームから第1のインデックス情報を取得し、前記第1のインデックス情報に従って前記動き情報から前記候補動き情報を判定するように構成され、前記第1のインデックス情報は、前記候補動き情報を示すために使用される、請求項24又は27に記載の装置。
  30. 前記判定ユニットが、具体的に、前記目標データストリームから第2のインデックス情報を取得し、前記第2のインデックス情報に従って前記参照画像内で前記位置範囲を判定するように構成され、前記第2のインデックス情報は、前記参照画像内の前記位置範囲の位置及び対象範囲を示すために使用される、請求項23から29のいずれか一項に記載の装置。
JP2016538630A 2013-12-13 2014-12-12 画像処理方法及び装置 Pending JP2017505021A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310689002.1A CN104717510B (zh) 2013-12-13 2013-12-13 用于图像处理的方法和装置
CN201310689002.1 2013-12-13
PCT/CN2014/093650 WO2015085945A1 (zh) 2013-12-13 2014-12-12 用于图像处理的方法和装置

Publications (1)

Publication Number Publication Date
JP2017505021A true JP2017505021A (ja) 2017-02-09

Family

ID=53370638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016538630A Pending JP2017505021A (ja) 2013-12-13 2014-12-12 画像処理方法及び装置

Country Status (6)

Country Link
US (1) US10116934B2 (ja)
EP (1) EP3068137B1 (ja)
JP (1) JP2017505021A (ja)
KR (1) KR101779872B1 (ja)
CN (1) CN104717510B (ja)
WO (1) WO2015085945A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087978A1 (ja) * 2017-10-30 2019-05-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104717510B (zh) * 2013-12-13 2018-08-17 华为技术有限公司 用于图像处理的方法和装置
EP3509302A4 (en) * 2016-10-10 2019-09-25 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR ENCODING OR DECODING AN IMAGE USING A BLOCK CARD
WO2019203513A1 (ko) * 2018-04-16 2019-10-24 엘지전자 주식회사 영상 코딩 시스템에서 dmvd 를 이용한 인터 예측에 따른 영상 디코딩 방법 및 장치
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Lut更新条件
BR112020024142A2 (pt) 2018-06-29 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. método para processamento de vídeo, aparelho para codificação de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório
KR20240005239A (ko) 2018-06-29 2024-01-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut와 amvp 사이의 상호작용
KR102646649B1 (ko) 2018-06-29 2024-03-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
KR20240007299A (ko) 2018-06-29 2024-01-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 룩업 테이블의 업데이트: fifo, 제약된 fifo
KR102611261B1 (ko) 2018-06-29 2023-12-08 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 업데이트 대상 lut 또는 비업데이트 lut의 구별
CN110662057B (zh) 2018-06-29 2022-06-21 北京字节跳动网络技术有限公司 视频处理方法、装置、设备以及存储比特流的方法
WO2020008350A1 (en) 2018-07-02 2020-01-09 Beijing Bytedance Network Technology Co., Ltd. Luts with intra prediction modes and intra mode prediction from non-adjacent blocks
TW202025760A (zh) 2018-09-12 2020-07-01 大陸商北京字節跳動網絡技術有限公司 要檢查多少個hmvp候選
WO2020143741A1 (en) 2019-01-10 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Invoke of lut updating
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
CN113330739A (zh) 2019-01-16 2021-08-31 北京字节跳动网络技术有限公司 Lut中的运动候选的插入顺序
CN113822924B (zh) * 2019-01-28 2024-04-05 弗劳恩霍夫应用研究促进协会 空间中的元素定位
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005530420A (ja) * 2002-06-18 2005-10-06 クゥアルコム・インコーポレイテッド ビデオ符号化及び復号化技術
JP2006109418A (ja) * 2004-10-02 2006-04-20 Samsung Electronics Co Ltd トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ
WO2007055013A1 (ja) * 2005-11-11 2007-05-18 Fujitsu Limited 画像復号化装置および方法、画像符号化装置
US20080204602A1 (en) * 2005-04-12 2008-08-28 Koninklijke Philips Electronics, N.V. Region-Based Motion Estimation Using Dynamic Asoect Ration Of Region
JP2008538433A (ja) * 2005-04-12 2008-10-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 領域ベース複数パス動き推定及び時間的動きベクトル候補の更新を用いたビデオ処理
JP2009135964A (ja) * 2009-03-06 2009-06-18 Mitsubishi Electric Corp 画像符号化装置およびビットストリーム生成装置
JP2010088122A (ja) * 2004-05-14 2010-04-15 Panasonic Corp 動き補償装置、動き補償方法、および集積回路
JP2012138932A (ja) * 2001-11-30 2012-07-19 Ntt Docomo Inc 動画像符号化装置
JP2012151576A (ja) * 2011-01-18 2012-08-09 Hitachi Ltd 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
WO2013155274A1 (en) * 2012-04-12 2013-10-17 Qualcomm Incorporated Bandwidth reduction in video coding through applying the same reference index

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7940844B2 (en) 2002-06-18 2011-05-10 Qualcomm Incorporated Video encoding and decoding techniques
EP2200326A1 (en) * 2008-12-18 2010-06-23 Thomson Licensing Method and device for encoding a block of an image using a reference block of a further image, data carrier carrying an encoded block of an image and method for decoding a block of an image
WO2010124736A1 (en) * 2009-04-30 2010-11-04 Telefonaktiebolaget Lm Ericsson (Publ) Efficient internal cache for hardware motion estimation
CN102113327B (zh) * 2009-06-01 2014-09-03 松下电器产业株式会社 图像编码装置、方法、集成电路
TW201246943A (en) * 2011-01-26 2012-11-16 Panasonic Corp Video image encoding method, video image encoding device, video image decoding method, video image decoding device, and video image encoding and decoding device
KR101968700B1 (ko) * 2011-03-09 2019-04-12 지멘스 악티엔게젤샤프트 디지털화된 이미지들의 시퀀스를 코딩하기 위한 방법
CN103108178B (zh) 2011-11-11 2016-03-30 华为技术有限公司 视频图像编解码的方法及装置
CN103079067B (zh) * 2013-01-09 2016-03-09 华为技术有限公司 运动矢量预测值列表构建方法和视频编解码方法及装置
CN104717510B (zh) * 2013-12-13 2018-08-17 华为技术有限公司 用于图像处理的方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012138932A (ja) * 2001-11-30 2012-07-19 Ntt Docomo Inc 動画像符号化装置
JP2005530420A (ja) * 2002-06-18 2005-10-06 クゥアルコム・インコーポレイテッド ビデオ符号化及び復号化技術
JP2010088122A (ja) * 2004-05-14 2010-04-15 Panasonic Corp 動き補償装置、動き補償方法、および集積回路
JP2006109418A (ja) * 2004-10-02 2006-04-20 Samsung Electronics Co Ltd トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ
US20080204602A1 (en) * 2005-04-12 2008-08-28 Koninklijke Philips Electronics, N.V. Region-Based Motion Estimation Using Dynamic Asoect Ration Of Region
JP2008538433A (ja) * 2005-04-12 2008-10-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 領域ベース複数パス動き推定及び時間的動きベクトル候補の更新を用いたビデオ処理
WO2007055013A1 (ja) * 2005-11-11 2007-05-18 Fujitsu Limited 画像復号化装置および方法、画像符号化装置
JP2009135964A (ja) * 2009-03-06 2009-06-18 Mitsubishi Electric Corp 画像符号化装置およびビットストリーム生成装置
JP2012151576A (ja) * 2011-01-18 2012-08-09 Hitachi Ltd 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
WO2013155274A1 (en) * 2012-04-12 2013-10-17 Qualcomm Incorporated Bandwidth reduction in video coding through applying the same reference index

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087978A1 (ja) * 2017-10-30 2019-05-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Also Published As

Publication number Publication date
EP3068137B1 (en) 2021-04-07
EP3068137A4 (en) 2016-11-16
CN104717510A (zh) 2015-06-17
US10116934B2 (en) 2018-10-30
US20160295213A1 (en) 2016-10-06
KR101779872B1 (ko) 2017-09-19
EP3068137A1 (en) 2016-09-14
WO2015085945A1 (zh) 2015-06-18
KR20160087901A (ko) 2016-07-22
CN104717510B (zh) 2018-08-17

Similar Documents

Publication Publication Date Title
JP2017505021A (ja) 画像処理方法及び装置
US11968386B2 (en) Picture prediction method and related apparatus
JP7252282B2 (ja) 画像予測方法および関連装置
US11178419B2 (en) Picture prediction method and related apparatus
JP6163674B2 (ja) 高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャ
TWI729422B (zh) 色彩分量間的子區塊移動向量繼承
US10523965B2 (en) Video coding method, video decoding method, video coding apparatus, and video decoding apparatus
CN108012155B (zh) 预拼接图像的视频编码方法、视频解码方法和相关的装置
KR102390695B1 (ko) 픽처 예측 방법 및 픽처 예측 장치
US11922599B2 (en) Video super-resolution processing method and apparatus
US9262839B2 (en) Image processing device and image processing method
TW202005389A (zh) 加權交織預測
US10284810B1 (en) Using low-resolution frames to increase frame rate of high-resolution frames
Kaviani et al. Frame rate upconversion using optical flow and patch-based reconstruction
Monteiro et al. Parallelization of full search motion estimation algorithm for parallel and distributed platforms
TW202147837A (zh) 幀間預測方法、解碼器、編碼器及電腦儲存媒介
TWI802733B (zh) 透過階層式搜尋執行移動估算的電子電路以及電子裝置
TW202005388A (zh) 交織預測的應用
Lei et al. Direct migration motion estimation and mode decision to decoder for a low-complexity decoder Wyner–Ziv video coding
BR112018003247B1 (pt) Método de codificação e decodificação de campo de vetor de movimentação, aparelho de codificação e aparelho de decodificação

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170920

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171212