JP2013537764A - 画像の現在のブロックを再構築する方法および対応する符号化方法、対応する符号化装置、さらに、ビットストリームに符号化された画像を保持する記憶媒体 - Google Patents

画像の現在のブロックを再構築する方法および対応する符号化方法、対応する符号化装置、さらに、ビットストリームに符号化された画像を保持する記憶媒体 Download PDF

Info

Publication number
JP2013537764A
JP2013537764A JP2013524408A JP2013524408A JP2013537764A JP 2013537764 A JP2013537764 A JP 2013537764A JP 2013524408 A JP2013524408 A JP 2013524408A JP 2013524408 A JP2013524408 A JP 2013524408A JP 2013537764 A JP2013537764 A JP 2013537764A
Authority
JP
Japan
Prior art keywords
block
segment
current block
geometry
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013524408A
Other languages
English (en)
Other versions
JP5934210B2 (ja
Inventor
ボルデ,フイリツプ
ソロー,ドミニク
ビエロン,ジエローム
フランソワ,エドウアルド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2013537764A publication Critical patent/JP2013537764A/ja
Application granted granted Critical
Publication of JP5934210B2 publication Critical patent/JP5934210B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/543Motion estimation other than block-based using regions

Abstract

本発明は、画像ブロック符号化および再構築の分野においてなされる。画像の現在のブロックを再構築する方法について記載する。現在のブロックは、現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントの予測符号化を使用して符号化されている。少なくとも1つのフラグおよび複数の動きベクトルを含む符号化されたデータを復号する。動きベクトルによって参照されるブロックは、現在のブロックのセグメントの予測に使用される。この復号の後、符号化されたデータにおける少なくとも1つのフラグおよび動きベクトルの符号化順を使用して、参照されたブロックのうちのいずれが現在のブロックのジオメトリと一致するジオメトリを示すかを特定し、かつ、特定されたブロックのセグメントを特定する。セグメントの特定の前に、特定されたブロックが複数のセグメントにジオメトリ適応ブロック分割され、これらのセグメントのうちから、現在のブロックの複数のセグメントのうちの1つを予測するセグメントが特定される。
【選択図】図7

Description

本発明は、ジオメトリ適応ブロック分割の結果として得られるセグメントが予測される、予測画像ブロック符号化および再構築の分野においてなされる。
H.264/AVC規格などの、多くの最新のビデオ符号化手法は、マクロブロックの符号化に四分木ベースのパーティション構造を使用する。このような構造は、符号化アルゴリズムが、自然画像の複雑かつ非定常な性質に適応できるようにする。四分木のパーティションには、適応性の点でフレキシビリティがあるものの、C.Dai氏、 O.Escoda氏、P.Yin氏、X.Li氏、C.Gomila氏による最近の研究「画像およびビデオの符号化におけるイントラ予測のためのジオメトリ適応ブロック分割(Geometry−Adaptive block Partitioning for Intra Prediction in Image & Video Coding)」、IEEE ICIP 2007 画像処理の国際会議2007年、第6回、2007年9月16日〜2007年10月19日、VI−85頁〜VI−88頁(Image Processing, 2007,ICIP 2007,IEEE International Conference on Volume 6, Sept. 16 2007−Oct. 19 2007, pp VI − 85 − VI − 88)によれば、これらは、画像が2Dピースワイズ・スムーズ信号として局所的にモデル化することができる場合に、(レート歪み性能の点からは)十分に効率的なものではない。
従って、Dai氏らは、上記の研究において、マクロブロック内で2Dピースワイズ・データをモデル化するためにジオメトリ・ベースのブロック分割の使用を研究した。Dai氏らは、複数のブロック内での複数のジオメトリック・パーティションを提案しており、ここで、これらのパーティションは、或る線のインプリシット・パラメトリック・モデル、f(x,y)=xcosθ+ysinθ−ρによって定義される。f(x,y)の零レベル線によって生成される分割線は、角度θおよび距離ρによって決定される。そして、θおよびρは、モード「geo」を用いて複数のブロックのビットストリームに符号化されて送信される。イントラにおけるθおよびρの追加符号化コストが発生するが、12%までのPSNRにおける利得が得られた。
R.Mathew氏およびD.S.Taubman氏は、「四分木ノード結合を用いた動きおよび境界ジオメトリのジョイント・スケーラブル・モデル化(Joint Scalable Modeling of Motion and Boundary Geometry with Quad−tree node merging)」、ICIP 2009において、ジオメトリ・ツリーにおける所与のサブブロックは、ブロック境界を有する線分の2つの切片を示すことによって伝達できることを記載している。これらの2つの切片は、親ブロックの境界ジオメトリを参照して差分符号化される。
さらに、既存ではあるが、次善最適(sub−optimal)な四分木の符号化コストを減少させるために、R.D.Forni氏およびD.S.Taubman氏は、「四分木動きモデルにおけるリーフ結合の利点について(On the Benefits of Leaf Merging in Quad−Tree Motion Models)」、IEEE ICIP 2005 画像処理の国際会議2005年、第2回、2005年9月11〜14日、II−858〜61頁(Image Processing, 2005, ICIP 2005, IEEE International Conference on Image processing, Volume 2, 11−14 Sept. 2005, pp II − 858−61)において、隣接リーフが結合される必要があるかどうかを示す追加的なバイナリ結合フラグを符号化することを提案している。リーフが結合されるべき場合には、追加的な0、1、または2ビットが特定の結合方向を識別するために符号化される。その実施を通じて、著者は、H.264/AVCの場合と比較して、PSNRにおいて、0.5dB〜1dBの利得が得られることを経験している。
発明者らは、従来技術によれば、符号化モード「geo」の適切な選択のために、想定可能な全てのジオメトリの輪郭が符号化器側でテストされなければならないが、これにより、従来技術に従ったジオメトリの特定が相対的に複雑となっていることを認識した。発明者は、さらに、従来技術に従って特定可能なジオメトリが相対的に単純であることを認識した。
これらの点を研究した結果、発明者は、ジオメトリ情報またはオブジェクトの境界情報を、本質的に同一のジオメトリを描き、かつ、ジオメトリ情報を示そうとするブロックよりも前に復号されるように特定されたブロックを参照することによって、インプリシット(黙示的)に示すことができることを発見した。
従って、発明者らは、請求項1に記載の画像の現在のブロックを再構築する方法、さらに、請求項3に記載の予測符号化のための対応する方法を提案する。
画像の現在のブロックを再構築する上記の方法では、現在のブロックは、現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントの予測符号化を使用して符号化される。この方法は、少なくとも1つのフラグおよび複数の動きベクトルを含む符号化されたデータを復号するステップであって、動きベクトルによって参照されるブロックが現在のブロックのセグメントの予測に使用される上記復号するステップと、符号化されたデータにおける少なくとも1つのフラグおよび動きベクトルの符号化順を使用して、参照されたブロックのうちのいずれが現在のブロックのジオメトリと一致するジオメトリを示すかを特定し、かつ、特定されたブロックのセグメントを特定するステップと、を含み、セグメントの特定の前に、特定されたブロックが複数のセグメントにジオメトリ適応ブロック分割され、これらのセグメントのうちから、現在のブロックの複数のセグメントのうちの1つを予測するセグメントが特定される。
この再構築方法の一態様においては、符号化されたデータは残差をさらに含み、この方法は、動きベクトルを使用して記憶装置からブロックを取得するステップと、特定されたセグメントを使用して少なくとも1つの追加的に参照されたブロック内の少なくとも1つのセグメントを選択するステップであって、選択された少なくとも1つのセグメントは特定されたセグメントに対して輪郭が相補的である上記選択するステップと、特定されたセグメント、選択された少なくとも1つのセグメント、および残差を使用して現在のブロックを再構築するステップと、をさらに含む。
現在のブロックを予測符号化する上記の方法は、現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントの予測符号化を使用するステップと、少なくとも1つのフラグおよび符号化順にある複数の動きベクトルを含むデータを符号化するステップと、を含み、少なくとも1つのフラグおよび符号化順は、動きベクトルのうちのいずれが現在のブロックのジオメトリと一致するジオメトリを示すブロックを参照するかを示し、かつ、現在のブロックの複数のセグメントのうちの1つを予測するために上記示されたブロックのどのセグメントが使用されるかをさらに示し、動きベクトルによって参照される少なくとも1つの更なるブロックが現在のブロックの少なくとも1つの更なるセグメントの予測に使用される。
従って、発明者は、直線よりもより複雑なジオメトリ輪郭の抽出を可能にし、さらに、符号化コストを減少させるステップによって、画像ブロック符号化のためのジオメトリ適応ブロック分割の原理を改良することを提案する。この原理は、ソース画像特性から独立してジオメトリ・パラメータを決定するのではなく、画像からジオメトリ情報を抽出することにより、ソース画像におけるインプリシット(黙示的)なジオメトリを利用することである。
一態様においては、上記の予測符号化方法は、現在のブロックの1つのセグメントを使用して、記憶装置に記憶された複数の再構築されたブロックから、現在のブロックのジオメトリと一致するジオメトリを示すブロックを特定するステップと、特定されたブロックのセグメントを使用して少なくとも1つの更なるセグメントを特定するステップと、少なくとも1つの更なるセグメントを使用して少なくとも1つの更なるブロックを特定するステップと、特定されたブロックのセグメントおよび少なくとも1つの更なるブロックに含まれる少なくとも1つの更なるセグメントを使用して現在のブロックのセグメントを予測するステップと、特定されたブロックおよび特定された少なくとも1つの更なるブロックを使用して動きベクトルを特定するステップと、予測を使用して現在のブロックの残差を特定するステップと、残差を量子化するステップであって、符号化されたデータは量子化された残差をさらに含む上記量子化するステップと、をさらに含む。
他の態様においては、予測符号化方法は、予測および量子化された残差を使用して現在のブロックを再構築するステップをさらに含む。
他のブロックの再構築または符号化のために、再構築された現在のブロックを記憶装置に記憶することができる。
ジオメトリ適応ブロック分割は、Sobelオペレータを使用して各々のブロックのための階調ブロックを特定するステップを含むことができる。
これらの方法の各態様において、画像は画像シーケンスに含まれ、少なくとも1つの動きベクトルが画像シーケンスに含まれる少なくとも1つの異なる画像に含まれるブロックを参照する。
さらに、請求項9に記載の装置を提案する。
この装置は、画像の現在のブロックを再構築するものであり、現在のブロックは、現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントの予測符号化を使用して符号化されており、少なくとも1つのフラグおよび複数の動きベクトルを含む符号化されたデータを復号する手段であって、現在のブロックのセグメントが、動きベクトルによって参照されるブロックのセグメントを使用して予測可能である上記復号する手段と、符号化されたデータにおける少なくとも1つのフラグおよび動きベクトルの符号化順を使用して、参照されたブロックのうちのいずれが現在のブロックのジオメトリと一致するジオメトリを示すかを特定し、かつ、特定されたブロックのセグメントを特定する手段と、セグメントの特定の前に、特定されたブロックを複数のセグメントにジオメトリ適応ブロック分割する手段と、を含む。
さらに、請求項10に記載の別の装置を提案する。
この装置は、画像の現在のブロックを予測符号化するためのものであり、現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントを予測符号化する手段と、少なくとも1つのフラグおよび複数の動きベクトルを含むデータを符号化する手段と、を含み、少なくとも1つのフラグおよび動きベクトルの符号化順は、動きベクトルのうちのいずれが現在のブロックのジオメトリと一致するジオメトリを示すブロックを参照するかを特定することを可能にし、かつ、現在のブロックの複数のセグメントのうちのいずれが特定可能なブロックのセグメントを使用して予測可能であるかを特定することをさらに可能にし、現在のブロックの少なくとも1つの更なるセグメントが動きベクトルによって参照された少なくとも1つの更なるブロックを使用して予測可能である。
記憶媒体が提案され、この記憶媒体は、符号化されたデータ内に符号化された画像を保持する記憶媒体であって、画像の少なくとも1つのブロックが請求項3に記載の方法に従って符号化されている。
図面を参照して、以下の記載の中で、本発明の例示的な実施形態をより詳細に説明する。例示的な実施形態は、本発明を分かりやすくするために説明されているだけであり、本発明の開示内容を限定するものではない。本発明の開示内容は、出願明細書の内容のみによって限定されるものであり、例示的な実施形態は、権利保護を求める各請求項において規定される範囲を限定するものではない。
例示的なソース画像を描いた図である。 ソース画像のために定められた例示的な階調画像を描いた図である。 ソース画像内の例示的に抽出されたジオメトリ・ラインを描いた図である。 多項式ブロック・パーティションの例を描いた図である。 任意の形状のブロック・パーティションの例を描いた図である。 図5に描かれた任意の形状のブロック・パーティションに対応するバイナリ・マスクの例を描いた図である。 予測のために第1の参照ブロックの左上のセグメントおよび別の第2の参照ブロックの相補セグメントが使用される例を描いた図である。 予測のために第1の参照ブロックの右下のセグメントおよび別の第2の参照ブロックの相補セグメントが使用される例を描いた図である。
本発明は、相応に適応する処理装置を含むどのような電子装置上でも実現することができる。例えば、本発明は、テレビジョン、セット・トップ・ボックス、携帯電話、パーソナル・コンピュータ、ディジタル・スチル・カメラ、ディジタル・ビデオ・カメラ、ナビゲーション・システム、または、カー・ビデオ・システムにおいて実現することができる。
第1の実施形態においては、ジオメトリは、従来のエッジ輪郭抽出器を使用して計算される。例えば、ソース画像および/または復号された画像の(色)階調が使用される。階調画像は、良く知られているsobelアルゴリズムを使用して計算することができる。ブロック・サイズMxNを使用した画像の所与のマクロブロック分解では、従来の主成分分析(PCA:Principal Component Analysis)、または線形回帰を使用して、各MxNブロック内の階調点と最良に一致する直線のパラメータを決定することができる。
第2の実施形態においては、非線形パラメータ、例えば、多項式パラメータを特定することによって、PCAを使用した方法を非線形ジオメトリの特定に拡張することができる。
この第2の実施形態の代わりに、キャニー・オペレータ(Canny operator)やハフ変換(Hough transformation)のような任意の旧来のエッジ検出を使用して、ブロックを複数のパーティションに分離する1つ以上の連続したエッジを決定してもよい。
どのようにエッジが検出されるかにかかわらず、検出されたエッジを、例えば、1つ以上のバイナリ・マスクを生成することによって、各ブロックをセグメント化するために使用することができる。
結果として得られるセグメントは、参照ブロックを使用して予測される。より正確には、参照ブロックのセグメントが、符号化すべき現在のブロックのセグメントを予測するために使用される。
正確な符号化のために、予測のために使用される参照ブロックを参照する動きベクトルを用いた復号器を提供する必要がある。予測のために使用される参照ブロックのセグメントを決定できるようにする追加的な情報を提供する必要がある。
追加的な情報は、参照ブロックを複数のセグメントにセグメント化することができる分割スキームを復号器が決定できるようにする。さらに、追加的な情報は、復号器が各参照ブロックのセグメントを選択できるようにする。選択した複数のセグメントを組み合わせることにより、その結果として、再構築すべきブロックの予測が得られる。この予測を、符号化器にさらに伝達される残差と組み合わせることにより、最終的に、再構築すべきブロックの再構築が得られる。
部分的には、追加的な情報は、例えば、送信またはブロードキャストによってインプリシット(黙示的)に伝達され、エッジを予測する役目を果たすセグメント予測のために使用される参照ブロックも存在する。或いは、セグメント予測のために使用される単一の参照ブロックが、全てのエッジを予測する役目を果たす。
第1の実施形態:
第1の実施形態は、符号化すべきブロックを2つのセグメントに分離する単一のエッジを示すブロックの符号化に関する。2つのセグメントの各々は、1つの参照ブロックによって予測され、従って、2つの動きベクトルによって参照される予測のために特定される2つのブロックが存在する。2つの参照されるブロックは、これらのうちの一方が、セグメントだけでなく、単一のエッジを予測するように選択される。即ち、復号器側で、1つの参照ブロックのみをセグメント化してエッジを特定することができ、次に、このエッジを使用して、一方および他方のブロックを使用したセグメント予測を決定する。エッジ予測のために2つの参照ブロックのうちのいずれを使用するかを決定し、さらに、使用すべきエッジ予測参照ブロックにおいて特定されるエッジによって分離される2つのセグメントのうちのいずれかを特定するのに必要な情報を復号器に提供するために、2つの動きベクトルの符号化順およびフラグが使用される。
或る場合には、符号化順における所定の位置、例えば、第1の位置にある動きベクトルによって参照されるブロックが、エッジの検出のために使用されるものとなる。この場合には、所定の位置にある動きベクトルによって参照されるこのブロックが、所定の画素、例えば、ブロックの左上隅の画素または右下隅の画素を含むセグメントの予測のために使用される場合に、フラグがセットされる。
そうでない場合には、フラグは、符号化順における第1の動きベクトルまたは第2の動きベクトルがエッジの予測のために追加的に使用されるブロックを参照するかどうかを示す。この場合には、符号化順は予測のために使用するべきセグメントを特定する役目を果たす。
第2の実施形態:
第2の実施形態は、符号化すべきブロックを3つのセグメントに分離する2つのエッジを描いたブロックの符号化に関する。3つのセグメントの各々は、1つの参照ブロックによって予測され、従って、3つの動きベクトルによって参照される予測のために特定される3つのブロックが存在する。3つの参照されたブロックは、これらのうちの2つの各々が、複数のセグメントのうちの1つだけでなく、複数のエッジのうちの1つを予測するように選択される。即ち、復号器側で、これらの2つの参照ブロックをセグメント化してエッジを特定することができ、次に、このエッジを使用して、これら2つおよび残りの1つの参照ブロックを使用したセグメント予測を決定する。3つの参照ブロックのうちのいずれをエッジ予測に使用するかを決定し、さらに、使用すべき予測されたエッジによって分離されるセグメントのうちのいずれかを特定するのに必要な情報を復号器に提供するために、3つの動きベクトルの符号化順および2つのフラグが使用される。
例えば、符号化順で第1番目の動きベクトルは、第1のエッジを予測するブロックを参照し、第1のフラグは、第1の参照されたブロックを使用してこのエッジによって分離されるセグメントのうちのいずれを予測するかを示す。符号化順で第2番目の動きベクトルは、第2のエッジを予測するブロックを参照する。第2のエッジは、第1の動きベクトルによって参照されるブロックによって予測すべきセグメントに対して相補的なセグメントを、2つの更なるセグメントに分離する。第2のフラグは、更なるセグメントのうちのいずれが第2の参照されたブロックを使用して予測されるべきかを示す。更なるセグメントのうちの他方は、次に、最後の動きベクトルによって参照されるブロックを使用して予測される。
或いは、これらのフラグは、3つの動きベクトルのうちのいずれの2つがエッジの予測のために追加的に使用されるべきブロックを参照するかを示す。この場合、符号化順は予測のために使用すべきセグメントを特定する役目を果たす。
第2の実施形態は、実際には、ブロックをセグメント化する第1のセグメント化、さらに、第1のセグメント化の結果により得られるセグメントをセグメント化する第2のセグメント化を用いて、第1の実施形態を反復処理するものである。n個の参照ブロックを使用してn個のエッジを決定し、これにより、n個のエッジによって分離される(n+1)個のセグメントのうちのn個のセグメントを追加的に予測し、残りのセグメントが更なる参照ブロックによって予測されるように、さらに反復処理することもできる。この場合、n個のフラグおよび動きベクトルの符号化順により、正確な復号が可能となる。
第3の実施形態:
第3の実施形態もまた、符号化すべきブロックを3つのセグメントに分離する2つのエッジを描くブロックの符号化に関する。第3の実施形態によれば、3つの参照ブロックは、これらのうちの1つがセグメントのうちの1つだけでなく、両方のエッジを予測するように選択される。即ち、復号器側で、この1つの参照ブロックをセグメント化してエッジを特定することができ、次に、このエッジを使用してこれらの2つおよび残りの1つの参照ブロックを使用したセグメント予測を決定する。3つの参照ブロックのうちのいずれをエッジ検出に使用するかを決定し、さらに、使用すべき予測されたエッジによって分離されるセグメントのうちのいずれかを特定するために必要な情報を復号器に提供するために、3つの動きベクトルの符号化順および2つのフラグが使用される。
例えば、符号化順で第1番目の動きベクトルは、2つのエッジを予測するブロックを参照し、さらに、フラグは、このエッジによって分離される結果として得られる3つのセグメントのうちのいずれを第1の参照されたブロックを使用して予測するかを示す。残りの2つのセグメントは、所定の基準、例えば、第1の参照されたブロックによって予測されたセグメントと共通のエッジの長さに従って、順序が決められる。この順序に従った第1のセグメントは、次に、符号化順で第2番目の動きベクトルによって参照されたブロックによって予測され、この順序に従った第2のセグメントは、次に、符号化順で最後の動きベクトルによって参照されたブロックにより予測される。
或いは、これらのフラグは、3つの動きベクトルのうちのいずれが、エッジの予測のために追加的に使用すべきブロックを参照するかを示す。この場合、符号化順は予測のために使用すべきセグメントを特定する役目を果たす。
この場合もまた、この原理をn個のエッジ、(n+1)個の参照ブロックによって予測される(n+1)個のセグメント、およびn個のフラグに一般化することができる。
本発明は、ブロック内に少なくとも部分的に描かれたオブジェクトのオブジェクト境界の輪郭情報が、最も類似する、または、同一であるオブジェクト境界を描く別のブロックを参照した形態で伝達可能であるという原理に基づくものである。特に、画像が画像シーケンスに含まれる実施形態においては、オブジェクトは、このオブジェクトの動きのために異なる複数の位置にある可能性があるが、幾つかの画像に描かれるであろう。
この別のブロックは、結果として得られるセグメントのうちの1つの予測のために使用されるものである。
第1の実施形態の特定の例においては、ブロックの再構築は、以下のステップを含む。
Geoブロック・データの解析(パーシング;parsing):
ジオメトリのためのバイナリ・フラグは、geoモードを示し、図7および図8において例示的に描かれているような、左上(TL:top−left)または右下(BR:bottom−right)のインプリシット(黙示的な)・パーティションを使用してジオメトリが計算されるかどうかを示す。
図7に例示的に描かれているように、BRがジオメトリを特定することをバイナリ・フラグが示す場合には、上述したセグメント化方法のうちのいずれか1つを使用し、参照ピクチャ内の動きベクトルV2によって示されたブロック領域を使用して境界輪郭の抽出を行う。
図8に例示的に描かれているように、TLがジオメトリを特定することをバイナリ・フラグが示す場合には、上述したセグメント化方法のうちのいずれか1つを使用し、参照ピクチャ内の動きベクトルV1によって示されたブロック領域を使用して境界輪郭の抽出を行う。
境界輪郭が抽出されると、対応するマスクが計算され、領域BRおよび領域TLに対応する画素を選択的に動き補償する。このマスクは、各画素について、動き補償処理の間に使用されるべき重み[0;1]を含む。
第1の実施形態のこの例は、符号化器側でのジオメトリの特定が単純になるという利点があり、さらに、これにより、より複雑なジオメトリの抽出が可能となる。さらに、このより複雑なジオメトリは、描かれたオブジェクトの境界により良好に一致するため、符号化コストが減少し、結果として、予測が良好になる。さらに、ジオメトリの複雑さにかかわらず、単一のビットで十分となる。

Claims (11)

  1. 画像の現在のブロックを再構築する方法であって、前記現在のブロックは、当該現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントの予測符号化を使用して符号化されており、前記方法は、
    少なくとも1つのフラグおよび複数の動きベクトルを含む符号化されたデータを復号するステップであって、前記動きベクトルによって参照されるブロックが前記現在のブロックのセグメントの予測に使用される、前記復号するステップと、
    前記符号化されたデータにおける前記少なくとも1つのフラグおよび前記動きベクトルの符号化順を使用して、前記参照されたブロックのうちのいずれが前記現在のブロックのジオメトリと一致するジオメトリを示すかを特定し、かつ、前記現在のブロックの前記複数のセグメントのうちの1つを予測する前記特定されたブロックのセグメントを特定するステップと、を含み、
    前記セグメントの特定の前に、前記特定されたブロックが複数のセグメントにジオメトリ適応ブロック分割される、前記方法。
  2. 前記符号化されたデータは残差をさらに含み、前記方法は、
    前記動きベクトルを使用して記憶装置から前記ブロックを取得するステップと、
    前記特定されたセグメントを使用して少なくとも1つの追加的に参照されたブロック内の少なくとも1つのセグメントを選択するステップであって、前記選択された少なくとも1つのセグメントは前記特定されたセグメントに対して輪郭が相補的である、前記選択するステップと、
    前記特定されたセグメント、前記選択された少なくとも1つのセグメント、および前記残差を使用して前記現在のブロックを再構築するステップと、
    をさらに含む、請求項1に記載の方法。
  3. 画像の現在のブロックを予測符号化する方法であって、該方法は、
    前記現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントの予測符号化を使用するステップと、
    少なくとも1つのフラグおよび符号化順にある複数の動きベクトルを含むデータを符号化するステップと、を含み、
    前記少なくとも1つのフラグおよび前記動きベクトルの符号化順は、前記動きベクトルのうちのいずれが前記現在のブロックのジオメトリと一致するジオメトリを示すブロックを参照するかを示すことによって、前記現在のブロックの前記ジオメトリ適応ブロック分割を表し、
    前記少なくとも1つのフラグおよび前記動きベクトルの前記符号化順は、前記現在のブロックの前記複数のセグメントのうちの1つを予測するために前記示されたブロックのどのセグメントが使用されるかをさらに示し、
    前記動きベクトルによって参照される少なくとも1つの更なるブロックが前記現在のブロックの少なくとも1つの更なるセグメントの予測に使用される、前記方法。
  4. 前記現在のブロックの前記1つのセグメントを使用して、記憶装置に記憶された複数の再構築されたブロックから、前記現在のブロックの前記ジオメトリと一致するジオメトリを示す前記ブロックを特定するステップと、
    前記特定されたブロックのセグメントを使用して前記少なくとも1つの更なるセグメントを特定するステップと、
    前記少なくとも1つの更なるセグメントを使用して前記少なくとも1つの更なるブロックを特定するステップと、
    前記特定されたブロックの前記セグメントおよび前記少なくとも1つの更なるブロックに含まれる少なくとも1つの更なるセグメントを使用して前記現在のブロックの前記セグメントを予測するステップと、
    前記特定されたブロックおよび前記特定された少なくとも1つの更なるブロックを使用して前記動きベクトルを特定するステップと、
    前記予測を使用して前記現在のブロックの残差を特定するステップと、
    残差を量子化するステップであって、前記符号化されたデータは前記量子化された残差をさらに含む、前記量子化するステップと、
    をさらに含む、請求項3に記載の方法。
  5. 前記予測および前記量子化された残差を使用して前記現在のブロックを再構築するステップをさらに含む、請求項4に記載の方法。
  6. 前記再構築された現在のブロックを前記記憶装置に記憶するステップをさらに含む、請求項2または4に記載の方法。
  7. ジオメトリ適応ブロック分割は、Sobelオペレータを使用して各々のブロックのための階調ブロックを特定するステップを含む、請求項1〜6のいずれか1項に記載の方法。
  8. 前記画像は画像シーケンスに含まれ、少なくとも1つの動きベクトルが前記画像シーケンスに含まれる少なくとも1つの異なる画像に含まれるブロックを参照する、請求項1〜7のいずれか1項に記載の方法。
  9. 画像の現在のブロックを再構築する装置であって、前記現在のブロックは、当該現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントの予測符号化を使用して符号化されており、前記装置は、
    少なくとも1つのフラグおよび複数の動きベクトルを含む符号化されたデータを復号する手段であって、前記現在のブロックのセグメントが、前記動きベクトルによって参照されるブロックのセグメントを使用して予測可能である、前記復号する手段と、
    前記符号化されたデータにおける前記少なくとも1つのフラグおよび前記動きベクトルの符号化順を使用して、前記参照されたブロックのうちのいずれが前記現在のブロックのジオメトリと一致するジオメトリを示すかを特定し、かつ、前記特定されたブロックのセグメントを特定する手段と、
    前記セグメントの特定の前に、前記特定されたブロックを複数のセグメントにジオメトリ適応ブロック分割する手段と、
    を含む、前記装置。
  10. 画像の現在のブロックを予測符号化する装置であって、該装置は、
    前記現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントを予測符号化する手段と、
    少なくとも1つのフラグおよび複数の動きベクトルを含むデータを符号化する手段と、を含み、
    前記少なくとも1つのフラグおよび前記動きベクトルの符号化順は、前記動きベクトルのうちのいずれが前記現在のブロックの前記ジオメトリと一致するジオメトリを示すブロックを参照するかを特定することを可能にすることによって、前記現在のブロックの前記ジオメトリ適応ブロック分割を表し、
    前記少なくとも1つのフラグおよび前記動きベクトルの前記符号化順は、前記現在のブロックの前記複数のセグメントのうちのいずれが前記特定可能なブロックのセグメントを使用して予測可能であるかを特定することをさらに可能にし、
    前記現在のブロックの少なくとも1つの更なるセグメントが前記動きベクトルによって参照される少なくとも1つの更なるブロックを使用して予測可能である、前記装置。
  11. 符号化されたデータ内に符号化された画像を保持する記憶媒体であって、前記画像の少なくとも1つのブロックが請求項3に記載の方法に従って符号化されている、前記記憶媒体。
JP2013524408A 2010-08-19 2011-08-08 画像の現在のブロックを再構築する方法および対応する符号化方法、対応する符号化装置、さらに、ビットストリームに符号化された画像を保持する記憶媒体 Active JP5934210B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10305898A EP2421266A1 (en) 2010-08-19 2010-08-19 Method for reconstructing a current block of an image and corresponding encoding method, corresponding devices as well as storage medium carrying an images encoded in a bit stream
EP10305898.8 2010-08-19
PCT/EP2011/063623 WO2012022648A1 (en) 2010-08-19 2011-08-08 Method for reconstructing a current block of an image and corresponding encoding method, corresponding devices as well as storage medium carrying an images encoded in a bit stream

Publications (2)

Publication Number Publication Date
JP2013537764A true JP2013537764A (ja) 2013-10-03
JP5934210B2 JP5934210B2 (ja) 2016-06-15

Family

ID=42937169

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013524408A Active JP5934210B2 (ja) 2010-08-19 2011-08-08 画像の現在のブロックを再構築する方法および対応する符号化方法、対応する符号化装置、さらに、ビットストリームに符号化された画像を保持する記憶媒体

Country Status (6)

Country Link
US (1) US9159141B2 (ja)
EP (3) EP2421266A1 (ja)
JP (1) JP5934210B2 (ja)
KR (1) KR101822687B1 (ja)
CN (1) CN103069802B (ja)
WO (1) WO2012022648A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130287109A1 (en) * 2012-04-29 2013-10-31 Qualcomm Incorporated Inter-layer prediction through texture segmentation for video coding
CN106233334B (zh) * 2014-03-20 2020-03-10 华为技术有限公司 一种将视频块分割模式和视频编码块关联的装置和方法
KR102345475B1 (ko) * 2016-01-05 2022-01-03 한국전자통신연구원 잔차 신호에 대한 예측 방법 및 장치
US20190182505A1 (en) * 2016-08-12 2019-06-13 Mediatek Inc. Methods and apparatuses of predictor-based partition in video processing system
CN111316641B (zh) * 2018-05-03 2022-08-09 Lg电子株式会社 根据块尺寸使用变换来解码图像的方法和设备
US11695967B2 (en) 2018-06-22 2023-07-04 Op Solutions, Llc Block level geometric partitioning
EP3861732A4 (en) * 2018-10-01 2022-07-06 OP Solutions, LLC EXPONENTIAL PARTITIONING METHODS AND SYSTEMS
CN111147850B (zh) * 2018-11-02 2022-10-11 北京字节跳动网络技术有限公司 用于基于历史的运动矢量预测的表维护
CN110751695B (zh) * 2019-01-23 2021-01-19 中国人民解放军空军工程大学 自适应数据处理方法
CN110517218B (zh) * 2019-01-23 2020-04-14 深圳市天维思信息技术有限公司 自适应数据处理平台
SG11202108103WA (en) 2019-01-28 2021-08-30 Op Solutions Llc Inter prediction in geometric partitioning with an adaptive number of regions
CN112465698A (zh) * 2019-09-06 2021-03-09 华为技术有限公司 一种图像处理方法和装置
US20230319271A1 (en) * 2020-07-20 2023-10-05 Electronics And Telecommunications Research Institute Method, apparatus, and recording medium for encoding/decoding image by using geometric partitioning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005277968A (ja) * 2004-03-25 2005-10-06 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
WO2008054688A1 (en) * 2006-10-30 2008-05-08 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
JP2009545919A (ja) * 2006-08-02 2009-12-24 トムソン ライセンシング ビデオ復号処理のためにアダブティブなジオメトリック分割を行う方法および装置
JP2010524396A (ja) * 2007-04-12 2010-07-15 トムソン ライセンシング ビデオエンコーダにおける高速な幾何学的なモードの判定方法及び装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1941797A (en) * 1997-03-17 1998-10-12 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
US7643559B2 (en) * 2001-09-14 2010-01-05 Ntt Docomo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
US8165205B2 (en) * 2005-09-16 2012-04-24 Sony Corporation Natural shaped regions for motion compensation
JP4417918B2 (ja) * 2006-03-30 2010-02-17 株式会社東芝 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム
ZA200901048B (en) 2006-09-29 2010-05-26 Thomson Licensing Geometric intra prediction
US8437564B2 (en) * 2007-08-07 2013-05-07 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
CN101303769B (zh) 2008-07-10 2010-08-04 哈尔滨工业大学 基于先验知识测地几何流的二维序列医学图像分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005277968A (ja) * 2004-03-25 2005-10-06 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2009545919A (ja) * 2006-08-02 2009-12-24 トムソン ライセンシング ビデオ復号処理のためにアダブティブなジオメトリック分割を行う方法および装置
WO2008054688A1 (en) * 2006-10-30 2008-05-08 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
JP2010524396A (ja) * 2007-04-12 2010-07-15 トムソン ライセンシング ビデオエンコーダにおける高速な幾何学的なモードの判定方法及び装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JPN5013009605; Abdullah A. Muhit, et al.: 'MOTION COMPENSATION USING GEOMETRY AND AN ELASTIC MOTION MODEL' 2009 16TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP) , 20091107, pp.621-624, IEEE *
JPN6015037552; Peisong Chen, et al.: 'Geometry Motion Partition' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd M JCTVC-B049, 20100721, pp.1-3 *
JPN6015037554; Liwei Guo, et al.: 'TE 3: Simplified Geometry Block Partitioning' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd M JCTVC-B085, 20100721, pp.1-5 *
JPN6015037556; Xiaozhen Zheng, et al.: 'TE3: Huawei & Hisilicon report on flexible motion partitioning' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd M JCTVC-B041, 20100721, pp.1-5 *

Also Published As

Publication number Publication date
KR101822687B1 (ko) 2018-01-26
EP2606643A1 (en) 2013-06-26
JP5934210B2 (ja) 2016-06-15
CN103069802B (zh) 2016-05-18
CN103069802A (zh) 2013-04-24
WO2012022648A1 (en) 2012-02-23
EP2421266A1 (en) 2012-02-22
KR20130095261A (ko) 2013-08-27
US9159141B2 (en) 2015-10-13
US20130208982A1 (en) 2013-08-15
EP4161075A1 (en) 2023-04-05

Similar Documents

Publication Publication Date Title
JP5934210B2 (ja) 画像の現在のブロックを再構築する方法および対応する符号化方法、対応する符号化装置、さらに、ビットストリームに符号化された画像を保持する記憶媒体
CN107925763B (zh) 等级分割中的块级别变换选择和隐式信令的编码变换方法和设备
US9420300B2 (en) Video decoder and a video encoder using motion-compensated prediction
KR102114641B1 (ko) 현재 블록의 분할을 예측하여 비디오를 코딩하는 방법, 디코딩 방법 및 이에 상응하는 코딩 및 디코딩 장치 및 컴퓨터 프로그램
KR101500781B1 (ko) 이미지들을 처리하기 위한 방법 및 그 대응하는 전자 장치
CN109983470B (zh) 处理360度虚拟现实图像的方法
JP6517691B2 (ja) 少なくとも1つの第2の画像成分の参照ブロックに対して第1の画像成分の現在ブロックを符号化するための方法、符号化装置および対応するコンピュータプログラム
CN110024397B (zh) 用于编码视频的方法和装置
CN107005691B (zh) 使用从图模板导出的变换来对视频信号进行编码/解码的方法和装置
BR112021005796B1 (pt) Método de decodificação de vídeo realizado por um aparelho de decodificação, método de codificação de vídeo realizado por um aparelho de codificação e mídia de armazenamento legível por computador não transitória
CN107113426B (zh) 使用广义图形参数执行基于图形的变换的方法和设备
CN111971963A (zh) 图像编码和解码、图像编码器以及图像解码器
CN111034198A (zh) 图像编码和解码方法、编码和解码设备及对应计算机程序
CN109845259B (zh) 编码和解码图像参数的方法、编码和解码图像参数的设备
KR102170570B1 (ko) 압축 영역에서 핵심 프레임이 포함된 동영상 합성 방법 및 장치
US20230044603A1 (en) Apparatus and method for applying artificial intelligence-based filtering to image
WO2024010635A1 (en) System and method for multiple-hypothesis prediction for video coding
CN110431844A (zh) 用于对图像进行编码和解码的方法、编码和解码设备以及相应的计算机程序
JP2014180043A (ja) パッチベースのサンプリングテクスチャ合成を用いたテクスチャ圧縮の方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140716

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150113

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160506

R150 Certificate of patent or registration of utility model

Ref document number: 5934210

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250