JP2014507857A - 予測値を形成するための方法および装置 - Google Patents

予測値を形成するための方法および装置 Download PDF

Info

Publication number
JP2014507857A
JP2014507857A JP2013548798A JP2013548798A JP2014507857A JP 2014507857 A JP2014507857 A JP 2014507857A JP 2013548798 A JP2013548798 A JP 2013548798A JP 2013548798 A JP2013548798 A JP 2013548798A JP 2014507857 A JP2014507857 A JP 2014507857A
Authority
JP
Japan
Prior art keywords
image
value
trajectory
image value
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013548798A
Other languages
English (en)
Other versions
JP5746370B2 (ja
Inventor
アモン ペーター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of JP2014507857A publication Critical patent/JP2014507857A/ja
Application granted granted Critical
Publication of JP5746370B2 publication Critical patent/JP5746370B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本発明は、予測値を形成するための方法および装置に関する。ここでは直線ではない軌跡を用いて、予測値形成の枠内において使用可能な予測方向を局所的に表す。本発明の利点は、一層正確に予測が求められることである。本発明の適用分野は、画像または画像シーケンス圧縮である。

Description

本発明は、予測値を形成するための方法および装置に関する。
画像およびビデオを符号化する際、例えばビデオの画像を圧縮する際には画像シーケンスのいくつかの画像は、別の画像の少なくとも画像部分を参照することなく符号化される。これは、例えば画像シーケンスのはじめに必要である。なぜならば、この際にはまた前に符号化した画像コンテンツが存在しないからである。さらにこれは、互いに依存せずに復号化可能にすべき画像のグループGOP(GOP−Group Of Picture)において必要である。
過去にすでに符号化した画像の画像コンテンツを使用しない画像またはビデオ符号化は、イントラ符号化と称される。上記のような画像コンテンツを利用できる画像であっても、前に符号化した画像の基準画像において良好な時間的な予測器を見つけられない場合にイントラ符号化を実行することは有利になり得る。これは、例えば、画像における新しい画像コンテンツの探索またはシーンチェンジの際に発生する。
しかしながらイントラ符号化の際には、目下符号化すべき画像の、すでに符号化した画像コンテンツを予測のために使用することができる。これにより、符号化ないしは圧縮した画像シーケンスを復号化しようとする復号化器は、すでに復号化した画像コンテンツを使用し、これによって復号化の際のエラーに起因するドリフトを回避することができるのである。
ITU H.264/AVC(ITU - International Telecommunications Union, AVC - Advanced Video Coding)規格には、種々異なるイントラ予想方向が定義されている。図1にはこれが例示的に示されており、番号0から1および3から8は、あらかじめ設定可能な予測方向を表している。
図2には5×5の画素を有する画像領域が示されている。各画素の位置を定めるため、図2では水平方向値0,1,2,3,4および垂直方向に値a,b,c,d,eを有する座標系が導入されている。したがって右下のコーナにおける画素は位置e4を有する。さらに図2には陰影が付された画像領域と、これが付されていない画像領域が示されている。陰影が付された画像領域には、再構成された画素だけが、すなわち、すでに符号化および復号化されており、ひいては再構成された形態でイントラ符号化に利用可能な画素、例えば画素a0〜a4,b0,c0,d0およびe0が含まれている。
これに対し、ここでは4×4のブロックとして構成されている、陰影の付されていない領域は、例えばイントラ予測モード4、すなわち対角方向予測(図1を参照されたい)を適用すべき予測画像領域を表している。この予想は、図2において小さな矢印によって象徴的に示されている。したがって画素b1に対し、再構成された画像値a0に基づいて予測値PRWを形成する。すなわちPRW(b1)=W(a0)である。画素の画像値Wは、予測値と同様に、各画素の輝度および/または色値に対する振幅値を表す。この場合にこの予測値は、例えば、画素b1を後で符号化するための差分値RES(.)を求める差分値形成に基づいており、これは、例えば、
RES(b1)=W(b1)−PRW(b1)=W(b1)−W(a0)
である。
これにより、陰影の付されていない領域内のすべての画像値に対してそれぞれの予測値を求めることができる。
上記の予測に続くステップでは、各差分画像値が量子化されて符号化される。これらの符号化された画像値により、符号化された画像データストリームが得られる。復号化、符号化された画像値の逆量子化および上記の予測値を加えた後、上記の再構成される画像値が得られる。
図1および図2からわかるように、すべての予測値は、直線的な軌跡を辿り、図2では、例えば再構成される画素a0から予測すべき画素e4までを直線的に辿っている。このような直線的な予測ルールにしたがわない、予測すべき画像領域内のテクスチャ情報は、不十分にしか予測されないことがあり、圧縮率が小さくなるか、または再構成後に画質が低下する。
最近刊行された刊行物[1],[2]には、"Line - based interprediction"という名称の類似した2つの符号化モードが記載されている。ここでは予想すべき画素に対し、隣接画素の重み付き平均が使用される。
本発明の課題は、予測の改善を可能にする方法および装置を提供することである。
この課題は、独立請求項によって解決される。
本発明の発展形態は、従属請求項に記載されている。
本発明は、画像の第1画素の第1画像値に対する予測値を、この画像の少なくとも1つの再構成された画素の第2画像値に基づいて形成する方法に関しており、この方法は、第3画像値を有する少なくとも1つの軌跡を形成するステップを有しており、ただし画像値は各軌跡に沿ってそれぞれの第3画像値に等しく、各軌跡は、直線でない形状を有しており、
上記の方法はさらに、第2画像値をそれぞれ第3画像値に割り当てるステップと、
第1画像値の位置に対して、所定の間隔を有する補助軌跡として上記の軌跡のうちの少なくとも1つの軌跡を決定するステップとを有しており、ただしこの所定の間隔は、上記の位置に対して最短距離を有しており、および、
上記の方法はさらに、上記の補助軌跡の第3画像値に基づいて上記の予測値を形成するステップを有する。
本発明の方法の利点は、各軌跡によって表される直線でない予想方法に基づいて一層正確な予想を行えることである。これにより、符号化されるデータストリームのビットレートが同じ場合には画質が改善され、ないしは、画質が同じ場合には、符号化されるビデオデータストリームのビットレートまたは記憶スペースが低減される。このような改善が得られる理由は、上記の一層正確な予想により、符号化すべき第1画像値の予想値が一層正確に推定され、ひいては差分符号化に対し、圧縮すべき差分値が一層小さくなることにある。
上記の軌跡の位置は、考えられ得る軌跡位置ないしは軌跡形状を選択することによってあらかじめ固定して設定することができるか、またはすでに符号化して再構成した画像値ないしは画素に基づいて得ることできる。したがって符号化すべき第1画像値の周囲を解析し、この解析から、形成すべき軌跡の位置ないしは形状に対する計算ルールを求めることができる。
さらに第2画像値の割り当てに対し、第2画像値と、第3画像値に対応付けるべき軌跡との間の間隔が最小化される第2画像値を選択することができる。択一的にはこのために、第1画像値を符号化および復号化した後に得られる再構成した画像値によって第3画像値を形成することができる。さらに予想値を形成した後、第3画素を変更することができ、この場合には、別の第1画像値に対する予想値を形成するため、符号化および復号化後に第1画像値を再構成することによって形成される第2画像値を利用することができる。上記の方法をこのように拡張することにより、各軌跡の第3画像値として、予測値を良好に求めるための良好な見通しを与える、再構成される画素の第2画像値を使用することができる。したがって例えば上記の最小化によって得られるのは、その位置に起因して第3画像値に最も類似している第2画像値を第3画像値に対応付けることである。符号化および復号化のため、例えば公知または標準化された画像またはビデオ圧縮法を使用可能であり、例えば、ITU H.263,H.264またはMPEG2 (ITU - International Telecommunications Union, MPEG - Motion Picture Expert Group)が使用可能である。
この方法の1つの拡張では、上記の間隔がゼロに等しい場合、第1画像値を形成するために1つの軌跡だけを考慮する。ここでは上記の考慮する補助軌跡の第3画像値と、第1画像値とを対応付ける。この拡張により、上記の軌跡が第1画像値上にとどまる場合、上記の予測値を良好に決定することができる。さらにこの拡張により、上記の方法の実現する複雑さを低減することができる。
最後の拡張に対する択一的な実施形態では、少なくとも2つの補助軌跡は、各補助軌跡と、第1画像値の位置との間の間隔が最短になるように求める。予測値は、この場合に少なくとも2つの補助軌跡の第3画像値によって形成される。この実施形態では、利用可能なすべての補助軌跡の集合から上記の距離が最も小さい補助軌跡を考慮することにより、上記の予測値が上記の少なくとも2つの補助軌跡の第3画像値によって形成される。したがって、まず、最も距離が小さい補助軌跡を使用し、さらに上記の位置に対してつぎに最も距離が小さい別の補助軌跡を考慮するのである。
この実施形態の1つの発展形態では、少なくとも2つの補助軌跡の第3画像値の重み付き平均を形成することにより、上記の予測値を形成する。これにより、第1画像値について上記の予測値が可能な限りに正確に推定できる。さらに上記の重み付き平均値形成により、上記の各間隔をそれぞれ逆数にして考慮することができる。第1画像値の近くにある上記の補助軌跡の第3の値は、一層遠くにある別の補助軌跡の第3の値よりも、重く考慮されるため、これは有利である。一般的には2つの補助軌跡よりも多くの補助軌跡を使用することも可能である。ここでは、2つ以上の選択された補助軌跡の重み付き平均値形成が、例えばそれら間隔ないしは間隔の逆数に相応して考慮される。
さらに新たな軌跡を、新たな軌跡が第1画像値の位置に基づいて配置され、この新たな軌跡の第3の値に、上記の予測値または第1画像値または第1画像値の再構成される画像値が対応付けられるように形成することができる。
上記の新たな補助軌跡を使用することにより、上記の画像内の別の画素に対する予測値を形成する際に、各第1画像値の一層正確な推定が可能になる。なぜならば、上記の形成される軌跡を考慮することに加えて、1つまたは複数の補助軌跡により、予測値を簡略化して推定できるからである。ここで注目すべきであるのは、上記の新たな軌跡の第3画像値が、上記の予測値そのもの、第1画像値、または第1画像値の再構成された画像値によって形成され得ることである。
上記の拡張は、新たな軌跡を2つの補助軌跡の間に配置して、新たな軌跡の任意の点において、この任意の点と、これらの2つの補助軌跡との最小間隔の比が、第1画像値に対する上記の2つの補助軌跡の間隔の比に等しくなるようにすることによって補足することができる。この拡張により、考えられ得る位置が表され、ひいては上記の新たな軌跡の考えられ得る形状が表される。この際に有利であるのは、上記の新たな補助軌跡の新たな位置が簡単に求められることである。
本発明は、画像の第1画素の第1画像値に対する予測値を、この画像の再構成される少なくとも1つの画素の第2画像値に基づいて形成する装置にも関しており、この装置はつぎのユニットを有する。すなわち、
1つずつの第3画像値を有する少なくとも1つの軌跡を形成する第1ユニットを有しており、画像値は、各軌跡に沿ってそれぞれの第3画像値に等しく、各軌跡は、直線でない形状を有しており、
上記の装置はさらに、第2画像値をそれぞれ第3画像値に割り当てる第2ユニットと、
第1画像値の位置に対して、所定の間隔を有する補助軌跡として少なくとも1つの軌跡を求める第3ユニットとを有しており、ただしこの所定の間隔は、上記の位置に対して最短距離を有しており、
上記の装置はさらに、補助軌跡の第3画像値に基づいて上記の予測値を形成する第4ユニットを有する。
この装置を用いれば、上記の方法を実現して実施することができる。利点は、相応する方法と同様である。
さらに上記の装置は少なくとも1つの別のユニットを有することができ、この別のユニットを用いれば、上で説明した発展形態ないしは択一的に実施形態の個々の方法ステップを実行可能である。これらの利点は、上記の実施形態に説明したのと同様である。
ITU H.264規格に準拠して、考えられ得る予測方向(従来技術)を示す図である。 再構成される画素の画像値を予測する手法を一般的に説明する図である。 複数の軌跡を有する、本発明による方法の実施例を示す図である。 既存の2つの軌跡に基づいて新たな軌跡を形成する実施例を示す図である。 予測値を求めるために直線的でない軌跡を形成する実施例を示す図である。 予測値を求めるための、直線的でない適応形の軌跡についての実施例を示す図である。 予測値を求める装置を示す図である。
図1および2は、冒頭で詳しく説明したため、ここでさらに説明することは省略する。
本発明の第1実施形態を図3に基づいて詳しく説明する。
図3には、352×288個の画素を有する画像Bが示されている。ここで画素は、例えば4×4画素サイズの画像ブロックBBにまとめられる。これらの画素は、例えば分解能8ビットで1つずつの色値および/または輝度値を表す1つずつの画像値を有する。画像ブロックBB内の各正方形領域は、1つの画素を表し、例えば第1画素BP1と、これに対応する第1画像値W1とを表す。本発明において仮定するのは、上記の画像値が、上記の正方形領域で示した画素内で1つの位置を有すること、例えばこの正方形の対角線の交点を有することである。
さらに図3には、再構成された画素BR1,BR2と、これに対応する第2画素値W21,W22とを有する陰影付きの領域が示されている。これらの再構成された複数の画素は、前の時点に符号化され、その復号化された形態で、すなわち再構成された形態で、予測値を形成するために利用可能である。
第1ステップでは少なくとも2つの軌跡T0,T1,T2,T3,T4が形成される。これらの軌跡は第1実施例において四分円として示されおり、したがって直線ではない。各軌跡に沿って画像値はそれぞれの第3画像値W31,W32に等しい。この実施例において上記の各軌跡は、各軌跡の第3画像値にちょうど等しい第2画像値においてスタートする。
第2ステップでは、利用可能な軌跡T0,T1,T2,T3,T4の集合から2つの補助軌跡HT1,HT2をつぎのようにして求める。すなわち、第1画像値W1の位置P1と、求めるべき補助軌跡HT1,HT2と間のそれぞれの間隔A1,A2が最小になるように、すなわちそれぞれ最小距離を有するようにして求めるのである。この実施例では、軌跡T1およびT2が、第1画素に対して最も近く隣接しているため、HT1=T1およびHT2=T2になる。
図3には、位置P1からの軌跡T2の距離A2と、軌跡T1と位置P1との間の軌跡T1の距離A1とがそれぞれ示されている。上記の距離は、最短距離であるため、各軌跡の間隔は、位置P1に対して90°の角度をなす。
つぎのステップでは、以下のように対応する間隔A1,A2を考慮して2つの補助軌跡HT1=T1,HT2=T2の第2画像値W31,W32の重み付き平均値形成によって予測値PRWを形成する。
すなわち、
Figure 2014507857
である。
このような手法は、バイリニア補間として公知である。
図4を用いて本発明の拡張を説明する。図4には、補助軌跡HT1およびHT2、ならびに第1画像値W1および位置P1を有する図3の一部分が示されている。まず予測値を、図3に説明したように形成する。予測値PRWは、軌跡T1,T2の第3画像値W31,W32の重み付き平均に相応する。さらなるステップにおいて、既存の軌跡T1とT2との間にT5と記される新たな軌跡T5を形成する。この新たな軌跡T5は、少なくとも位置P1において第1画像値W1を通る。さらに新たな軌跡T5は、つぎのように補助軌跡HT1,HT2の間を通すことが可能である。すなわち、この新たな軌跡上の任意の点において、この任意の点と2つの補助軌跡との間の最小間隔の比が、第1画像値における間隔A1,A2の比に等しくなるように通すことが可能なのである。新たな軌跡T5の第3画像値W35は、第1画像値に対する予測値PRWに等しい。
択一的な実施形態ではさらに、新たな軌跡T5の第3画像値W35に対し、再構成した画像値WRを求めることもできる。このためにまず第1画像値W1と予測値PRWとから差分値を形成することができ、
RES(BP1)=W1−PRW
となる。
つぎのステップではこの差分値を、例えばハフマン符号化によって量子符号化し、復号化して逆量子化する。選択的には複数の差分値を付加的に量子化の前に変換し、逆量子化の後に逆変換することが可能である。最終的には差分値RES(BP1)とは異なる再構成された差分値RES’(BP1)が得られる。この場合に再構成される画像値WRは、
WR=PRW+RES’(BP1)
と形成される。
新たな軌跡T5の第3画像値W35として再構成されるこの画像値は、別の予測値を後で形成する際、例えばPBXに(位置C3を参照されたい)使用される。
別の実施例を図5に基づいて説明する。ここでは5つの軌跡T0,T1,T2,T3,T4が示されており、各軌跡の形状は直線ではない。これらの軌跡はそれぞれ第2画像値W22のうちの1つでスタートし、したがって第3画像値W32として第2画像値W22を有する。
この実施例において第1画素BP1は位置c3にある。図5において上記の軌跡は、これらがまさに各画像値の1つの位置上にあるように構成されている。ここでは間隔A2がゼロである補助軌跡HT2だけを求める。当然のことながら、上記の位置のうちの1つまたは複数が軌跡ないしは補助軌跡上にない混合形態も可能である。
ここでは補助軌跡HT2として軌跡T2を選択する。なぜならば第1画像値の位置と補助軌跡HT2との間の間隔A2はゼロだからである。したがって予測値PRWは、軌跡T2の第3画像値W32に等しく、ここでこの第3画像値W32は、再構成された画素BR2の第2画像値W22に等しい。
第3の実施例では、直線による典型的な予想と、直線でない軌跡とからの組み合わせを説明する。これまでの例では、複数の軌跡によって部分的にあらかじめ設定される予想パターンを紹介した。以下では適応形イントラ予想を説明する。ここでは段階的に1つの予想を行い、1つの予想が終わった後、後続の予想に対する予想方向を適応的に適合させることができる。
図3〜5のこれまでの説明とは異なり、ここでは1つの軌跡は、関連する1つの接続を表す複数の矢印によって構成されている。第1ステップでは、複数の第1画像値を有する第1行(上記の座標系においてこれに対応する位置b1,b2,b3,b4における画素を参照されたい)は、再構成された画素PR1,PR2,PR3,PR4のまさに上にある第2画像値W21,W22,W23,W24によって予測される。
第2ステップでは、第1画像値の第2行(上記の座標系の位置c1,c2,c3,c4における第1画素を参照されたい)は、左上から右下に続く予想方向の対角線によって予想される。これは、例えば図1の予想方向4に相応する。この予想方向は、第2ステップにおいて、位置d1およびe1に第1画素を有する第1画像値に対しても行われる。
第3および第4のステップでは、図6において数字3および4でマークした下を向いた予想が行われる。
軌跡T1は、a1,b1,c2,d2からe2に達する。これに類似して軌跡T2およびT3が形成される。
図2に基づいてすでに冒頭に述べたように、図6の予想では、再構成された画素の第2画像値が使用される。例えば、位置e2における第1画像値に対する予想値を形成するため、再構成された画素BR1の第2画像値W21を使用する。したがってここでは、図6の陰影が付された画素にしたがって再構成された画素だけが使用されるのである。
上記の実施例と類似して第1画像値に対する予想値を求めた後、これに対応して再構成される画像値WRを求め、後続の予想ステップに対して使用することができる。例えば、位置b1における第1画像値に対して予想値を求める。上記の符号化および復号化の対応する差分値を形成した後、位置b1において再構成する画素に対して第2画像値を形成する。この第2画像値はつぎに、位置a1の再構成された画素の第2画像値に代わり、位置c2における第1画像値に対する予想値を求めるために使用される。この手法は、各軌跡に沿った符号化すべき別の第1画素にも類似に適用可能である。この手法は、別の実施形態にも使用可能である。
上記の実施形態は、特別な装置を用いて実現して実施することができる。これについては図7を参照されたい。装置VORは、上記の実施形態の個々のステップを実現して実行するユニットE1,E2,E3,E4,EWを有する。これらのユニットは、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアとの組み合わせで実現して実行することができる。これらのユニットは、プロセッサ上で動作し、上記の方法の個々のステップに記憶装置に記憶され、上記のプロセッサにロードすることができる。さらにこの記憶装置には、第1,第2および第3画像値、および、画像についての情報、ならびに画像値を符号化および復号化するための後続の方法ステップを格納することができる。
参考文献
[1] H. Yang,J. Fu,S. Lin,J. Song,D. Wang,M. Yang,J. Zhou,H. Yu,C. Lai,Y. Lin,L. Liu,J. Zheng,X. Zheng,"Description of video coding technology proposal by Huawei Technologies & Hisilicon Technologies",ISO/ IEC JTC1/SC29/WG11 (MPEG) and ITU-T SG16 Q.6 (VCEG),文献JCTVC-Alll, ドイツ、ドレスデン、2010年4月。
[2] F. Wu,X. Sun,J. Xu,Y. Zhou,W. Ding,X. Peng,Z. Xiong,"Desription of video coding technology proposal by Microsoft",ISO/IEC JTC1/SC29/WG11 (MPEG) and ITU-T SG16 Q.6 (VCEG),文献JCTVC-A118,ドイツ、ドレスデン、2010年4月。

Claims (10)

  1. 画像(B)の第1画素(BP)の第1画像値(W1)に対する予想値(PRW)を、前記画像(B)の少なくとも1つの再構成された画素(BR1,BR2)の第2画像値(W21,W22)に基づいて形成する方法において、
    該方法は、
    第3画像値(W31,W32,W33)を有する少なくとも1つの軌跡(T1,T2,T3)を形成するステップを有しており、ただし画像値は前記各軌跡(T1,T2,T3)に沿ってそれぞれの前記第3画像値(W31,W32,W33)に等しく、前記各軌跡(T1,T2,T3)は、直線でない形状を有しており、
    前記方法はさらに、前記第2画像値(W21,W22)をそれぞれ前記第3画像値(W31,W32)に割り当てるステップと、
    前記第1画像値(W1)の位置(P1)に対して、所定の間隔(A2)を有する補助軌跡(HT2)として前記軌跡のうちの少なくとも1つの軌跡(T2)を決定するステップとを有しており、ただし前記所定の間隔(A2)は、前記位置(P1)に対して最短距離を有しており、
    前記方法はさらに、前記補助軌跡(HT2)の第3画像値(W32)に基づいて前記予測値(PRW)を形成するステップを有する、
    ことを特徴とする方法。
  2. 請求項1に記載の方法において、
    前記第2画像値(W21)の前記割り当てに対し、前記第2画像値(W21)と、第3画像値(W31)に対応付けられる軌跡(T1)との間隔を最小化する第2画像値(W21)か、または前記第1画素の再構成される画素に相応する第2画像値(W21)を選択する、
    ことを特徴とする方法。
  3. 請求項1または2に記載の方法において、
    前記間隔(A2)がゼロに等しい場合、前記第1画像値(W1)を形成するためにただ1つの軌跡(T1,T2,T3)だけを考慮し、
    前記補助軌跡(HT2)の前記第3画像値(W32)を前記第1画像(W1)に対応付ける、
    ことを特徴とする方法。
  4. 請求項1または2に記載の方法において、
    補助軌跡(HT1,HT2)と前記位置(P1)との間のそれぞれの間隔(A1,A2)が最短距離を有するように少なくとも2つの前記補助軌跡(HT1,HT2)を求め、
    前記予測値(PRW)を前記少なくとも2つの補助軌跡(HT1,HT2)の第3画像値(W31,W32)によって形成する、
    ことを特徴とする方法。
  5. 請求項4に記載の方法において、
    前記少なくとも2つの補助軌跡(HT1,HT2)の前記第3画像値(W31,W32)の重み付き平均値を形成することによって前記予測値(PRW)を形成する、
    ことを特徴とする方法。
  6. 請求項5に記載の方法において、
    前記重み付き平均値の形成では、前記各間隔(A1,A2)を、それぞれ逆数にして考慮する、
    ことを特徴とする方法。
  7. 請求項3から6までのいずれか1項に記載の方法において、
    新たな軌跡(T5)は、
    − 当該新たな軌跡(T5)が前記第1画像値(W1)の位置(P1)に基づいて配置され、
    − 前記新たな軌跡(T5)の第3の値(W35)に、前記予測値(PRW)、または前記第1画像値(W1)、または前記第1画像値(W1)の再構成される画像値(BR5)が対応付けられように求められる、
    ことを特徴とする方法。
  8. 請求項7に記載の方法において、
    前記新たな軌跡(T5)を補助軌跡(HT1,HT2)の間に配置して、前記新たな軌跡(T5)上の任意の点において、当該任意の点と、前記2つの補助軌跡(HT1,HT2)との間の最小間隔の比が、前記第1画像値(W1)に対する前記2つの補助軌跡(HT1,HT2)の前記間隔(A1,A2)の比に等しくなるようにする、
    ことを特徴とする方法。
  9. 画像(B)の第1画素(BP1)の第1画像値(W1)に対する予想値(PRW)を、前記画像(B)の少なくとも1つの再構成された画素(BR1,BR2)の第2画像値(W21,W22)に基づいて形成する装置(VOR)において、
    該装置は、
    1つずつの第3画像値(W31,W32,W33)を有する少なくとも1つの軌跡(T1,T2,T3)を形成する第1ユニット(E1)を有しており、ただし画像値は前記各軌跡(T1,T2,T3)に沿ってそれぞれの前記第3画像値(W31,W32,W33)に等しく、前記各軌跡(T1,T2,T3)は直線でない形状を有しており、
    前記装置(VOR)はさらに、前記第2画像値(W21,W22)をそれぞれ第3画像値(W31,W32)に対応付ける第2ユニット(E2)と、
    前記第1画像値(W1)の位置(P1)に対して、所定の間隔(A2)を有する補助軌跡(HT2)として前記軌跡のうちの少なくとも1つの軌跡(T2)を求める第3ユニット(E3)とを有しており、ただし前記所定の間隔(A2)は、前記位置(P1)に対して最短距離を有しており、
    前記装置(VOR)はさらに、前記補助軌跡(HT2)の第3画像値(W32)に基づいて上記の予測値(PRW)を形成する第4ユニット(E4)を有する、
    ことを特徴とする装置(VOR)。
  10. 請求項9に記載の装置において、
    請求項2から8までのいずれか1項に記載の個々の方法ステップを実施することの可能な少なくとも1つの別のユニット(EW)を有する、
    ことを特徴とする装置。
JP2013548798A 2011-01-14 2012-01-05 予測値を形成するための方法および装置 Expired - Fee Related JP5746370B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102011002732 2011-01-14
DE102011002732.7 2011-01-14
DE102011006036A DE102011006036B4 (de) 2011-01-14 2011-03-24 Verfahren und Vorrichtungen zur Bildung eines Prädiktionswertes
DE102011006036.7 2011-03-24
PCT/EP2012/050133 WO2012095350A1 (de) 2011-01-14 2012-01-05 Verfahren und vorrichtungen zur bildung eines prädiktionswertes

Publications (2)

Publication Number Publication Date
JP2014507857A true JP2014507857A (ja) 2014-03-27
JP5746370B2 JP5746370B2 (ja) 2015-07-08

Family

ID=45509462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013548798A Expired - Fee Related JP5746370B2 (ja) 2011-01-14 2012-01-05 予測値を形成するための方法および装置

Country Status (7)

Country Link
US (1) US9225985B2 (ja)
EP (1) EP2617197A1 (ja)
JP (1) JP5746370B2 (ja)
KR (1) KR20140005232A (ja)
CN (1) CN103283232B (ja)
DE (1) DE102011006036B4 (ja)
WO (1) WO2012095350A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019530350A (ja) * 2016-09-30 2019-10-17 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 適応イントラ予測による全方位映像符号化および復号のための方法および装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US9467692B2 (en) * 2012-08-31 2016-10-11 Qualcomm Incorporated Intra prediction improvements for scalable video coding
WO2017065534A1 (ko) * 2015-10-13 2017-04-20 엘지전자(주) 비디오 신호의 인코딩, 디코딩 방법 및 그 장치
EP3646599A4 (en) * 2017-06-30 2020-05-06 Telefonaktiebolaget LM Ericsson (PUBL) ENCODING AND DECODING OF AN IMAGE BLOCK USING A CURVED INTRA-PREDICTION MODE

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006005438A (ja) * 2004-06-15 2006-01-05 Sony Corp 画像処理装置およびその方法
JP2006197575A (ja) * 1996-05-28 2006-07-27 Matsushita Electric Ind Co Ltd 画像予測符号化装置及び方法、並びに画像予測復号化装置及び方法
WO2009090884A1 (ja) * 2008-01-18 2009-07-23 Panasonic Corporation 画像符号化方法及び画像復号方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009545920A (ja) 2006-08-02 2009-12-24 トムソン ライセンシング ビデオ符号化処理のためにアダブティブなジオメトリック分割を行う方法および装置
US8542726B2 (en) * 2006-10-17 2013-09-24 Microsoft Corporation Directional and motion-compensated discrete cosine transformation
JP2009284275A (ja) 2008-05-23 2009-12-03 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムおよびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
DE102008058489A1 (de) * 2008-08-19 2010-04-15 Siemens Aktiengesellschaft Verfahren zum Codieren einer Folge von digitalisierten Bildern
US20110249733A1 (en) * 2010-04-09 2011-10-13 Jie Zhao Methods and Systems for Intra Prediction
US8860824B2 (en) * 2010-08-06 2014-10-14 Honeywell International Inc. Motion blur modeling for image formation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006197575A (ja) * 1996-05-28 2006-07-27 Matsushita Electric Ind Co Ltd 画像予測符号化装置及び方法、並びに画像予測復号化装置及び方法
JP2006005438A (ja) * 2004-06-15 2006-01-05 Sony Corp 画像処理装置およびその方法
WO2009090884A1 (ja) * 2008-01-18 2009-07-23 Panasonic Corporation 画像符号化方法及び画像復号方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6014045284; Min-Koo Kang, Cheon Lee, Jin Young Lee, Yo-Sung Ho: 'Adaptive geometry-based intra prediction for depth video coding' 2010 IEEE International Conference on Multimedia and Expo (ICME) , 20100719, pp. 1230-1235 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019530350A (ja) * 2016-09-30 2019-10-17 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 適応イントラ予測による全方位映像符号化および復号のための方法および装置
JP7008903B2 (ja) 2016-09-30 2022-01-25 インターデジタル マディソン パテント ホールディングス, エスアーエス 適応イントラ予測による全方位映像符号化および復号のための方法および装置

Also Published As

Publication number Publication date
CN103283232A (zh) 2013-09-04
KR20140005232A (ko) 2014-01-14
US20130301718A1 (en) 2013-11-14
WO2012095350A1 (de) 2012-07-19
US9225985B2 (en) 2015-12-29
DE102011006036B4 (de) 2012-12-27
CN103283232B (zh) 2016-04-13
EP2617197A1 (de) 2013-07-24
DE102011006036A1 (de) 2012-07-19
JP5746370B2 (ja) 2015-07-08

Similar Documents

Publication Publication Date Title
JP5970609B2 (ja) 3dビデオ符号化における統一された視差ベクトル導出の方法と装置
US9066096B2 (en) Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
JP5234586B2 (ja) 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
KR101653118B1 (ko) 3d 장면의 하나 이상의 비디오를 처리하는 방법
KR20200014913A (ko) 인터 예측 기반의 영상 처리 방법 및 이를 위한 장치
US9185428B2 (en) Motion vector scaling for non-uniform motion vector grid
US20160080767A1 (en) Encoding system using motion estimation and encoding method using motion estimation
US20140064373A1 (en) Method and device for processing prediction information for encoding or decoding at least part of an image
JP5746370B2 (ja) 予測値を形成するための方法および装置
JP4494471B2 (ja) 環状映像の参照画素補間方法、その装置、環状映像符号化方法、その装置及び環状映像復号化方法ならびにその装置
JP5560009B2 (ja) 動画像符号化装置
JP5926451B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
CN113454998A (zh) 视频编码中的跨分量量化
JP7125594B2 (ja) 符号化装置、符号化方法、及び符号化プログラム
KR101668133B1 (ko) 화상 데이터의 블록을 예측하는 방법, 이 방법을 실행하는 복호 장치 및 부호화 장치
US20160286212A1 (en) Video encoding apparatus and method, and video decoding apparatus and method
EP1185107A2 (en) Process for the colour format conversion of an image sequence
Monteiro et al. Disparity compensation using geometric transforms
US20170019683A1 (en) Video encoding apparatus and method and video decoding apparatus and method
JP4160513B2 (ja) 動画像の輝度変化パラメータ推定方法,動画像の輝度変化パラメータ推定プログラムおよびその記録媒体,並びに,動画像符号化装置,動画像符号化方法,動画像符号化プログラムおよびその記録媒体
US20210306662A1 (en) Bitstream decoder
KR101739767B1 (ko) 비디오 병렬 부호화기를 위한 율제어 방법 및 장치
EP4268460A1 (en) Temporal filter
EP2774373B1 (en) Motion vector scaling for non-uniform motion vector grid
KR20130105402A (ko) 추가의 비트 레이트 오버헤드 없이 참조 블록의 로컬 조명 및 콘트라스트 보상에 기초한 멀티 뷰 비디오 코딩 및 디코딩 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141027

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150507

R150 Certificate of patent or registration of utility model

Ref document number: 5746370

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees