JP2006246431A - 画像符号化装置および画像符号化方法 - Google Patents

画像符号化装置および画像符号化方法 Download PDF

Info

Publication number
JP2006246431A
JP2006246431A JP2005301015A JP2005301015A JP2006246431A JP 2006246431 A JP2006246431 A JP 2006246431A JP 2005301015 A JP2005301015 A JP 2005301015A JP 2005301015 A JP2005301015 A JP 2005301015A JP 2006246431 A JP2006246431 A JP 2006246431A
Authority
JP
Japan
Prior art keywords
block
intra prediction
mode
prediction mode
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005301015A
Other languages
English (en)
Inventor
Koji Arimura
耕治 有村
Hiroshi Arakawa
博 荒川
Hiroshi Tasaka
啓 田坂
Takashi Masuno
貴司 増野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2005301015A priority Critical patent/JP2006246431A/ja
Priority to US11/330,245 priority patent/US7881377B2/en
Publication of JP2006246431A publication Critical patent/JP2006246431A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

【課題】イントラ予測モードの選択にかかる演算量を削減し、処理速度を向上させる。
【解決手段】画像符号化装置1は、マクロブロックを構成する全ブロックのイントラ予測モードを予測誤差に基づいて決定するのではなく、あるブロックについては所定のイントラ予測モードでイントラ予測を行なう。ブロック選択部41は、符号化対象ブロックが予測誤差算出ブロックか非予測誤差算出ブロックかを判定する。予測誤差算出ブロックの場合、モード誤差値算出部42ですべてのイントラ予測モードについて絶対値差分和などにより予測誤差を算出し、モード間比較部43で予測誤差を比較し、比較結果が最小となるイントラ予測モードを決定する。非予測算出ブロックの場合、予測誤差を算出せずに、予測モード推定部44で、記憶部47に保持されている周辺ブロック予測モード情報48に基づいてイントラ予測モードを決定する。
【選択図】図2

Description

本発明は、動画像の符号化技術に関する。より詳しくは、動画像のH.264符号化に際して複数種類のイントラ予測モードから効率的にひとつのイントラ予測モードを選択する技術を用いて、動画像の符号化における演算量を削減する技術に関する。
近年、AV情報のデジタル化が進み、映像信号をデジタル化して取り扱うことのできる機器が広く普及しつつある。ところで、映像信号は膨大な情報量を有するので、記録容量や伝送効率を考慮して情報量を削減しつつ符号化することが一般的である。映像信号の符号化技術として、H.264という国際規格が定められている。H.264では、フレーム内での予測を行うイントラ予測が導入されている。
H.264規格のイントラ予測方式のうち、4×4ブロックイントラ予測では、16×16のマクロブロックを縦横それぞれに4分割して16個の4×4ブロックに分割し、分割されたブロックごとに符号化を行なう。図19は、マクロブロック内における各4×4ブロックの符号化順序を示す図である。同図の各4×4ブロック内に数字で示すように、4×4ブロックイントラ予測方式では、マクロブロック内の左上の8×8ブロックをまず符号化したのち、右上の8×8ブロックを符号化し、次いで左下の8×8ブロック、右下の8×8ブロックの順に符号化を行なう。図20(a)は、イントラ符号化における9つのイントラ予測モードを示す図である。図20(b)は、図20(a)に示した9つの予測モードに応じたそれぞれの予測誤差の算出方法を示す図である。各4×4ブロックの選択可能なイントラ予測モードは、図20(a)に示すような予測方向によって識別される9つの種類があり、この中からひとつを選択して符号化を行う。ただし、このうち、モード2では、予測対象ブロックに隣接する符号化済みブロックの画素(すなわち、画素A〜Dと画素I〜L)の輝度の平均値を、予測対象ブロック内の各画素の輝度から減算し、当該4×4ブロックの予測誤差を算出する。例えば、図20(b)の左上に示す「0(vertical)」と記された予測モード0では、予測対象である4×4ブロックの上部に隣接する符号化済みの画素A〜Dの輝度を、それぞれ垂直下方の画素の輝度から減算して、差分の絶対値を求め、輝度の絶対差分値和を算出する。すなわち、画素Aの下方にある4画素の輝度から画素Aの輝度をそれぞれ減算し、画素Bの下方にある4画素の輝度から画素Bの輝度をそれぞれ減算する。同様に、画素Cおよび画素Dの下方にある各4画素の輝度から、それぞれ画素Cおよび画素Dの輝度を減算する。このように減算結果として得られた輝度の絶対差分値和が、予測対象の4×4ブロックの予測モード0の予測誤差となる。このように、イントラ予測を、4×4という小さなブロックで行うため、それぞれのブロックを効率的に符号化することが可能であるが、最適なイントラ予測モードを選択するためには、9種類のイントラ予測モード毎の予測誤差を算出して比較する必要があり、膨大な演算量が必要で、符号化処理の速度向上が困難であった。図21は、4×4イントラ予測をパイプライン処理して、処理速度の向上を実現する従来例でのブロックの符号化順序を表す図である。そのため、図21に示すように、ブロックごとの処理順序を変更し、パイプライン処理を行うことにより、符号化処理速度を向上する方法が提案されている(特許文献1参照)。
特開2004−140473号公報
しかしながら、前記特許文献が開示する従来技術では、演算器の効率動作とパイプライン処理を実施することにより、処理速度を向上させているが、演算量自体を削減したものではなく、パイプライン処理ができない機器やソフトウェアでの処理速度向上を実現できないという課題がある。
そこで、本発明は上記の事情に鑑みてなされたものであり、イントラ予測モードの選択にあたり、演算量の削減を実現し、処理速度の向上を実現することができる画像符号化装置および画像符号化方法を提供することを目的とする。
上記目的を達成するため、本発明に係る画像符号化装置は、画素間の予測方向に応じて異なる複数のイントラ予測モードの1つを用いて、フレーム内予測符号化を行なう画像符号化装置であって、符号化対象フレームを複数のブロックに分割し、前記ブロックのうちの少なくとも1つでは、特定のイントラ予測モードを用いて、予測誤差を算出する予測誤差算出手段を備える。
なお、本発明は、このような画像符号化装置として実現することができるだけでなく、このような画像符号化装置が備える特徴的な手段をステップとする画像符号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
以上の説明から明らかなように、本発明に係る画像符号化装置および画像符号化方法によれば、イントラ予測モードを用いた画像符号化にあたり、符号化対象ブロックのイントラ予測モードの選択にかかる処理演算量を削減が可能であり、処理速度の向上が実現できる。
(実施の形態1)
以下、本発明の実施の形態1について、それぞれ図面を参照しながら説明する。
図1は、本発明の画像符号化装置1の全体の構成を示すブロック図である。画像符号化装置1は、本発明のイントラ予測を行なう画像符号化装置1であって、フレーム内予測部11、差分演算部12、スイッチ13、直行変換部14、量子化部15、エントロピー符号化部16、フレーム間予測を行なうフレーム間予測部17および符号化制御部18を備える。フレーム間予測部17は、内部に、スイッチ170、逆量子化部171、逆変換部172、加算演算部173、ループフィルタ174、フレームメモリ175、動き予測部176および動き補償部177を備える。
フレーム間予測を行なう場合、符号化対象フレーム情報は、差分演算部12に入力される。差分演算部12において、符号化対象フレーム情報と、動き補償部177の出力である予測画像信号との差分を取ることによって、予測残差信号が得られる。この予測残差信号は、直行変換部14および量子化部15に出力される。直行変換部14では、予測残差信号の周波数変換を行う。量子化部15では、さらに量子化等の画像符号化処理を行い、変換係数を出力する。変換係数は逆量子化部171および逆変換部172に入力され、逆量子化、逆周波数変換等の画像復号化処理が行なわれ、残差復号化信号となる。加算演算部173では残差復号化信号と予測画像信号との加算が行われ、再構成画像信号が生成される。生成された再構成画像信号は、ループフィルタ174によりフィルタリングされた後、フレームメモリ175に格納される。
一方、フレームメモリ175から読み出されたマクロブロック単位の入力画像信号は動き予測部176にも入力される。ここでは、フレームメモリ175に格納されている1枚もしくは複数枚の符号化済みフレームを探索対象とし、最も入力画像信号に近い画像領域を検出することによってその位置を指し示す動きベクトルとその際に選択されたフレームを指し示す参照フレームインデックスとが決定される。動き補償部177では、上記処理によって検出された動きベクトルおよび参照フレームインデックスを用いて、フレームメモリ175に格納されている符号化済みフレームから最適な画像領域を取り出し予測画像を生成する。
上記の一連の処理によって出力された動きベクトル、参照フレームインデックス、残差符号化信号等の符号化情報に対してエントロピー符号化部16において可変長符号化を施すことにより、この符号化処理によって出力される符号列が得られる。
以上の処理の流れはフレーム間予測符号化を行った場合の動作であったが、スイッチ13およびスイッチ170によってフレーム内予測符号化との切り替えがなされる。フレーム内符号化を行う場合は、動き補償による予測画像の生成は行わず、すでに説明したように、同一フレーム内の符号化済み領域から符号化対象領域の予測画像を生成し差分を取ることによって予測残差信号を生成する。予測残差信号はフレーム間予測符号化の場合と同様に、直行変換部14および量子化部15において残差符号化信号に変換され、エントロピー符号化部16において可変長符号化を施されることにより出力される符号列が得られる。符号化制御部18は、上記のような画像符号化装置1内の各処理部の動作を制御する。
図2は、本発明の実施の形態1に係るフレーム内予測部11の構成を示すブロック図である。図2に示されたフレーム内予測部11は、16×16のマクロブロックに含まれる4×4ブロックのいくつかについてだけ予測誤差を算出し、すべてのイントラ予測モードの予測誤差を算出しないでイントラ予測モードを決定する処理部であって、ブロック選択部41、モード誤差値算出部42、モード間比較部43、予測モード推定部44及び記憶部47とを含む。記憶部47には、符号化済みの周辺ブロックで用いられたイントラ予測モードを示す周辺ブロック予測モード情報48が記憶されるほか、当該マクロブロックの上端に接する符号化済みマクロブロックの最下端一列の画素の値と、当該マクロブロックの左端に接する符号化済みマクロブロックの最右端一列の画素の値などからなる符号化済みの周辺ブロックの画素の値および当該マクロブロックの16画素×16画素の値などが記憶される。
ここで、請求項1における予測誤差算出手段は予測モード推定部44に対応し、請求項2におけるモード決定手段はブロック選択部41、モード誤差値算出部42およびモード間比較部43に対応する。また、モード選択手段は、ブロック選択部41および予測モード推定部44に対応する。
ブロック選択部41には、外部装置から符号化対象フレームの画像情報が入力される。
ブロック選択部41では、符号化対象ブロックを、予測誤差を算出してイントラ予測モードを決定する予測誤差算出ブロックと、予測誤差を算出せずにイントラ予測モードを決定する非予測誤差算出ブロックとに分類する。実際にはブロック選択部41では、あらかじめ予測誤差算出ブロックと非予測誤差算出ブロックとの配置を示す1つ以上の分類パターンを保持しており、その分類パターンの1つを決定することによって「分類」を行なう。図3(a)〜図3(f)は、4×4ブロックを単位として符号化対象(マクロ)ブロックを、予測誤差算出ブロックと、非予測誤差算出ブロックとに分類する例を示す図である。各4×4ブロック内の数字は、符号化の順を示している。具体的に、図3(a)は、左上の画素についてのみ予測誤差を算出し、残りの3画素については予測誤差を算出しない場合の4×4ブロックを示している。図3(b)は、左側上下の2画素についてのみ予測誤差を算出し、残りの2画素については予測誤差を算出しない場合の例を示している。図3(c)は、4×4ブロックの上2画素のみ予測誤差を算出し、残りの2画素については予測誤差を算出しない場合の例を示している。図3(d)は、4×4ブロックの右下1画素を除く3画素の予測誤差を算出する例を示している。図3(e)は、16×16マクロブロックの上辺と左辺にあたる7画素のみの予測誤差を算出する場合の例を示している。図3(f)は、4×4ブロックの左上と右下との2画素を市松模様に予測誤差を算出する場合の例を示している。図3(a)〜図3(f)に示すように、予測誤差算出ブロックと、非予測誤差算出ブロックとでは、分類のパターンに応じて、予測誤差を算出すべきブロックの数が異なっている。ブロック選択部41では、マクロブロック内の予測誤差算出ブロックと非予測誤差算出ブロックとの組み合わせパターンをあらかじめ保持しており、符号化方式選択部50の処理負荷とそれぞれのパターンの処理演算量を勘案して、適応的に予測誤差算出ブロックと非予測誤差算出ブロックとを決定する。例えば、符号化方式選択部50の処理負荷が高い場合には非予測誤差算出ブロックの割合が多い分類パターンを選択し、符号化方式選択部50の処理負荷に余裕があるときには予測誤差算出ブロックの割合が多い分類パターンを選択する。これらは、選択の一例であり、この選択例に制限されることはない。また、同一フレーム内のマクロブロックは、全て同じ分類パターンを用いてもよいし、異なる分類パターンを用いてもよい。
モード誤差値算出部42では、予測誤差算出ブロックと決定された符号化対象ブロックに対して、符号化対象フレーム情報を用いて、符号化対象ブロックが選択可能なイントラ予測モード毎の予測誤差を算出する。予測誤差には、絶対差分値和(SAD)や差分自乗和(SSD)を用いるのが一般的である。
次に、モード間比較部43では、イントラ予測モードごとに予測誤差の比較を行い、最小値をとる予測誤差を決定する。この予測誤差に対応するイントラ予測モードを、予測誤差算出ブロックと決定された符号化対象ブロックのイントラ予測モードとして決定する。
予測モード推定部44は、非予測誤差算出ブロックと決定された符号化対象ブロックの場合、符号化対象ブロックの周辺ブロックの予測モード情報を用いて、符号化対象ブロックのイントラ予測モードを決定する。ここでは、選択可能な全てのイントラ予測モード毎の予測誤差算出を行わないため、処理演算量を削減できる。
図4は、1つの非予測誤差算出ブロックに対して隣接しうる最大数の予測誤差算出ブロックを示す図である。具体的には、予測モード推定部44は、非予測誤差算出ブロックのイントラ予測モードの選択にあたり、すでに符号化されたブロックのイントラ予測モードを利用する。非予測誤差算出ブロックについてイントラ予測モードを選択するには、予測誤差算出ブロックとして、イントラ予測モードが決定されたブロックのイントラ予測モードをそのまま用いる方法がある。
符号化対象ブロックの周辺ブロックのうち、イントラ予測モードがすでに決定されたブロック数が最大になる場合は、図4に示すような場合である。例えば、符号化対象4×4ブロックがマクロブロックの左上または右上に位置するような場合である。このような場合、同図のように、ブロックA、B、C、D、Fの5つのブロックのイントラ予測モードが決定されている。これに対し、図中網掛けで示される非予測誤差算出ブロックでは、イントラ予測モードが決定されているブロックのひとつの符号化モードを選択して、符号化対象ブロックの予測モードとする。
図4に示すように、周辺ブロックに複数の予測誤差算出ブロックがある場合には、
(1)符号化対象ブロックに対する固定位置のブロックのイントラ予測モードを選択する方法(すなわち、非予測誤差算出ブロックに対して所定の位置にある予測誤差算出ブロックのイントラ予測モードを選択する)や、
(2)予測誤差算出ブロックで決定されたイントラ予測モードのうち、モード番号が最も小さなイントラ予測モードを選択する方法や、
(3)予測誤差算出ブロックの絶対値差分和などの評価値が最小であったイントラ予測モードを選択する方法や、
(4)予測誤差算出ブロックで決定されたイントラ予測モードのうち、最も多数の周辺ブロックに対して選択されたイントラ予測モードを選択する方法や、
(5)予測誤差算出ブロックで算出されたイントラ予測モード毎の評価値を加算し、最小値をとるイントラ予測モードを選択する方法がある。
図5は、非予測誤差算出ブロックのイントラ予測モードを、符号化済みの周辺ブロックから選択した例を示す図である。ここでは、9番目に符号化される4×4符号化対象ブロック9のイントラ予測モードが、すでに予測誤差が算出された周辺ブロック2、8、10に対して決定されたイントラ予測モードから選択される場合について説明する。なお、ここでは、9番目の4×4ブロックのイントラ予測モードを選択するために、10番目に符号化される4×4ブロックを、9番目に符号化される4×4ブロックより先に符号化しておくものとする。
例えば、図4で説明した(1)固定位置のブロックのイントラ予測モードを選択する方法では、「符号化対象ブロックの左側真横に位置するブロックのイントラ予測モードを選択する」と定められている場合には、9番目の4×4ブロックは、その左側真横に位置する8番目の4×4ブロックに決定されたイントラ予測モード「0」を選択する。同様に、「符号化対象ブロックの左上のブロックのイントラ予測モードを選択する」と定められている場合には、2番目の4×4ブロックのイントラ予測モード「3」を選択する。
また、(2)周辺の複数の予測誤差算出ブロックのうちで、モード番号が最も小さなイントラ予測モードを選択する方法では、例えば、2番目の4×4ブロックではイントラ予測モード「3」が決定されており、8番目ではイントラ予測モード「0」が決定されており、10番目の4×4ブロックではイントラ予測モード「8」が決定されている場合、9番目のブロックには8番目のブロックで決定されたイントラ予測モード「0」が選択される。H.264では、イントラ予測モードを符号化する場合、符号化対象ブロックの上隣と左隣のマクロブロックのうち、小さなモード番号が選択された場合には、少ないビット数で符号化できる。つまり、上隣と左隣のマクロブロックが予測誤差算出ブロックとして選択された場合に、本方法が有効である。
さらに、(3)周辺の複数の予測誤差算出ブロックのうちで、予測誤差算出ブロックの評価値が最小であったイントラ予測モードを選択する方法では、例えば、2番目の4×4ブロックでは予測誤差が「93」でイントラ予測モード「3」が決定されており、8番目では予測誤差が「54」でイントラ予測モード「0」が決定されており、10番目の4×4ブロックでは予測誤差が「21」でイントラ予測モード「8」が決定されている場合、3つのブロックのうち予測誤差が最小の10番目の4×4ブロックで決定されたイントラ予測モード「8」が選択される。
図6は、非予測誤差算出ブロックのイントラ予測モードを、周辺ブロックから選択した別の例を示す図である。ここでは、3番目に符号化される4×4符号化対象ブロック3に対するイントラ予測モードが、すでに予測誤差が算出された周辺ブロック0、1、2に対して決定されたイントラ予測モードから選択される場合について説明する。すでに予測誤差が算出された周辺ブロック0、1、2については、それぞれ、どのイントラ予測モードのとき予測誤差がどれだけだったかを示すテーブル110、111、112が作成され、記憶部47内に周辺ブロック予測モード情報48として格納されているものとする。
(4)予測誤差算出ブロックで決定されたイントラ予測モードのうち、最も多くのブロックに選択されたイントラ予測モードを選択する方法では、図6において、イントラ予測モード「4」が2つのブロックで選択(選択されたモードは、○で囲んで示す)されており、3番目のブロックでは、予測モード「4」が選択される。
次に、(5)予測誤差算出ブロックで算出されたイントラ予測モード毎の評価値を加算し、最小値をとるイントラ予測モードを選択する方法では、図6において、イントラ予測モード0〜9毎に、0番目のブロックと1番目のブロックと2番目のブロックの評価値を加算する。そして、加算値が最小となる予測モードを3番目のブロックの予測モードとして選択する。
例えば、k番目のブロックでの各イントラ予測モードMの予測誤差値をE(k、M
)とする。ただし、Mはイントラ予測モード番号0〜9とする。
各イントラ予測モードの加算値S(M)は、以下の式となる。
S(M)=Σk=03E(k、M)
従って、3番目のブロックのイントラ予測モードは、S(M)が最小値をとるときのイントラ予測モードMを選択する。
図7は、図5に示したマクロブロックにおいて、(1)の方法でイントラ予測モードを選択する手順を示すフローチャートである。(1)の方法は、すなわち、周辺の複数の予測誤差算出ブロックのうちで、固定位置のブロックのイントラ予測モードを選択する方法である。ブロック選択部41は、マクロブロック内の4×4ブロックについて、そのブロックを予測誤差算出ブロックにするか否かを決定する(S501)。予測誤差算出ブロックにしない場合、すなわち、非予測誤差算出ブロックと決定された場合、予測モード推定部44は、当該非予測誤差算出ブロックに対して所定の位置で隣接する符号化済みの予測誤差算出ブロックのイントラ予測モードを調べ、そのイントラ予測モードを選択する(S302)。ブロック選択部41が、マクロブロック内の4×4ブロックについて、予測誤差算出ブロックと決定した場合(S501)、モード誤差値算出部42は、その4×4ブロックに対して、符号化対象フレーム情報を用いて、9つのイントラ予測モードのうちブロックが選択可能なイントラ予測モード毎の予測誤差を算出する(S504)。モード間比較部43では、イントラ予測モードごとに予測誤差の比較を行い、最小値をとる予測誤差を決定する。この予測誤差に対応するイントラ予測モードを、予測誤差算出ブロックと決定された符号化対象ブロックのイントラ予測モードとして決定する(S505)。
図8は、図5に示したマクロブロックにおいて、(2)の方法でイントラ予測モードを選択する手順を示すフローチャートである。(2)の方法は、すなわち、周辺の複数の予測誤差算出ブロックのうちで、モード番号が最も小さなイントラ予測モードを選択する方法である。ブロック選択部41は、マクロブロック内の4×4ブロックについて、予測誤差算出ブロックにするか否かを決定する(S501)。予測誤差算出ブロックにしない場合、すなわち、非予測誤差算出ブロックと決定された場合、予測モード推定部44は、左側に隣接する符号化済みの少なくとも2つの予測誤差算出ブロックのイントラ予測モードを調べる(S502)。予測モード推定部44は、調べた隣接ブロックのうち、イントラ予測モードの番号が最小のものを選択する(S503)。ブロック選択部41が、マクロブロック内の4×4ブロックについて、予測誤差算出ブロックと決定した場合(S501)、モード誤差値算出部42は、その4×4ブロックに対して、符号化対象フレーム情報を用いて、9つのイントラ予測モードのうちブロックが選択可能なイントラ予測モード毎の予測誤差を算出する(S504)。モード間比較部43では、イントラ予測モードごとに予測誤差の比較を行い、最小値をとる予測誤差を決定する。この予測誤差に対応するイントラ予測モードを、予測誤差算出ブロックと決定された符号化対象ブロックのイントラ予測モードとして決定する(S505)。
図9は、図5に示したマクロブロックにおいて、(3)の方法でイントラ予測モードを選択する手順を示すフローチャートである。(3)の方法は、すなわち、周辺の複数の予測誤差算出ブロックのうちで、予測誤差値から計算される評価値が最も小さなイントラ予測モードを選択する方法である。ブロック選択部41は、マクロブロック内の4×4ブロックについて、予測誤差算出ブロックにするか否かを決定する(S501)。予測誤差算出ブロックにしない場合、すなわち、非予測誤差算出ブロックと決定された場合、予測モード推定部44は、左側に隣接する符号化済みの少なくとも2つの予測誤差算出ブロックのイントラ予測モードを調べる(S502)。予測モード推定部44は、調べた隣接ブロックのうち、予測誤差値が最小のものを選択する(S603)。ブロック選択部41が、マクロブロック内の4×4ブロックについて、予測誤差算出ブロックと決定した場合(S501)、モード誤差値算出部42は、その4×4ブロックに対して、符号化対象フレーム情報を用いて、9つのイントラ予測モードのうちブロックが選択可能なイントラ予測モード毎の予測誤差を算出する(S504)。モード間比較部43では、イントラ予測モードごとに予測誤差の比較を行い、最小値をとる予測誤差を決定する。この予測誤差に対応するイントラ予測モードを、予測誤差算出ブロックと決定された符号化対象ブロックのイントラ予測モードとして決定する(S505)。
図10は、図6に示したマクロブロックにおいて、(4)の方法でイントラ予測モードを選択する手順を示すフローチャートである。(4)の方法は、すなわち、周辺の複数の予測誤差算出ブロックのうちで、その予測モードを選択したブロックの数が最も多いイントラ予測モードを選択する方法である。ブロック選択部41は、マクロブロック内の4×4ブロックについて、予測誤差算出ブロックにするか否かを決定する(S501)。予測誤差算出ブロックにしない場合、すなわち、非予測誤差算出ブロックと決定された場合、予測モード推定部44は、左側に隣接する符号化済みの少なくとも2つの予測誤差算出ブロックのイントラ予測モードを調べる(S502)。予測モード推定部44は、調べた隣接ブロックのうち、数が最も多いイントラ予測モードを選択する(S703)。ブロック選択部41が、マクロブロック内の4×4ブロックについて、予測誤差算出ブロックと決定した場合(S501)、モード誤差値算出部42は、その4×4ブロックに対して、符号化対象フレーム情報を用いて、9つのイントラ予測モードのうちブロックが選択可能なイントラ予測モード毎の予測誤差を算出する(S504)。モード間比較部43では、イントラ予測モードごとに予測誤差の比較を行い、最小値をとる予測誤差を決定する。この予測誤差に対応するイントラ予測モードを、予測誤差算出ブロックと決定された符号化対象ブロックのイントラ予測モードとして決定する(S505)。
図11は、図6に示したマクロブロックにおいて、(5)の方法でイントラ予測モードを選択する手順を示すフローチャートである。(5)の方法は、すなわち、予測誤差算出ブロックで算出されたイントラ予測モード毎の評価値を加算し、その加算値が最小値をとるイントラ予測モードを選択する方法である。ブロック選択部41は、マクロブロック内の4×4ブロックについて、予測誤差算出ブロックにするか否かを決定する(S501)。予測誤差算出ブロックにしない場合、すなわち、非予測誤差算出ブロックと決定された場合、予測モード推定部44は、左側に隣接する符号化済みの少なくとも2つの予測誤差算出ブロックのイントラ予測モードを調べる(S502)。予測モード推定部44は、調べた隣接ブロックで、予測モード毎に予測誤差値を加算し、その加算値が最も小さいイントラ予測モードを選択する(S903)。ブロック選択部41が、マクロブロック内の4×4ブロックについて、予測誤差算出ブロックと決定した場合(S501)、モード誤差値算出部42は、その4×4ブロックに対して、符号化対象フレーム情報を用いて、9つのイントラ予測モードのうちブロックが選択可能なイントラ予測モード毎の予測誤差を算出する(S504)。モード間比較部43では、イントラ予測モードごとに予測誤差の比較を行い、最小値をとる予測誤差を決定する。この予測誤差に対応するイントラ予測モードを、予測誤差算出ブロックと決定された符号化対象ブロックのイントラ予測モードとして決定する(S505)。
図12は、予測誤差算出ブロックと非予測誤差算出ブロックとの分類後における非予測誤差算出ブロックのイントラ予測モードの(1)の方法を用いた選択方法の一例を示す図である。図12(a)は、8×8ブロックの左上の1つの4×4ブロックのみ予測誤差を算出し、残り3つの4×4非予測誤差算出ブロックでは、左上の4×4ブロックで決定されたイントラ予測モードを選択する例を示している。これにより、例えば、マクロブロックの左上8×8ブロックの左上4×4ブロックに対し、イントラ予測モード「0」が決定された場合には、左上8×8ブロックの全体(残り3つの4×4ブロック)にもイントラ予測モード「0」が選択される。また、右上の8×8ブロックでは、左上の4×4ブロックでイントラ予測モード「4」が決定されているので、他の3つの4×4ブロックでもイントラ予測モード「4」が選択される。同様に、左下の8×8ブロックでは左上の4×4ブロックにしたがってイントラ予測モード「8」が選択され、右下の8×8ブロックではイントラ予測モード「3」が選択されている。
図12(b)は、それぞれ8×8ブロックを単位として左側上下2つの4×4ブロックで予測誤差を算出し、右側上下2つの4×4非予測誤差算出ブロックで、それぞれの左側に隣接する4×4ブロックのイントラ予測モードを選択する例を示している。同図に示すように、左上の4×4予測誤差算出ブロックでイントラ予測モード「0」が決定されたとすると、その右側の4×4非予測誤差算出ブロックでは、イントラ予測モード「0」が選択される。また、その下の4×4予測誤差算出ブロックでイントラ予測モード「2」が決定されたとすると、その右側の4×4非予測誤差算出ブロックでは、イントラ予測モード「2」が選択される。同様にして、4×4予測誤差算出ブロックの右側に隣接する4×4非予測誤差算出ブロックでは、左側の予測誤差算出ブロックで決定されたのと同じイントラ予測モードが選択される。
図12(c)は、それぞれ8×8ブロックを単位として上側左右2つの4×4ブロックで予測誤差を算出し、下側左右2つの4×4非予測誤差算出ブロックで、それぞれの上側に隣接する4×4ブロックのイントラ予測モードを選択する例を示している。同図に示すように、左上の4×4予測誤差算出ブロックでイントラ予測モード「0」が決定されたとすると、その下側の4×4非予測誤差算出ブロックでは、イントラ予測モード「0」が選択される。また、その右の4×4予測誤差算出ブロックでイントラ予測モード「1」が決定されたとすると、その下側の4×4非予測誤差算出ブロックでは、イントラ予測モード「1」が選択される。同様にして、4×4予測誤差算出ブロックの下側に隣接する4×4非予測誤差算出ブロックでは、上側の予測誤差算出ブロックで決定されたのと同じイントラ予測モードが選択される。
選択方法は、ここに述べているものに限定するものではなく、どのような選択方式を用いてもよい。周辺ブロックのイントラ予測モードから選択せずに、決めうちで、あるイントラ予測モードを用いてもよい。例えば、ある非予測誤差算出ブロックでは、必ずイントラ予測モード「0」が選択されるとしてもよい。
なお、上記実施の形態では、4×4イントラ予測のみについて説明したが、本発明はこれに限定されない。例えば、8×8イントラ予測についても応用することができるし、さらに、16×16イントラ予測にも応用することができる。
上記の手順に従い、符号化対象ブロックのイントラ予測モードが決定され選択符号化方式情報として、符号化方式選択部から出力される。
(実施の形態2)
以下、本発明の実施の形態2について、図面を参照しながら説明する。
本実施の形態2の画像符号化装置1の全体の構成は、図1に示した実施の形態1と同じであるので、説明を省略する。
図13は、本発明の実施の形態2に係るフレーム内予測部11の構成を示すブロック図である。図13に示されたフレーム内予測部11は、16×16のマクロブロックに含まれる8×8ブロックについて、画素値を間引いて、予測誤差を算出し、8×8ブロック内の4×4ブロックのイントラ予測モードを決定する処理部であって、画素選択部61、モード誤差値算出部42、モード間比較部43、およびブロック予測値算出部52を含む。
ここで、請求項1における予測誤差算出手段はブロック予測誤差算出部62に対応し、請求項9における大ブロックモード決定部は画素選択部61、モード誤差値算出部42およびモード間比較部43に対応する。
画素選択部61には、外部装置から符号化対象フレームの画像情報が入力される。
画素選択部61では、符号化対象ブロックを含む8×8ブロック内の64画素の中から、イントラ予測モード毎の予測誤差の算出に利用する画素を選択する。
図14は、8×8ブロックに含まれる64画素から、適用可能なイントラ予測モードのすべてに対して予測誤差の算出に用いられる16画素を選択した例を示す図である。同図において、選択された画素は斜線のハッチングで示されている。選択されていない画素は白抜きで示されている。本実施の形態では、画素選択部61は、図14(b)に示すように、8×8ブロックの中で予測誤差の算出に用いられる画素がなるべく均一に配置されるように選択する。具体的には、内部の各4×4ブロックに同数の画素が含まれるように、また、8×8ブロックの中で、同一行、同一列上にそれぞれ同数の画素が選択されるように選択する。言い換えれば、選択しうるすべてのイントラ予測モードに対して、方向に応じた偏りが生じないように、かつ、より多くの周辺画素が参照されるように画素を選択する。
図15(a)は、4×4ブロックの画素数を示す図である。(b)画素が間引かれた8×8ブロックの画素数を示す図である。このように、4×4ブロックの画素数と、同数の画素を選択した8×8ブロックとでは画素数が同じなので、(a)画素を間引かずに4×4ブロックの予測誤差を算出する場合と、(b)画素を間引いて同数の画素を選択した8×8ブロックの予測誤差を算出する場合とでは、モード誤差値算出部42の計算量が同じである。また、このようにした場合、(b)では予測誤差算出に用いられる画素が8×8ブロックに均一に分散しているので、算出結果の予測誤差の中に各イントラ予測モードに対する8×8ブロックの画素値が均一に反映されているといえる。したがって、8×8ブロック内の4つの非予測誤差算出ブロックに対して、(a)のように左上の4×4ブロックだけに偏った画素値を用いた予測誤差に基づいてイントラ予測モードを選択するよりも、(b)のように均一に分布した画素値を用いて算出された予測誤差に基づいてイントラ予測モードを選択したほうが、より精度の高いイントラ予測を行なうことができるという効果が期待できる。
図16(a)は、イントラ予測モード0で、画素が均一に選択されている場合に参照される周辺画素を示す図である。(b)モード0で、画素が右下に向かって一直線に選択されている場合に参照される周辺画素を示す図である。同図において、参照される周辺画素は、格子のハッチングで示されている。図20(b)に示したように、イントラ予測モード0は、ブロックに対して垂直方向に予測誤差を算出する。これに対し、図16(a)に示したブロックでは、予測誤差の算出に用いられる画素が8×8ブロックの内部で均一に選択されている。したがって、ブロック内のどの列にも画素が存在するので、ブロックの上端に接する符号化済みブロックの最下段1ラインのうち、8個の画素が参照される。このモード0では、図16(b)に示したブロックでは、画素が右下に向かって一直線に選択されているが、ブロック内のどの列にも画素が存在するので、ブロックの上端に接する符号化済みブロックの最下段1ラインのうち、図16(a)の場合と同数の8個の画素が参照される。
図17(a)は、モード4で、画素が均一に選択されている場合に参照される周辺画素を示す図である。(b)モード4で、画素が右下に向かって一直線に選択されている場合に参照される周辺画素を示す図である。イントラ予測モード4は、図20(b)のように、ブロックの右下方向に予測誤差を算出するモードである。これに対し、図17(a)に示したブロックでは、予測誤差の算出に用いられる画素が8×8ブロックの内部で均一に選択されている。したがって、ブロック内で右下に向かう概ねどの列上にも画素が存在する。同図の場合、右上の隅と左下の隅には、それぞれ右下方向に向かう2つの列上に画素がない。このため、ブロックの上端に接する符号化済みブロックの最下段1ラインのうち、7個の画素が参照されている。また、ブロックの左端に接する符号化済みブロックの最も右の1列のうち、7個の画素が参照されている。これと比較して、図17(b)に示したブロックでは、画素が右下に向かって一直線に選択されているので、すべての画素が右下に向かう1つの列上にのってしまい、他の列には画素がない状態となっている。このため、モード4では、ブロックの上端に接する符号化済みブロックの最下段1ラインのうち、2個の画素しか参照されず、また、ブロックの左端に接する符号化済みブロックの最も右の1列のうちでも、2個の画素しか参照されない。
本実施の形態2の画素選択部61によれば、図16(a)、(b)及び図17(a)、(b)を比較しても明らかなように、予測誤差を算出するために用いる画素を、方向に依存しないようにブロック内で満遍なく分布するよう選択することにより、どのイントラ予測モードに対しても8×8ブロック内の画像に関する情報を、算出される予測誤差に均一に反映することができ、非予測誤差算出ブロックに対して、それだけ精度の高いイントラ予測を行なうことができるという効果がある。
次に、モード誤差値算出部42では、予測誤差算出に利用すると決定された画素を用いて、8×8ブロックに対して、符号化対象フレーム情報を用いて、符号化対象ブロックが選択可能なイントラ予測モード毎の予測誤差を算出する。予測誤差には、絶対差分値和(SAD)や差分自乗和(SSD)を用いるのが一般的である。ここでは、64画素を用いずに、選択された画素のみを用いて予測誤差を算出するので、演算量を削減できる。
次に、モード間比較部43では、イントラ予測モードごとに予測誤差の比較を行い、最小値をとる予測誤差を決定する。この予測誤差に対応するイントラ予測モードを、8×8ブロック内に含まれるすべての4×4ブロックのイントラ予測モードと決定する。
次に、ブロック予測算出部52においては、決定されたイントラ予測モードと、ブロック内のすべての画素を用いて予測誤差を算出する。 H.264では、8×8イントラ予測モードは、利用できるプロファイルが制限されており、メインプロファイルでは、利用できない。このような場合、上記の方法により、8×8ブロック内に含まれる4×4ブロックのイントラ予測モードの決定は、演算量の削減が実現でき、有効である。
また、8×8イントラ予測モードが利用できるハイプロファイルでは、上記の方法により、決定された8×8ブロックのイントラ予測モードを用いて、4×4イントラ予測を実行せずに、8×8イントラ予測を実行してもよい。この場合でも、演算量の削減が可能である。
図18は、図14に示した8×8ブロックにおいて、画素間引きを用いて、イントラ予測モードを決定する手順を示すフローチャートである。すなわち、画素間引きを用いて8×8ブロックで予測誤差を算出し、予測誤差値が最小となるイントラ予測モードを選択する方法である。画素選択部61は、8×8ブロック内で予測誤差算出に用いる画素を選択する(S801)。予測誤差値算出部62は、選択された画素を用いて、8×8ブロックの9つのイントラ予測モードのうちブロックが選択可能なイントラ予測モード毎の予測誤差を算出する(S802)。次に、その8×8ブロックを、イントラ4×4予測かイントラ8×8予測で符号化するかを判断する(S803)。次に、モード間比較部43では、4×4イントラ予測で符号化する場合、予測誤差が最小となる予測モードを、8×8ブロック内のすべての4×4ブロックのイントラ予測モードとして決定する(S804)。8×8イントラ予測で符号化する場合、予測誤差が最小となる予測モードを、8×8イントラ予測モードとして決定する(S805)。
また、上記各実施の形態における図2に示したブロック図の機能ブロックは典型的には集積回路であるLSIとして実現される。このLSIは1チップ化されても良いし、複数チップ化されても良い。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
本発明は、イントラ予測を用いた符号化方式において、選択可能なイントラ予測モードを選択する際の演算量を削減でき、画像符号化装置の処理速度向上に利用可能である。本発明に係る画像符号化装置は、通信機能を備えるパーソナルコンピュータ、PDA、携帯電話機およびデジタル放送の放送局などに備えられる画像符号化装置として有用である。
本発明の画像符号化装置の全体の構成を示すブロック図である。 本発明の実施の形態1に係るフレーム内予測部の構成を示すブロック図である。 (a)〜(f)は、マクロブロック内の16個の4×4ブロックを予測誤差算出ブロックと非予測誤差算出ブロックへ分類した例を示す図である。 1つの非予測誤差算出ブロックに対して隣接しうる最大数の予測誤差算出ブロックを示す図である。 非予測誤差算出ブロックのイントラ予測モードを、周辺ブロックから選択した例を示す図である。 非予測誤差算出ブロックのイントラ予測モードを、周辺ブロックから選択した別の例を示す図である。 (1)の方法でイントラ予測モードを選択する手順を示すフローチャートである。 図5に示したマクロブロックにおいて、(2)の方法でイントラ予測モードを選択する手順を示すフローチャートである。 (3)の方法でイントラ予測モードを選択する手順を示すフローチャートである。 (4)の方法でイントラ予測モードを選択する手順を示すフローチャートである。 (5)の方法でイントラ予測モードを選択する手順を示すフローチャートである。 (a)は、8×8ブロックの左上の1つの4×4ブロックのみ予測誤差を算出し、残り3つの4×4非予測誤差算出ブロックでは、左上の4×4ブロックで決定されたイントラ予測モードを選択する例を示している。(b)は、それぞれ8×8ブロックを単位として左側上下2つの4×4ブロックで予測誤差を算出し、右側上下2つの4×4非予測誤差算出ブロックで、それぞれの左側に隣接する4×4ブロックのイントラ予測モードを選択する例を示している。(c)は、それぞれ8×8ブロックを単位として上側左右2つの4×4ブロックで予測誤差を算出し、下側左右2つの4×4非予測誤差算出ブロックで、それぞれの上側に隣接する4×4ブロックのイントラ予測モードを選択する例を示している。 本発明の実施の形態2に係るフレーム内予測部の構成を示すブロック図である。 (a)は4×4非予測誤差算出ブロック4個からなる8×8ブロックの予測誤差算出ブロックを示す図である。(b)は8×8ブロックの予測誤差を算出する際に、64画素から16画素だけを選択した例を示す図である。 (a)4×4ブロックの画素数を示す図である。(b)画素が間引かれた8×8ブロックの画素数を示す図である。 (a)モード0で、画素が均一に選択されている場合に参照される周辺画素を示す図である。(b)モード0で、画素が右下に向かって一直線に選択されている場合に参照される周辺画素を示す図である。 (a)モード4で、画素が均一に選択されている場合に参照される周辺画素を示す図である。(b)モード4で、画素が右下に向かって一直線に選択されている場合に参照される周辺画素を示す図である。 画素間引きを用いてイントラ予測モードを選択する手順を示すフローチャートである。 マクロブロック内における各4×4ブロックの従来の符号化順序を示す図である。 (a)は、イントラ符号化における9つのイントラ予測モードを示す図である。(b)は、(a)に示した9つの予測モードに応じたそれぞれの予測誤差の算出方法を示す図である。 4×4イントラ予測をパイプライン処理して、処理速度の向上を実現する従来例でのブロックの符号化順序を表す図である。
符号の説明
1 画像符号化装置
11 フレーム内予測部
12 加算演算部
13 スイッチ
14 直行変換部
15 量子化部
16 エントロピー符号化部
17 フレーム間予測部
18 符号化制御部
41 ブロック選択部
42 モード誤差値算出部
43 モード間比較部
44 予測モード推定部
47 記憶部
48 周辺ブロック予測モード情報
50 符号化方式選択部
61 画素選択部
62 ブロック予測値算出部
170 スイッチ
171 逆量子化部
172 逆変換部
173 加算演算部
174 ループフィルタ
175 フレームメモリ
176 動き予測部
177 動き補償部

Claims (15)

  1. 画素間の予測方向に応じて異なる複数のイントラ予測モードの1つを用いて、フレーム内予測符号化を行なう画像符号化装置であって、
    符号化対象フレームを複数のブロックに分割し、前記ブロックのうちの少なくとも1つでは、特定のイントラ予測モードを用いて、予測誤差を算出する予測誤差算出手段を備える
    画像符号化装置。
  2. 前記画像符号化装置は、
    前記特定のイントラ予測モードを用いる前記ブロックの他の少なくとも1つにつき、複数のイントラ予測モードに対して予測誤差を算出し、算出された予測誤差に基づいて前記各他のブロックのための1つのイントラ予測モードを決定するモード決定手段と、
    前記他のブロックの少なくとも1つにおいて前記モード決定手段によって決定されたイントラ予測モードの1つを選択し、または、前記特定のイントラ予測モードを用いる複数の前記ブロックについて予測誤差を算出し、算出された予測誤差に基づいてイントラ予測モードを選択するモード選択手段とを備え、
    前記予測誤差算出手段は、前記モード選択手段によって選択されたイントラ予測モードを用いて、予測誤差を算出する
    請求項1記載の画像符号化装置。
  3. 前記他のブロックは、特定のイントラ予測モードを用いる前記ブロックに対して所定の位置にある1つの前記ブロックであって、前記モード選択手段は、前記他のブロックにおいて決定された前記イントラ予測モードを前記特定のイントラ予測モードとして選択する
    請求項2記載の画像符号化装置。
  4. 前記他のブロックは、特定のイントラ予測モードを用いる前記ブロックに対して所定の位置にある複数の前記他のブロックであって、前記モード選択手段は、前記複数の他のブロックにおいて決定された複数のイントラ予測モードのうちで、予測誤差が最も小さくなったイントラ予測モードを前記特定のイントラ予測モードとして選択する
    請求項2記載の画像符号化装置。
  5. 前記他のブロックは、特定のイントラ予測モードを用いる前記ブロックに対して所定の位置にある複数の前記ブロックであって、前記モード選択手段は、前記複数のブロックにおいて決定された複数のイントラ予測モードのうちで、各イントラ予測モードを識別するためのモード番号が最小のイントラ予測モードを、前記特定のイントラ予測モードとして選択する
    請求項2記載の画像符号化装置。
  6. 前記他のブロックは、特定のイントラ予測モードを用いる前記ブロックに対して所定の位置にある複数の前記ブロックであって、前記モード選択手段は、前記複数のブロックにおいて決定された複数のイントラ予測モードのうちで、最も数多くのブロックに対して決定されたイントラ予測モードを、前記特定のイントラ予測モードとして選択する
    請求項2記載の画像符号化装置。
  7. 前記他のブロックは、特定のイントラ予測モードを用いる前記ブロックに対して所定の位置にある複数の前記ブロックであって、前記モード選択手段は、前記複数のブロックにおいて算出された予測誤差値をイントラ予測モード毎に加算して、その加算値が最も小さいイントラ予測モードを、前記特定のイントラ予測モードとして選択する
    請求項2記載の画像符号化装置。
  8. 前記モード決定手段は、2n(nは自然数)画素×2n画素の大きさのブロックに含まれる左上のn画素×n画素の大きさのブロックについてのみ、予測誤差に基づいてイントラ予測モードを決定し、
    前記モード選択手段は、前記左上のブロックにおいて決定されたイントラ予測モードを、前記2n画素×2n画素のブロックに含まれる残り3つのn画素×n画素のブロックのイントラ予測モードとして選択する
    請求項2記載の画像符号化装置。
  9. 前記モード選択手段は、前記特定のイントラ予測モードを用いる前記ブロックを複数個まとめた大ブロック全体につき、複数のイントラ予測モードに対して予測誤差を算出し、算出された予測誤差に基づいて、前記大ブロックに対応するイントラ予測モードを決定する大ブロックモード決定部を備え、
    前記予測誤差算出手段は、前記大ブロックモード決定部によって決定されたイントラ予測モードを用いて、前記大ブロックに含まれる前記ブロックの予測誤差を算出する
    請求項2記載の画像符号化装置。
  10. 前記大ブロックモード決定部は、前記大ブロックに含まれる画素の中から、いくつかの画素のみを用いて予測誤差を算出し、算出された予測誤差に基づいて、前記大ブロックに対応するイントラ予測モードを決定する
    請求項9記載の画像符号化装置。
  11. 前記大ブロックモード決定部は、前記大ブロック内で均一に分散して位置する画素を選択して、前記予測誤差を算出し、前記大ブロックに対応するイントラ予測モードを決定する
    請求項9記載の画像符号化装置。
  12. 画素間の予測方向に応じて異なる複数のイントラ予測モードの1つを用いて、フレーム内予測符号化を行なう画像符号化方法であって、
    符号化対象フレームを複数のブロックに分割し、前記ブロックのうちの少なくとも1つでは、特定のイントラ予測モードを用いて、予測誤差を算出する予測誤差算出ステップを含む
    画像符号化方法。
  13. 前記画像符号化方法は、
    特定のイントラ予測モードを用いる前記ブロックの他の少なくとも1つにつき、複数のイントラ予測モードに対して予測誤差を算出し、算出された予測誤差に基づいて前記各他のブロックのための1つのイントラ予測モードを決定するモード決定ステップと、
    前記他のブロックの少なくとも1つにおいて前記モード決定ステップにおいて決定されたイントラ予測モードの1つを選択し、または、前記特定のイントラ予測モードを用いる複数の前記ブロックについて予測誤差を算出し、算出された予測誤差に基づいてイントラ予測モードを選択するモード選択ステップとを含み、
    前記予測誤差算出ステップでは、前記モード選択ステップにおいて選択されたイントラ予測モードを用いて、予測誤差を算出する
    請求項7記載の画像符号化方法。
  14. 前記他のブロックの少なくとも1つは、特定のイントラ予測モードを用いる前記ブロックに対して所定の位置にある1つの前記ブロックであって、前記モード選択ステップでは、前記他のブロックにおいて決定された前記イントラ予測モードを前記特定のイントラ予測モードとして選択する
    請求項13記載の画像符号化方法。
  15. 請求項12〜14のいずれか1項に記載の各ステップをコンピュータに実行させるためのプログラム。
JP2005301015A 2005-02-07 2005-10-14 画像符号化装置および画像符号化方法 Pending JP2006246431A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005301015A JP2006246431A (ja) 2005-02-07 2005-10-14 画像符号化装置および画像符号化方法
US11/330,245 US7881377B2 (en) 2005-02-07 2006-01-12 Image coding apparatus and image coding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005031129 2005-02-07
JP2005301015A JP2006246431A (ja) 2005-02-07 2005-10-14 画像符号化装置および画像符号化方法

Publications (1)

Publication Number Publication Date
JP2006246431A true JP2006246431A (ja) 2006-09-14

Family

ID=36779897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005301015A Pending JP2006246431A (ja) 2005-02-07 2005-10-14 画像符号化装置および画像符号化方法

Country Status (2)

Country Link
US (1) US7881377B2 (ja)
JP (1) JP2006246431A (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008283481A (ja) * 2007-05-10 2008-11-20 Canon Inc 画像処理装置およびその方法
WO2009004985A1 (ja) * 2007-06-29 2009-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、プログラム、および記録媒体
JP2011029863A (ja) * 2009-07-24 2011-02-10 Hitachi Consumer Electronics Co Ltd 復号化処理方法
JP2011151655A (ja) * 2010-01-22 2011-08-04 Mitsubishi Electric Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
WO2011126156A1 (en) * 2010-04-09 2011-10-13 Sharp Kabushiki Kaisha Methods and systems for intra prediction
WO2011126158A1 (en) * 2010-04-09 2011-10-13 Sharp Kabushiki Kaisha Methods and systems for intra prediction
WO2011126159A1 (en) * 2010-04-09 2011-10-13 Sharp Kabushiki Kaisha Methods and systems for intra prediction
WO2011126157A1 (en) * 2010-04-09 2011-10-13 Sharp Kabushiki Kaisha Methods and systems for intra prediction
WO2012043766A1 (ja) * 2010-09-29 2012-04-05 シャープ株式会社 画像復号装置、画像符号化装置、および、符号化データのデータ構造
JP2012080387A (ja) * 2010-10-04 2012-04-19 Fujitsu Ltd 動画像符号化装置
JP2014230031A (ja) * 2013-05-21 2014-12-08 日本放送協会 画像符号化装置、及び画像符号化プログラム
JP2015179944A (ja) * 2014-03-19 2015-10-08 日本電信電話株式会社 イントラ予測方向決定方法及びイントラ予測方向決定プログラム
JP2019062339A (ja) * 2017-09-26 2019-04-18 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330060B1 (en) 2003-04-15 2016-05-03 Nvidia Corporation Method and device for encoding and decoding video image data
US8660182B2 (en) 2003-06-09 2014-02-25 Nvidia Corporation MPEG motion estimation based on dual start points
JP2007116351A (ja) 2005-10-19 2007-05-10 Ntt Docomo Inc 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
US8731071B1 (en) 2005-12-15 2014-05-20 Nvidia Corporation System for performing finite input response (FIR) filtering in motion estimation
US8724702B1 (en) 2006-03-29 2014-05-13 Nvidia Corporation Methods and systems for motion estimation used in video coding
US8660380B2 (en) 2006-08-25 2014-02-25 Nvidia Corporation Method and system for performing two-dimensional transform on data value array with reduced power consumption
FR2910768A1 (fr) * 2006-12-21 2008-06-27 Thomson Licensing Sas Procede et dispositif d'attribution d'un type de codage, et procede et dispositif de codage et de transcodage associes.
US8331448B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Systems and methods for efficient spatial intra predictabilty determination (or assessment)
US8233537B2 (en) * 2007-03-19 2012-07-31 Texas Instruments Incorporated Efficient implementation of H.264 4 by 4 intra prediction on a VLIW processor
JP4799477B2 (ja) * 2007-05-08 2011-10-26 キヤノン株式会社 画像符号化装置及び画像符号化方法
US8756482B2 (en) 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
JP5188875B2 (ja) * 2007-06-04 2013-04-24 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
US9118927B2 (en) 2007-06-13 2015-08-25 Nvidia Corporation Sub-pixel interpolation and its application in motion compensated encoding of a video signal
US8873625B2 (en) * 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
JP2009055542A (ja) * 2007-08-29 2009-03-12 Toshiba Corp 動画像符号化装置および動画像符号化方法
WO2009034487A2 (en) * 2007-09-10 2009-03-19 Nxp B.V. Method and apparatus for motion estimation and motion compensation in video image data
KR101375664B1 (ko) * 2007-10-29 2014-03-20 삼성전자주식회사 영상의 디퓨전 특성을 이용한 영상 부호화/복호화 방법 및장치
EP2106148A3 (en) * 2008-03-28 2010-11-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding information about intra-prediction mode of video
KR100949917B1 (ko) * 2008-05-28 2010-03-30 한국산업기술대학교산학협력단 적응적 인트라 예측을 통한 고속 부호화 방법 및 시스템
KR20100027384A (ko) * 2008-09-02 2010-03-11 삼성전자주식회사 예측 모드 결정 방법 및 장치
US8666181B2 (en) 2008-12-10 2014-03-04 Nvidia Corporation Adaptive multiple engine image motion detection system and method
US8761268B2 (en) * 2009-04-06 2014-06-24 Intel Corporation Selective local adaptive wiener filter for video coding and decoding
CN101605263B (zh) * 2009-07-09 2012-06-27 杭州士兰微电子股份有限公司 帧内预测的方法和装置
AU2015202670B2 (en) * 2009-08-17 2016-09-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
AU2013201719B2 (en) * 2009-08-17 2013-10-31 Samsung Electronics Co., Ltd Method and apparatus for encoding video, and method and apparatus for decoding video
KR101452860B1 (ko) * 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101507344B1 (ko) * 2009-08-21 2015-03-31 에스케이 텔레콤주식회사 가변 길이 부호를 이용한 인트라 예측모드 부호화 방법과 장치, 및 이를 위한기록 매체
US20120294373A1 (en) * 2010-01-19 2012-11-22 Renesas Electronics Corporation Moving image encoding method, moving image decoding method, moving image encoding device, and moving image decoding device
KR101530284B1 (ko) 2010-07-16 2015-06-19 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
EP3125561B1 (en) * 2010-08-17 2018-03-28 M&K Holdings Inc. Method for restoring an intra prediction mode
US11284072B2 (en) 2010-08-17 2022-03-22 M&K Holdings Inc. Apparatus for decoding an image
CN105959706B (zh) * 2011-01-12 2021-01-08 三菱电机株式会社 图像编码装置和方法、以及图像译码装置和方法
US9769472B2 (en) 2011-08-17 2017-09-19 Mediatek Singapore Pte. Ltd. Method and apparatus for Intra prediction using non-square blocks
US9066068B2 (en) * 2011-10-31 2015-06-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Intra-prediction mode selection while encoding a picture
US9374592B2 (en) * 2012-09-08 2016-06-21 Texas Instruments Incorporated Mode estimation in pipelined architectures
CN103856786A (zh) * 2012-12-04 2014-06-11 中山大学深圳研究院 一种基于h.264的流媒体视频加密方法及其加密装置
CN103338370B (zh) * 2013-06-05 2016-06-08 宁波大学 一种多视点深度视频快速编码方法
CN105872543B (zh) * 2016-03-30 2018-10-23 上海大学 一种mvd视点可分级编码中的快速模式选择方法
EP3648059B1 (en) * 2018-10-29 2021-02-24 Axis AB Video processing device and method for determining motion metadata for an encoded video

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347309A (en) * 1991-04-25 1994-09-13 Matsushita Electric Industrial Co., Ltd. Image coding method and apparatus
JPH10304381A (ja) * 1997-05-01 1998-11-13 Fujitsu Ltd 動画像符号化装置及び方法
US6591015B1 (en) * 1998-07-29 2003-07-08 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus with motion compensation and motion vector estimator
US6765964B1 (en) * 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
US7289672B2 (en) 2002-05-28 2007-10-30 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode estimation
JP2004140473A (ja) 2002-10-15 2004-05-13 Sony Corp 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008283481A (ja) * 2007-05-10 2008-11-20 Canon Inc 画像処理装置およびその方法
US9955171B2 (en) 2007-06-29 2018-04-24 Velos Media, Llc. Image decoder, image decoding method, image encoder, and image encode method
US9161037B2 (en) 2007-06-29 2015-10-13 Sharp Kabushiki Kaisha Image encoding device, image encoding method, image decoding device, image decoding method, program, and storage medium
US8644382B2 (en) 2007-06-29 2014-02-04 Sharp Kabushiki Kaisha Image encoding device, image encoding method, image decoding device, image decoding method, program, and storage medium
US11109037B2 (en) 2007-06-29 2021-08-31 Velos Media, Llc Image decoder, image decoding method, image encoder, and image encode method
US10306237B2 (en) 2007-06-29 2019-05-28 Velos Media, Llc Image decoder, image decoding method, image encoder, and image encode method
WO2009004985A1 (ja) * 2007-06-29 2009-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、プログラム、および記録媒体
US9667976B2 (en) 2007-06-29 2017-05-30 Sharp Kabushiki Kaisha Image encoding device, image encoding method, image decoding device, image decoding method, program, and storage medium
JP2011029863A (ja) * 2009-07-24 2011-02-10 Hitachi Consumer Electronics Co Ltd 復号化処理方法
JP2011151655A (ja) * 2010-01-22 2011-08-04 Mitsubishi Electric Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
WO2011126159A1 (en) * 2010-04-09 2011-10-13 Sharp Kabushiki Kaisha Methods and systems for intra prediction
WO2011126157A1 (en) * 2010-04-09 2011-10-13 Sharp Kabushiki Kaisha Methods and systems for intra prediction
WO2011126158A1 (en) * 2010-04-09 2011-10-13 Sharp Kabushiki Kaisha Methods and systems for intra prediction
WO2011126156A1 (en) * 2010-04-09 2011-10-13 Sharp Kabushiki Kaisha Methods and systems for intra prediction
WO2012043766A1 (ja) * 2010-09-29 2012-04-05 シャープ株式会社 画像復号装置、画像符号化装置、および、符号化データのデータ構造
JP2012080387A (ja) * 2010-10-04 2012-04-19 Fujitsu Ltd 動画像符号化装置
JP2014230031A (ja) * 2013-05-21 2014-12-08 日本放送協会 画像符号化装置、及び画像符号化プログラム
JP2015179944A (ja) * 2014-03-19 2015-10-08 日本電信電話株式会社 イントラ予測方向決定方法及びイントラ予測方向決定プログラム
JP7147145B2 (ja) 2017-09-26 2022-10-05 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP2019062339A (ja) * 2017-09-26 2019-04-18 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム

Also Published As

Publication number Publication date
US7881377B2 (en) 2011-02-01
US20060176962A1 (en) 2006-08-10

Similar Documents

Publication Publication Date Title
JP2006246431A (ja) 画像符号化装置および画像符号化方法
JP4047879B2 (ja) 動きベクトル検出装置および動きベクトル検出方法
EP3684059B1 (en) Decoding method for intra predicting a block by first predicting the pixels at the boundary
JP4787100B2 (ja) 画像符号化装置
TWI520586B (zh) 用於編碼單元的視訊編碼的局部多重假設預測的執行方法及裝置
WO2014054267A1 (ja) 画像符号化装置及び画像符号化方法
TW201830972A (zh) 用於視訊寫碼之低複雜度符號預測
EP2493198A1 (en) Moving image coding device, moving image decoding device, moving image coding/decoding system, moving image coding method and moving image decoding method
JP5246264B2 (ja) 画像符号化装置、画像復号化装置、画像符号化方法及び画像復号化方法
CN107925775A (zh) 基于双向预测光流技术的视频编解码的运动补偿方法及装置
JP4317814B2 (ja) 動画像情報の符号化装置及び符号化方法
JP2012514429A (ja) 差分モーションベクトルの進歩的な空間フィルタリングを伴う多重候補モーション推定
JP2007053561A (ja) 画像符号化装置および画像符号化方法
JP2007166038A (ja) 動きベクトル検出装置および動きベクトル検出方法
CN103957414A (zh) 一种hevc帧内预测编码方法和系统
CN102754440B (zh) 图像编码方法、图像编码装置以及摄像系统
JP2007189276A (ja) 画像圧縮装置及び画像圧縮プログラム
CN1819657A (zh) 图像编码装置和图像编码方法
JP2006050294A (ja) 動きベクトル検出装置および動きベクトル検出方法
CN104754337A (zh) 视频编码方法
JP5938935B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2008306413A (ja) 画像符号化装置および画像符号化方法
JP4571069B2 (ja) 動画像符号化装置
JP2010278519A (ja) 動きベクトル検出装置
JP5711789B2 (ja) 画像符号化方法、画像符号化装置及び画像符号化プログラム