JP2011239365A - 動画像符号化装置及びその制御方法、コンピュータプログラム - Google Patents

動画像符号化装置及びその制御方法、コンピュータプログラム Download PDF

Info

Publication number
JP2011239365A
JP2011239365A JP2011082191A JP2011082191A JP2011239365A JP 2011239365 A JP2011239365 A JP 2011239365A JP 2011082191 A JP2011082191 A JP 2011082191A JP 2011082191 A JP2011082191 A JP 2011082191A JP 2011239365 A JP2011239365 A JP 2011239365A
Authority
JP
Japan
Prior art keywords
image
block
encoded
intra prediction
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011082191A
Other languages
English (en)
Inventor
Akihiro Oishi
晃弘 大石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011082191A priority Critical patent/JP2011239365A/ja
Priority to US13/080,107 priority patent/US9055292B2/en
Publication of JP2011239365A publication Critical patent/JP2011239365A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】画素値の変化傾向を考慮することによって、イントラ予測符号化のための適切な分割ブロックサイズを容易に選択できるようにする。
【解決手段】符号化対象の画像ブロックに隣接する画像ブロックの画素値を用いてイントラ予測符号化を行なう動画像符号化装置であって、イントラ予測された画像データを出力する予測手段と、符号化対象の画像ブロックが低周波帯域の画像である場合に画像ブロック内の画素値の変化を検出して該画像ブロックがグラデーション画像を含むかを判定する判定手段と、グラデーション画像を含むと判定された場合、予測手段において最小のブロックサイズが優先されるようにイントラ予測のブロックサイズを決定するブロックサイズ決定手段とを備える。
【選択図】図1

Description

本発明は、動画像符号化装置及びその制御方法、コンピュータプログラムに関する。
近年、動画像データを高能率符号化するための技術として、MPEG1,2といった符号化方式が確立されている。ディジタル化された動画像は膨大なデータ量となる。そこで、上記したMPEG1,2などよりも更なる高圧縮が望める動画像の符号化方式が研究され続けてきた。そしてITU−T(国際電気通信連合 電気通信標準化部門)とISO(国際標準化機構)によりH.264/MPEG−4 part10という符号化方式(以下、H.264と称す)が近年標準化された。H.264は、MPEG1,2等の従来の符号化方式に比べ、その符号化又は復号化により多くの演算量が要求されるが、より高い符号化効率が実現されることが知られている。
ところで、H.264には、フレーム内画素値を用いて同一フレーム内画素値を予測するイントラ予測という予測方式が存在する。このイントラ予測においては、複数のイントラ予測モードが存在し、これらを選択的に用いることが規定されている。このとき入力画像に適したイントラ予測モードが選択されることにより、高レベルな圧縮を施しても劣化が少ない符号化データが生成されることになる。
ところで、入力画像の例として、フレーム内で連続する画素の値が徐々に変化している絵柄の場合、イントラ予測が困難であることが知られている。これに対し、画素値の変化の方向に応じて、イントラ予測モードの方向を推定する方法が提案されている(特許文献1を参照)。
特開2008−245088号公報
通常、H.264の規格に対応した画像符号化装置では、複数のイントラ予測モードの中から最適な1つのイントラ予測モードを選択するために、用意された全てのイントラ予測の分割ブロックサイズを試してから選ぶ方法を用いる。このような場合、画像符号化装置における演算量の増加につながり、ひいては符号化処理時間の超過や、消費電力の浪費につながっていた。すなわち、イントラ予測の際に、符号化対象画像に適したブロックサイズを効率的に選定することは、画像符号化装置における演算量削減の観点から重要である。
しかしながら、上記従来技術の方法は、イントラ予測に用いる画素の数を増加させるものであり、規格よりも複雑な画素予測処理を行うものであるから、更なる演算量の増加につながってしまう。なおかつ上記従来技術の方法では、画素値の変化傾向とイントラ予測時の分割ブロックサイズとを関連付けてはいない。
そこで本発明は、画素値の変化傾向を考慮することによって、イントラ予測符号化のための適切な分割ブロックサイズを容易に選択できるようにする。
そして、イントラ予測が困難な、画素値が徐々に変化する画像を符号化する場合であっても、演算量の増加を軽減する。
上記課題を解決するための本発明は、画像を複数の画像ブロックに分割し、符号化対象の画像ブロックに隣接する画像ブロックの画素値を用いて前記符号化対象の画像ブロックのイントラ予測符号化を行なう動画像符号化装置であって、
複数の分割ブロックサイズに対応した複数のイントラ予測モードのうちのいずれかに従ってイントラ予測を行い、前記符号化対象の画像ブロックに対するイントラ予測された画像データを出力する予測手段と、
前記符号化対象の画像ブロックが低周波帯域の画像である場合に、画像ブロック内の画素値の変化を検出することによって、前記符号化対象の画像ブロックがグラデーション画像を含むかどうかを判定する判定手段と、
前記判定手段によって前記符号化対象の画像ブロックがグラデーション画像を含むと判定された場合、前記予測手段において前記複数の分割ブロックサイズのうち最小のブロックサイズが優先されるように前記イントラ予測のブロックサイズを決定するブロックサイズ決定手段とを備えることを特徴とする。
本発明によれば、画素値の変化傾向を考慮することによって、イントラ予測符号化のための適切な分割ブロックサイズを容易に選択できる。また、イントラ予測が困難な、画素値が徐々に変化する画像を符号化する場合であっても、演算量の増加を軽減することができる。
本発明の実施形態に係る動画像符号化装置の構成例を示すブロック図。 分割ブロックサイズについて説明するための概念図。 本発明の実施形態に係るイントラ予測部の構成例を示すブロック図。 符号化対象マクロブロック内を更に小ブロックに分割した例を示す図。 分割ブロックサイズ決定処理のフローチャート。 符号化対象マクロブロック周辺を更に小ブロックに分割した例を示す図。
以下、図面を参照しながら本発明の実施の形態を説明する。
図1は、本実施形態に係る動画像符号化装置100の構成例を示すブロック図である。ここでは、レンズや撮像素子等のカメラ部を含む撮像部101と、フレームメモリ102と、動きベクトルを探索する動きベクトル決定部103と、動きベクトルに基づきインター予測画像データを生成するフレーム間動き補償部104を備える。また、イントラ予測画像データを生成するイントラ予測部105、インター予測画像データとイントラ予測画像データとのいずれかを選択する選択部106と、減算器107と、整数変換部108と、量子化部109とを備えている。さらに、逆量子化部110と、逆整数変換部111と、加算器112と、ループ内フィルタ113と、エントロピー符号化部115と、量子化制御部116と、符号量制御部117と、記録部118とを備えている。また、動画像符号化装置100には記録媒体119が装着されており、フレームメモリ102は、インター予測に用いる参照画像を記憶する参照画像メモリ114を備えている。
図1の動画像符号化装置100において、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをCPUが実行することにより、ソフトウェア的に構成されてもよい。
撮像部101により撮像して得られた動画像データは、第1フレーム、第2フレーム、第3フレーム、・・・のように生成順序で、フレームメモリ102に順次格納される。フレームメモリ102からは、例えば、第3フレーム、第1フレーム、第2フレーム、・・・と、符号化を行う順序で画像データを取り出していく。
ここで、符号化方法には、フレーム内の画像データのみで符号化するイントラ予測符号化と、フレーム間での予測も含めて符号化するインター予測符号化とがある。インター予測符号化を行うピクチャは、動き補償の単位(MCブロック)に対して1枚の参照フレームとの予測を行うPピクチャと、MCブロックに対して2枚までの参照フレームとの予測を行うBピクチャとがある。一方、イントラ予測符号化を行うピクチャは、Iピクチャである。なお、符号化するフレームの順番が入力されたフレームの順番と異なるのは、過去のフレームだけではなく、時間的に未来のフレームとの予測(後方予測)を可能にするためである。
イントラ予測符号化を行う場合、符号化単位となる符号化対象ブロックの画像データがフレームメモリ102から読み出されて、イントラ予測部105へ入力される。本実施形態では、1つの符号化対象ブロックの単位を横16画素×縦16画素とする。また、読み出された符号化対象ブロックに隣接する画素のデータもフレームメモリ102から読み出されて、イントラ予測部105へ入力される。
イントラ予測部105は、符号化対象ブロックと、その符号化対象ブロックに隣接する画素のデータから生成される複数のイントラ予測画像データとのブロックマッチングをそれぞれに行う。その際、本実施形態に対応して決定された分割ブロックサイズに基づいて16×16画素のマクロブロックを分割する。そして、最も相関の高いイントラ予測画像データを選択して選択部106へ出力する。イントラ予測符号化を行う場合は、選択部106は常にイントラ予測部105からの出力を選択し、イントラ予測画像データを減算器107に出力する。
減算器107には、イントラ予測画像データとフレームメモリ102から読み出される符号化対象画像の画像ブロックのデータとが入力され、符号化対象画像の画像ブロックとイントラ予測画像との画素値の差分画像データを整数変換部108へ出力する。整数変換部108は、入力された画素値の差分画像データに整数変換を施し、量子化部109は、整数変換部108により整数変換された信号に対して量子化処理を行う。
エントロピー符号化部115は、量子化部109により量子化された変換係数をエントロピー符号化し、データストリームとして記録部118に出力する。ここで、量子化部109における量子化係数は、エントロピー符号化部115で発生した符号量や、符号量制御部117から設定される目標符号量などから量子化制御部116が算出する。記録部118は、エントロピー符号化部115から出力されたデータストリームを記録媒体119に記録する。
また、量子化部109により量子化された変換係数は、逆量子化部110にも入力される。逆量子化部110は、入力された変換係数を逆量子化し、逆整数変換部111は、逆量子化された信号に対して逆整数変換処理を施す。
加算器112には、逆整数変換されたデータと、イントラ予測部105で生成されたイントラ予測画像データとが入力されて加算される。加算後のデータは復号された再構成画像データとなり、イントラ予測部105に入力されてイントラ予測画像データの生成に用いられる。また、再構成画像データは、ループ内フィルタ113によって符号化歪の軽減処理が施され、後述するインター予測符号化の際に用いる参照画像データとして参照画像メモリ114に記憶される。
一方、インター予測符号化を行う場合、符号化単位となる符号化対象画像の画像ブロックがフレームメモリ102から読み出されて、動きベクトル決定部103へ入力される。また、動きベクトル決定部103は、参照画像データを参照画像メモリ114から読み出し、符号化対象画像の画像ブロックと参照画像とから動きベクトルを決定して、フレーム間動き補償部104に通知する。
フレーム間動き補償部104は、動きベクトル決定部103で決定された動きベクトルと、フレームメモリ102から得られた参照画像とを用いてインター予測画像データを生成し、動きベクトルと共に選択部106に提供する。選択部106は、インター予測符号化を行う場合には、インター予測画像データを選択して減算器107に提供する。
なお、フレームによっては、符号化対象ブロックごとにインター予測かイントラ予測かを選択することができる。イントラ予測を行う場合は前述のように動作し、イントラ予測の結果を選択部106へ通知する。インター予測を行う場合、選択部106はフレーム間動き補償部104からのインター予測画像データを選択して減算器107に出力する。選択部106は、動きベクトル決定部103におけるインター予測結果とイントラ予測部105におけるイントラ予測結果とに基づき、例えば、差分値が小さい方の予測方法を選択することができる。
減算器107では、符号化対象画像の画像ブロックと予測画像との差分を計算し、差分画像データが生成される。差分画像データは整数変換部108に出力され、その後の処理は前述したイントラ予測符号化の場合と同様である。
H.264では、マクロブロックにつき、予め用意された複数のブロックサイズのうち、符号量及び画質に基づき最適なものを選択する必要がある。本実施形態では、特にイントラ予測の分割ブロックサイズを決定する発明について述べる。イントラ予測の分割ブロックサイズには4×4、8×8、16×16(数値は画素数)の3種類があり、イントラ予測部105が符号化対象画像の絵柄(特徴)に基づき最適な分割ブロックサイズを選択する。
一般に、低周波数帯域の画像では、マクロブロック境界で発生するブロックノイズが、通常よりも視覚的に目立ちやすい。このため、低周波数帯域の画像について、符号量効率の点から分割ブロックサイズの大きいものを選択してしまうと、ブロックノイズが発生してしまう。これは、グラデーション掛かった空や、肌等が符号化対象画像である場合に顕著となり、イントラ予測にとって困難な画像(効率的に符号化できない画像)にあたる。
以下、図2を参照して、そのような低周波帯域の画像の構造について説明する。図2(a)は、8×8画素分の符号化対象画像のデータを示している。Aは横方向の8画素分の断面を表し、図2Bは、断面Aにおける輝度値を高さとして示している。図2(b)から分かるように、この画像では輝度値が図の左から右にかけてなだらかに下降しており、連続する画素値が徐々に変化している傾向、所謂グラデーションを構成している。図2(c)は、断面Aの8画素を分割ブロックサイズ8×8で符号化したときの輝度値を高さで示している。また、図2(d)は、断面Aの8画素を分割ブロックサイズ4×4で符号化したときの輝度値を高さで示している。
図2(b)から図2(d)を比較すると、4×4で符号化した方がブロックが小さいため、8×8で符号化した場合に比べて誤差(量子化誤差)が小さくなる。即ち、グラデーション画像においては、誤差は16×16、8×8、4×4の順で少なくなる。しかし、分割数が多ければ、それに伴いヘッダ等の情報量が増える。輝度値が変わらず同じ数値であれば16×16が最も効率的である。そこで、本実施形態では、16×16のブロックを優先的に使用しながらも、画素値の変化傾向に応じて適応的に8×8又は4×4ブロックを選択するように構成されたイントラ予測部を説明する。
本実施形態ではイントラ予測部105において、分割ブロックサイズの選択を最適化する方法を提供する。以下、イントラ予測部105内の分割ブロックサイズの決定処理について詳細に説明する。図3は、本実施形態に係るイントラ予測部105を詳細に記したブロック図である。入力端子301は、加算器112に接続され、符号化された後に局所復号化された画像(ローカルデコード画像)をモード評価部303に入力する。
入力端子302は、フレームメモリ102に接続され、符号化対象ブロックの画像を入力する。入力端子302から入力された画像ブロックは、モード評価部303、帯域演算部304、及びブロック傾斜演算部305にそれぞれ供給される。帯域演算部304とブロック傾斜演算部305とがグラデーション判定部308を構成する。
モード評価部303は、各イントラ予測モードの予測方向に従って、予測画素値と実画素値の差分絶対値和を評価値αとして算出する。評価値αは、複数のイントラ予測モードのそれぞれについて算出され、各イントラ予測モードの評価値を表す。算出された評価値αは分割ブロックサイズ決定部306に入力される。
帯域演算部304は、マクロブロック画像における周波数帯域を判定するため、画像ブロック内に含まれる画素値の分散値(Var)を算出し、その大きさで帯域を判定する。即ち、分散値が大きいほど高周波帯域側の画像と判定でき、分散値が小さいほど低周波帯域側の画像と判定することができる。また、周波数帯域の判定は、DCT変換などの直交変換を行って得られた交流周波数成分の係数に基づいて行ってもよい。このようにして周波数帯域を判定した後、低周波数帯域以外の画像は、符号量及び上記の評価値αに基づいて最適な分割ブロックサイズを決定する通常の処理を行えばよい。一方、本発明を適用すべき低周波数帯域に属する画像については、これ以降で説明する処理を行い、上記の評価値αとグラデーション判定結果とに基づいて最適な分割ブロックサイズを決定する。
図4は、16×16画素のマクロブロックを更に小ブロックに分割した例を示す。本実施形態では、マクロブロック400内を4×4画素で小ブロック401に分割した場合を例に説明を行う。即ち、16×16画素のマクロブロック400は、16個の小ブロック401で構成される。各小ブロック401については、それぞれに含まれる16画素の輝度平均がBij(B11からB44)として求められる。
次に、本実施形態に対応する分割ブロックサイズ決定処理を、図5のフローチャートを参照して説明する。まず、帯域演算部304が、S501で入力された符号化対象画像の16×16画素の画像ブロックについて分散値Varを演算し、続くS502で分散値Varと、第1の閾値Th1との大小比較を行う。もし、分散値Varが第1の閾値以下の場合(S502で「NO」)、S503に移行する。一方、分散値Varが第1の閾値より大きい場合(S502で「YES」)、グラデーション判定部308が当該画像は低周波帯域画像では無いと判定する。そして、符号量及び評価値αから最適な分割ブロックサイズを決定する通常のイントラ予測を行い、本フローを終了する。通常のイントラ予測とは、具体的には、16×16サイズを優先的に使用するようにブロックサイズが決定されるものである。
ここで、第1の閾値Th1は、低周波帯域の画像とそれ以外の画像とを分離するための閾値である。当該第1の閾値Th1は、複数のサンプル画像について得られた分散値に基づき、低周波帯域の画像とそれ以外の画像とを適切に分離可能な値として設定することができる。
続くS503で分散値Varと第2の閾値Th2との大小比較を行う。ここで、第2の閾値Th2は0に近い数値とし、平坦部の中にあってもAC成分が殆どない画像ブロックを検出可能とする。もし、分散値Varが第2の閾値Th2より小さい場合(S503で「YES」)、グラデーション判定部308が、符号化対象画像が低周波帯域画像ではあるがグラデーションではないと判定し、S511に移行する。S511では、帯域演算部304が分割ブロックサイズ決定部306に対して、第2の閾値Th2に基づく判定の結果を通知する。分割ブロックサイズ決定部306は、当該判定結果に従って、当該符号化対象ブロックの分割ブロックサイズを最大の16×16に決定する。S511では、16×16サイズに固定する以外に、16×16サイズが優先的に選択されるようにブロックサイズの決定に係る重み付け処理を行うようにしても良い。一方、分散値Varが第2の閾値以上の場合(S503で「NO」)、S504へ移行する。
S504では、ブロック傾斜演算部305が、各小ブロック401について輝度平均B11からB44を計算し、その中から最大値Bmaxと最小値Bminとを決定する。続くS505では、BmaxからBminまでの変化を算出する。具体的に、上記BmaxからBminを引くことで、Bdiffを算出する。Bdiffは小ブロックの輝度レンジとなり、これが大きいとブロックノイズが見えやすくなる。このためS506では、Bdiffと輝度閾値Th3との大小比較を行う。
Bdiffが第3の閾値であるところの輝度閾値Th3より大きい場合(S506で「YES」)、グラデーション判定部308が、符号化対象画像がグラデーション画像を含むと判定し、S509に移行する。S509では、ブロック傾斜演算部305が分割ブロックサイズ決定部306に対して、輝度閾値Th3に基づく判定の結果を通知する。分割ブロックサイズ決定部306は、当該判定結果に従って符号化対象ブロックの分割ブロックサイズを最小の4×4に決定する。S509では、4×4サイズに固定する以外に、4×4サイズが優先的に選択されるようにブロックサイズの決定に係る重み付け処理を行うようにしても良い。
一方、Bdiffが輝度閾値以下の場合(S506で「NO」)、ブロック傾斜演算部305は、S507でBdeltaを算出する。Bdeltaは隣接する小ブロック401間での差分絶対値を計算することで求められる。
例えば、B11に隣接するブロックはB12、B21、B22であり、|B11−B12|、|B11−B21|、|B11−B22|を求める。
このようにして全ての隣接するブロック間の差分絶対値を求める。次に、求めたBdeltaの最大値をMaxBdeltaとし、S508ではMaxBdeltaと第4の閾値であるところの差分閾値Th4の大小比較を行う。MaxBdeltaが差分閾値Th4より大きい場合(S508で「YES」)、グラデーション判定部308が、符号化対象画像がグラデーション画像を含むと判定し、S509に移行する。S509では、ブロック傾斜演算部305が分割ブロックサイズ決定部306に対して、差分閾値Th4に基づく判定の結果を通知する。分割ブロックサイズ決定部306は、当該判定結果に従って符号化対象ブロックの分割ブロックサイズを4×4に決定する。S509では、4×4サイズに固定する以外に、4×4サイズが優先的に選択されるようにブロックサイズの決定に係る重み付け処理を行うようにしても良い。
また、MaxBdeltaが差分閾値Th4以下の場合(S508で「NO」)、S510に移行する。S510では、ブロック傾斜演算部305が分割ブロックサイズ決定部306に対して、差分閾値Th4に基づく判定の結果を通知する。分割ブロックサイズ決定部306は、当該判定結果に従って符号化対象ブロックの分割ブロックサイズを8×8に決定する。S510では、8×8サイズに固定する以外に、8×8サイズが優先的に選択されるようにブロックサイズの決定に係る重み付け処理を行うようにしても良い。
イントラ予測部105では、以上の手順決定された分割ブロックサイズに基づいて、モード評価部303で得られた複数のイントラ予測モードによる評価値から対応するブロックサイズの最適な評価値を選択する。そして、そのイントラ予測の結果であるイントラ予測画像データを出力端子307から出力し、選択部106に供給する。
なお、図5では低周波帯域の画像とそれ以外の画像との分離を分散値に基づいて行う場合を説明したが、その代わりに直交変換を行って得られた交流周波数成分の係数に基づいて行ってもよい。この場合、交流周波数成分のうち、高周波帯域に属する成分について有意な係数が存在するか否かによって、分離することができる。
なお、上記では、符号化対象の画像ブロックであるマクロブロック内に閉じた処理を説明したが、図6に示すようにマクロブロックの外側に位置する、隣接小ブロックを考慮して分割ブロックサイズを決定することもできる。この場合、図5のS507でBdeltaの代わりにABdeltaを算出する。ABdeltaは上記のBdeltaに加え、マクロブロック外の隣接する小ブロックで差分絶対値を計算することで求める。例えば、B11に隣接するマクロブロック外の小ブロックはA00、A01、A02、A10、A20であり、|B11−A00|、|B11−A01|、|B11−A02|、|B11−A10|、|B11−A20|と求めていく。ただし、図6におけるA50から横にA55まで、及びA05から縦にA45までの小ブロックは参照しなくてもよい。
このようにしてマクロブロック内外の全ての隣接するブロック間の差分絶対値を求め、その内の最大値MaxABdeltaを決定する。そして、続くS508では、MaxABdeltaと差分閾値Th4との大小比較を行う。MaxABdeltaが差分閾値Th4より大きい場合、S509で分割ブロックサイズは4×4に決定する。また、MaxABdeltaが差分閾値以下の場合、S510で分割ブロックサイズは8×8に決定する。
以上のようにして、本実施形態では、マクロブロックの分散値、マクロブロック内或いはマクロブロック周辺を含めた輝度レンジ、小ブロック間の差分絶対値に基づいて、適用すべき分割ブロックサイズを選択することができる。これにより、低周波数帯域となる画像の部分において好ましいイントラ予測時の分割ブロックサイズを容易に選択でき、符号化時の演算処理を軽減させることができる。また、複数のパラメータを用いて閾値との比較によって、適応的に分割ブロックサイズを決定するので、グラデーション含む画像を符号化した際に発生するブロックノイズによる縞模様を軽減することができる。
なお、上述の実施形態において用いられる閾値は固定的でなくてもよく、分散値Varの大きさに応じて、複数の組合せを用意してもよい。また、本実施形態では、4×4が最小のブロックサイズとして説明したが、最小ブロックのサイズは4×4よりも大きくてもよいし、或いは、小さくてもよい。また、1画素単位に処理してもよい。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (7)

  1. 画像を複数の画像ブロックに分割し、符号化対象の画像ブロックに隣接する画像ブロックの画素値を用いて前記符号化対象の画像ブロックのイントラ予測符号化を行なう動画像符号化装置であって、
    複数の分割ブロックサイズに対応した複数のイントラ予測モードのうちのいずれかに従ってイントラ予測を行い、前記符号化対象の画像ブロックに対するイントラ予測された画像データを出力する予測手段と、
    前記符号化対象の画像ブロックが低周波帯域の画像である場合に、画像ブロック内の画素値の変化を検出することによって、前記符号化対象の画像ブロックがグラデーション画像を含むかどうかを判定する判定手段と、
    前記判定手段によって前記符号化対象の画像ブロックがグラデーション画像を含むと判定された場合、前記予測手段において前記複数の分割ブロックサイズのうち最小のブロックサイズが優先されるように前記イントラ予測のブロックサイズを決定するブロックサイズ決定手段と
    を備えることを特徴とする動画像符号化装置。
  2. 前記判定手段は、前記符号化対象の画像ブロックについて画素の分散値を算出し、
    前記分散値が第1の閾値よりも大きい場合には、前記符号化対象の画像ブロックを低周波帯域の画像でないと判定し、
    前記分散値が前記第1の閾値以下の場合には、前記符号化対象の画像ブロックを低周波帯域の画像であると判定する
    ことを特徴とする請求項1に記載の動画像符号化装置。
  3. 前記判定手段が前記符号化対象の画像ブロックを低周波帯域の画像であると判定し、かつ、前記分散値が、前記第1の閾値よりも小さい第2の閾値より小さい場合に、
    前記ブロックサイズ決定手段は、前記分割ブロックサイズを、前記複数の分割ブロックサイズのうち、最大のブロックサイズに決定することを特徴とする請求項2に記載の動画像符号化装置。
  4. 前記判定手段は、前記符号化対象の画像ブロック内の輝度の最大値と輝度の最小値との差分が第3の閾値よりも大きい場合に、前記符号化対象の画像ブロックが前記グラデーション画像を含むと判定することを特徴とする請求項1に記載の動画像符号化装置。
  5. 前記複数の分割ブロックサイズには、4×4、8×8及び16×16のブロックサイズが含まれ、前記最小のブロックサイズが4×4であることを特徴とする請求項1に記載の動画像符号化装置。
  6. 画像を複数の画像ブロックに分割し、符号化対象の画像ブロックに隣接する画像ブロックの画素値を用いて前記符号化対象の画像ブロックのイントラ予測符号化を行なう動画像符号化方法であって、
    出力手段が、複数の分割ブロックサイズに対応した複数のイントラ予測モードのうちのいずれかに従ってイントラ予測を行い、前記符号化対象の画像ブロックに対するイントラ予測された画像データを出力する工程と、
    判定手段が、前記符号化対象の画像ブロックが低周波帯域の画像である場合に、画像ブロック内の画素値の変化を検出することによって、前記符号化対象の画像ブロックがグラデーション画像を含むかどうかを判定する工程と、
    決定手段が、前記判定によって前記符号化対象の画像ブロックがグラデーション画像を含むと判定された場合、前記イントラ予測において前記複数の分割ブロックサイズのうち最小のブロックサイズが優先されるように前記イントラ予測のブロックサイズを決定する工程と
    を備えることを特徴とする動画像符号化方法。
  7. コンピュータを請求項1乃至6のいずれか1項に記載の動画像符号化装置の各手段として機能させるためのプログラム。
JP2011082191A 2010-04-12 2011-04-01 動画像符号化装置及びその制御方法、コンピュータプログラム Pending JP2011239365A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011082191A JP2011239365A (ja) 2010-04-12 2011-04-01 動画像符号化装置及びその制御方法、コンピュータプログラム
US13/080,107 US9055292B2 (en) 2010-04-12 2011-04-05 Moving image encoding apparatus, method of controlling the same, and computer readable storage medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010091829 2010-04-12
JP2010091829 2010-04-12
JP2011082191A JP2011239365A (ja) 2010-04-12 2011-04-01 動画像符号化装置及びその制御方法、コンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2011239365A true JP2011239365A (ja) 2011-11-24

Family

ID=44760910

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011082191A Pending JP2011239365A (ja) 2010-04-12 2011-04-01 動画像符号化装置及びその制御方法、コンピュータプログラム

Country Status (2)

Country Link
US (1) US9055292B2 (ja)
JP (1) JP2011239365A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014093760A (ja) * 2012-11-07 2014-05-19 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、及び画像符号化方法、画像復号方法
EP2757368A1 (en) 2013-01-22 2014-07-23 ARKRAY, Inc. Sample analysis method and solution to be used therein, wherein a non-surfactant-type zwitterionic substance is used
KR20140109527A (ko) * 2013-02-27 2014-09-16 단국대학교 산학협력단 화면내 예측 부호화 방법 및 이를 수행하는 영상 부호화 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111200735B (zh) * 2018-11-19 2023-03-17 华为技术有限公司 一种帧间预测的方法及装置
CN112927181B (zh) * 2020-11-18 2022-11-18 珠海市杰理科技股份有限公司 图像亮度调节方法及装置、图像采集设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051643A (ja) * 1996-07-31 1998-02-20 Canon Inc 画像処理装置及びその方法
JP2007067469A (ja) * 2005-08-29 2007-03-15 Nippon Telegr & Teleph Corp <Ntt> フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体
JP2007201558A (ja) * 2006-01-23 2007-08-09 Matsushita Electric Ind Co Ltd 動画像符号化装置および動画像符号化方法
WO2008044658A1 (en) * 2006-10-10 2008-04-17 Nippon Telegraph And Telephone Corporation Intra prediction encoding control method and device, its program, and storage medium containing program
JP2008167309A (ja) * 2006-12-28 2008-07-17 Konica Minolta Business Technologies Inc 画像処理装置および画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6801339B1 (en) * 1998-03-26 2004-10-05 Fuji Photo Film Co., Ltd. Image processing method and apparatus
TW518882B (en) * 2000-03-27 2003-01-21 Hitachi Ltd Liquid crystal display device for displaying video data
CN1757237A (zh) * 2003-03-03 2006-04-05 皇家飞利浦电子股份有限公司 视频编码
WO2007034918A1 (ja) * 2005-09-26 2007-03-29 Mitsubishi Electric Corporation 動画像符号化装置及び動画像復号装置
JP4707118B2 (ja) 2007-03-28 2011-06-22 株式会社Kddi研究所 動画像符号化装置および動画像復号装置のイントラ予測方式
JP5441812B2 (ja) 2010-05-12 2014-03-12 キヤノン株式会社 動画像符号化装置、及びその制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051643A (ja) * 1996-07-31 1998-02-20 Canon Inc 画像処理装置及びその方法
JP2007067469A (ja) * 2005-08-29 2007-03-15 Nippon Telegr & Teleph Corp <Ntt> フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体
JP2007201558A (ja) * 2006-01-23 2007-08-09 Matsushita Electric Ind Co Ltd 動画像符号化装置および動画像符号化方法
WO2008044658A1 (en) * 2006-10-10 2008-04-17 Nippon Telegraph And Telephone Corporation Intra prediction encoding control method and device, its program, and storage medium containing program
JP2008167309A (ja) * 2006-12-28 2008-07-17 Konica Minolta Business Technologies Inc 画像処理装置および画像処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNJ200610048040; 菊池 俊吾, 亀田 昌志: 'Watershed領域分割に基づいた自然画像におけるグラデーション領域の特定' 2005年電子情報通信学会総合大会講演論文集 情報・システム2 , 20050307, pp.40, 社団法人電子情報通信学会 *
JPN6014037399; 菊池 俊吾, 亀田 昌志: 'Watershed領域分割に基づいた自然画像におけるグラデーション領域の特定' 2005年電子情報通信学会総合大会講演論文集 情報・システム2 , 20050307, pp.40, 社団法人電子情報通信学会 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014093760A (ja) * 2012-11-07 2014-05-19 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、及び画像符号化方法、画像復号方法
EP2757368A1 (en) 2013-01-22 2014-07-23 ARKRAY, Inc. Sample analysis method and solution to be used therein, wherein a non-surfactant-type zwitterionic substance is used
KR20140109527A (ko) * 2013-02-27 2014-09-16 단국대학교 산학협력단 화면내 예측 부호화 방법 및 이를 수행하는 영상 부호화 장치
KR101654963B1 (ko) * 2013-02-27 2016-09-06 단국대학교 산학협력단 화면내 예측 부호화 방법 및 이를 수행하는 영상 부호화 장치

Also Published As

Publication number Publication date
US20110249740A1 (en) 2011-10-13
US9055292B2 (en) 2015-06-09

Similar Documents

Publication Publication Date Title
CN107396105B (zh) 图像编解码方法和装置、以及计算机可读介质
KR100750136B1 (ko) 영상의 부호화, 복호화 방법 및 장치
JP5054826B2 (ja) 時空間的複雑度を用いた符号化モード決定方法及び装置
US20150010243A1 (en) Method for encoding/decoding high-resolution image and device for performing same
US20130089265A1 (en) Method for encoding/decoding high-resolution image and device for performing same
JP2007166617A (ja) 映像のイントラ予測符号化、復号化方法及び装置
US20120027092A1 (en) Image processing device, system and method
KR20080015592A (ko) 영상의 부호화, 복호화 방법 및 장치
JP2014082639A (ja) 画像符号化装置およびその方法
KR20070096736A (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US20150208094A1 (en) Apparatus and method for determining dct size based on transform depth
US9445089B2 (en) Video encoding device, video encoding method and video encoding program
JP5618128B2 (ja) 符号化装置、符号化方法、およびプログラム
JP2011239365A (ja) 動画像符号化装置及びその制御方法、コンピュータプログラム
JP5441812B2 (ja) 動画像符号化装置、及びその制御方法
JPWO2006100946A1 (ja) 画像信号再符号化装置及び画像信号再符号化方法
JP5649296B2 (ja) 画像符号化装置
JP5598199B2 (ja) 動画像符号化装置
JP5328629B2 (ja) エンコーダおよび画像変換装置
JP6200220B2 (ja) 画像処理装置、符号化装置、復号装置、及びプログラム
KR20190109373A (ko) 영상 부호화/복호화 장치 및 방법
CN113196762A (zh) 图像分量预测方法、装置及计算机存储介质
JP2011004051A (ja) 動画像符号化方法,動画像符号化装置および動画像符号化プログラム
JP4561701B2 (ja) 動画像符号化装置
KR20140076652A (ko) 문턱값 기반 부호화 단위 분할을 이용한 고속 인트라 부호화 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140905

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150109