JP2010171476A - 画像処理装置および画像変換装置 - Google Patents

画像処理装置および画像変換装置 Download PDF

Info

Publication number
JP2010171476A
JP2010171476A JP2009009473A JP2009009473A JP2010171476A JP 2010171476 A JP2010171476 A JP 2010171476A JP 2009009473 A JP2009009473 A JP 2009009473A JP 2009009473 A JP2009009473 A JP 2009009473A JP 2010171476 A JP2010171476 A JP 2010171476A
Authority
JP
Japan
Prior art keywords
filter
image
picture
value
strength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009009473A
Other languages
English (en)
Other versions
JP5435452B2 (ja
Inventor
Hideki Oyasu
英輝 大安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2009009473A priority Critical patent/JP5435452B2/ja
Priority to US13/142,340 priority patent/US8818123B2/en
Priority to PCT/JP2009/055830 priority patent/WO2010084628A1/ja
Publication of JP2010171476A publication Critical patent/JP2010171476A/ja
Application granted granted Critical
Publication of JP5435452B2 publication Critical patent/JP5435452B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】デブロッキングフィルタを備える画像処理装置において、処理の高速化を実現するとともに、生成される動画像の不自然さを解消する技術を提供することを課題とする。
【解決手段】トランスコーダ1は、MPEG2デコーダ2、強度判定回路3、H.264エンコーダ4を備える。強度判定回路3は、MPEG2デコーダ2で取得された画像特徴量パラメータ103に基づいてフィルタ強度パラメータ104を算出する。H.264エンコーダ4は、符号化過程においてフィルタ強度パラメータ104に基づいて入力画像にデブロッキングフィルタを施す。H.264エンコーダ4においてあるピクチャの符号化処理が実行されている間、強度判定回路3において後続のピクチャのフィルタ強度算出処理が平行して実行される。
【選択図】図6

Description

本発明は、画像を所定の符号化方式に基づいて符号化する画像処理装置および画像の符号化方式を変換するトランスコーダやトランスレータに関する。
エンコーダあるいはトランスコーダは、種々の符号化方式に基づいて画像を符号化する。符号化方式には、MPEG(Moving Picture Experts Group)2やH.264などの様々な方式がある。これらの画像符号化方式では、マクロブロックなどのブロック単位で符号化処理が実行されるため、符号化画像のブロック境界で画質のばらつきが生じる。このようなノイズは、ブロックノイズと呼ばれている。
ブロックノイズは、特に、画像中の平坦な部分や、グラデーション部分において目立つノイズである。したがって、高画質が要求される環境においては、デブロッキング処理を行い、ブロック境界のノイズを低減するようにしている。
特開2008−22404号公報 特開2008−263529号公報
上記特許文献1のエンコーダは、デブロッキングフィルタを備え、ブロックノイズを低減させるようにしている。特許文献1のエンコーダは、ローカルデコーダによりデコードした画像にデブロッキング処理を施すようにしている。
特許文献1のエンコーダを含め、従来のエンコーダでは、デブロッキングフィルタのフィルタ強度を決定する強度判定回路が符号化回路ブロックに組み込まれている。このため、符号化と同時に画像特徴量の抽出およびフィルタ強度の判定処理を行うことになり、処理が煩雑であり符号化処理時間に遅延が生じることになる。また、画像特徴量に応じて瞬時にフィルタ強度が変化してしまうため、たとえばシーンチェンジ等で画像特徴量が大幅に変化した場合、ピクチャ間のフィルタ強度にばらつきが生じ、動画として不自然なバタつきを感じさせるという問題がある。
上記特許文献2の符号化装置では、複数のピクチャに対して算出されたフィルタ強度の平均値を利用するようにしている。
そこで、本発明は前記問題点に鑑み、デブロッキングフィルタを備える画像処理装置において、処理の高速化を実現するとともに、生成される動画像の不自然さを解消する技術を提供することを目的とする。
上記課題を解決するため、請求項1記載の発明は、画像処理装置であって、入力画像の画像特徴量からフィルタ強度を算出する強度判定回路と、前記入力画像を符号化処理し、符号化ストリームを出力する符号化回路と、を備え、前記符号化回路は、符号化処理過程において生成される画像に、前記フィルタ強度に基づいてデブロッキングフィルタ処理を施すフィルタ部、を含み、前記強度判定回路における前記フィルタ強度の算出処理と前記符号化回路における符号化処理とが並列的に実行されることを特徴とする。
請求項2記載の発明は、請求項1に記載の画像処理装置において、前記フィルタ部は、カレントピクチャについて算出された前記フィルタ強度と、過去のピクチャについて算出された前記フィルタ強度とを入力パラメータとする演算式を用いることで、カレントピクチャに適用させる前記フィルタ強度を補正するフィルタ強度補正部、を含むことを特徴とする。
請求項3記載の発明は、画像変換装置であって、入力した第1符号化ストリームを復号し、復号画像を出力する復号回路と、前記復号画像の画像特徴量からフィルタ強度を算出する強度判定回路と、前記復号画像を符号化処理し、第2符号化ストリームを出力する符号化回路と、を備え、前記符号化回路は、符号化処理過程において生成される画像に、前記フィルタ強度に基づいてデブロッキングフィルタ処理を施すフィルタ部、を含み、前記強度判定回路における前記フィルタ強度の算出処理と前記符号化回路における符号化処理とが並列的に実行されることを特徴とする。
請求項4記載の発明は、請求項3に記載の画像変換装置において、前記フィルタ部は、カレントピクチャについて算出された前記フィルタ強度と、過去のピクチャについて算出された前記フィルタ強度とを入力パラメータとする演算式を用いることで、カレントピクチャに適用させる前記フィルタ強度を補正するフィルタ強度補正部、を含むことを特徴とする。
本発明の画像処理装置は、強度判定回路におけるフィルタ強度の算出処理と符号化回路における符号化処理とを平行して実行するので、符号化処理の処理速度を向上させることができる。
また、画像処理装置は、カレントピクチャのフィルタ強度と過去のピクチャのフィルタ強度とを入力パラメータとする演算式を用いることで、カレントピクチャのフィルタ強度を補正するので、画像特徴量の急激な変化に追従してフィルタ強度にばらつきが生じることを防止できる。
実施の形態に係るトランスコーダのブロック図である。 ブロックの構成を示す図である。 フィルタ強度パラメータの算出フローを示す図である。 フィルタ強度パラメータの算出フローを示す図である。 フィルタ強度パラメータの算出フローを示す図である。 復号処理、強度判定処理、符号化処理のシーケンス図である。
以下、図面を参照しつつ本発明の実施の形態について説明する。図1は、本実施の形態に係るトランスコーダ1の回路ブロック図である。トランスコーダ1は、MPEG2デコーダ2、強度判定回路3、H.264エンコーダ4、DRAM(Dynamic Random Access Memory)5を備えている。
MPEG2デコーダ2は、MPEG2方式で符号化されたMPEG2ストリーム101を入力し、MPEG2ストリーム101を復号する。そして、復号画像102をDRAM5に格納する。
MPEG2デコーダ2は、また、MPEG2ストリーム101から復号画像の画像特徴量を取得し、画像特徴量パラメータ103をDRAM5に格納する。
MPEG2デコーダ2がDRAM5に格納する画像特徴量パラメータ103は、ピクチャ・アクティビティ値act_picおよびピクチャ・動き評価値sad_picである。
<画像特徴量パラメータ>
まず、ピクチャ・アクティビティ値act_picの算出方法について説明する。数(1)式に示すように、MPEG2デコーダ2は、まず、デコード画像reconを算出する。
Figure 2010171476
数(1)式において、イントラマクロブロック(Intra MB)に関しては、デコード画像reconは、デコード画像の画素値を表している。また、インターマクロブロック(Inter MB)に関しては、デコード画像reconは、予測画素ブロックの画素値predに予測誤差値diffを加算することで求められる。予測画素ブロックの画素値predは、参照画素ブロックの画素値に動き補償を適用させることで得られる。
次に、数(2)式により、ブロックblkごとにデコード画像reconの平均値を算出し、デコード画像平均値AVE_reconを算出する。ブロックblkは8×8画素のブロックであり、マクロブロックは、図2に示すように、4つのブロックblk0〜blk3から構成される。
Figure 2010171476
さらに、数(3)式に示すように、各ブロックblkについて、デコード画像reconとデコード画像平均値AVE_reconとの差分絶対値和を算出する。そして、ブロックblk0〜blk3について算出された差分絶対値和を、全て加算することで、マクロブロック・アクティビティ値act_mbを算出する。
Figure 2010171476
そして、数(4)式に示すように、マクロブロック・アクティビティ値act_mbを、フレーム内の全マクロブロックについて加算することで、ピクチャ・アクティビティ値act_picを算出する。
Figure 2010171476
続いて、ピクチャ・動き評価値sad_picの算出方法について説明する。数(5)式に示すように、MPEG2デコーダ2は、インターマクロブロック(inter MB)に関して、ブロックblk内の予測誤差値diffの絶対値和を算出する。さらに、ブロックblk0〜blk3について算出された絶対値和を、全て加算することで、マクロブロック・動き評価値sad_mbを算出する。
Figure 2010171476
そして、数(6)式に示すように、マクロブロック・動き評価値sad_mbを、フレーム内の全マクロブロックについて加算することで、ピクチャ・動き評価値sad_picを算出する。
Figure 2010171476
<フィルタ強度の算出>
再び、図1を参照する。強度判定回路3は、MPEG2デコーダ2が格納した画像特徴量パラメータ103をDRAM5から読み出す。強度判定回路3は、画像特徴量パラメータ103に含まれるピクチャ・アクティビティ値act_picおよびピクチャ・動き評価値sad_picを利用して、フィルタ強度パラメータ104を算出する。
以下、強度判定回路3において実行されるフィルタ強度パラメータ104の算出処理方法について説明する。なお、強度判定回路3は、数(7)式に示すように、閾値などの各種パラメータ値を図示せぬレジスタに格納しており、これらパラメータを利用して後の処理を実行する。
Figure 2010171476
強度判定回路3は、図3〜図5に示す処理を実行することで、フィルタ強度パラメータ104を算出する。まず、強度判定回路3は、符号化対象のフレームのピクチャ種別を判定する(ステップS1)。
ピクチャ種別がIピクチャである場合、強度判定回路3は、ピクチャ・アクティビティ値act_picとアクティビティ閾値act_pic_thrの大小を比較する(ステップS2)。ここでは、数(7)式に示すように、act_pic_thr=1800が設定されている。
act_pic<act_pic_thrの場合(ステップS2でYES)、デブロッキングフィルタ評価値dbf_valueとして、最大評価値dbf_value_maxが設定される(ステップS3)。ここでは、数(7)式に示すように、dbf_value_max=4が設定される。なお、デブロッキングフィルタ評価値dbf_valueは、−7から6までの間の整数の値をとる。デブロッキングフィルタ評価値dbf_valueの値が大きい程、デブロッキングフィルタのフィルタ強度が大きく設定されることになる。
act_pic≧act_pic_thrの場合(ステップS2でNO)、デブロッキングフィルタ評価値dbf_valueとして、デフォルト評価値dbf_value_defが設定される(ステップS4)。ここでは、数(7)式に示すように、dbf_value_def=0が設定される。
このように、ピクチャ・アクティビティ値act_picがアクティビティ閾値act_pic_thrより小さい場合には、符号化対象のピクチャは、平坦な画像やグラデーション画像など、微妙な変化を表現する必要がある画像であると想定される。そこで、デブロッキングフィルタ評価値dbf_valueとして、最大評価値dbf_value_maxを割り当て、画質の向上を図っている。これに対して、ピクチャ・アクティビティ値act_picがアクティビティ閾値act_pic_thrを超える場合には、ある程度複雑な画像であると判断できるので、デブロッキングフィルタ評価値dbf_valueとして、デフォルト評価値dbf_value_defを割り当てるようにしている。なお、最大評価値dbf_value_maxとして、ここでは4を設定しているが、この値は適宜変更可能である。また、デフォルト評価値dbf_value_defについても、0以外の値を設定してもよい。
ステップS1において、PピクチャあるいはBピクチャと判定された場合には、図4に示すフローチャートに遷移する。まず、強度判定回路3は、ピクチャ・動き評価値sad_picと動き閾値sad_pic_thrとの大小を比較する(ステップS5)。ここでは、数(7)式に示すように、sad_pic_thr=650が設定されている。
sad_pic<sad_pic_thrの場合(ステップS5でYES)、デブロッキングフィルタ評価値dbf_valueとして、最小評価値dbf_value_minが設定される(ステップS6)。ここでは、数(7)式に示すように、dbf_value_min=−7が設定される。
このように、ピクチャ・動き評価値sad_picが動き閾値sad_pic_thrよりも小さい場合には、予測誤差が小さく画質の劣化の少ないピクチャであると判断できる。あるいは比較的動きの少ないピクチャであると判断できるので、デブロッキングフィルタ評価値dbf_valueとして最小値を割り当てる。これにより、必要以上なデブロッキングフィルタの作用により、画像の精細さが損なわれることを防止することができる。
sad_pic≧sad_pic_thrの場合(ステップS5でNO)、強度判定回路3は、ピクチャ・アクティビティ値act_picとアクティビティ閾値act_pic_thrの大小を比較する(ステップS7)。ここでは、数(7)式に示すように、act_pic_thr=1800が設定されている。
act_pic<act_pic_thrの場合(ステップS7でYES)、デブロッキングフィルタ評価値dbf_valueとして、最大評価値dbf_value_maxが設定される(ステップS8)。ここでは、数(7)式に示すように、dbf_value_max=4が設定される。
act_pic≧act_pic_thrの場合(ステップS7でNO)、デブロッキングフィルタ評価値dbf_valueとして、デフォルト評価値dbf_value_defが設定される(ステップS9)。ここでは、数(7)式に示すように、dbf_value_def=0が設定される。
このように、ピクチャ・アクティビティ値act_picがアクティビティ閾値act_pic_thrより小さい場合には、符号化対象のピクチャは、平坦な画像やグラデーション画像など、微妙な変化を表現する必要がある画像であると想定される。そこで、デブロッキングフィルタ評価値dbf_valueとして、最大評価値dbf_value_maxを割り当て、画質の向上を図っている。これに対して、ピクチャ・アクティビティ値act_picがアクティビティ閾値act_pic_thrを超える場合には、ある程度複雑な画像であると判断できるので、デブロッキングフィルタ評価値dbf_valueとして、デフォルト評価値dbf_value_defを割り当てるようにしている。
ステップS3、ステップS4、ステップ8、ステップ9においてデブロッキングフィルタ評価値dbf_valueが設定されると、図5で示すフローチャートに遷移する。強度判定回路3は、まず、符号化対象のフレームのピクチャ種別を判定する(ステップS10)。
符号化対象のフレームがBピクチャである場合、強度判定回路3は、前フィルタ評価値dbf_value_prevとして、Bピクチャ用フィルタ評価値dbf_value_prev_Bの値を設定する(ステップS11)。
強度判定回路3は、図示せぬレジスタにBピクチャ用フィルタ評価値dbf_value_prev_Bを格納している。ステップS11では、レジスタに格納されているBピクチャ用フィルタ評価値dbf_value_prev_Bが読み出され、前フィルタ評価値dbf_value_prevとして設定される。
符号化対象のピクチャがIピクチャあるいはPピクチャである場合、強度判定回路3は、前フィルタ評価値dbf_value_prevとして、IPピクチャ用フィルタ評価値dbf_value_prev_IPの値を設定する(ステップS12)。
強度判定回路3は、図示せぬレジスタにIPピクチャ用フィルタ評価値dbf_value_prev_IPを格納している。ステップS12では、レジスタに格納されているIPピクチャ用フィルタ評価値dbf_value_prev_IPが読み出され、前フィルタ評価値dbf_value_prevとして設定される。
ステップS11あるいはステップS12において、前フィルタ評価値dbf_value_prevが設定されると、デブロッキングフィルタ評価値dbf_valueと、前フィルタ評価値dbf_value_prevの重み付け加算が行われ、デブロッキングフィルタ評価値dbf_valueの補正が行われる(ステップS13)。つまり、符号化対象であるピクチャについて算出されたフィルタ評価値と、前回符号化されたピクチャについて算出されたフィルタ評価値とが重み付け加算されるのである。
ただし、Bピクチャについては、前フィルタ評価値dbf_value_prevは、直前のBピクチャについて算出された評価値である。一方、Iピクチャ、Pピクチャについては、前フィルタ評価値dbf_value_prevは、直前のIピクチャあるいはPピクチャについて算出された評価値である。
このように、BピクチャとPピクチャとでは、前フィルタ評価値dbf_value_prevとして個別の値を記憶するようにしている。これは、Pピクチャのsad_pic値が、Bピクチャのsad_pic値よりも例えば2倍程度大きい場合が想定されるため、別の評価値を用いてフィルタ強度の最適化を図るためである。また、本実施の形態においては、IピクチャとPピクチャとは、前フィルタ評価値dbf_value_prevとして同じ評価値を記憶しているが、IピクチャとPピクチャについても、個別の評価値を記憶するようにしてもよい。
具体的には、図5にも示すように、デブロッキングフィルタ評価値dbf_valueに重み付け値(1−dbf_coef)が乗算され、前フィルタ評価値dbf_value_prevに重み付け値(dbf_coef)が乗算され、両者が加算される。ここで、数(7)式に示すように、dbf_coefとしては、0.75が設定されている。このように、本実施の形態においては、dbf_coefは0.75が設定され、前フィルタ評価値dbf_value_prevの重み付け値を大きくしているが、この値は、適宜変更可能である。
続いて、強度判定回路3は、符号化対象のフレームのピクチャ種別を判定する(ステップS14)。符号化対象のフレームがBピクチャである場合には、重み付け加算により補正されたデブロッキングフィルタ評価値dbf_valueにより、前フィルタ評価値dbf_value_prev_Bの値を更新する(ステップS15)。符号化対象のフレームがIピクチャあるいはPピクチャである場合には、重み付け加算により補正されたデブロッキングフィルタ評価値dbf_valueにより、前フィルタ評価値dbf_value_prev_IPの値を更新する(ステップS16)。以上の処理により、符号化対象であるカレントピクチャに対するデブロッキングフィルタ評価値dbf_valueの算出を終了する。
再び図1を参照する。H.264エンコーダ4は、DRAM5から復号画像102を取得する。H.264エンコーダ4は、また、強度判定回路3からフィルタ強度パラメータ104としてデブロッキングフィルタ評価値dbf_valueを取得する。
H.264エンコーダ4は、復号画像102を、H.264符号化方式に従って符号化し、H.264ストリーム105を出力する。H.264エンコーダ4は、復号画像102を符号化する過程において、デブロッキングフィルタ処理を実行する。具体的には、H.264エンコーダ4は、ローカルデコーダにより復号された画像にデブロッキングフィルタ処理を実行する。このとき、デブロッキング処理のフィルタパラメータとして、以下の3つのパラメータP1〜P3を利用する。
P1=disable_deblocking_filter_idc
P2=slice_alpha_c0_offset_div2
P3=slice_beta_offset_div2
パラメータP1は、デブロッキングフィルタを適用させるか否かを決定するパラメータである。デブロッキングフィルタ評価値dbf_value=−7である場合には、パラメータP1=1と設定され、デブロッキングフィルタの適用がOFFに設定される。デブロッキングフィルタ評価値dbf_value=−6〜6である場合には、パラメータP1=0と設定され、デブロッキングフィルタの適用がONに設定される。上述したように、図4のステップS6では、デブロッキングフィルタ評価値dbf_value=−7が設定されており、デブロッキングフィルタが適用されないことになる。
また、パラメータP2、P3は、デブロッキングフィルタのフィルタ強度を設定するパラメータであるが、本実施の形態においては、パラメータP2=P3=dbf_valueを設定することとしている。上述したように、図3のステップS3、図4のステップ8では、デブロッキングフィルタ評価値dbf_value=4が設定されており、比較的強い強度でデブロッキングフィルタが施されることになる。
デブロッキングフィルタ処理後のローカルデコード画像は、続くH.264エンコーダでの符号化処理のためDRAM5へ格納される。ただし、予めカレントピクチャが、続く符号化処理で参照画像として使用されないことがわかっている場合は、デブロッキングフィルタ処理およびDRAM5への格納処理を実行する必要はない。これにより、演算処理量、メモリ容量を削減できる。
<処理シーケンス>
図6は、本実施の形態のトランスコーダ1の処理シーケンスを示す図である。図中、1段目は、MPEG2デコーダ2により実行されるMPEG2ストリーム101の復号処理シーケンスを示す。図中、2段目は、強度判定回路3により実行されるフィルタ強度パラメータ104の算出処理シーケンスを示す。図中、3段目は、H.264エンコーダ4により実行されるH.264ストリーム105の符号化処理シーケンスを示す。
まず、ステップS110において、Iピクチャ(I0)についてMPEG2デコーダ2において復号処理が行われる。続いて、ステップS120において、Iピクチャ(I0)の画像特徴量パラメータ103に基づき、強度判定回路3がフィルタ強度パラメータ104を算出する。続いて、ステップS230において、H.264エンコーダ4においてIピクチャ(I0)に対する符号化処理が実行される。
また、ステップS230に平行して、MPEG2デコーダ2におけるPピクチャ(P1)の復号処理が行われる(ステップS210)。さらに、ステップS230に平行して強度判定回路3によるPピクチャ(P1)に対するフィルタ強度パラメータ104の算出処理が行われる(ステップS220)。
このように、本実施の形態に係るトランスコーダ1は、強度判定回路3とH.264エンコーダ4とを別の回路ブロックで構成したので、H.264エンコーダ4において符号化処理を実行している間に、次のピクチャに対するフィルタ強度パラメータ104の算出処理を平行して実行することができる。
続いて、ステップS330において、H.264エンコーダ4においてPピクチャ(P1)に対する符号化処理が実行される。また、ステップS330に平行して、MPEG2デコーダ2におけるBピクチャ(B2)の復号処理が行われる(ステップS310)。さらに、ステップS330に平行して強度判定回路3によるBピクチャ(B2)に対するフィルタ強度パラメータ104の算出処理が行われる(ステップS320)。このように、Pピクチャの符号化処理と平行してBピクチャからフィルタ強度パラメータ104を算出することができる。
この後も、同様に、ステップS430においてBピクチャ(B2)を符号化処理する間に、ステップS410、S420を実行し、Bピクチャ(B3)からフィルタ強度パラメータ104を算出することができる。
さらに、ステップS530、S630、S730において、Bピクチャ(B3)、Pピクチャ(P4)、Bピクチャ(B5)を符号化している間に、ステップS520、S620、S720において、Pピクチャ(P4)、Bピクチャ(B5)、Bピクチャ(B6)からフィルタ強度パラメータ104を算出することができる。
以上、説明したように、本実施の形態のトランスコーダ1は、フィルタ強度パラメータ104を算出する強度判定回路3とH.264エンコーダ4とを別の回路ブロックとして構成したので、フィルタ強度パラメータ104の算出処理とH.264ストリーム105の符号化処理を平行してパイプライン処理することが可能であり、処理速度を向上させることが可能である。つまり、予め1ピクチャ分の画像特徴量パラメータ103からフィルタ強度パラメータ104を決定した上で符号化処理を開始するので、符号化処理の処理手順が簡素化され、処理速度を向上させることができる。
また、フィルタ強度パラメータ104として利用するデブロッキングフィルタ評価値dbf_valueは、符号化対象のピクチャから算出した評価値と、前回符号化されたピクチャから算出した評価値とを重み付け加算することで補正される。これにより、画像特徴量パラメータ103の大幅な変化に追従して急激にフィルタ強度が変化することを防止できる。また、フィルタ強度がピクチャ間でばらつくことにより画質が劣化することを防止でき、よりなめらかな動画像を得ることができる。
<変形例>
上記実施の形態においては、MPEG2ストリームをH.264ストリームに変換するトランスコーダを例に説明した。たとえば、本発明をH.264トランスレータに適用させることもできる。この場合、入力ストリームのフィルタ強度パラメータをそのままエンコーダで使用することもできるが、入力ストリームから取得した強度パラメータと、本発明の方法により求めたフィルタ強度とを総合評価して最適化した強度パラメータを決定するようにしてもよい。
また、上記の実施の形態においては、MPEG2符号化方式をH.264符号化方式に変換する場合を例に説明したが、これは本発明の適用例の一つである。たとえば、デコーダが、MPEG2以外の符号化ストリームをデコードする場合や、エンコーダが、MPEG4やVC−1(Video Codec 1)等の符号化ストリームにエンコードする場合にも適用できる。
また、入力ストリームが1ピクチャ複数スライス構成である場合には、ピクチャ内の各スライスのフィルタ強度の平均値を求め、当該ピクチャのフィルタ強度のベースとして利用すればよい。
1 トランスコーダ
2 MPEG2デコーダ
3 強度判定回路
4 H.264エンコーダ
101 MPEG2ストリーム
102 復号画像
103 画像特徴量パラメータ
104 フィルタ強度パラメータ
105 H.264ストリーム

Claims (4)

  1. 入力画像の画像特徴量からフィルタ強度を算出する強度判定回路と、
    前記入力画像を符号化処理し、符号化ストリームを出力する符号化回路と、
    を備え、
    前記符号化回路は、
    符号化処理過程において生成される画像に、前記フィルタ強度に基づいてデブロッキングフィルタ処理を施すフィルタ部、
    を含み、
    前記強度判定回路における前記フィルタ強度の算出処理と前記符号化回路における符号化処理とが並列的に実行されることを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記フィルタ部は、
    カレントピクチャについて算出された前記フィルタ強度と、過去のピクチャについて算出された前記フィルタ強度とを入力パラメータとする演算式を用いることで、カレントピクチャに適用させる前記フィルタ強度を補正するフィルタ強度補正部、
    を含むことを特徴とする画像処理装置。
  3. 入力した第1符号化ストリームを復号し、復号画像を出力する復号回路と、
    前記復号画像の画像特徴量からフィルタ強度を算出する強度判定回路と、
    前記復号画像を符号化処理し、第2符号化ストリームを出力する符号化回路と、
    を備え、
    前記符号化回路は、
    符号化処理過程において生成される画像に、前記フィルタ強度に基づいてデブロッキングフィルタ処理を施すフィルタ部、
    を含み、
    前記強度判定回路における前記フィルタ強度の算出処理と前記符号化回路における符号化処理とが並列的に実行されることを特徴とする画像変換装置。
  4. 請求項3に記載の画像変換装置において、
    前記フィルタ部は、
    カレントピクチャについて算出された前記フィルタ強度と、過去のピクチャについて算出された前記フィルタ強度とを入力パラメータとする演算式を用いることで、カレントピクチャに適用させる前記フィルタ強度を補正するフィルタ強度補正部、
    を含むことを特徴とする画像変換装置。
JP2009009473A 2009-01-20 2009-01-20 画像処理装置および画像変換装置 Active JP5435452B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009009473A JP5435452B2 (ja) 2009-01-20 2009-01-20 画像処理装置および画像変換装置
US13/142,340 US8818123B2 (en) 2009-01-20 2009-03-24 Image processing apparatus and image conversion apparatus
PCT/JP2009/055830 WO2010084628A1 (ja) 2009-01-20 2009-03-24 画像処理装置および画像変換装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009009473A JP5435452B2 (ja) 2009-01-20 2009-01-20 画像処理装置および画像変換装置

Publications (2)

Publication Number Publication Date
JP2010171476A true JP2010171476A (ja) 2010-08-05
JP5435452B2 JP5435452B2 (ja) 2014-03-05

Family

ID=42355700

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009009473A Active JP5435452B2 (ja) 2009-01-20 2009-01-20 画像処理装置および画像変換装置

Country Status (3)

Country Link
US (1) US8818123B2 (ja)
JP (1) JP5435452B2 (ja)
WO (1) WO2010084628A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3529986A1 (en) * 2016-12-23 2019-08-28 Huawei Technologies Co., Ltd. Low complexity mixed domain collaborative in-loop filter for lossy video coding
CN113573070A (zh) * 2021-06-03 2021-10-29 浙江大华技术股份有限公司 一种图像编码方法及装置、计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001245293A (ja) * 2000-02-29 2001-09-07 Matsushita Electric Ind Co Ltd 動画像データ符号化装置、動画像データ符号化方法および符号化画像データファイルを格納した記録媒体
JP2004343451A (ja) * 2003-05-15 2004-12-02 Matsushita Electric Ind Co Ltd 動画像復号化方法および動画像復号化装置
JP2005070938A (ja) * 2003-08-21 2005-03-17 Matsushita Electric Ind Co Ltd 信号処理装置及びそれを用いた電子機器
JP2008205534A (ja) * 2007-02-16 2008-09-04 Matsushita Electric Ind Co Ltd 符号化方式変換装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6483851B1 (en) * 1998-11-13 2002-11-19 Tektronix, Inc. System for network transcoding of multimedia data flow
US7116372B2 (en) * 2000-10-20 2006-10-03 Matsushita Electric Industrial Co., Ltd. Method and apparatus for deinterlacing
US7054500B1 (en) * 2000-12-06 2006-05-30 Realnetworks, Inc. Video compression and decompression system with postfilter to filter coding artifacts
US6983079B2 (en) * 2001-09-20 2006-01-03 Seiko Epson Corporation Reducing blocking and ringing artifacts in low-bit-rate coding
US7319415B2 (en) * 2002-05-01 2008-01-15 Thomson Licensing Chroma deblocking filter
AU2003237279A1 (en) * 2002-05-29 2003-12-19 Pixonics, Inc. Classifying image areas of a video signal
KR100614647B1 (ko) * 2004-07-02 2006-08-22 삼성전자주식회사 디블록킹 필터에서의 효과적인 에지 필터링 연산을 위한레지스터 어레이 구조
WO2007081908A1 (en) * 2006-01-09 2007-07-19 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multi-view video coding
KR100757734B1 (ko) * 2006-03-15 2007-09-11 삼성전자주식회사 비디오 영상 후처리 장치 및 방법
JP4747975B2 (ja) * 2006-07-14 2011-08-17 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
US20080101469A1 (en) * 2006-10-31 2008-05-01 Motorola, Inc. Method and apparatus for adaptive noise filtering of pixel data
JP2008263529A (ja) * 2007-04-13 2008-10-30 Sony Corp 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
US20090304085A1 (en) * 2008-06-04 2009-12-10 Novafora, Inc. Adaptive Deblocking Complexity Control Apparatus and Method
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001245293A (ja) * 2000-02-29 2001-09-07 Matsushita Electric Ind Co Ltd 動画像データ符号化装置、動画像データ符号化方法および符号化画像データファイルを格納した記録媒体
JP2004343451A (ja) * 2003-05-15 2004-12-02 Matsushita Electric Ind Co Ltd 動画像復号化方法および動画像復号化装置
JP2005070938A (ja) * 2003-08-21 2005-03-17 Matsushita Electric Ind Co Ltd 信号処理装置及びそれを用いた電子機器
JP2008205534A (ja) * 2007-02-16 2008-09-04 Matsushita Electric Ind Co Ltd 符号化方式変換装置

Also Published As

Publication number Publication date
JP5435452B2 (ja) 2014-03-05
US20110268366A1 (en) 2011-11-03
US8818123B2 (en) 2014-08-26
WO2010084628A1 (ja) 2010-07-29

Similar Documents

Publication Publication Date Title
US10171824B2 (en) System and method for adaptive frame re-compression in video processing system
JP2022043032A (ja) 映像復号化方法、映像符号化方法およびビットストリーム送信方法
JP6095721B2 (ja) 符号化データ
JP6701391B2 (ja) 改良情報を用いてダウンサンプリング/アップサンプリングすることによるデジタルフレームの符号化/復号化
US9716895B2 (en) Image coding apparatus, method for coding image, program therefor, image decoding apparatus, method for decoding image, and program therefor
JP4529919B2 (ja) 適応量子化装置及び適応量子化プログラム
EP4075802B1 (en) Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
JP5916624B2 (ja) マルチ−レイヤ化されたビデオシステムのための複雑度を適応的にするスケーラブル復号及びストリーミング
JP2008219876A (ja) 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置
JP5137687B2 (ja) 復号装置及び復号方法、プログラム
JP2007221697A (ja) 画像復号化装置及び画像復号化方法
JP2003348597A (ja) 画像符号化装置および画像符号化方法
JP5435452B2 (ja) 画像処理装置および画像変換装置
JP2007180767A (ja) 情報処理装置
JP4357560B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2009231905A (ja) トランスコーダ
JP2009290765A (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラムを記憶した記憶媒体
JP2008271068A (ja) 動画像符号化方法,動画像並列符号化用符号化器,動画像並列符号化方法,動画像並列符号化装置,それらのプログラム,およびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
US9219926B2 (en) Image encoding apparatus, image encoding method and program, image decoding apparatus, image decoding method and program
JP2005303362A (ja) 画像符号化装置及びプログラム
JP2011193391A (ja) 画像処理装置及び画像処理方法
JP2011035807A (ja) 動画像符号化方法及び動画像符号化装置
WO2020044985A1 (ja) 画像復号装置、画像符号化装置、画像処理システム及びプログラム
JP2015019319A (ja) 符号化装置、符号化方法及びプログラム
JP2009147751A (ja) 画像処理装置、およびそれを搭載した撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131203

R150 Certificate of patent or registration of utility model

Ref document number: 5435452

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250