JP2012195815A - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP2012195815A JP2012195815A JP2011058984A JP2011058984A JP2012195815A JP 2012195815 A JP2012195815 A JP 2012195815A JP 2011058984 A JP2011058984 A JP 2011058984A JP 2011058984 A JP2011058984 A JP 2011058984A JP 2012195815 A JP2012195815 A JP 2012195815A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- boundary
- block
- deblocking filter
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method.
映像符号化方式の標準仕様の1つであるH.264/AVCでは、画像の符号化の際に生じるブロック歪みに起因する画質の劣化を抑制するために、例えば4×4画素のブロックごとに、ブロック境界に適応的にデブロックフィルタが適用される。デブロックフィルタの適応的な適用とは、ブロック歪みが生じているブロック境界を判定し、ブロック歪みが生じているブロック境界にのみデブロックフィルタを適用することをいう。それにより、ブロック歪みが生じていないブロック境界にまでデブロックフィルタが適用されることで却って画像の解像度が低下して画質が損なわれるという副次的な影響が避けられる。 H. is one of the standard specifications of the video coding system. In H.264 / AVC, a deblocking filter is adaptively applied to the block boundary for each block of 4 × 4 pixels, for example, in order to suppress deterioration in image quality due to block distortion that occurs during image coding. . The adaptive application of the deblocking filter means that a block boundary where block distortion occurs is determined and the deblocking filter is applied only to the block boundary where block distortion occurs. As a result, the deblocking filter is applied to the block boundary where no block distortion has occurred, thereby avoiding the secondary effect that the image resolution is lowered and the image quality is impaired.
次世代の映像符号化方式であるHEVC(High Efficiency Video Coding)の標準化作業では、JCTVC−A119(下記非特許文献1参照)において、8×8画素以上のサイズのブロックのブロック境界ごとにデブロックフィルタを適用することが提案されている。 In the standardization work of HEVC (High Efficiency Video Coding) which is a next-generation video coding method, JCTVC-A119 (see Non-Patent Document 1 below) deblocks each block boundary of a block having a size of 8 × 8 pixels or more. It has been proposed to apply a filter.
デブロックフィルタによる画質の改善の効果は、ブロック境界ごとのデブロックフィルタを適用するか否かの判定の正確さに依存する。この判定が正確でなければ、ブロック歪みが生じているブロック境界にデブロックフィルタが適用されない可能性、及びブロック歪みが生じていないブロック境界にまでデブロックフィルタが適用される可能性が高まる。一例として、既存の手法では、1つのブロック内に互いに異なる複数のテクスチャ領域が含まれていると、上述した判定を適切に行うことのできない場合があった。 The effect of improving the image quality by the deblocking filter depends on the accuracy of the determination as to whether to apply the deblocking filter for each block boundary. If this determination is not accurate, the possibility that the deblocking filter is not applied to the block boundary where the block distortion occurs and the possibility that the deblocking filter is applied to the block boundary where no block distortion occurs are increased. As an example, in the existing method, when a plurality of different texture regions are included in one block, the above-described determination may not be performed appropriately.
そこで、本発明は、ブロック境界ごとのデブロックフィルタの適用の判定をより適切に行うことのできる、画像処理装置及び画像処理方法を提供しようとするものである。 Therefore, the present invention is intended to provide an image processing apparatus and an image processing method that can more appropriately determine whether to apply a deblocking filter for each block boundary.
本発明のある実施形態によれば、ブロックごとに復号される画像内のブロック境界に交差する領域境界の位置を検出する検出部と、上記検出部により検出される上記領域境界の位置に応じて、デブロックフィルタを適用するかの判定の際に参照される参照ラインを選択する選択部と、上記選択部により選択される上記参照ラインに属する画素値を用いて、上記ブロック境界にデブロックフィルタを適用するかを判定する判定部と、上記判定部によりデブロックフィルタを適用すると判定されたブロック境界にデブロックフィルタを適用するフィルタリング部と、を備える画像処理装置が提供される。 According to an embodiment of the present invention, a detection unit that detects a position of a region boundary that intersects a block boundary in an image that is decoded for each block, and a position of the region boundary that is detected by the detection unit A selection unit that selects a reference line to be referred to when determining whether to apply a deblocking filter, and a pixel value belonging to the reference line selected by the selection unit, and a deblocking filter at the block boundary There is provided an image processing apparatus comprising: a determination unit that determines whether to apply a deblocking filter; and a filtering unit that applies a deblocking filter to a block boundary determined to apply a deblocking filter by the determination unit.
上記画像処理装置は、典型的には、画像を復号する画像復号装置として実現され得る。 The image processing apparatus can typically be realized as an image decoding apparatus that decodes an image.
また、上記選択部は、上記領域境界により区分される第1の領域に属する1つのラインと第2の領域に属する1つのラインとを上記参照ラインとして選択してもよい。 The selection unit may select, as the reference line, one line belonging to the first area and one line belonging to the second area divided by the area boundary.
また、上記選択部は、各領域に属するラインのうち上記領域境界と上記ブロック境界との交点に最も近いラインを上記参照ラインとして選択してもよい。 The selection unit may select a line closest to the intersection of the region boundary and the block boundary among the lines belonging to each region as the reference line.
また、上記選択部は、各領域内での上記ブロック境界の略中央部を通るラインを上記参照ラインとして選択してもよい。 Further, the selection unit may select a line passing through a substantially central part of the block boundary in each region as the reference line.
また、上記検出部は、上記ブロック境界に沿って隣接する画素間の画素値の差分が最も大きくなる位置を、上記領域境界の位置として検出してもよい。 In addition, the detection unit may detect a position where a difference in pixel values between adjacent pixels along the block boundary becomes the largest as the position of the region boundary.
また、上記検出部は、上記差分の最大値が閾値を下回る場合には、上記領域境界が存在しないと判定してもよい。 Further, the detection unit may determine that the region boundary does not exist when the maximum value of the difference is below a threshold value.
また、上記閾値は、量子化スケールが大きいほどより大きく設定されてもよい。 The threshold may be set larger as the quantization scale is larger.
また、本発明の別の実施形態によれば、ブロックごとに復号される画像内のブロック境界に交差する領域境界の位置を検出するステップと、検出される上記領域境界の位置に応じて、デブロックフィルタを適用するかの判定の際に参照される参照ラインを選択するステップと、選択される上記参照ラインに属する画素値を用いて、上記ブロック境界にデブロックフィルタを適用するかを判定するステップと、デブロックフィルタを適用すると判定されたブロック境界にデブロックフィルタを適用するステップと、を含む画像処理方法が提供される。 According to another embodiment of the present invention, a step of detecting a position of a region boundary that intersects a block boundary in an image decoded for each block, and a position corresponding to the detected position of the region boundary. A step of selecting a reference line to be referred to when determining whether to apply a block filter and a pixel value belonging to the selected reference line are used to determine whether to apply a deblocking filter to the block boundary. There is provided an image processing method including a step and a step of applying a deblocking filter to a block boundary determined to apply the deblocking filter.
また、本発明の別の実施形態によれば、ブロックごとに符号化される画像内のブロック境界に交差する領域境界の位置を検出する検出部と、上記検出部により検出される上記領域境界の位置に応じて、デブロックフィルタを適用するかの判定の際に参照される参照ラインを選択する選択部と、上記選択部により選択される上記参照ラインに属する画素値を用いて、上記ブロック境界にデブロックフィルタを適用するかを判定する判定部と、上記判定部によりデブロックフィルタを適用すると判定されたブロック境界にデブロックフィルタを適用するフィルタリング部と、を備える画像処理装置が提供される。 According to another embodiment of the present invention, a detection unit that detects a position of a region boundary that intersects a block boundary in an image encoded for each block, and the region boundary detected by the detection unit. The block boundary using a selection unit that selects a reference line that is referred to when determining whether to apply a deblocking filter according to the position, and a pixel value that belongs to the reference line that is selected by the selection unit There is provided an image processing apparatus comprising: a determination unit that determines whether to apply a deblocking filter; and a filtering unit that applies the deblocking filter to a block boundary determined to be applied by the determination unit. .
上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。 The image processing apparatus can typically be realized as an image encoding apparatus that encodes an image.
また、本発明の別の実施形態によれば、ブロックごとに符号化される画像内のブロック境界に交差する領域境界の位置を検出するステップと、検出される上記領域境界の位置に応じて、デブロックフィルタを適用するかの判定の際に参照される参照ラインを選択するステップと、選択される上記参照ラインに属する画素値を用いて、上記ブロック境界にデブロックフィルタを適用するかを判定するステップと、デブロックフィルタを適用すると判定されたブロック境界にデブロックフィルタを適用するステップと、を含む画像処理方法が提供される。 Further, according to another embodiment of the present invention, according to the step of detecting the position of the region boundary intersecting the block boundary in the image encoded for each block, and the position of the detected region boundary, A step of selecting a reference line to be referred to when determining whether to apply a deblocking filter and a pixel value belonging to the selected reference line to determine whether to apply a deblocking filter to the block boundary And applying a deblocking filter to a block boundary determined to apply the deblocking filter is provided.
以上説明したように、本発明に係る画像処理装置及び画像処理方法によれば、ブロック境界ごとのデブロックフィルタの適用の判定をより適切に行うことができる。 As described above, according to the image processing apparatus and the image processing method according to the present invention, it is possible to more appropriately determine whether to apply a deblocking filter for each block boundary.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
1.装置の概要
1−1.画像符号化装置
1−2.画像復号装置
2.既存の手法の説明
2−1.デブロックフィルタの基本的な構成
2−2.領域境界の影響
3.一実施形態に係るデブロックフィルタの構成
4.一実施形態に係る処理の流れ
5.応用例
6.まとめ
Further, the “DETAILED DESCRIPTION OF THE INVENTION” will be described in the following order.
1. 1. Outline of apparatus 1-1. Image encoding device 1-2. 1.
<1.装置の概要>
まず、図1及び図2を用いて、本明細書で開示する技術を適用可能な一例としての装置の概要を説明する。本明細書で開示する技術は、例えば、画像符号化装置及び画像復号装置に適用可能である。
<1. Outline of equipment>
First, an outline of an apparatus as an example to which the technology disclosed in this specification can be applied will be described with reference to FIGS. 1 and 2. The technology disclosed in this specification is applicable to, for example, an image encoding device and an image decoding device.
[1−1.画像符号化装置]
図1は、本発明の一実施形態に係る画像符号化装置10の構成の一例を示すブロック図である。図1を参照すると、画像符号化装置10は、A/D(Analogue to Digital)変換部11、並べ替えバッファ12、減算部13、直交変換部14、量子化部15、可逆符号化部16、蓄積バッファ17、レート制御部18、逆量子化部21、逆直交変換部22、加算部23、デブロックフィルタ24a、フレームメモリ25、セレクタ26、イントラ予測部30、動き探索部40、及びモード選択部50を備える。
[1-1. Image coding apparatus]
FIG. 1 is a block diagram showing an example of the configuration of an
A/D変換部11は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並べ替えバッファ12へ出力する。
The A /
並べ替えバッファ12は、A/D変換部11から入力される一連の画像データに含まれる画像を並べ替える。並べ替えバッファ12は、符号化処理に係るGOP(Group of Pictures)構造に応じて画像を並べ替えた後、並べ替え後の画像データを減算部13、イントラ予測部30及び動き探索部40へ出力する。
The
減算部13には、並べ替えバッファ12から入力される画像データ、及び後に説明するモード選択部50により選択される予測画像データが供給される。減算部13は、並べ替えバッファ12から入力される画像データとモード選択部50から入力される予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部14へ出力する。
The
直交変換部14は、減算部13から入力される予測誤差データについて直交変換を行う。直交変換部14により実行される直交変換は、例えば、離散コサイン変換(Discrete Cosine Transform:DCT)又はカルーネン・レーベ変換などであってよい。直交変換部14は、直交変換処理により取得される変換係数データを量子化部15へ出力する。
The
量子化部15には、直交変換部14から入力される変換係数データ、及び後に説明するレート制御部18からのレート制御信号が供給される。量子化部15は、変換係数データを量子化し、量子化後の変換係数データ(以下、量子化データという)を可逆符号化部16及び逆量子化部21へ出力する。また、量子化部15は、レート制御部18からのレート制御信号に基づいて量子化パラメータ(量子化スケール)を切替えることにより、可逆符号化部16に入力される量子化データのビットレートを変化させる。
The
可逆符号化部16には、量子化部15から入力される量子化データ、及び、後に説明するイントラ予測部30又は動き探索部40により生成されモード選択部50により選択されるイントラ予測又はインター予測に関する情報が供給される。イントラ予測に関する情報は、例えば、ブロックごとの最適なイントラ予測モードを示す予測モード情報を含み得る。また、インター予測に関する情報は、例えば、ブロックごとの動きベクトルの予測のための予測モード情報、差分動きベクトル情報、及び参照画像情報などを含み得る。
The
可逆符号化部16は、量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部16による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部16は、上述したイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ(例えばブロックヘッダ又はスライスヘッダなど)内に多重化する。そして、可逆符号化部16は、生成した符号化ストリームを蓄積バッファ17へ出力する。
The
蓄積バッファ17は、可逆符号化部16から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ17は、蓄積した符号化ストリームを、伝送路(又は画像符号化装置10からの出力線)の帯域に応じたレートで出力する。
The
レート制御部18は、蓄積バッファ17の空き容量を監視する。そして、レート制御部18は、蓄積バッファ17の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部15へ出力する。例えば、レート制御部18は、蓄積バッファ17の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部18は、蓄積バッファ17の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
The
逆量子化部21は、量子化部15から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部21は、逆量子化処理により取得される変換係数データを、逆直交変換部22へ出力する。
The
逆直交変換部22は、逆量子化部21から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部22は、復元した予測誤差データを加算部23へ出力する。
The inverse
加算部23は、逆直交変換部22から入力される復元された予測誤差データとモード選択部50から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部23は、生成した復号画像データをデブロックフィルタ24a及びフレームメモリ25へ出力する。
The adding
デブロックフィルタ24aは、画像の符号化の際に生じるブロック歪みを減少させるためのフィルタリング処理を行う。例えば、デブロックフィルタ24aは、加算部23から入力される復号画像データについてブロック境界ごとにフィルタリングの要否を判定し、フィルタを適用すべきであると判定したブロック境界にデブロックフィルタを適用する。デブロックフィルタ24aには、加算部23からの復号画像データに加えて、フィルタリングの要否の判定のために使用される情報(例えば、モード情報、変換係数情報及び動きベクトル情報)も入力される。そして、デブロックフィルタ24aは、ブロック歪みの除去されたフィルタリング後の復号画像データをフレームメモリ25へ出力する。なお、デブロックフィルタ24aによる処理について、後に詳細に説明する。
The
フレームメモリ25は、加算部23から入力される復号画像データ、及びデブロックフィルタ24aから入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
The
セレクタ26は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ25から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部30に供給する。また、セレクタ26は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ25から読み出し、読み出した復号画像データを参照画像データとして動き探索部40に供給する。
The
イントラ予測部30は、並べ替えバッファ12から入力される符号化対象の画像データ、及びセレクタ26を介して供給される復号画像データに基づいて、各イントラ予測モードのイントラ予測処理を行う。例えば、イントラ予測部30は、各イントラ予測モードによる予測結果を所定のコスト関数を用いて評価する。そして、イントラ予測部30は、コスト関数値が最小となるイントラ予測モード、即ち圧縮率が最も高くなるイントラ予測モードを、最適なイントラ予測モードとして選択する。さらに、イントラ予測部30は、当該最適なイントラ予測モードを示す予測モード情報、予測画像データ、及びコスト関数値などのイントラ予測に関する情報を、モード選択部50へ出力する。
The
動き探索部40は、並べ替えバッファ12から入力される符号化対象の画像データ、及びセレクタ26を介して供給される復号画像データに基づいて、インター予測処理(フレーム間予測処理)を行う。例えば、動き探索部40は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部40は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部40は、当該最適な予測モードに従って予測画像データを生成する。そして、動き探索部40は、選択した最適な予測モードを表す予測モード情報、予測画像データ、及びコスト関数値などのインター予測に関する情報を、モード選択部50へ出力する。
The
モード選択部50は、イントラ予測部30から入力されるイントラ予測に関するコスト関数値と動き探索部40から入力されるインター予測に関するコスト関数値とを比較する。そして、モード選択部50は、イントラ予測及びインター予測のうちコスト関数値がより少ない予測手法を選択する。モード選択部50は、イントラ予測を選択した場合には、イントラ予測に関する情報を可逆符号化部16へ出力すると共に、予測画像データを減算部13及び加算部23へ出力する。また、モード選択部50は、インター予測を選択した場合には、インター予測に関する上述した情報を可逆符号化部16へ出力すると共に、予測画像データを減算部13及び加算部23へ出力する。
The
[1−2.画像復号装置]
図2は、本発明の一実施形態に係る画像復号装置60の構成の一例を示すブロック図である。図2を参照すると、画像復号装置60は、蓄積バッファ61、可逆復号部62、逆量子化部63、逆直交変換部64、加算部65、デブロックフィルタ24b、並べ替えバッファ67、D/A(Digital to Analogue)変換部68、フレームメモリ69、セレクタ70及び71、イントラ予測部80、並びに動き補償部90を備える。
[1-2. Image decoding device]
FIG. 2 is a block diagram showing an example of the configuration of the
蓄積バッファ61は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
The
可逆復号部62は、蓄積バッファ61から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部62は、符号化ストリームのヘッダ領域に多重化されている情報を復号する。符号化ストリームのヘッダ領域に多重化されている情報とは、例えば、ブロックヘッダ内のイントラ予測に関する情報及びインター予測に関する情報を含み得る。可逆復号部62は、イントラ予測に関する情報をイントラ予測部80へ出力する。また、可逆復号部62は、インター予測に関する情報を動き補償部90へ出力する。
The
逆量子化部63は、可逆復号部62による復号後の量子化データを逆量子化する。逆直交変換部64は、符号化の際に使用された直交変換方式に従い、逆量子化部63から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部64は、生成した予測誤差データを加算部65へ出力する。
The
加算部65は、逆直交変換部64から入力される予測誤差データと、セレクタ71から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部65は、生成した復号画像データをデブロックフィルタ24b及びフレームメモリ69へ出力する。
The adding
デブロックフィルタ24bは、復号された画像に現れるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ24bは、例えば、加算部65から入力される復号画像データについてブロック境界ごとにフィルタリングの要否を判定し、フィルタを適用すべきであると判定したブロック境界にデブロックフィルタを適用する。デブロックフィルタ24bには、加算部65からの復号画像データに加えて、フィルタリングの要否の判定のために使用される情報も入力される。そして、デブロックフィルタ24bは、ブロック歪みの除去されたフィルタリング後の復号画像データを並べ替えバッファ67及びフレームメモリ69へ出力する。なお、デブロックフィルタ24bによる処理について、後に詳細に説明する。
The
並べ替えバッファ67は、デブロックフィルタ24bから入力される画像を並べ替えることにより、時系列の一連の画像データを生成する。そして、並べ替えバッファ67は、生成した画像データをD/A変換部68へ出力する。
The
D/A変換部68は、並べ替えバッファ67から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、D/A変換部68は、例えば、画像復号装置60と接続されるディスプレイ(図示せず)にアナログ画像信号を出力することにより、画像を表示させる。
The D /
フレームメモリ69は、加算部65から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ24bから入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
The
セレクタ70は、可逆復号部62により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ70からの画像データの出力先をイントラ予測部80と動き補償部90との間で切り替える。例えば、セレクタ70は、イントラ予測モードが指定された場合には、フレームメモリ70から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部80へ出力する。また、セレクタ70は、インター予測モードが指定された場合には、フレームメモリ70から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部90へ出力する。
The
セレクタ71は、可逆復号部62により取得されるモード情報に応じて、画像内のブロックごとに、加算部65へ供給すべき予測画像データの出力元をイントラ予測部80と動き補償部90との間で切り替える。例えば、セレクタ71は、イントラ予測モードが指定された場合には、イントラ予測部80から出力される予測画像データを加算部65へ供給する。セレクタ71は、インター予測モードが指定された場合には、動き補償部90から出力される予測画像データを加算部65へ供給する。
The
イントラ予測部80は、可逆復号部62から入力されるイントラ予測に関する情報とフレームメモリ69からの参照画像データとに基づいて画素値の画面内予測を行い、予測画像データを生成する。そして、イントラ予測部80は、生成した予測画像データをセレクタ71へ出力する。
The
動き補償部90は、可逆復号部62から入力されるインター予測に関する情報とフレームメモリ69からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部90は、生成した予測画像データをセレクタ71へ出力する。
The
<2.既存の手法の説明>
[2−1.デブロックフィルタの基本的な構成]
一般的に、H.264/AVC又はHEVCなどの既存の映像符号化方式におけるデブロックフィルタによる処理は、フィルタリング要否判定処理及びフィルタリング処理という2種類の処理を含む。以下、HEVCを例にとって、これら2つの処理について説明する。
<2. Explanation of existing methods>
[2-1. Basic configuration of deblocking filter]
In general, H.C. The processing by the deblocking filter in the existing video coding scheme such as H.264 / AVC or HEVC includes two types of processing: filtering necessity determination processing and filtering processing. Hereinafter, these two processes will be described by taking HEVC as an example.
(1)フィルタリング要否判定処理
フィルタリング要否判定処理は、入力画像内のブロック境界ごとにデブロックフィルタを適用すべきか否かを判定する処理である。ブロック境界は、左右に隣接するブロック間の垂直ブロック境界と、上下に隣接するブロック間の水平ブロック境界とを含む。JCTVC−A119では、8×8画素のブロックサイズが最小の処理単位である。例えば、16×16画素のマクロブロック内には4つの8×8画素のブロックが存在し、ブロックごとに1つの(左の)垂直ブロック境界及び1つの(上の)水平ブロック境界、即ち合計で4+4=8個のブロック境界が判定の対象となる。なお、本明細書において、マクロブロックとの用語は、HEVCの文脈における符号化単位(CU:Coding Unit)をも含むものとする。
(1) Filtering Necessity Determination Process The filtering necessity determination process is a process for determining whether or not a deblocking filter should be applied for each block boundary in the input image. The block boundary includes a vertical block boundary between adjacent blocks on the left and right and a horizontal block boundary between adjacent blocks on the upper and lower sides. In JCTVC-A119, the block size of 8 × 8 pixels is the smallest processing unit. For example, in a 16 × 16 pixel macroblock there are four 8 × 8 pixel blocks, one (left) vertical block boundary and one (top) horizontal block boundary per block, ie in total 4 + 4 = 8 block boundaries are to be determined. In this specification, the term “macroblock” includes a coding unit (CU) in the context of HEVC.
図3は、ブロック境界を挟んで隣接する2つのブロックBa及びBb内の画素の一例を示す説明図である。ここでは垂直ブロック境界を例にとって説明するが、当然ながら、ここで説明される事項は水平ブロック境界にも同等に適用可能である。図3の例において、ブロックBa内の画素は、pijという記号で示されている。iは列のインデックス、jは行のインデックスである。列のインデックスiは、垂直ブロック境界に近い列から順に(右から左へ)0,1,2,3と付番されている。行のインデックスjは、上から下へ0,1,2,…,7と付番されている。なお、ブロックBaの左半分は図中で省略されている。一方、ブロックBb内の画素は、qkjという記号で示されている。kは列のインデックス、jは行のインデックスである。列のインデックスkは、垂直ブロック境界に近い列から順に(左から右へ)0,1,2,3と付番されている。なお、ブロックBbの右半分もまた図中で省略されている。 FIG. 3 is an explanatory diagram illustrating an example of pixels in two blocks Ba and Bb adjacent to each other with a block boundary interposed therebetween. Here, a vertical block boundary will be described as an example, but it should be understood that the items described here are equally applicable to a horizontal block boundary. In the example of FIG. 3, the pixels in the block Ba are indicated by the symbol p ij . i is a column index and j is a row index. The column index i is numbered 0, 1, 2, 3 in order from the column closest to the vertical block boundary (from right to left). The row index j is numbered 0, 1, 2,..., 7 from top to bottom. Note that the left half of the block Ba is omitted in the figure. On the other hand, the pixels in the block Bb are indicated by the symbol q kj . k is a column index and j is a row index. The column index k is numbered 0, 1, 2, 3 in order from the column closest to the vertical block boundary (from left to right). The right half of the block Bb is also omitted in the drawing.
図3に示したブロックBa及びBbの間のブロック境界について、デブロックフィルタを適用すべきか否かは、次のような条件に従って判定され得る: Whether the deblocking filter should be applied to the block boundary between the blocks Ba and Bb shown in FIG. 3 can be determined according to the following conditions:
・輝度成分(Luma)の判定条件・・・条件A及び条件Bがいずれも真なら適用
−条件A:
(A1)ブロックBa若しくはBbがイントラ予測モードである;
(A2)ブロックBa若しくはBbが非ゼロの直交変換係数を有する;又は
(A3)|MVAx−MVBx|≧4若しくは|MVAy−MVBy|≧4
−条件B:
|p22−2p12+p02|+|q22−2q12+q02|+|p25−2p15+p05|+|q25−2q15+q05|<β
-Luminance component (Luma) judgment condition: Applicable if both condition A and condition B are true-Condition A:
(A1) Block Ba or Bb is the intra prediction mode;
(A2) Block Ba or Bb has a non-zero orthogonal transform coefficient; or (A3) | MVAx−MVBx | ≧ 4 or | MVAy−MVBy | ≧ 4
-Condition B:
| P 22 −2p 12 + p 02 | + | q 22 −2q 12 + q 02 | + | p 25 −2p 15 + p 05 | + | q 25 −2q 15 + q 05 | <β
なお、条件A3に関し、Qpel(1/4画素)精度のブロックBaの動きベクトルを(MVAx,MVAy)、ブロックBbの動きベクトルを(MVBx,MVBy)とする。また、条件Bにおけるβは、エッジ判定閾値である。βの初期値は量子化パラメータに応じて与えられる。また、βの値は、スライスヘッダ内のパラメータでユーザにより指定可能である。 Regarding the condition A3, the motion vector of the block Ba with Qpel (1/4 pixel) accuracy is (MVAx, MVAy), and the motion vector of the block Bb is (MVBx, MVBy). Further, β in the condition B is an edge determination threshold value. The initial value of β is given according to the quantization parameter. Also, the value of β can be specified by the user with a parameter in the slice header.
・色差成分(Chroma)の判定条件・・・条件A1が真なら適用
−条件A1:ブロックBa又はBbがイントラ予測モードである
-Color difference component (Chroma) determination condition: Applicable if condition A1 is true-Condition A1: Block Ba or Bb is the intra prediction mode
即ち、図4において点線枠L2及びL5で示しているように、一般的なブロック境界についてのフィルタリング要否判定処理(特に、輝度成分の判定条件Bの判定)では、各ブロックの2番目及び5番目のライン上の画素が参照される。そして、上述した判定条件に従ってデブロックフィルタを適用すべきと判定されたブロック境界に直交する各ラインに、次に説明するフィルタリング処理が行われる。 That is, as indicated by dotted line frames L2 and L5 in FIG. 4, in the filtering necessity determination process (particularly, determination of the luminance component determination condition B) for the general block boundary, the second and fifth of each block The pixel on the th line is referenced. Then, the filtering process described below is performed on each line orthogonal to the block boundary for which it is determined that the deblocking filter should be applied in accordance with the determination condition described above.
なお、本明細書では、ブロック境界に直交する行又は列を「ライン」という。即ち、垂直ブロック境界に直交するラインは行であり、水平ブロック境界に直交するラインは列である。また、ラインのインデックスを、垂直ブロック境界の上端又は水平ブロック境界の左端から順にゼロ番目からカウントするものとする。 In this specification, a row or a column orthogonal to a block boundary is referred to as a “line”. That is, a line orthogonal to the vertical block boundary is a row, and a line orthogonal to the horizontal block boundary is a column. The line index is counted from the zeroth in order from the upper end of the vertical block boundary or the left end of the horizontal block boundary.
(2)フィルタリング処理
あるブロック境界についてデブロックフィルタを適用すべきと判定されると、垂直ブロック境界については当該境界の左右の画素、水平ブロック境界については当該境界の上下の画素に、フィルタリング処理が行われる。輝度成分については、画素値に応じてフィルタ強度が強(strong)フィルタと弱(weak)フィルタとの間で切り替えられ得る。
(2) Filtering processing When it is determined that the deblocking filter should be applied to a certain block boundary, the filtering processing is performed on the pixels on the left and right of the boundary for the vertical block boundary, Done. For the luminance component, the filter strength can be switched between a strong filter and a weak filter in accordance with the pixel value.
・輝度成分のフィルタリング
−強度選択・・・1行ごと(又は1列ごと)にフィルタ強度を選択。以下の条件C1〜C3が全て満たされる場合には強フィルタ、いずれか1つでも満たされない場合には弱フィルタが選択される:
(C1)d<(β>>2)
(C2)(|p3j−p0j|+|q0j−q3j|)<(β>>3)
(C3)|p0j−q0j|<((5tC+1)>>1)
ここで、jは、ブロック境界のラインのインデックスである。また、d=|p22−2p12+p02|+|q22−2q12+q02|+|p25−2p15+p05|+|q25−2q15+q05|である。
-Luminance component filtering-Strength selection: Filter strength is selected for each row (or for each column). A strong filter is selected when all of the following conditions C1 to C3 are satisfied, and a weak filter is selected when any one of them is not satisfied:
(C1) d <(β >> 2)
(C2) (| p 3j −p 0j | + | q 0j −q 3j |) <(β >> 3)
(C3) | p 0j −q 0j | <((5t C +1) >> 1)
Here, j is an index of a line at the block boundary. Further, d = | p 22 -2p 12 + p 02 | + | q 22 -
−弱フィルタリング:
Δ=Clip(−tC,tC,(13(q0j−p0j)+4(q1j−p1j)−5(q2j−p2j)+16)>>5))
p0j=Clip0−255(p0j+Δ)
q0j=Clip0−255(q0j−Δ)
p1j=Clip0−255(p1j+Δ/2)
q1j=Clip0−255(q1j−Δ/2)
-Weak filtering:
Δ = Clip (−t C , t C , (13 (q 0j −p 0j ) +4 (q 1j −p 1j ) −5 (q 2j −p 2j ) +16) >> 5))
p 0j = Clip 0-255 (p 0j + Δ)
q 0j = Clip 0-255 (q 0j −Δ)
p 1j = Clip 0-255 (p 1j + Δ / 2)
q 1j = Clip 0-255 (q 1j −Δ / 2)
−強フィルタリング:
p0j=Clip0−255((p2j+2p1j+2p0j+2q0j+q1j+4)>>3)
q0j=Clip0−255((p1j+2p0j+2q0j+2q1j+q2j+4)>>3)
p1j=Clip0−255((p2j+p1j+p0j+q0j+2)>>2)
q1j=Clip0−255((p0j+q0j+q1j+q2j+2)>>2)
p2j=Clip0−255((2p3j+3p2j+p1j+p0j+q0j+4)>>3)
q2j=Clip0−255((p0j+q0j+q1j+3q2j+2q3j+4)>>3)
-Strong filtering:
p 0j = Clip 0-255 ((p 2j + 2p 1j + 2p 0j + 2q 0j + q 1j +4) >> 3)
q 0j = Clip 0-255 ((p 1j + 2p 0j + 2q 0j + 2q 1j + q 2j +4) >> 3)
p 1j = Clip 0-255 ((p 2j + p 1j + p 0j + q 0j +2) >> 2)
q 1j = Clip 0-255 ((p 0j + q 0j + q 1j + q 2j +2) >> 2)
p 2j = Clip 0-255 ((2p 3j + 3p 2j + p 1j + p 0j + q 0j +4) >> 3)
q 2j = Clip 0-255 ((p 0j + q 0j + q 1j + 3q 2j + 2q 3j +4) >> 3)
なお、Clip(a,b,c)は値cをa≦c≦bの範囲でクリップする処理、Clip0−255(c)は値cを0≦c≦255の範囲でクリップする処理をそれぞれ表す。 Clip (a, b, c) is a process of clipping the value c in the range of a ≦ c ≦ b, and Clip 0-255 (c) is a process of clipping the value c in the range of 0 ≦ c ≦ 255, respectively. Represent.
・色差成分のフィルタリング:
Δ=Clip(−tC,tC,((((q0j−p0j)<<2)+p1j−q1j+4)>>3))
p0j=Clip0−255(p0j+Δ)
q0j=Clip0−255(q0j−Δ)
-Color difference component filtering:
Δ = Clip (−t C , t C , ((((q 0j −p 0j ) << 2) + p 1j −q 1j +4) >> 3))
p 0j = Clip 0-255 (p 0j + Δ)
q 0j = Clip 0-255 (q 0j −Δ)
即ち、HEVCでは、上述したようにブロック境界に直交する2つのラインを参照してフィルタリング要否判定処理が行われる一方で、フィルタリング処理は、デブロックフィルタを適用すべきと判定されたブロック境界に直交する全てのライン(0≦j≦7)に行われ得る。 That is, in HEVC, the filtering necessity determination process is performed with reference to two lines orthogonal to the block boundary as described above, while the filtering process is performed on the block boundary determined to be applied with the deblocking filter. It can be performed on all orthogonal lines (0 ≦ j ≦ 7).
[2−2.領域境界の影響]
図5は、上述した既存の手法においてフィルタリング要否判定処理の判定の精度が低下し得る状況について説明するための説明図である。図5の左には、ブロックごとに符号化又は復号される画像Im1が示されている。画像Im1には、自然の風景の中の空、山及び木々が写っている。このような画像Im1のブロックB11とブロックB12との間のブロック境界BB1に着目すると、当該ブロック境界BB1に、空に対応する画像領域R01と山に対応する画像領域R02との間の境界が交差している。この場合、例えば画像領域R01においてブロック歪みが生じていなかったとしても、画像領域R02においてはブロック歪みが生じている可能性がある。同様に、ブロックB21とブロックB22との間のブロック境界BB2に着目すると、当該ブロック境界BB2に、山に対応する画像領域R02と木々に対応する画像領域R03との間の境界が交差している。この場合、例えば画像領域R02においてブロック歪みが生じていたとしても、画像領域R03においてはブロック歪みが生じていない可能性もある。このように、ブロック境界と何らかの画像領域の境界(以下、領域境界という)とが交差している場合、領域境界の一方の側の画像領域に属するラインのみを参照してフィルタリング要否判定処理を行うと、他方の側の画像領域におけるブロック歪みを適切に評価することができない。
[2-2. Influence of region boundary]
FIG. 5 is an explanatory diagram for explaining a situation in which the accuracy of determination in the necessity determination process for filtering may decrease in the existing method described above. The left side of FIG. 5 shows an image Im1 that is encoded or decoded for each block. The image Im1 shows the sky, mountains, and trees in the natural scenery. When attention is paid to the block boundary BB 1 between the block B 11 and the block B 12 of the image Im1, an image region R 01 corresponding to the sky and an image region R 02 corresponding to the mountain are included in the block boundary BB 1. The boundary between is crossed. In this case, for example, even if no block distortion occurs in the image region R 01 , there is a possibility that block distortion occurs in the image region R 02 . Similarly, when focusing on the block boundary BB 2 between the block B 21 and the block B 22, between the block boundaries BB 2, the image region R 02 and the image area R 03 corresponding to the trees corresponding to the mountain The boundaries intersect. In this case, for example, even the block distortion has occurred in the image area R 02, block distortion may not even occur in the image region R 03. In this way, when the block boundary and the boundary of some image region (hereinafter referred to as region boundary) intersect, the filtering necessity determination processing is performed by referring only to the line belonging to the image region on one side of the region boundary. If done, the block distortion in the image area on the other side cannot be properly evaluated.
図6は、上述した状況をより詳細に説明するための説明図である。図6を参照すると、ブロックBaとブロックBbとの間のブロック境界BB0に、領域境界RB1が交差している。ブロックBa及びブロックBbは、共に、領域境界RB1の一方の側の領域R11及び他方の側の領域R12を含む。領域R11及び領域R12は、1つの被写体の表面の互いに異なるテクスチャの領域であってもよく、又は互いに異なる被写体の領域であってもよい。図6の例では、ブロック境界BB0と領域境界RB1との交点は、ブロックBaの観点からは画素P01と画素P02との間、ブロックBbの観点からは画素q01と画素q02との間に位置する。この場合、既存の手法でのフィルタリング要否判定処理の参照ラインL2及びL5は、共に領域R12に属する。従って、既存の手法のフィルタリング要否判定処理では、領域R12についてのブロック歪みが評価される一方で、領域R11についてのブロック歪みは評価されない。その結果、例えば領域R11について強いブロック歪みが生じていたとしても、そのブロック歪みをデブロックフィルタの適用によって改善することができない可能性がある。 FIG. 6 is an explanatory diagram for explaining the above-described situation in more detail. Referring to FIG. 6, the region boundary RB 1 intersects the block boundary BB 0 between the block Ba and the block Bb. Both the block Ba and the block Bb include a region R 11 on one side of the region boundary RB 1 and a region R 12 on the other side. The region R 11 and the region R 12 may be different texture regions on the surface of one subject, or may be different subject regions. In the example of FIG. 6, the intersection between the block boundary BB 0 and the region boundary RB 1 is between the pixel P 01 and the pixel P 02 from the viewpoint of the block Ba, and the pixel q 01 and the pixel q 02 from the viewpoint of the block Bb. Located between and. In this case, both the reference lines L2 and L5 of the filtering necessity determination process using the existing method belong to the region R12. Thus, the filtering necessity determination process in the existing techniques, while block distortion for areas R 12 is evaluated, block distortion of the region R 11 is not evaluated. As a result, for example, even a strong block distortion has occurred for regions R 11, may not be able to improve the block distortion by the application of the deblocking filter.
そこで、次節より説明する実施形態では、ブロック境界と交差する領域境界の位置に応じてフィルタリング要否判定処理の参照ラインを適応的に変化させることにより、上述した不都合を解決し、フィルタリング後の画質を向上させる。 Therefore, in the embodiment described in the next section, the above-mentioned inconvenience is solved by adaptively changing the reference line of the necessity determination process for filtering according to the position of the region boundary intersecting with the block boundary, and the image quality after filtering To improve.
<3.一実施形態に係るデブロックフィルタの構成>
本節では、図1に示した画像符号化装置10のデブロックフィルタ24a及び図2に示した画像復号装置60のデブロックフィルタ24bの一実施形態に係る構成の一例を説明する。なお、デブロックフィルタ24a及びデブロックフィルタ24bの構成は、共通であってよい。従って、これ以降の説明では、特に両者を区別する必要が無い場合には、デブロックフィルタ24a及びデブロックフィルタ24bをデブロックフィルタ24と総称する。
<3. Configuration of Deblocking Filter According to One Embodiment>
In this section, an example of a configuration according to an embodiment of the
図7は、一実施形態に係るデブロックフィルタ24の詳細な構成の一例を示すブロック図である。図7を参照すると、デブロックフィルタ24は、判定情報バッファ110、領域境界検出部120、参照ライン選択部130、判定部140及びフィルタリング部150を有する。
FIG. 7 is a block diagram illustrating an example of a detailed configuration of the
(判定情報バッファ)
判定情報バッファ110は、ハードディスク又は半導体メモリなどの記憶媒体を用いて、各ブロック境界についてのフィルタリングの要否の判定のために使用される判定情報を一時的に記憶する。判定情報バッファ110により記憶される判定情報は、例えば、ブロックごとに取得されるモード情報(イントラ予測モードかインター予測モードか)、変換係数情報(非ゼロの直交変換係数を有するか)及び動きベクトル情報を含み得る。判定情報バッファ110により記憶されるこれら判定情報は、後に説明する判定部140によるフィルタリング要否判定処理において使用される。
(Judgment information buffer)
The
(領域境界検出部)
領域境界検出部120は、ブロックごとに符号化又は復号される画像内のブロック境界に交差する領域境界の存在及び(存在する場合の)当該領域境界の位置を検出する。
(Region boundary detection unit)
The region
図8は、領域境界検出部120による領域境界検出処理の一例について説明するための説明図である。図8を参照すると、ある1つのブロック境界を挟んで隣接する2つのブロックBa及びBbが部分的に示されている。
FIG. 8 is an explanatory diagram for describing an example of region boundary detection processing by the region
領域境界検出部120は、例えば、ブロックBaの画素のうちブロック境界に沿って隣接する2つの画素の間の画素値の差分を計算する。図8の例では、領域境界検出部120は、画素p00と画素p01との間の差分da01、画素p01と画素p02との間の差分da12、画素p02と画素p03との間の差分da23、画素p03と画素p04との間の差分da34、画素p04と画素p05との間の差分da45、画素p05と画素p06との間の差分da56及び画素p06と画素p07との間の差分da67を計算する。そして、領域境界検出部120は、これら7個の差分のうちの最大値Xa=max[da01,…,da67]を算出する。最大値Xaを示す差分duvのインデックスu,vは、ブロックBaにおいてブロック境界に沿って隣接する画素間の画素値の変化が最も大きくなる画素位置を示す。
For example, the region
同様に、領域境界検出部120は、ブロックBbの画素のうちブロック境界に沿って隣接する2つの画素の間の画素値の差分を計算する。図8の例では、領域境界検出部120は、画素q00と画素q01との間の差分db01、画素q01と画素q02との間の差分db12、画素q02と画素q03との間の差分db23、画素q03と画素q04との間の差分db34、画素q04と画素q05との間の差分db45、画素q05と画素q06との間の差分db56及び画素q06と画素q07との間の差分db67を計算する。そして、領域境界検出部120は、これら7個の差分のうちの最大値Xb=max[db01,…,db67]を算出する。最大値Xbを示す差分dstのインデックスs,tは、ブロックBbにおいてブロック境界に沿って隣接する画素間の画素値の変化が最も大きくなる画素位置を示す。
Similarly, the region
そして、領域境界検出部120は、算出した最大値Xa及びXbに基づいて、ブロックBa及びBbの間のブロック境界に交差する領域境界が存在するか否かを判定する。例えば、領域境界検出部120は、次の判定式が満たされる場合に、上記領域境界が存在すると判定してよい:
Xa>T and Xb>T
Then, the region
Xa> T and Xb> T
ここで、Tは判定閾値である。閾値Tは、固定的に設定されてもよく、又は動的に設定されてもよい。例えば、直交変換係数の量子化又は逆量子化の際に使用される量子化スケールが大きい場合には、画素値はより離散的な粗い値をとるため、画素間の差分はより大きくなる傾向にある。従って、閾値Tを量子化スケールが大きいほどより大きく設定することで、領域境界の存在をより正確に判定することが可能となる。 Here, T is a determination threshold value. The threshold value T may be set fixedly or may be set dynamically. For example, when the quantization scale used in the quantization or inverse quantization of the orthogonal transform coefficient is large, the pixel value takes a more discrete coarse value, and thus the difference between the pixels tends to be larger. is there. Therefore, by setting the threshold T to be larger as the quantization scale is larger, it is possible to more accurately determine the presence of the region boundary.
領域境界検出部120は、ブロック境界と交差する領域境界が存在することを上記判定式が示している場合には、さらに当該領域境界の位置を決定する。より具体的には、領域境界検出部120は、最大値Xaを与える差分duvのインデックスu,vに対応する2つの画素p0u,p0vの間、及び最大値Xbを与える差分dstのインデックスs,tに対応する2つの画素q0s,q0tの間を通る位置を領域境界の位置と決定し得る。
The region
図9及び図10は、領域境界検出部120により検出される領域境界の位置の一例をそれぞれ示している。例えば、上記判定式が満たされる場合において、Xa=da12,Xb=db12であるときは、図9の例のように、画素p01と画素p02との間及び画素q01と画素q02との間に領域境界RB2が位置していると決定される。同様に、上記判定式が満たされる場合において、Xa=da12,Xb=db45であるときは、図10の例のように、画素p01と画素p02との間及び画素q04と画素q05との間に領域境界RB3が位置していると決定される。
9 and 10 show examples of the position of the region boundary detected by the region
領域境界検出部120は、このように、ブロック境界と交差する領域境界の存在及び当該領域境界の位置を検出し、領域境界の有無及び検出した領域境界の位置を示す情報をブロック境界ごとに参照ライン選択部130へ出力する。
As described above, the region
(参照ライン選択部)
参照ライン選択部130は、ブロック境界ごとに、領域境界検出部120により検出される領域境界の位置に応じて、デブロックフィルタを適用するかの判定の際に参照される参照ラインを選択する。より具体的には、参照ライン選択部130は、交差する領域境界が検出されなかったブロック境界については、既存の手法と同じように、2番目のライン及び5番目のラインを参照ラインとして選択する(図4参照)。一方、参照ライン選択部130は、交差する領域境界が検出されたブロック境界については、当該領域境界により区分される第1の領域に属する1つのラインと第2の領域に属する1つのラインとを、上記判定のための参照ラインとして選択する。ここで、各領域に属するラインとは、少なくとも当該ライン上のブロック境界を挟んで隣接する2つの画素が共にその領域に属するラインをいう。
(Reference line selection part)
For each block boundary, the reference
(1)選択基準の第1の例
参照ラインの選択基準の第1の例として、参照ライン選択部130は、各領域に属するラインのうち領域境界とブロック境界との交点に最も近いラインを参照ラインとして選択してもよい。図11及び図12は、当該第1の例において選択される参照ラインの一例をそれぞれ示している。
(1) First Example of Selection Criteria As a first example of reference line selection criteria, the reference
図11を参照すると、図9に例示したブロック境界BB0と交差する領域境界RB2が再び示されている。ブロックBa側では、ブロック境界BB0と領域境界RB2との交点は、画素p01と画素p02との間に位置する。ブロックBb側では、ブロック境界BB0と領域境界RB2との交点は、画素q01と画素q02との間に位置する。そこで、参照ライン選択部130は、第1の領域R21に属する参照ラインとして1番目のラインL1、第2の領域R22に属する参照ラインとして2番目のラインL2を選択する。
Referring to FIG. 11, the region boundary RB 2 intersecting with the block boundary BB 0 illustrated in FIG. 9 is shown again. On the block Ba side, the intersection of the block boundary BB 0 and the region boundary RB 2 is located between the pixel p 01 and the pixel p 02 . On the block Bb side, the intersection of the block boundary BB 0 and the region boundary RB 2 is located between the pixel q 01 and the pixel q 02 . Therefore, the reference
図12を参照すると、図10に例示したブロック境界BB0と交差する領域境界RB3が再び示されている。ブロックBa側では、ブロック境界BB0と領域境界RB3との交点は、画素p01と画素p02との間に位置する。ブロックBb側では、ブロック境界BB0と領域境界RB3との交点は、画素q04と画素q05との間に位置する。そこで、参照ライン選択部130は、第1の領域R31に属する参照ラインとして1番目のラインL1、第2の領域R32に属する参照ラインとして5番目のラインL5を選択する。
Referring to FIG. 12, the region boundary RB 3 intersecting with the block boundary BB 0 illustrated in FIG. 10 is shown again. On the block Ba side, the intersection of the block boundary BB 0 and the region boundary RB 3 is located between the pixel p 01 and the pixel p 02 . On the block Bb side, the intersection of the block boundary BB 0 and the region boundary RB 3 is located between the pixel q 04 and the pixel q 05 . Therefore, the reference
このような第1の例によれば、領域境界検出部120により検出される領域境界の位置を示す画素位置のインデックス(例えば、上述したインデックスu,v及びインデックスs,t)から、選択すべき参照ラインを直接的に決定することができる。そのため、参照ラインの選択のための追加的なメモリは不要であり、迅速に参照ラインを選択することが可能である。
According to such a first example, selection should be made from pixel position indexes (for example, the above-described indexes u and v and indexes s and t) indicating the position of the region boundary detected by the region
(2)選択基準の第2の例
参照ラインの選択基準の第2の例として、参照ライン選択部130は、各領域内でのブロック境界の中央部に位置するラインを参照ラインとして選択してもよい。図13及び図14は、当該第2の例において選択される参照ラインの一例をそれぞれ示している。
(2) Second Example of Selection Criteria As a second example of the reference line selection criterion, the reference
図13を参照すると、図9に例示したブロック境界BB0と交差する領域境界RB2が再び示されている。領域境界RB2の上側の第1の領域R21内でのブロック境界BB0の中央は、0番目と1番目のラインの間にある。領域境界RB2の下側の第2の領域R22内のブロック境界BB0の中央は、4番目と5番目のラインの間にある。そこで、参照ライン選択部130は、第1の領域R21に属する参照ラインとして0番目のラインL0、第2の領域R22に属する参照ラインとして4番目のラインL4を選択する(1番目のラインL1及び5番目のラインL5が参照ラインとして選択されてもよい)。
Referring to FIG. 13, the region boundary RB 2 intersecting with the block boundary BB 0 illustrated in FIG. 9 is shown again. The center of the block boundary BB 0 in the first region R 21 above the region boundary RB 2 is located between the 0th and 1st lines. The center of the block boundary BB 0 in the second region R 22 below the region boundary RB 2 is located between the fourth and fifth lines. Therefore, the reference
図14を参照すると、図10に例示したブロック境界BB0と交差する領域境界RB3が再び示されている。領域境界RB3の右上側の第1の領域R31内でのブロック境界BB0の中央は、0番目と1番目のラインの間にある。領域境界RB3の下側の第2の領域R32内のブロック境界BB0の中央は、6番目のライン上にある。そこで、参照ライン選択部130は、第1の領域R31に属する参照ラインとして0番目のラインL0、第2の領域R32に属する参照ラインとして6番目のラインL6を選択する(ラインL0の代わりに1番目のラインL1が参照ラインとして選択されてもよい)。
Referring to FIG. 14, the region boundary RB 3 intersecting with the block boundary BB 0 illustrated in FIG. 10 is shown again. The center of the block boundary BB 0 in the first region R 31 on the upper right side of the region boundary RB 3 is between the 0th and 1st lines. The center of the block boundary BB 0 in the second region R 32 below the region boundary RB 3 is on the sixth line. Therefore, the reference
このような第2の例によれば、第1の例と比較して、1つの参照ラインに同じ領域に属する画素をより多く含めることができる。例えば、図14の例では、参照ラインL0上の6つの参照画素は全て第1の領域R31に属し、参照ラインL6上の6つの参照画素のうち5つの参照画素は第2の領域R32に属する。それにより、特に上述した輝度成分の判定条件Bの判定をより正確に行うことが可能となる。 According to the second example, more pixels belonging to the same region can be included in one reference line than in the first example. For example, in the example of FIG. 14, all six reference pixels on the reference line L0 belongs to the first region R 31, 5 single reference pixel among the six reference pixels on the reference line L6 is the second region R 32 Belonging to. This makes it possible to perform the determination of the luminance component determination condition B described above more accurately.
(判定部)
判定部140は、参照ライン選択部130により選択される参照ラインに属する画素値を用いて、各ブロック境界にデブロックフィルタを適用するか否かを判定する。
(Judgment part)
The
図15は、図8に例示した判定部140のさらに詳細な構成の一例を示すブロック図である。図15を参照すると、判定部140は、タップ構築部141、演算部142、閾値比較部143、歪み評価部144及びフィルタリング判定部145を含む。
FIG. 15 is a block diagram illustrating an example of a more detailed configuration of the
タップ構築部141は、各ブロック境界を挟んで隣接する2つのブロックの参照ライン上の画素値を取得し、上述した輝度成分の判定条件Bの判定のためのタップ(参照画素値のセット)を構築する。ここでの参照ラインは、参照ライン選択部130により選択されるラインである。演算部142は、タップ構築部141により構築されたタップを判定条件Bの判定式の左辺に代入し、エッジ判定閾値βと比較されるエッジの値を算出する。閾値比較部143は、演算部142により算出された値をエッジ判定閾値βと比較し、比較結果をフィルタリング判定部145へ出力する。
The tap constructing unit 141 acquires the pixel values on the reference lines of two blocks adjacent to each other across each block boundary, and selects the tap (reference pixel value set) for the determination of the luminance component determination condition B described above. To construct. The reference line here is a line selected by the reference
歪み評価部144は、判定情報として供給されるモード情報、変換係数情報及び動きベクトル情報を用いて、上述した輝度成分の判定条件Aを評価する。そして、歪み評価部144は、評価結果をフィルタリング判定部145へ出力する。なお、色差成分については、歪み評価部144によるモード情報に基づく判定条件A1についての判定のみが行われ得る。
The
フィルタリング判定部145は、閾値比較部143から入力される判定条件Bについての比較結果と、歪み評価部144から入力される判定条件Aについての評価結果とに基づいて、注目する境界についてデブロックフィルタを適用すべきか否かを判定する。そして、フィルタリング判定部145は、判定結果を示す情報を図7のフィルタリング部150へ出力する。
The
(フィルタリング部)
フィルタリング部150には、判定部140からの各ブロック境界についての判定結果及びフィルタ係数が供給される。そして、フィルタリング部150は、デブロックフィルタを適用すべきであると判定部140により判定されたブロック境界に、デブロックフィルタを適用する。フィルタリング部150によるフィルタリング処理は、上述した既存の手法と同様であってよい。例えば、フィルタリング部150は、輝度成分については、画素値に応じてフィルタ強度を強フィルタと弱フィルタとの間で切り替えながらブロック境界に直交する各ラインをフィルタリングし得る。また、フィルタリング部150は、色差成分については、フィルタ強度を切り替えることなく各ラインをフィルタリングし得る。そして、フィルタリング部150は、フィルタを適用した画素についてはフィルタリング後の画素値、その他の画素については入力された画素値を出力する。フィルタリング部150からの出力は、デブロックフィルタ24からの出力画像を構成する。
(Filtering part)
The
<4.一実施形態に係る処理の流れ>
図16は、本実施形態に係るデブロックフィルタ24による処理の流れの一例を示すフローチャートである。
<4. Flow of processing according to one embodiment>
FIG. 16 is a flowchart showing an example of the flow of processing by the
図16を参照すると、まず、領域境界検出部120は、ブロックごとに符号化又は復号される画像内の1つのブロック境界に注目し、当該ブロック境界に交差する領域境界を検出する(ステップS110)。例えば、領域境界検出部120は、ブロック境界の一方の側のブロック内で当該ブロック境界に沿って隣接する2つの画素間の画素値の差分の最大値と、他方のブロックについての同様の最大値とを算出し、これら最大値が共に判定閾値Tを上回る場合には、当該ブロック境界に交差する領域境界が存在すると判定し得る。ここで、ブロック境界に交差する領域境界が検出された場合には、処理はステップS130へ進む。一方、当該領域境界が検出されなかった場合には、処理はステップS140へ進む(ステップS120)。
Referring to FIG. 16, first, the region
ステップS130では、交差する領域境界が検出されたブロック境界について、参照ライン選択部130により、検出された領域境界の位置に応じて、デブロックフィルタを適用するか否かの判定のための参照ラインが選択される(ステップS130)。参照ライン選択部130は、例えば、領域境界により区分される各領域に属するラインのうち、当該領域境界とブロック境界との交点に最も近いラインを、参照ラインとして選択してもよい。その代わりに、参照ライン選択部130は、各領域内でのブロック境界の略中央に位置するラインを、参照ラインとして選択してもよい。
In step S130, the reference line for determining whether or not to apply the deblocking filter to the block boundary where the intersecting area boundary is detected is determined by the reference
一方、ステップS140では、参照ライン選択部130は、交差する領域境界が検出されなかったブロック境界について、既定の参照ライン(例えば、2番目及び5番目のライン)を選択する(ステップS140)。
On the other hand, in step S140, the reference
次に、判定部140は、参照ライン選択部130により選択された参照ラインに属する画素値を用いて、図17に例示するフィルタリング要否判定処理を行う(ステップS150)。そして、フィルタリング要否判定処理の結果として、当該ブロック境界にデブロックフィルタを適用すべきであると判定された場合には、処理はステップS170へ進む。一方、当該ブロック境界にデブロックフィルタを適用すべきでないと判定された場合には、ステップS170はスキップされる(ステップS160)。
Next, the
ステップS170では、フィルタリング部150により、デブロックフィルタを適用すべきであると判定されたブロック境界に、デブロックフィルタが適用される(ステップS170)。それにより、当該ブロック境界に生じているブロック歪みが除去され得る。
In step S170, the deblocking filter is applied to the block boundary determined by the
その後、画像内に未処理のブロック境界が残っている場合には、処理はステップS110へ戻り、図16に示した一連の処理が繰り返される。一方、未処理のブロック境界が残っていない場合には、一連の処理は終了する(ステップS180)。 Thereafter, when an unprocessed block boundary remains in the image, the process returns to step S110, and the series of processes shown in FIG. 16 is repeated. On the other hand, when no unprocessed block boundary remains, the series of processing ends (step S180).
図17は、図16のステップS150におけるフィルタリング要否判定処理の詳細な流れの一例を示すフローチャートである。 FIG. 17 is a flowchart showing an example of a detailed flow of the filtering necessity determination process in step S150 of FIG.
図17を参照すると、まず、歪み評価部144は、モード情報、変換係数情報及び動きベクトル情報に基づいて、各境界の歪みを評価する(ステップS151)。ここで、歪みがあると評価された場合(判定条件Aが真であった場合)には、処理はステップS153へ進む。一方、歪みがないと評価された場合には、処理はステップS157へ進む(ステップS152)。
Referring to FIG. 17, first, the
ステップS153では、タップ構築部141は、ブロック境界を挟んで隣接する2つのブロックの参照ライン上の画素値を取得し、上述した輝度成分の判定条件Bの判定のためのタップを構築する(ステップS153)。次に、演算部142は、タップ構築部141により構築されたタップに基づいて、ブロック境界のエッジの値を算出する(ステップS154)。そして、閾値比較部143は、算出された値をエッジ判定閾値βと比較する(ステップS156)。ここで、エッジの値が閾値βよりも小さい場合(判定条件Bが真であった場合)には、処理はステップS156へ進む。一方、エッジの値が閾値βよりも小さくない場合には、処理はステップS157へ進む。
In step S153, the tap constructing unit 141 acquires pixel values on the reference lines of two adjacent blocks across the block boundary, and constructs a tap for determining the above-described luminance component determination condition B (step S153). S153). Next, the
ステップS156では、フィルタリング判定部145は、判定の対象のブロック境界にデブロックフィルタを適用すべきであると判定する(ステップS156)。一方、ステップS157では、フィルタリング判定部145は、判定の対象のブロック境界にデブロックフィルタを適用すべきでないと判定する(ステップS157)。
In step S156, the
<5.応用例>
上述した実施形態に係る画像符号化装置10及び画像復号装置60は、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、4つの応用例について説明する。
<5. Application example>
The
[5−1.第1の応用例]
図18は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース909、制御部910、ユーザインタフェース911、及びバス912を備える。
[5-1. First application example]
FIG. 18 shows an example of a schematic configuration of a television apparatus to which the above-described embodiment is applied. The
チューナ902は、アンテナ901を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ902は、復調により得られた符号化ビットストリームをデマルチプレクサ903へ出力する。即ち、チューナ902は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置900における伝送手段としての役割を有する。
The
デマルチプレクサ903は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ904へ出力する。また、デマルチプレクサ903は、符号化ビットストリームからEPG(Electronic Program Guide)などの補助的なデータを抽出し、抽出したデータを制御部910に供給する。なお、デマルチプレクサ903は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
The
デコーダ904は、デマルチプレクサ903から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ904は、復号処理により生成される映像データを映像信号処理部905へ出力する。また、デコーダ904は、復号処理により生成される音声データを音声信号処理部907へ出力する。
The
映像信号処理部905は、デコーダ904から入力される映像データを再生し、表示部906に映像を表示させる。また、映像信号処理部905は、ネットワークを介して供給されるアプリケーション画面を表示部906に表示させてもよい。また、映像信号処理部905は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部905は、例えばメニュー、ボタン又はカーソルなどのGUI(Graphical User Interface)の画像を生成し、生成した画像を出力画像に重畳してもよい。
The video
表示部906は、映像信号処理部905から供給される駆動信号により駆動され、表示デバイス(例えば、液晶ディスプレイ、プラズマディスプレイ又はOLEDなど)の映像面上に映像又は画像を表示する。
The
音声信号処理部907は、デコーダ904から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ908から音声を出力させる。また、音声信号処理部907は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
The audio
外部インタフェース909は、テレビジョン装置900と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース909を介して受信される映像ストリーム又は音声ストリームが、デコーダ904により復号されてもよい。即ち、外部インタフェース909もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置900における伝送手段としての役割を有する。
The
制御部910は、CPU(Central Processing Unit)などのプロセッサ、並びにRAM(Random Access Memory)及びROM(Read Only Memory)などのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置900の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース911から入力される操作信号に応じて、テレビジョン装置900の動作を制御する。
The
ユーザインタフェース911は、制御部910と接続される。ユーザインタフェース911は、例えば、ユーザがテレビジョン装置900を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース911は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部910へ出力する。
The
バス912は、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、音声信号処理部907、外部インタフェース909及び制御部910を相互に接続する。
The
このように構成されたテレビジョン装置900において、デコーダ904は、上述した実施形態に係る画像復号装置60の機能を有する。それにより、テレビジョン装置900での画像の復号に際して、ブロック境界ごとのデブロックフィルタの適用の判定をより適切に行い、画質を効果的に改善することができる。
In the
[5−2.第2の応用例]
図19は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機920は、アンテナ921、通信部922、音声コーデック923、スピーカ924、マイクロホン925、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931、操作部932、及びバス933を備える。
[5-2. Second application example]
FIG. 19 shows an example of a schematic configuration of a mobile phone to which the above-described embodiment is applied. A
アンテナ921は、通信部922に接続される。スピーカ924及びマイクロホン925は、音声コーデック923に接続される。操作部932は、制御部931に接続される。バス933は、通信部922、音声コーデック923、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、及び制御部931を相互に接続する。
The
携帯電話機920は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
The
音声通話モードにおいて、マイクロホン925により生成されるアナログ音声信号は、音声コーデック923に供給される。音声コーデック923は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック923は、圧縮後の音声データを通信部922へ出力する。通信部922は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号をアンテナ921を介して基地局(図示せず)へ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部922は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック923へ出力する。音声コーデック923は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック923は、生成した音声信号をスピーカ924に供給して音声を出力させる。
In the voice call mode, an analog voice signal generated by the
また、データ通信モードにおいて、例えば、制御部931は、操作部932を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部931は、文字を表示部930に表示させる。また、制御部931は、操作部932を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部922へ出力する。通信部922は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号をアンテナ921を介して基地局(図示せず)へ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部922は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部931へ出力する。制御部931は、表示部930に電子メールの内容を表示させると共に、電子メールデータを記録再生部929の記憶媒体に記憶させる。
Further, in the data communication mode, for example, the
記録再生部929は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
The recording / reproducing
また、撮影モードにおいて、例えば、カメラ部926は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部927へ出力する。画像処理部927は、カメラ部926から入力される画像データを符号化し、符号化ストリームを記憶再生部929の記憶媒体に記憶させる。
In the shooting mode, for example, the
また、テレビ電話モードにおいて、例えば、多重分離部928は、画像処理部927により符号化された映像ストリームと、音声コーデック923から入力される音声ストリームとを多重化し、多重化したストリームを通信部922へ出力する。通信部922は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号をアンテナ921を介して基地局(図示せず)へ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部922は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部928へ出力する。多重分離部928は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部927、音声ストリームを音声コーデック923へ出力する。画像処理部927は、映像ストリームを復号し、映像データを生成する。映像データは、表示部930に供給され、表示部930により一連の画像が表示される。音声コーデック923は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック923は、生成した音声信号をスピーカ924に供給して音声を出力させる。
Further, in the videophone mode, for example, the
このように構成された携帯電話機920において、画像処理部927は、上述した実施形態に係る画像符号化装置10及び画像復号装置60の機能を有する。それにより、携帯電話機920での画像の符号化及び復号に際して、ブロック境界ごとのデブロックフィルタの適用の判定をより適切に行い、画質を効果的に改善することができる。
In the
[5−3.第3の応用例]
図20は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置940は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置940は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置940は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置940は、音声データ及び映像データを復号する。
[5-3. Third application example]
FIG. 20 shows an example of a schematic configuration of a recording / reproducing apparatus to which the above-described embodiment is applied. For example, the recording / reproducing
記録再生装置940は、チューナ941、外部インタフェース942、エンコーダ943、HDD(Hard Disk Drive)944、ディスクドライブ945、セレクタ946、デコーダ947、OSD(On-Screen Display)948、制御部949、及びユーザインタフェース950を備える。
The recording / reproducing
チューナ941は、アンテナ(図示せず)を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ941は、復調により得られた符号化ビットストリームをセレクタ946へ出力する。即ち、チューナ941は、記録再生装置940における伝送手段としての役割を有する。
The
外部インタフェース942は、記録再生装置940と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース942は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース942を介して受信される映像データ及び音声データは、エンコーダ943へ入力される。即ち、外部インタフェース942は、記録再生装置940における伝送手段としての役割を有する。
The
エンコーダ943は、外部インタフェース942から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ943は、符号化ビットストリームをセレクタ946へ出力する。
The
HDD944は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、HDD944は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
The
ディスクドライブ945は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ945に装着される記録媒体は、例えばDVDディスク(DVD−Video、DVD−RAM、DVD−R、DVD−RW、DVD+R、DVD+RW等)又はBlu−ray(登録商標)ディスクなどであってよい。
The
セレクタ946は、映像及び音声の記録時には、チューナ941又はエンコーダ943から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD944又はディスクドライブ945へ出力する。また、セレクタ946は、映像及び音声の再生時には、HDD944又はディスクドライブ945から入力される符号化ビットストリームをデコーダ947へ出力する。
The
デコーダ947は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ947は、生成した映像データをOSD948へ出力する。また、デコーダ904は、生成した音声データを外部のスピーカへ出力する。
The
OSD948は、デコーダ947から入力される映像データを再生し、映像を表示する。また、OSD948は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
The
制御部949は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置940の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース950から入力される操作信号に応じて、記録再生装置940の動作を制御する。
The
ユーザインタフェース950は、制御部949と接続される。ユーザインタフェース950は、例えば、ユーザが記録再生装置940を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース950は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部949へ出力する。
The
このように構成された記録再生装置940において、エンコーダ943は、上述した実施形態に係る画像符号化装置10の機能を有する。また、デコーダ947は、上述した実施形態に係る画像復号装置60の機能を有する。それにより、記録再生装置940での画像の符号化及び復号に際して、ブロック境界ごとのデブロックフィルタの適用の判定をより適切に行い、画質を効果的に改善することができる。
In the recording / reproducing
[5−4.第4の応用例]
図21は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置960は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
[5-4. Fourth application example]
FIG. 21 illustrates an example of a schematic configuration of an imaging apparatus to which the above-described embodiment is applied. The
撮像装置960は、光学ブロック961、撮像部962、信号処理部963、画像処理部964、表示部965、外部インタフェース966、メモリ967、メディアドライブ968、OSD969、制御部970、ユーザインタフェース971、及びバス972を備える。
The
光学ブロック961は、撮像部962に接続される。撮像部962は、信号処理部963に接続される。表示部965は、画像処理部964に接続される。ユーザインタフェース971は、制御部970に接続される。バス972は、画像処理部964、外部インタフェース966、メモリ967、メディアドライブ968、OSD969、及び制御部970を相互に接続する。
The
光学ブロック961は、フォーカスレンズ及び絞り機構などを有する。光学ブロック961は、被写体の光学像を撮像部962の撮像面に結像させる。撮像部962は、CCD又はCMOSなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部962は、画像信号を信号処理部963へ出力する。
The
信号処理部963は、撮像部962から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部963は、カメラ信号処理後の画像データを画像処理部964へ出力する。
The
画像処理部964は、信号処理部963から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部964は、生成した符号化データを外部インタフェース966又はメディアドライブ968へ出力する。また、画像処理部964は、外部インタフェース966又はメディアドライブ968から入力される符号化データを復号し、画像データを生成する。そして、画像処理部964は、生成した画像データを表示部965へ出力する。また、画像処理部964は、信号処理部963から入力される画像データを表示部965へ出力して画像を表示させてもよい。また、画像処理部964は、OSD969から取得される表示用データを、表示部965へ出力する画像に重畳してもよい。
The
OSD969は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部964へ出力する。
The
外部インタフェース966は、例えばUSB入出力端子として構成される。外部インタフェース966は、例えば、画像の印刷時に、撮像装置960とプリンタとを接続する。また、外部インタフェース966には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置960にインストールされ得る。さらに、外部インタフェース966は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース966は、撮像装置960における伝送手段としての役割を有する。
The
メディアドライブ968に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ968に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD(Solid State Drive)のような非可搬性の記憶部が構成されてもよい。 The recording medium mounted on the media drive 968 may be any readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory. Further, a recording medium may be fixedly attached to the media drive 968, and a non-portable storage unit such as a built-in hard disk drive or an SSD (Solid State Drive) may be configured.
制御部970は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置960の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース971から入力される操作信号に応じて、撮像装置960の動作を制御する。
The
ユーザインタフェース971は、制御部970と接続される。ユーザインタフェース971は、例えば、ユーザが撮像装置960を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース971は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部970へ出力する。
The
このように構成された撮像装置960において、画像処理部964は、上述した実施形態に係る画像符号化装置10及び画像復号装置60の機能を有する。それにより、撮像装置960での画像の符号化及び復号に際して、ブロック境界ごとのデブロックフィルタの適用の判定をより適切に行い、画質を効果的に改善することができる。
In the
<6.まとめ>
ここまで、図1〜図21を用いて、一実施形態に係る画像符号化装置10及び画像復号装置60のデブロックフィルタの構成について詳しく説明した。本実施形態によれば、ブロックごとに符号化又は復号される画像内のブロック境界に交差する領域境界の位置に応じて、デブロックフィルタを適用するか否かの判定の際に参照される参照ラインが、適応的に選択される。それにより、参照ラインの位置が固定的に設定されている既存の手法と比較して、上述した判定をより適切に行うことが可能となる。
<6. Summary>
So far, the configuration of the deblocking filter of the
また、本実施形態によれば、ブロック境界を挟んで隣接する2つのブロックの当該ブロック境界と直交するラインのうち、上記領域境界により区分される第1の領域に属する1つのラインと第2の領域に属する1つのラインとが上記参照ラインとして選択される。従って、ブロック内に互いに異なる2つの被写体領域又はテクスチャ領域があったとしても、各領域においてブロック歪みが生じているかを適切に評価することができる。また、かかる構成における判定処理と既存の手法における判定処理との違いは、2つの参照ラインの位置が変化し得る点のみである。そのため、既存の画像処理装置の構成を活用しながら、比較的少ないコストで上述した仕組みを実装することができる。 In addition, according to the present embodiment, one line belonging to the first region divided by the region boundary and the second line among the lines orthogonal to the block boundary of two blocks adjacent to each other with the block boundary interposed therebetween One line belonging to the region is selected as the reference line. Therefore, even if there are two different subject areas or texture areas in the block, it is possible to appropriately evaluate whether block distortion has occurred in each area. Moreover, the difference between the determination process in this configuration and the determination process in the existing method is only that the positions of the two reference lines can be changed. Therefore, the above-described mechanism can be implemented at a relatively low cost while utilizing the configuration of an existing image processing apparatus.
また、本実施形態によれば、ブロック境界に沿って隣接する2つの画素間の画素値の差分が最も大きくなる位置が領域境界の位置として検出され、検出された領域境界の位置に応じて参照ラインが選択される。従って、画素値を用いた簡易な演算によって、境界領域の位置を求めた上で参照ラインを選択することができる。 In addition, according to the present embodiment, the position where the difference between the pixel values between two adjacent pixels along the block boundary is the largest is detected as the region boundary position, and is referred to according to the detected region boundary position. A line is selected. Therefore, the reference line can be selected after obtaining the position of the boundary region by a simple calculation using the pixel value.
また、本実施形態によれば、上述した画素値の差分の最大値を閾値と比較することにより、ブロック境界に交差する領域境界が存在するか否かが判定される。当該閾値は、直交変換係数の量子化又は逆量子化の際に用いられる量子化スケールに応じて設定され得る。それにより、領域境界の存在の判定の正確さを安定的に確保することができる。 Further, according to the present embodiment, it is determined whether or not there is a region boundary that intersects the block boundary by comparing the maximum value of the pixel value difference described above with a threshold value. The threshold value can be set according to a quantization scale used when the orthogonal transform coefficient is quantized or inversely quantized. Thereby, it is possible to stably ensure the accuracy of the determination of the existence of the region boundary.
なお、本明細書で説明したデブロックフィルタは、画像の復号後に画質を改善するために適用されるポストフィルタとして実装されてもよい。 Note that the deblocking filter described in this specification may be implemented as a post filter applied to improve image quality after decoding an image.
また、デブロックフィルタの処理のために使用される情報を符号化側から復号側に伝送する手法は、これら情報を符号化ストリームのヘッダに多重化する手法に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像(スライス若しくはブロックなど、画像の一部であってもよい)と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像(又はビットストリーム)とは別の伝送路上で伝送されてもよい。また、情報は、画像(又はビットストリーム)とは別の記録媒体(又は同一の記録媒体の別の記録エリア)に記録されてもよい。さらに、情報と画像(又はビットストリーム)とは、例えば、複数フレーム、1フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。 Further, the method of transmitting information used for the deblocking filter processing from the encoding side to the decoding side is not limited to the method of multiplexing the information in the header of the encoded stream. For example, these pieces of information may be transmitted or recorded as separate data associated with the encoded bitstream without being multiplexed into the encoded bitstream. Here, the term “associate” means that an image (which may be a part of an image such as a slice or a block) included in the bitstream and information corresponding to the image can be linked at the time of decoding. Means. That is, information may be transmitted on a transmission path different from that of the image (or bit stream). Information may be recorded on a recording medium (or another recording area of the same recording medium) different from the image (or bit stream). Furthermore, the information and the image (or bit stream) may be associated with each other in an arbitrary unit such as a plurality of frames, one frame, or a part of the frame.
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
10, 60 画像処理装置
120 検出部
130 選択部
140 判定部
150 フィルタリング部
DESCRIPTION OF
Claims (10)
前記検出部により検出される前記領域境界の位置に応じて、デブロックフィルタを適用するかの判定の際に参照される参照ラインを選択する選択部と、
前記選択部により選択される前記参照ラインに属する画素値を用いて、前記ブロック境界にデブロックフィルタを適用するかを判定する判定部と、
前記判定部によりデブロックフィルタを適用すると判定されたブロック境界にデブロックフィルタを適用するフィルタリング部と、
を備える画像処理装置。 A detection unit for detecting a position of a region boundary that intersects a block boundary in an image decoded for each block;
A selection unit that selects a reference line to be referred to when determining whether to apply a deblocking filter, according to the position of the region boundary detected by the detection unit;
A determination unit that determines whether to apply a deblocking filter to the block boundary using a pixel value belonging to the reference line selected by the selection unit;
A filtering unit that applies a deblocking filter to a block boundary determined to apply the deblocking filter by the determination unit;
An image processing apparatus comprising:
検出される前記領域境界の位置に応じて、デブロックフィルタを適用するかの判定の際に参照される参照ラインを選択するステップと、
選択される前記参照ラインに属する画素値を用いて、前記ブロック境界にデブロックフィルタを適用するかを判定するステップと、
デブロックフィルタを適用すると判定されたブロック境界にデブロックフィルタを適用するステップと、
を含む画像処理方法。 Detecting a position of a region boundary that intersects a block boundary in an image decoded for each block;
Selecting a reference line to be referred to when determining whether to apply a deblocking filter according to the position of the region boundary to be detected;
Determining whether to apply a deblocking filter to the block boundary using pixel values belonging to the selected reference line;
Applying a deblocking filter to block boundaries determined to apply the deblocking filter;
An image processing method including:
前記検出部により検出される前記領域境界の位置に応じて、デブロックフィルタを適用するかの判定の際に参照される参照ラインを選択する選択部と、
前記選択部により選択される前記参照ラインに属する画素値を用いて、前記ブロック境界にデブロックフィルタを適用するかを判定する判定部と、
前記判定部によりデブロックフィルタを適用すると判定されたブロック境界にデブロックフィルタを適用するフィルタリング部と、
を備える画像処理装置。 A detection unit for detecting a position of a region boundary intersecting a block boundary in an image encoded for each block;
A selection unit that selects a reference line to be referred to when determining whether to apply a deblocking filter, according to the position of the region boundary detected by the detection unit;
A determination unit that determines whether to apply a deblocking filter to the block boundary using a pixel value belonging to the reference line selected by the selection unit;
A filtering unit that applies a deblocking filter to a block boundary determined to apply the deblocking filter by the determination unit;
An image processing apparatus comprising:
検出される前記領域境界の位置に応じて、デブロックフィルタを適用するかの判定の際に参照される参照ラインを選択するステップと、
選択される前記参照ラインに属する画素値を用いて、前記ブロック境界にデブロックフィルタを適用するかを判定するステップと、
デブロックフィルタを適用すると判定されたブロック境界にデブロックフィルタを適用するステップと、
を含む画像処理方法。
Detecting a position of a region boundary that intersects a block boundary in an image encoded for each block;
Selecting a reference line to be referred to when determining whether to apply a deblocking filter according to the position of the region boundary to be detected;
Determining whether to apply a deblocking filter to the block boundary using pixel values belonging to the selected reference line;
Applying a deblocking filter to block boundaries determined to apply the deblocking filter;
An image processing method including:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011058984A JP2012195815A (en) | 2011-03-17 | 2011-03-17 | Image processing apparatus and image processing method |
PCT/JP2012/052749 WO2012124406A1 (en) | 2011-03-17 | 2012-02-07 | Image processing device and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011058984A JP2012195815A (en) | 2011-03-17 | 2011-03-17 | Image processing apparatus and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012195815A true JP2012195815A (en) | 2012-10-11 |
Family
ID=46830484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011058984A Withdrawn JP2012195815A (en) | 2011-03-17 | 2011-03-17 | Image processing apparatus and image processing method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2012195815A (en) |
WO (1) | WO2012124406A1 (en) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003259367A (en) * | 2002-02-27 | 2003-09-12 | Toshiba Corp | Image decoder and image decoding method |
-
2011
- 2011-03-17 JP JP2011058984A patent/JP2012195815A/en not_active Withdrawn
-
2012
- 2012-02-07 WO PCT/JP2012/052749 patent/WO2012124406A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2012124406A1 (en) | 2012-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10931955B2 (en) | Image processing device and image processing method that horizontal filtering on pixel blocks | |
US10785504B2 (en) | Image processing device and image processing method | |
US20200204796A1 (en) | Image processing device and image processing method | |
US10666945B2 (en) | Image processing device and image processing method for decoding a block of an image | |
US11770525B2 (en) | Image processing device and image processing method | |
JP2013141187A (en) | Image processing apparatus and image processing method | |
JP2013126157A (en) | Image processing apparatus and image processing method | |
WO2013073328A1 (en) | Image processing apparatus and image processing method | |
JP6217826B2 (en) | Image processing apparatus and image processing method | |
JP2013012815A (en) | Image processing apparatus and image processing method | |
WO2012124406A1 (en) | Image processing device and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140603 |