JP2021052388A - Deblocking filter coefficient acquisition device and method, and image coding/decoding device - Google Patents

Deblocking filter coefficient acquisition device and method, and image coding/decoding device Download PDF

Info

Publication number
JP2021052388A
JP2021052388A JP2020139487A JP2020139487A JP2021052388A JP 2021052388 A JP2021052388 A JP 2021052388A JP 2020139487 A JP2020139487 A JP 2020139487A JP 2020139487 A JP2020139487 A JP 2020139487A JP 2021052388 A JP2021052388 A JP 2021052388A
Authority
JP
Japan
Prior art keywords
deblocking filter
coefficients
pixel values
coefficient
coefficient acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020139487A
Other languages
Japanese (ja)
Inventor
シュイ・ルゥハン
Luhang Xu
建清 朱
jian qing Zhu
建清 朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2021052388A publication Critical patent/JP2021052388A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

To provide deblocking filter coefficient acquisition device and method, and an image coding/decoding device.SOLUTION: A coefficient acquisition method includes the steps of obtaining a plurality of input pixel values at a location where blocking exists from a sample image reconstructed by codec on the basis of the type of a deblocking filter, calculating one or more output pixel values on the basis of the plurality of input pixel values and a plurality of coefficients, training the plurality of coefficients to obtain the coefficient of the deblocking filter with the corresponding one or more pixel values in the sample image as a target value. As a result, a more accurate deblocking filter coefficient can be obtained, and by using a deblocking filter that obtains the coefficient by training, blocking can be eliminated and the coding gain can be improved.SELECTED DRAWING: Figure 1

Description

本発明は、ビデオの符号化／復号の技術分野に関する。 The present invention relates to the technical field of video coding / decoding.

ビデオの符号化／復号では、ロッシー（ｌｏｓｓｙ）画像及びビデオ圧縮アルゴリズムは、ブロッキング、ぼかし、リンギング及びサンプル歪みなどのアーティファクトを引き起こす可能性がある。現在のビデオ圧縮アルゴリズムは、ブロックレベルの圧縮に基づくものであり、変換及び量子化がブロックレベルで実行されるため、殆どのブロッキングがブロックの境界で発生することが分かる。 In video coding / decoding, lossy image and video compression algorithms can cause artifacts such as blocking, blurring, ringing and sample distortion. It can be seen that most blocking occurs at block boundaries because current video compression algorithms are based on block-level compression, where transformation and quantization are performed at the block level.

デブロッキング（ｄｅ−ｂｌｏｃｋｉｎｇ）フィルタ（ブロッキング除去フィルタとも称される）は、ブロッキング（ｂｌｏｃｋｉｎｇ）を排除できる一連の画像処理フィルタである。ビデオ圧縮ソフトウェア（例えばＶＴＭ）では、デブロッキングフィルタを用いて、ビデオのコーデックのループフィルタ（ｉｎ−ｌｏｏｐ ｆｉｌｔｅｒ）の画像品質を向上させることができる。 A de-blocking filter (also referred to as a blocking removal filter) is a series of image processing filters capable of eliminating blocking. In video compression software (eg, VTM), a deblocking filter can be used to improve the image quality of a video codec loop filter (in-loop filter).

なお、上述した技術背景の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。 It should be noted that the above-mentioned explanation of the technical background is an explanation for making the technical proposal of the present invention clearly and completely understood, and is described for making a person skilled in the art understand. These technical proposals have been described merely as background technical parts of the present invention, and are not well known to those skilled in the art.

発明者の発見によると、現在のデブロッキングフィルタの係数は、一般に経験値に基づいて予め決定され、ブロッキングを排除するために用いられる。これに対し、本発明の実施例は、トレーニングによりデブロッキングフィルタの係数を取得することで、ブロッキングを排除すると共に、符号化利得を向上させることができる。 According to the inventor's discovery, the coefficients of current deblocking filters are generally predetermined based on empirical values and are used to eliminate blocking. On the other hand, in the embodiment of the present invention, blocking can be eliminated and the coding gain can be improved by acquiring the coefficient of the deblocking filter by training.

本発明の実施例は、上記の技術的問題の少なくとも１つを鑑み、デブロッキングフィルタの係数取得装置、方法及び画像符号化復号装置を提供する。 In view of at least one of the above technical problems, an embodiment of the present invention provides a coefficient acquisition device, a method, and an image coding / decoding device for a deblocking filter.

本発明の実施例の１つの態様では、デブロッキングフィルタの係数取得装置であって、デブロッキングフィルタのタイプに基づいて、コーデックにより再構築されたサンプル画像から、ブロッキングが存在する位置の複数の入力画素値を取得する入力部と、前記複数の入力画素値及び複数の係数に基づいて１つ又は複数の出力画素値を計算する出力部と、前記サンプル画像における対応する１つ又は複数の画素値を目標値として、前記複数の係数をトレーニングして前記デブロッキングフィルタの係数を取得するトレーニング部と、を含む、係数取得装置を提供する。 In one embodiment of the embodiment of the present invention, the coefficient acquisition device of the deblocking filter is a plurality of inputs of the position where the blocking exists from the sample image reconstructed by the codec based on the type of the deblocking filter. An input unit that acquires a pixel value, an output unit that calculates one or a plurality of output pixel values based on the plurality of input pixel values and a plurality of coefficients, and a corresponding one or a plurality of pixel values in the sample image. Provided is a coefficient acquisition device including a training unit that trains the plurality of coefficients and acquires the coefficients of the deblocking filter with the target value.

本発明の実施例のもう１つの態様では、デブロッキングフィルタの係数取得方法であって、デブロッキングフィルタのタイプに基づいて、コーデックにより再構築されたサンプル画像から、ブロッキングが存在する位置の複数の入力画素値を取得するステップと、前記複数の入力画素値及び複数の係数に基づいて１つ又は複数の出力画素値を計算するステップと、前記サンプル画像における対応する１つ又は複数の画素値を目標値として、前記複数の係数をトレーニングして前記デブロッキングフィルタの係数を取得するステップと、を含む、係数取得方法を提供する。 Another aspect of the embodiment of the present invention is a method for obtaining the coefficient of a deblocking filter, in which a plurality of positions where blocking exists are obtained from a sample image reconstructed by a codec based on the type of the deblocking filter. A step of acquiring an input pixel value, a step of calculating one or a plurality of output pixel values based on the plurality of input pixel values and a plurality of coefficients, and a step of calculating a corresponding one or a plurality of pixel values in the sample image. Provided is a coefficient acquisition method including a step of training the plurality of coefficients to acquire the coefficient of the deblocking filter as a target value.

本発明の実施例のもう１つの態様では、画像符号化復号装置であって、画像を再構築するコーデックと、前記画像に対してデブロッキングフィルタリングを行い、フレーム内予測ブロック間のブロッキングを除去するデブロッキングフィルタと、を含み、前記デブロッキングフィルタの係数は、上記の係数取得装置によりトレーニングを行うことで取得される、画像符号化復号装置を提供する。 In another aspect of the embodiment of the present invention, the image coding / decoding device is a codec for reconstructing an image and deblocking filtering is performed on the image to remove blocking between predictive blocks in a frame. Provided is an image coding / decoding device including a deblocking filter, wherein the coefficient of the deblocking filter is acquired by training with the above-mentioned coefficient acquisition device.

本発明の実施例の有利な効果は以下の通りである。サンプル画像に基づいてトレーニングを行うことでデブロッキングフィルタの係数を取得することで、デブロッキングフィルタの係数がより正確になり、トレーニングにより係数を取得するデブロッキングフィルタを用いることで、ブロッキングを排除し、符号化利得を向上させることができる。 The advantageous effects of the examples of the present invention are as follows. By acquiring the coefficient of the deblocking filter by training based on the sample image, the coefficient of the deblocking filter becomes more accurate, and by using the deblocking filter that acquires the coefficient by training, blocking is eliminated. , The coding gain can be improved.

本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。 Specific embodiments of the present invention are disclosed in detail and show a method in which the principles of the present invention can be adopted, as shown in the following description and drawings. The embodiments of the present invention are not limited in scope. Embodiments of the present invention include various modifications, modifications, and equivalents within the scope of the appended claims and content.

ある一つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で一つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。 The features described and / or shown in one embodiment may be used in one or many other embodiments in the same or similar manner, or may be combined with features in another embodiment. Features in other embodiments may be substituted.

なお、用語「含む／有する」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。 The term "includes / has" means the existence of a feature, element, step or constituent when used in the text, and the existence or existence of one or more other features, elements, steps or constituents. It does not rule out additions.

ここで含まれる図面は、本発明の実施例を理解させるためのものであり、本明細書の一部を構成し、本発明の実施例を例示するためのものであり、文言の記載と合わせて本発明の原理を説明する。なお、ここに説明される図面は、単なる本発明の実施例を説明するためのものであり、当業者にとって、これらの図面に基づいて他の図面を容易に得ることができる。
本発明の実施例のデブロッキングフィルタの係数取得方法の概略図である。 本発明の実施例のデブロッキングフィルタのタイプの一例を示す図である。 本発明の実施例の出力画素値の計算の一例を示す図である。 デブロッキングフィルタがオフにされた場合の符号化復号後の画像の１つの例を示す図である。 デブロッキングフィルタがオンにされた場合の符号化復号後の画像の１つの例を示す図である。 デブロッキングフィルタがオンにされた場合の符号化復号後の画像のもう１つの例を示す図である。 本発明の実施例のデブロッキングフィルタの係数取得装置の概略図である。 本発明の実施例の画像符号化復号装置の概略図である。 本発明の実施例の電子機器の概略図である。 The drawings included here are for understanding the embodiments of the present invention, constitute a part of the present specification, and exemplify the embodiments of the present invention, together with the description of the wording. The principle of the present invention will be described. It should be noted that the drawings described here are merely for explaining the embodiments of the present invention, and those skilled in the art can easily obtain other drawings based on these drawings.
It is the schematic of the coefficient acquisition method of the deblocking filter of the Example of this invention. It is a figure which shows an example of the type of the deblocking filter of the Example of this invention. It is a figure which shows an example of the calculation of the output pixel value of the Example of this invention. It is a figure which shows one example of the image after coding decoding when the deblocking filter is turned off. It is a figure which shows one example of the image after coding decoding when the deblocking filter is turned on. It is a figure which shows another example of the image after coding decoding when the deblocking filter is turned on. It is the schematic of the coefficient acquisition apparatus of the deblocking filter of the Example of this invention. It is the schematic of the image coding decoding apparatus of the Example of this invention. It is the schematic of the electronic device of the Example of this invention.

本発明の上記及びその他の特徴は、図面及び下記の説明により明確になる。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての修正、変更されたもの、及び均等なものを含む。 The above and other features of the present invention will be clarified by the drawings and the following description. The specification and drawings disclose specific embodiments of the invention, that is, some embodiments according to the principles of the invention. It should be noted that the present invention is not limited to the embodiments described, and the present invention includes all modifications, modifications, and equivalents within the scope of the claims.

本発明の実施例では、用語「第１」、「第２」は異なる要素を名称で区分するためのものであり、これらの要素の空間的配列又は時間的順序などを意味するものではなく、これらの要素はこれらの用語に限定されない。用語「及び／又は」は列挙された用語の１つ又は複数のうち何れか及びその組み合わせを含む。用語「包括」、「含む」、「有する」は説明された特徴、要素、素子又は部材の存在を意味するが、他の１つ又は複数の特徴、要素、素子又は部材の存在又は追加を排除するものではない。 In the examples of the present invention, the terms "first" and "second" are for distinguishing different elements by name, and do not mean the spatial arrangement or temporal order of these elements. These elements are not limited to these terms. The term "and / or" includes any one or more of the listed terms and combinations thereof. The terms "inclusive," "include," and "have" mean the presence or absence of the described feature, element, element or member, excluding the presence or addition of one or more other features, elements, elements or members. It's not something to do.

本発明の実施例では、単数形の「一」、「該」等は複数形を含み、「一種」又は「一類」を意味し、「１つ」に限定するものではない。また、用語「前記」は、文脈上明確に指示されない限り、単数形及び複数形両方を含む。また、文脈上明確に指示されない限り、用語「応じて」は「少なくとも部分的に応じて」を意味し、用語「に基づいて」は「少なくとも部分的に基づいて」を意味する。 In the examples of the present invention, the singular forms "one", "the" and the like include the plural form, mean "one kind" or "one kind", and are not limited to "one". Also, the term "above" includes both the singular and the plural, unless explicitly stated in the context. Also, unless explicitly stated in the context, the term "according" means "at least partially responding" and the term "based on" means "at least partially based".

ビデオ圧縮では、ビデオフレームは、フレーム内フレーム（ｉｎｔｒａ−ｆｒａｍｅ）及びフレーム間フレーム（ｉｎｔｅｒ−ｆｒａｍｅ）として定義され、ｉｎｔｒａ−ｆｒａｍｅは他のフレームを参照せずに圧縮されたフレームであり、ｉｎｔｅｒ−ｆｒａｍｅは他のフレームを参照して圧縮されたフレームである。本発明の実施例のデブロッキングフィルタは、主にフレーム内フレーム及びフレーム内予測のブロックを対象とする。 In video compression, video frames are defined as intra-frames (intra-frame) and interframe frames (inter-frame), and intra-frame is a frame compressed without reference to other frames, inter-frame. A frame is a frame compressed with reference to other frames. The deblocking filter of the embodiment of the present invention mainly targets the intra-frame frame and the intra-frame prediction block.

本発明の実施例における符号化復号は、符号化及び／又は復号を含み、即ち、本発明の実施例のデブロッキングフィルタは、単独でエンコーダ側に適用されてもよいし、単独でデコーダ側に適用されてもよいし、エンコーダ側及びデコーダ側に適用されてもよい。以下は、図面を参照しながら本発明の実施例の各態様を説明する。これらの態様は単なる例示的なものであり、本発明を限定するものではない。 The coded decoding in the embodiment of the present invention includes coding and / or decoding, that is, the deblocking filter of the embodiment of the present invention may be applied to the encoder side alone or to the decoder side alone. It may be applied, or it may be applied to the encoder side and the decoder side. Hereinafter, each aspect of the embodiment of the present invention will be described with reference to the drawings. These embodiments are merely exemplary and are not intended to limit the invention.

＜実施例１＞
本発明の実施例はデブロッキングフィルタの係数取得方法を提供する。図１は本発明の実施例のデブロッキングフィルタの係数取得方法の概略図である。図１に示すように、該係数取得方法は、以下のステップを含む。 <Example 1>
An embodiment of the present invention provides a method for obtaining a coefficient of a deblocking filter. FIG. 1 is a schematic view of a method for obtaining a coefficient of a deblocking filter according to an embodiment of the present invention. As shown in FIG. 1, the coefficient acquisition method includes the following steps.

ステップ１０１において、デブロッキングフィルタのタイプに基づいて、コーデックにより再構築されたサンプル画像から、ブロッキングが存在する位置の複数の入力画素値を取得する。 In step 101, a plurality of input pixel values at positions where blocking exists are acquired from the sample image reconstructed by the codec based on the type of deblocking filter.

ステップ１０２において、該複数の入力画素値及び複数の係数に基づいて１つ又は複数の出力画素値を計算する。 In step 102, one or more output pixel values are calculated based on the plurality of input pixel values and the plurality of coefficients.

ステップ１０３において、該サンプル画像における対応する１つ又は複数の画素値を目標値として、該複数の係数をトレーニングして該デブロッキングフィルタの係数を取得する。 In step 103, the plurality of coefficients are trained with the corresponding one or a plurality of pixel values in the sample image as target values to obtain the coefficients of the deblocking filter.

本発明の実施例では、複数のサンプル画像を用いてデブロッキングフィルタの係数をトレーニングしてもよい。図１は１つのサンプル画像を用いる状況を示し、より多くのサンプル画像に基づくトレーニングにより、より正確なデブロッキングフィルタの係数を取得することができる。 In the examples of the present invention, the coefficients of the deblocking filter may be trained using a plurality of sample images. FIG. 1 shows a situation in which one sample image is used, and more accurate deblocking filter coefficients can be obtained by training based on more sample images.

なお、図１は単に本発明の実施例を説明するためのものであり、本発明はこれに限定されない。例えば、各ステップの順序を適切に調整したり、他のステップを追加したり、その一部のステップを削除したりしてもよい。当業者は、上記の内容に基づいて適切に変形してもよく、上記図１の記載に限定されない。 Note that FIG. 1 is merely for explaining an embodiment of the present invention, and the present invention is not limited thereto. For example, the order of each step may be adjusted appropriately, other steps may be added, or some of the steps may be deleted. Those skilled in the art may appropriately modify it based on the above contents, and are not limited to the description in FIG.

１つの態様では、デブロッキングフィルタは、フレーム内予測ブロック間のブロッキングを除去する。 In one embodiment, the deblocking filter removes blocking between predictive blocks within the frame.

１つの態様では、デブロッキングフィルタのタイプは、ロングタップフィルタ（ｌｏｎｇ ｔａｐ ｆｉｌｔｅｒ）、ストロングフィルタ（ｓｔｒｏｎｇ ｆｉｌｔｅｒ）、及びウィークフィルタ（ｗｅａｋ ｆｉｌｔｅｒ）を含む。現在のＨ．２６６テストモデルＶＴＭを一例にすると、８つのロングタップフィルタ、１つのストロングフィルタ及び３つのウィークフィルタを含んでもよい。 In one embodiment, the type of deblocking filter includes a long tap filter, a strong filter, and a weak filter. Current H. Taking the 266 test model VTM as an example, it may include eight long tap filters, one strong filter and three weak filters.

図２は本発明の実施例のデブロッキングフィルタのタイプの一例を示す図であり、デブロッキングフィルタの異なる形状を示している。図２に示すように、直線Ａはブロック境界でのブロッキングを表し、ｓｉｄｅＰとｓｉｄｅＱは該直線Ａの両側の２つの領域を表す。 FIG. 2 is a diagram showing an example of the type of deblocking filter according to the embodiment of the present invention, showing different shapes of the deblocking filter. As shown in FIG. 2, the straight line A represents blocking at the block boundary, and sideP and sideQ represent two regions on both sides of the straight line A.

図２に示すように、１〜８はロングタップフィルタを表し、９はストロングフィルタを表し、１０〜１２はウィークフィルタを表す。各フィルタでは、実線枠はこのフィルタにより使用される画素（即ち入力画素）を表し、破線枠はフィルタリングが必要な画素（即ち出力画素）を表す。 As shown in FIG. 2, 1 to 8 represent a long tap filter, 9 represents a strong filter, and 10 to 12 represents a weak filter. In each filter, the solid line frame represents the pixels used by this filter (ie, the input pixels), and the dashed frame represents the pixels that need to be filtered (ie, the output pixels).

例えば、１番目のフィルタの例では、入力画素の数は１４であり、出力画素の数も１４である。９番目のフィルタの例では、入力画素の数は８であり、出力画素の数は６である。１０番目のフィルタの例では、入力画素の数は４であり、力画素の数は２である。 For example, in the first filter example, the number of input pixels is 14, and the number of output pixels is also 14. In the ninth filter example, the number of input pixels is eight and the number of output pixels is six. In the example of the tenth filter, the number of input pixels is 4, and the number of force pixels is 2.

また、例えば、１１番目のフィルタの例では、入力画素の数は５であり、出力画素の数は１であり、且つ該出力画素は直線Ａの左側の画素である。１２番目のフィルタの例では、入力画素の数は５であり、出力画素の数は１であり、且つ出力画素は直線Ａの右側の画素である。 Further, for example, in the example of the eleventh filter, the number of input pixels is 5, the number of output pixels is 1, and the output pixels are the pixels on the left side of the straight line A. In the example of the twelfth filter, the number of input pixels is 5, the number of output pixels is 1, and the output pixels are the pixels on the right side of the straight line A.

本発明の実施例では、図２に示す１２個のフィルタは全て輝度成分に用いられてもよい。また、９番目のフィルタ及び１０番目のフィルタは色度成分に用いられてもよい。 In the embodiment of the present invention, all 12 filters shown in FIG. 2 may be used for the luminance component. Further, the 9th filter and the 10th filter may be used for the chromaticity component.

以上はデブロッキングフィルタの例について説明したが、以下は係数のトレーニングについて説明する。ここで、異なるタイプのデブロッキングフィルタについて該係数をそれぞれトレーニングし、且つ／或いは、輝度成分及び色度成分について該係数をそれぞれトレーニングしてもよい。 The example of the deblocking filter has been described above, but the coefficient training will be described below. Here, the coefficients may be trained for different types of deblocking filters, and / or the coefficients may be trained for the luminance component and the chromaticity component, respectively.

１つの態様では、入力画素値と出力画素値とは、全結合関係を有し、即ち、全結合層を用いて係数をトレーニングしてもよい。この場合、該係数の数は、該入力画素値の数と該出力画素値との積である。 In one embodiment, the input pixel value and the output pixel value have a fully coupled relationship, i.e., the coefficients may be trained using the fully coupled layer. In this case, the number of the coefficients is the product of the number of the input pixel values and the output pixel values.

例えば、該出力画素値は、

Figure 2021052388
に従って計算されてもよい。 For example, the output pixel value is
Figure 2021052388
 It may be calculated according to.

ここで、ｂｉは該出力画素値であり、ａｊは該入力画素値であり、ｗｉｊは該係数であり、ｉ及びｊは１以上の正整数であり、Ｊは該入力画素値の数である。 Here, b i is an output pixel value, a j is the input pixel values, w ij is the coefficient, i and j are 1 or more positive integer, J is the input pixel value It is a number.

図３は本発明の実施例の出力画素値の計算の一例を示す図であり、図２における１０番目のフィルタを一例にして説明する。図３に示すように、サンプル画像におけるブロッキングが存在する位置（例えば図２における１０番目のフィルタに対応する直線Ａの両側の４つの画素）から４つの入力画素値ａ１、ａ２、ａ３、ａ４を取得してもよく、対応するデブロッキングフィルタの係数はｗ１１、ｗ１２、ｗ１３、ｗ１４、ｗ２１、ｗ２２、ｗ２３、ｗ２４である。これらのデブロッキングフィルタの係数の初期値は、予め決定されてもよく、例えば経験値に従って決定されてもよい。 FIG. 3 is a diagram showing an example of calculation of an output pixel value according to an embodiment of the present invention, and the tenth filter in FIG. 2 will be described as an example. As shown in FIG. 3, four input pixel values a 1 , a 2 , a 3 from the position where blocking exists in the sample image (for example, four pixels on both sides of the straight line A corresponding to the tenth filter in FIG. 2). , A 4 may be obtained, and the corresponding deblocking filter coefficients are w 11 , w 12 , w 13 , w 14 , w 21 , w 22 , w 23 , w 24 . The initial values of the coefficients of these deblocking filters may be determined in advance, for example, according to empirical values.

図３に示すように、２つの出力画素値は次のように計算される。 As shown in FIG. 3, the two output pixel values are calculated as follows.

ｂ１＝ａ１×ｗ１１＋ａ２×ｗ１２＋ａ３×ｗ１３＋ａ４×ｗ１４；
ｂ２＝ａ１×ｗ２１＋ａ２×ｗ２２＋ａ３×ｗ２３＋ａ４×ｗ２４；
サンプル画像における対応する１つ又は複数の画素値（即ち、対応する元の画素値、例えば図２における１０番目のフィルタに対応する直線Ａの両側の元のサンプル画像における４つの画素値）を目標値として、目標値と計算された画素値（上記のｂ１及びｂ２）との間のコスト関数を用いて係数をトレーニングしてもよい。例えば、平均二乗誤差（ＭＳＥ：Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）により、誤差が最小の場合に複数の係数の値を取得し、取得された値を用いてこれらの係数を更新してもよい。これによって、該係数をトレーニングすることができる。 b 1 = a 1 x w 11 + a 2 x w 12 + a 3 x w 13 + a 4 x w 14 ;
b 2 = a 1 x w 21 + a 2 x w 22 + a 3 x w 23 + a 4 x w 24 ;
Target one or more corresponding pixel values in the sample image (ie, the corresponding original pixel values, eg, four pixel values in the original sample image on either side of the straight line A corresponding to the tenth filter in FIG. 2). As a value, the coefficient may be trained using a cost function between the target value and the calculated pixel value (b 1 and b 2 above). For example, the mean square error (MSE) may be used to acquire the values of a plurality of coefficients when the error is the minimum, and update these coefficients using the acquired values. This allows the coefficient to be trained.

以上は全結合層及びＭＳＥを一例にして説明したが、本発明はこれに限定されず、例えば畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）などの他のトレーニングモデルを用いてもよいし、他のコスト関数を用いてもよい。 Although the above description has been made by taking the fully connected layer and MSE as an example, the present invention is not limited to this, and other training models such as convolutional neural networks (CNN) may be used, or other training models may be used. A cost function may be used.

以下は本発明の実施例の効果を例示的に説明し、ピーク信号対雑音比（ＰＳＮＲ：Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）により符号化利得を表す。 The effects of the examples of the present invention will be illustrated below, and the coding gain will be represented by the peak signal-to-noise ratio (PSNR: Peak Signal to Noise Radio).

図４はデブロッキングフィルタがオフにされた場合の符号化復号後の画像の１つの例を示す図である。図４に示すように、馬の脚でブロッキングが簡単に観察した。元の画像と比較すると、この画像のＰＳＮＲは３３．１５０８ｄＢである。 FIG. 4 is a diagram showing one example of an image after coding and decoding when the deblocking filter is turned off. As shown in FIG. 4, blocking was briefly observed on the legs of the horse. Compared to the original image, the PSNR of this image is 33.1508 dB.

図５はデブロッキングフィルタがオンにされた場合の符号化復号後の画像の１つの例を示す図である。該デブロッキングフィルタの係数は、依然として従来方法を用いて取得される。図５に示すように、馬の脚のブロッキングが解消され、主観的な品質（ｓｕｂｊｅｃｔｉｖｅ ｑｕａｌｉｔｙ）が改善した。しかし、この図のＰＳＮＲは３３．１２８２ｄＢである。即ち、図４と比較すると、図５の符号化利得が低減した。 FIG. 5 is a diagram showing an example of an image after coding and decoding when the deblocking filter is turned on. The coefficients of the deblocking filter are still obtained using conventional methods. As shown in FIG. 5, the blocking of the horse's legs was eliminated and the subjective quality was improved. However, the PSNR in this figure is 33.1282 dB. That is, as compared with FIG. 4, the coding gain of FIG. 5 was reduced.

図６はデブロッキングフィルタがオンにされた場合の符号化復号後の画像のもう１つの例を示す図である。該デブロッキングフィルタの係数は、本発明の実施例のトレーニングにより取得される。図６に示すように、馬の脚のブロッキングが解消され、主観的な品質（ｓｕｂｊｅｃｔｉｖｅ ｑｕａｌｉｔｙ）が改善した。また、この図のＰＳＮＲは３３．１６１８ｄＢである。即ち、図４及び図５と比較すると、図６の符号化利得は向上した。 FIG. 6 is a diagram showing another example of the image after coding and decoding when the deblocking filter is turned on. The coefficients of the deblocking filter are obtained by training in the examples of the present invention. As shown in FIG. 6, the blocking of the horse's legs was eliminated and the subjective quality was improved. The PSNR in this figure is 33.1618 dB. That is, the coding gain of FIG. 6 was improved as compared with FIGS. 4 and 5.

以上は単に本発明に関連する各ステップ又はプロセスを説明し、本発明はこれに限定されない。係数取得方法又は画像符号化復号方法は他のステップ又はプロセスをさらに含んでもよく、これらのステップ又はプロセスの具体的な内容について従来技術を参照してもよい。さらに、以上は単に特徴情報を一例にして本発明の実施例を例示的に説明し、本発明はこれらの情報に限定されず、これらの情報を適切に変形してもよく、これらの変形の態様は全て本発明の実施例の範囲内のものである。 The above merely describes each step or process related to the present invention, and the present invention is not limited thereto. The coefficient acquisition method or the image coding / decoding method may further include other steps or processes, and the prior art may be referred to for the specific contents of these steps or processes. Furthermore, the above description illustrates examples of the present invention by simply taking feature information as an example, and the present invention is not limited to these information, and these information may be appropriately modified, and these modifications may be made. All aspects are within the scope of the embodiments of the present invention.

以上の各実施例では単に本発明の実施例を例示的に説明し、本発明はこれに限定されず、以上の各実施例をベースにして適切に変形してもよい。例えば、上記各実施例を単独で使用してもよいし、上記各実施例における１つ又は複数のものを組み合わせてもよい。 In each of the above examples, examples of the present invention will be merely exemplified, and the present invention is not limited to this, and may be appropriately modified based on each of the above examples. For example, each of the above embodiments may be used alone, or one or more of the above embodiments may be combined.

本実施例によれば、サンプル画像に基づいてトレーニングを行うことでデブロッキングフィルタの係数を取得することで、デブロッキングフィルタの係数がより正確になり、トレーニングにより係数を取得するデブロッキングフィルタを用いることで、ブロッキングを排除し、符号化利得を向上させることができる。 According to this embodiment, by acquiring the coefficient of the deblocking filter by training based on the sample image, the coefficient of the deblocking filter becomes more accurate, and a deblocking filter that acquires the coefficient by training is used. As a result, blocking can be eliminated and the coding gain can be improved.

＜実施例２＞
本発明の実施例はデブロッキングフィルタの係数取得装置を提供し、実施例１と同様な内容についてその説明を省略する。 <Example 2>
An embodiment of the present invention provides a coefficient acquisition device for a deblocking filter, and the description thereof will be omitted with respect to the same contents as those of the first embodiment.

図７は本発明の実施例のデブロッキングフィルタの係数取得装置の概略図である。図７に示すように、デブロッキングフィルタの係数取得装置７００は、入力部７０１、出力部７０２及びトレーニング部７０３を含む。 FIG. 7 is a schematic view of a coefficient acquisition device for a deblocking filter according to an embodiment of the present invention. As shown in FIG. 7, the coefficient acquisition device 700 of the deblocking filter includes an input unit 701, an output unit 702, and a training unit 703.

入力部７０１は、デブロッキングフィルタのタイプに基づいて、コーデックにより再構築されたサンプル画像から、ブロッキングが存在する位置の複数の入力画素値を取得する。 The input unit 701 acquires a plurality of input pixel values at positions where blocking exists from the sample image reconstructed by the codec based on the type of the deblocking filter.

出力部７０２は、該複数の入力画素値及び複数の係数に基づいて１つ又は複数の出力画素値を計算する。 The output unit 702 calculates one or a plurality of output pixel values based on the plurality of input pixel values and the plurality of coefficients.

トレーニング部７０３は、該サンプル画像における対応する１つ又は複数の画素値を目標値として、該複数の係数をトレーニングして該デブロッキングフィルタの係数を取得する。 The training unit 703 trains the plurality of coefficients with the corresponding one or a plurality of pixel values in the sample image as target values, and acquires the coefficients of the deblocking filter.

１つの態様では、該デブロッキングフィルタは、フレーム内予測ブロック間のブロッキングを除去する。 In one embodiment, the deblocking filter removes blocking between intraframe predictive blocks.

１つの態様では、該入力画素値と該出力画素値とは、全結合関係を有し、該係数の数は、該入力画素値の数と該出力画素値との積である。 In one embodiment, the input pixel value and the output pixel value have a fully coupled relationship, and the number of the coefficients is the product of the number of the input pixel values and the output pixel value.

１つの態様では、該出力画素値は、

Figure 2021052388
に従って計算される。ここで、ｂｉは該出力画素値であり、ａｊは該入力画素値であり、ｗｉｊは該係数であり、ｉ及びｊは１以上の正整数であり、Ｊは該入力画素値の数である。 In one embodiment, the output pixel value is
Figure 2021052388
 It is calculated according to. Here, b i is an output pixel value, a j is the input pixel values, w ij is the coefficient, i and j are 1 or more positive integer, J is the input pixel value It is a number.

１つの態様では、トレーニング部７０３は、平均二乗誤差により該複数の係数をトレーニングする。 In one embodiment, the training unit 703 trains the plurality of coefficients with a mean square error.

１つの態様では、該デブロッキングフィルタのタイプは、ロングタップフィルタ、ストロングフィルタ、及びウィークフィルタを含む。 In one embodiment, the type of deblocking filter includes a long tap filter, a strong filter, and a weak filter.

１つの態様では、異なるタイプのデブロッキングフィルタについて該係数をそれぞれトレーニングし、且つ／或いは、輝度成分及び色度成分について該係数をそれぞれトレーニングする。 In one embodiment, the coefficients are trained for different types of deblocking filters, respectively, and / or the coefficients are trained for the luminance and chromaticity components, respectively.

なお、以上は単に本発明に関連する各部又はモジュールを説明し、本発明はこれに限定されない。デブロッキングフィルタの係数取得装置７００は他の構成部又はモジュールをさらに含んでもよく、これらの構成部又はモジュールの具体的な内容について従来技術を参照してもよい。 It should be noted that the above description merely describes each part or module related to the present invention, and the present invention is not limited thereto. The coefficient acquisition device 700 of the deblocking filter may further include other components or modules, and the prior art may be referred to for the specific contents of these components or modules.

説明の便宜上、図７は単に各部又はモジュール間の接続関係又は信号方向を例示的に示しているが、当業者は、バス接続などの各種の関連技術を採用してもよい。以上の各部又はモジュールは例えばプロセッサ、メモリなどのハードウェア装置により実現されてもよく、本発明の実施例はこれに限定されない。 For convenience of explanation, FIG. 7 merely illustrates the connection relationship or signal direction between each part or module, but those skilled in the art may adopt various related techniques such as bus connection. Each of the above parts or modules may be realized by a hardware device such as a processor or a memory, and the embodiments of the present invention are not limited thereto.

本発明の実施例は、画像符号化復号装置をさらに提供する。 The embodiments of the present invention further provide an image coding / decoding device.

図８は本発明の実施例の画像符号化復号装置の概略図である。図８に示すように、画像符号化復号装置は、コーデック８０１及びデブロッキングフィルタ８０２を含む。 FIG. 8 is a schematic view of an image coding / decoding device according to an embodiment of the present invention. As shown in FIG. 8, the image coding / decoding device includes a codec 801 and a deblocking filter 802.

コーデック８０１は、画像を再構築する。 Codec 801 reconstructs the image.

デブロッキングフィルタ８０２は、該画像に対してデブロッキングフィルタリングを行い、フレーム内予測ブロック間のブロッキングを除去する。ここで、デブロッキングフィルタ８０２の係数は、上記の係数取得装置７００によりトレーニングを行うことで取得される。 The deblocking filter 802 performs deblocking filtering on the image to remove blocking between predicted blocks in the frame. Here, the coefficient of the deblocking filter 802 is acquired by training with the coefficient acquisition device 700 described above.

図８は、コーデック８０１とデブロッキングフィルタ８０２とが互いに独立した構成部であることを一例にして説明したが、本発明はこれに限定されない。例えば、コーデック８０１とデブロッキングフィルタ８０２とを統合してもよく、即ち、デブロッキングフィルタ８０２をコーデック８０１の構成部の一部又は機能の一部としてもよい。 FIG. 8 has been described by exemplifying that the codec 801 and the deblocking filter 802 are independent components, but the present invention is not limited thereto. For example, the codec 801 and the deblocking filter 802 may be integrated, that is, the deblocking filter 802 may be a part of a component or a part of a function of the codec 801.

なお、以上は単に本発明に関連する各部を説明し、本発明はこれに限定されない。画像符号化復号装置８００は他の構成部又はモジュールをさらに含んでもよく、これらの構成部又はモジュールの具体的な内容について従来技術を参照してもよい。 It should be noted that the above description merely describes each part related to the present invention, and the present invention is not limited thereto. The image coding / decoding device 800 may further include other components or modules, and the prior art may be referred to for the specific contents of these components or modules.

説明の便宜上、図８は単に各部又はモジュール間の接続関係又は信号方向を例示的に示しているが、当業者は、バス接続などの各種の関連技術を採用してもよい。以上の各部又はモジュールは例えばプロセッサ、メモリなどのハードウェア装置により実現されてもよく、本発明の実施例はこれに限定されない。 For convenience of explanation, FIG. 8 merely illustrates the connection relationship or signal direction between each part or module, but those skilled in the art may adopt various related techniques such as bus connection. Each of the above parts or modules may be realized by a hardware device such as a processor or a memory, and the embodiments of the present invention are not limited thereto.

以上の各実施例では単に本発明の実施例を例示的に説明し、本発明はこれに限定されず、以上の各実施例をベースにして適切に変形してもよい。例えば、上記各実施例を単独で使用してもよいし、上記各実施例における１つ又は複数のものを組み合わせてもよい。 In each of the above examples, examples of the present invention will be merely exemplified, and the present invention is not limited to this, and may be appropriately modified based on each of the above examples. For example, each of the above embodiments may be used alone, or one or more of the above embodiments may be combined.

本実施例によれば、サンプル画像に基づいてトレーニングを行うことでデブロッキングフィルタの係数を取得することで、デブロッキングフィルタの係数がより正確になり、トレーニングにより係数を取得するデブロッキングフィルタを用いることで、ブロッキングを排除し、符号化利得を向上させることができる。 According to this embodiment, by acquiring the coefficient of the deblocking filter by training based on the sample image, the coefficient of the deblocking filter becomes more accurate, and a deblocking filter that acquires the coefficient by training is used. As a result, blocking can be eliminated and the coding gain can be improved.

＜実施例３＞
本発明の実施例は電子機器を提供し、該電子機器は、実施例２のデブロッキングフィルタの係数取得装置及び／又は画像符号化復号装置を含み、ここでその内容を援用する。該電子機器は、例えば、コンピュータ、サーバ、ワークステーション、ラップトップコンピュータ、スマートフォンなどであってもよいし、これらの装置における１つ又は複数の部材であってもよく、本発明の実施例はこれに限定されない。 <Example 3>
An embodiment of the present invention provides an electronic device, which includes a coefficient acquisition device and / or an image coding / decoding device for the deblocking filter of the second embodiment, the contents of which are incorporated herein by reference. The electronic device may be, for example, a computer, a server, a workstation, a laptop computer, a smartphone, or the like, or may be one or more components in these devices, and examples of the present invention are the same. Not limited to.

図９は本発明の実施例の電子機器の概略図である。図９に示すように、電子機器９００は、プロセッサ（例えば中央処理装置（ＣＰＵ））９１０及びメモリ９２０を含んでもよく、メモリ９２０はプロセッサ９１０に接続される。メモリ９２０は、各種のデータ及び情報処理のプログラム９２１を記憶してもよく、プロセッサ９１０の制御により該プログラム９２１を実行する。 FIG. 9 is a schematic view of an electronic device according to an embodiment of the present invention. As shown in FIG. 9, the electronic device 900 may include a processor (eg, a central processing unit (CPU)) 910 and a memory 920, the memory 920 being connected to the processor 910. The memory 920 may store various data and information processing programs 921, and executes the program 921 under the control of the processor 910.

１つの態様では、デブロッキングフィルタの係数取得装置７００の機能はプロセッサ９１０に統合されてもよい。ここで、プロセッサ９１０は、実施例１のデブロッキングフィルタの係数取得方法を実現するように構成されてもよい。 In one embodiment, the functionality of the deblocking filter coefficient acquisition device 700 may be integrated into the processor 910. Here, the processor 910 may be configured to realize the coefficient acquisition method of the deblocking filter of the first embodiment.

例えば、プロセッサ９１０は、デブロッキングフィルタのタイプに基づいて、コーデックにより再構築されたサンプル画像から、ブロッキングが存在する位置の複数の入力画素値を取得し、該複数の入力画素値及び複数の係数に基づいて１つ又は複数の出力画素値を計算し、該サンプル画像における対応する１つ又は複数の画素値を目標値として、該複数の係数をトレーニングして該デブロッキングフィルタの係数を取得するように構成されてもよい。 For example, the processor 910 obtains a plurality of input pixel values at positions where blocking exists from a sample image reconstructed by a codec based on the type of deblocking filter, and the plurality of input pixel values and a plurality of coefficients. One or more output pixel values are calculated based on the above, and the plurality of coefficients are trained with the corresponding one or more pixel values in the sample image as target values to obtain the coefficient of the deblocking filter. It may be configured as follows.

１つの態様では、画像符号化復号装置８００の機能はプロセッサ９１０に統合されてもよい。例えば、プロセッサ９１０は、画像を再構築し、該画像に対してデブロッキングフィルタリングを行い、フレーム内予測ブロック間のブロッキングを除去するように構成されてもよく、該デブロッキングフィルタの係数は、実施例１のデブロッキングフィルタの係数取得装置により取得される。 In one aspect, the functionality of the image coding and decoding device 800 may be integrated into the processor 910. For example, processor 910 may be configured to reconstruct an image, perform deblocking filtering on the image, and remove blocking between intraframe predictive blocks, and the coefficients of the deblocking filter may be implemented. It is acquired by the coefficient acquisition device of the deblocking filter of Example 1.

また、図９に示すように、画像処理装置は、入力出力（Ｉ／Ｏ）装置９３０及びディスプレイ９４０などをさらに含んでもよい。ここで、上記各部の機能は従来技術と類似し、ここでその説明を省略する。なお、電子機器９００は、図９に示す全ての構成部を含まなくてもよい。また、電子機器９００は、図９に示していない構成部を含んでもよく、従来技術を参考してもよい。 Further, as shown in FIG. 9, the image processing device may further include an input / output (I / O) device 930, a display 940, and the like. Here, the functions of the above parts are similar to those of the prior art, and the description thereof will be omitted here. The electronic device 900 does not have to include all the components shown in FIG. Further, the electronic device 900 may include a component not shown in FIG. 9, and the prior art may be referred to.

本発明の実施例は、電子機器においてプログラムを実行する際に、コンピュータに該電子機器において実施例１に記載のデブロッキングフィルタの係数取得方法を実行させる、コンピュータ読み取り可能なプログラムを提供する。 An embodiment of the present invention provides a computer-readable program that causes a computer to execute the coefficient acquisition method of the deblocking filter according to the first embodiment in the electronic device when the program is executed in the electronic device.

本発明の実施例は、コンピュータに電子機器において実施例１に記載のデブロッキングフィルタの係数取得方法を実行させるためのコンピュータ読み取り可能なプログラムを記憶する、記憶媒体をさらに提供する。 An embodiment of the present invention further provides a storage medium for storing a computer-readable program for causing a computer to execute the coefficient acquisition method of the deblocking filter according to the first embodiment in an electronic device.

本発明の以上の装置及び方法は、ハードウェアにより実現されてもよく、ハードウェアとソフトウェアを結合して実現されてもよい。本発明はコンピュータが読み取り可能なプログラムに関し、該プログラムは論理部により実行される時に、該論理部に上述した装置又は構成要件を実現させる、或いは該論理部に上述した各種の方法又はステップを実現させることができる。本発明は上記のプログラムを記憶するための記憶媒体、例えばハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フラッシュメモリ等に関する。 The above-mentioned devices and methods of the present invention may be realized by hardware, or may be realized by combining hardware and software. The present invention relates to a computer-readable program, which, when executed by a logic unit, causes the logic unit to realize the above-mentioned device or configuration requirement, or the logic unit realizes various methods or steps described above. Can be made to. The present invention relates to a storage medium for storing the above program, for example, a hard disk, a magnetic disk, an optical disk, a DVD, a flash memory, or the like.

本発明の実施例を参照しながら説明した方法／装置は、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は両者の組み合わせで実施されてもよい。例えば、図面に示す機能的ブロック図における１つ若しくは複数、又は機能的ブロック図の１つ若しくは複数の組み合わせは、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよいし、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、図面に示す各ステップにそれぞれ対応してもよい。これらのハードウェアモジュールは、例えばフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）を用いてこれらのソフトウェアモジュールをハードウェア化して実現されてもよい。 The methods / devices described with reference to the examples of the present invention may be implemented in hardware, software modules executed by a processor, or a combination thereof. For example, one or more of the functional block diagrams shown in the drawings, or one or more combinations of functional block diagrams may correspond to each software module of the computer program flow, or each hardware module. You may. These software modules may correspond to each step shown in the drawings. These hardware modules may be realized by hardwareizing these software modules using, for example, a field programmable gate array (FPGA).

ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、モバイルハードディスク、ＣＤ−ＲＯＭ又は当業者にとって既知の任意の他の形の記憶媒体に位置してもよい。プロセッサが記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込むように該記憶媒体をプロセッサに接続してもよいし、記憶媒体がプロセッサの構成部であってもよい。プロセッサ及び記憶媒体はＡＳＩＣに位置する。該ソフトウェアモジュールは移動端末のメモリに記憶されてもよいし、移動端末に挿入されたメモリカードに記憶されてもよい。例えば、機器（例えば移動端末）が比較的に大きい容量のＭＥＧＡ−ＳＩＭカード又は大容量のフラッシュメモリ装置を用いる場合、該ソフトウェアモジュールは該ＭＥＧＡ−ＳＩＭカード又は大容量のフラッシュメモリ装置に記憶されてもよい。 The software module may be located in RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disks, mobile hard disks, CD-ROMs or any other form of storage medium known to those skilled in the art. The storage medium may be connected to the processor so that the processor reads information from the storage medium or writes information to the storage medium, or the storage medium may be a component of the processor. The processor and storage medium are located in the ASIC. The software module may be stored in the memory of the mobile terminal or may be stored in the memory card inserted in the mobile terminal. For example, when a device (for example, a mobile terminal) uses a relatively large capacity MEGA-SIM card or a large capacity flash memory device, the software module is stored in the MEGA-SIM card or the large capacity flash memory device. May be good.

図面に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、本発明に記載されている機能を実行するための汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理装置、ディスクリートハードウェアコンポーネント、またはそれらの任意の適切な組み合わせで実現されてもよい。図面に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、例えば、コンピューティング機器の組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰ通信と組み合わせた１つ又は複数のマイクロプロセッサ又は他の任意の構成で実現されてもよい。 One or more functional blocks and / or one or more combinations of functional blocks described in the drawings are general purpose processors, digital signal processors (DSPs), specific applications for performing the functions described in the present invention. It may be implemented in an application specific integrated circuit (ASIC), a field programmable gate array (FPGA) or other programmable logic device, a discrete gate or transistor logic device, a discrete hardware component, or any suitable combination thereof. One or more functional blocks and / or one or more combinations of functional blocks described in the drawings are, for example, a combination of computing devices, such as a combination of DSP and microprocessor, a combination of multiple microprocessors, DSP communication. It may be implemented in one or more microprocessors in combination with or any other configuration.

以上、具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び変更を行ってもよく、これらの変形及び変更も本発明の範囲に属する。 Although the present invention has been described above with reference to specific embodiments, the above description is merely exemplary and does not limit the scope of protection of the present invention. Various modifications and modifications may be made to the present invention as long as the gist and principle of the present invention are not deviated, and these modifications and modifications also belong to the scope of the present invention.

Claims (10)

デブロッキングフィルタの係数取得装置であって、
デブロッキングフィルタのタイプに基づいて、コーデックにより再構築されたサンプル画像から、ブロッキングが存在する位置の複数の入力画素値を取得する入力部と、
前記複数の入力画素値及び複数の係数に基づいて１つ又は複数の出力画素値を計算する出力部と、
前記サンプル画像における対応する１つ又は複数の画素値を目標値として、前記複数の係数をトレーニングして前記デブロッキングフィルタの係数を取得するトレーニング部と、を含む、係数取得装置。 Deblocking filter coefficient acquisition device
An input unit that acquires multiple input pixel values at the position where blocking exists from a sample image reconstructed by the codec based on the type of deblocking filter.
An output unit that calculates one or more output pixel values based on the plurality of input pixel values and a plurality of coefficients.
A coefficient acquisition device including a training unit that trains the plurality of coefficients to acquire the coefficients of the deblocking filter with the corresponding one or a plurality of pixel values in the sample image as target values. 前記デブロッキングフィルタは、フレーム内予測ブロック間のブロッキングを除去する、請求項１に記載の係数取得装置。 The coefficient acquisition device according to claim 1, wherein the deblocking filter removes blocking between prediction blocks in a frame. 前記入力画素値と前記出力画素値とは、全結合関係を有し、
前記係数の数は、前記入力画素値の数と前記出力画素値との積である、請求項１に記載の係数取得装置。 The input pixel value and the output pixel value have a fully coupled relationship and have a fully coupled relationship.
The coefficient acquisition device according to claim 1, wherein the number of coefficients is a product of the number of input pixel values and the output pixel values. 前記出力画素値は、
Figure 2021052388
に従って計算され、
ここで、ｂｉは前記出力画素値であり、ａｊは前記入力画素値であり、ｗｉｊは前記係数であり、ｉ及びｊは１以上の正整数であり、Ｊは前記入力画素値の数である、請求項３に記載の係数取得装置。 The output pixel value is
Figure 2021052388
Calculated according to
Here, b i is the output pixel value, a j is the input pixel value, w ij is the coefficient, i and j are 1 or more positive integer, J is the input pixel value The coefficient acquisition device according to claim 3, which is a number. 前記トレーニング部は、平均二乗誤差により前記複数の係数をトレーニングする、請求項１に記載の係数取得装置。 The coefficient acquisition device according to claim 1, wherein the training unit trains the plurality of coefficients based on a mean square error. 前記デブロッキングフィルタのタイプは、ロングタップフィルタ、ストロングフィルタ、及びウィークフィルタを含む、請求項１に記載の係数取得装置。 The coefficient acquisition device according to claim 1, wherein the type of the deblocking filter includes a long tap filter, a strong filter, and a weak filter. 異なるタイプのデブロッキングフィルタについて前記係数をそれぞれトレーニングし、且つ／或いは、輝度成分及び色度成分について前記係数をそれぞれトレーニングする、請求項１に記載の係数取得装置。 The coefficient acquisition device according to claim 1, wherein the coefficients are trained for different types of deblocking filters, and / or the coefficients are trained for the luminance component and the chromaticity component, respectively. デブロッキングフィルタの係数取得方法であって、
デブロッキングフィルタのタイプに基づいて、コーデックにより再構築されたサンプル画像から、ブロッキングが存在する位置の複数の入力画素値を取得するステップと、
前記複数の入力画素値及び複数の係数に基づいて１つ又は複数の出力画素値を計算するステップと、
前記サンプル画像における対応する１つ又は複数の画素値を目標値として、前記複数の係数をトレーニングして前記デブロッキングフィルタの係数を取得するステップと、を含む、係数取得方法。 It is a method of obtaining the coefficient of the deblocking filter.
A step to obtain multiple input pixel values at the location where blocking exists from a sample image reconstructed by the codec based on the type of deblocking filter, and
A step of calculating one or more output pixel values based on the plurality of input pixel values and a plurality of coefficients, and
A coefficient acquisition method including a step of training the plurality of coefficients to acquire the coefficient of the deblocking filter with the corresponding one or a plurality of pixel values in the sample image as a target value. 前記デブロッキングフィルタは、フレーム内予測ブロック間のブロッキングを除去する、請求項８に記載の係数取得方法。 The coefficient acquisition method according to claim 8, wherein the deblocking filter removes blocking between prediction blocks in a frame. 画像符号化復号装置であって、
画像を再構築するコーデックと、
前記画像に対してデブロッキングフィルタリングを行い、フレーム内予測ブロック間のブロッキングを除去するデブロッキングフィルタと、を含み、
前記デブロッキングフィルタの係数は、請求項１乃至７の何れかに記載の係数取得装置によりトレーニングを行うことで取得される、画像符号化復号装置。 An image coding / decoding device
A codec that reconstructs images and
Includes a deblocking filter that performs deblocking filtering on the image and removes blocking between predictive blocks within the frame.
An image coding / decoding device in which the coefficient of the deblocking filter is acquired by training with the coefficient acquisition device according to any one of claims 1 to 7.
JP2020139487A 2019-09-24 2020-08-20 Deblocking filter coefficient acquisition device and method, and image coding/decoding device Pending JP2021052388A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910903816.8A CN112637610A (en) 2019-09-24 2019-09-24 Coefficient acquisition device and method for deblocking filter, and image encoding and decoding device
CN201910903816.8 2019-09-24

Publications (1)

Publication Number Publication Date
JP2021052388A true JP2021052388A (en) 2021-04-01

Family

ID=75158319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020139487A Pending JP2021052388A (en) 2019-09-24 2020-08-20 Deblocking filter coefficient acquisition device and method, and image coding/decoding device

Country Status (2)

Country Link
JP (1) JP2021052388A (en)
CN (1) CN112637610A (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011139208A (en) * 2009-12-28 2011-07-14 Sony Corp Image processing device and method
CN102792690B (en) * 2010-03-09 2016-06-15 汤姆森特许公司 Method and apparatus based on classification loop filter
WO2013010248A1 (en) * 2011-07-21 2013-01-24 Research In Motion Adaptive filtering based on pattern information
CN103813176A (en) * 2012-11-14 2014-05-21 北京三星通信技术研究有限公司 Deblocking filter method and adaptive loop filter method in video encoding and decoding
CN104735450B (en) * 2015-02-26 2019-06-07 北京大学 A kind of method and device carrying out adaptive loop filter in coding and decoding video
CN107820677B (en) * 2017-09-18 2021-03-19 深圳市汇顶科技股份有限公司 Method and device for determining filter coefficient and terminal

Also Published As

Publication number Publication date
CN112637610A (en) 2021-04-09

Similar Documents

Publication Publication Date Title
JP2021016150A (en) Loop filtering device and image decoding device
JP4455487B2 (en) Decoding device, decoding method, and program
KR100938568B1 (en) Interpolated frame deblocking operation in frame rate up conversion application
US7430336B2 (en) Method and apparatus for image enhancement for low bit rate video compression
JP4666415B2 (en) Image encoding method and image encoding apparatus
JP2019216467A (en) Apparatus for encoding and decoding image by using skip encoding and method of the same
TW201924342A (en) Method and apparatus of neural network for video coding
US8577168B2 (en) System and method for in-loop deblocking in scalable video coding
JP7100772B2 (en) Bit width control methods and devices for bidirectional optical flow
TWI677239B (en) Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
US11375199B2 (en) Interpolation filter for an inter prediction apparatus and method for video coding
JP7350082B2 (en) Loop filtering method, apparatus and computer storage medium
WO2017084258A1 (en) Method for real-time video noise reduction in coding process, terminal, and nonvolatile computer readable storage medium
JP5800396B2 (en) Method and apparatus for determining and selecting filter parameters in response to variable transformation in sparsity-based artifact removal filtering
JP2009544222A (en) Method and apparatus for adaptive reference filtering
WO2006078454A1 (en) Method and apparatus for intra prediction for rru
JP2012533215A (en) Region-based filter cooperative partition coding method and apparatus
CN111937392A (en) Neural network method and device for video coding and decoding
JP5882450B2 (en) Method and apparatus for adaptive loop filter with constrained filter coefficients
WO2019179401A1 (en) Image filtering method and apparatus, and video codec
JP2021052388A (en) Deblocking filter coefficient acquisition device and method, and image coding/decoding device
Wige et al. In-loop noise-filtered prediction for high efficiency video coding
US11381845B2 (en) Deblocking between block boundaries and sub-block boundaries in a video encoder and/or video decoder
WO2021263251A1 (en) State transition for dependent quantization in video coding
JP7387878B2 (en) Deblocking filter selection in video or image coding