JP2021015643A - Equipment related to color debanding processing, image processing system, processing program, and storage medium - Google Patents
Equipment related to color debanding processing, image processing system, processing program, and storage medium Download PDFInfo
- Publication number
- JP2021015643A JP2021015643A JP2020187757A JP2020187757A JP2021015643A JP 2021015643 A JP2021015643 A JP 2021015643A JP 2020187757 A JP2020187757 A JP 2020187757A JP 2020187757 A JP2020187757 A JP 2020187757A JP 2021015643 A JP2021015643 A JP 2021015643A
- Authority
- JP
- Japan
- Prior art keywords
- banding
- image
- color
- processing
- debanding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 112
- 238000003860 storage Methods 0.000 title claims description 3
- 238000012935 Averaging Methods 0.000 claims abstract description 15
- 238000003672 processing method Methods 0.000 claims abstract 4
- 238000000034 method Methods 0.000 claims description 66
- 238000000611 regression analysis Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 13
- 238000012546 transfer Methods 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- UBCKGWBNUIFUST-YHYXMXQVSA-N tetrachlorvinphos Chemical compound COP(=O)(OC)O\C(=C/Cl)C1=CC(Cl)=C(Cl)C=C1Cl UBCKGWBNUIFUST-YHYXMXQVSA-N 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
Description
本発明は、カラーデバンディング処理に関する装置と画像処理システムと処理プログラムと記憶媒体に関する。 The present invention relates to an apparatus, an image processing system, a processing program, and a storage medium related to color debanding processing.
Ｂｈａｇａｖａｔｈｙらは、マルチスケール解析に基づく確率的なディザリングによりカラーバンディングを抑制した。また、水野らは、カラーバンディングを階調補間するために、２次元補間問題を１次元ポアソン方程式に帰着させて解いた。Ｂａｕｇｈらは、ＲＧＢ画素レベルにより領域分割したブロック中の画素数からバンディング領域を検出し、バンディング領域に対して、近傍ブロックからの距離に応じた重み付け平滑化によりカラーバンディングを除去した。上記事項は、下記非特許文献１乃至非特許文献３にそれぞれ記載されている。 Bhagavathy et al. Suppressed color banding by probabilistic dithering based on multiscale analysis. In addition, Mizuno et al. Resolved the two-dimensional interpolation problem by reducing it to the one-dimensional Poisson equation in order to perform gradation interpolation of color banding. Baugh et al. Detected the banding region from the number of pixels in the block divided into regions at the RGB pixel level, and removed the color banding from the banding region by weighted smoothing according to the distance from the neighboring block. The above items are described in Non-Patent Documents 1 to 3 below, respectively.
従来方法の多くは、反復を伴う最適化処理や画像全体を用いる大域的な処理であり、画素をラスタスキャンしながら行う局所的な処理ではないため、処理時間が比較的長く要するものとなるので、多くの映像を継続的に処理する必要がある映像処理には向かない。 Most of the conventional methods are optimization processing that involves repetition and global processing that uses the entire image, and are not local processing that is performed while raster-scanning pixels, so processing time is relatively long. , Not suitable for video processing that requires continuous processing of many images.
さらなる問題は、画像処理における調整パラメータの決定方法である。画像処理においては、何らかの調整パラメータが存在するのが普通であり、調整パラメータをどのように決定するかは、それぞれの処理の内容や画像／映像内容によるとされて、主観評価による経験的な値が従来用いられてきた。カラーデバンディング処理においても同様の問題がある。 A further problem is how to determine adjustment parameters in image processing. In image processing, there are usually some adjustment parameters, and how to determine the adjustment parameters depends on the content of each processing and the image / video content, and is an empirical value based on subjective evaluation. Has been used conventionally. There is a similar problem in the color debanding process.
本発明では、画像をラスタスキャンしながら、近傍ブロック領域における画素を用いた局所処理を行う。フィルタパラメータは、インターネット等から収集した画像から擬似カラーバンディング画像を生成し、そのバンディング特微量を抽出するとともに、バンディングが存在していない原画像と擬似カラーバンディング画像を処理した結果のデバンディング処理画像との間のカルバック・ライブラー情報量が最小になる最適なパラメータを推定する。また、バンディング特微量に対する最適パラメータを予測する最適なモデルを複数のインターネット収集画像を用いて重回帰分析と変数選択（モデル選択）により決定する。 In the present invention, local processing using pixels in a nearby block region is performed while raster-scanning an image. The filter parameter is a debanding processed image obtained by generating a pseudo color banding image from an image collected from the Internet or the like, extracting a trace amount of the banding, and processing the original image in which no banding exists and the pseudo color banding image. Estimate the optimum parameter that minimizes the amount of Calvuck-Liber information between and. In addition, the optimum model for predicting the optimum parameters for the banding limit is determined by multiple regression analysis and variable selection (model selection) using a plurality of Internet-collected images.
本発明により、近傍ブロック領域における画素を用いた局所処理によりカラーバンディングを除去することができる。インターネットから収集した画像により予め決定したモデルを用いることにより、カラーバンディング特微量に対して、最適なパラメータを予測して、カラーバンディング処理を実現することができる。従来の画像処理における主観的・経験的なパラメータ決定に対して、極めて合理的に妥当な結果が得られるパラメータを自動的に決定する方法等である。 According to the present invention, color banding can be removed by local processing using pixels in a nearby block region. By using a model determined in advance from images collected from the Internet, it is possible to predict the optimum parameters for the extraordinary amount of color banding and realize the color banding process. This is a method of automatically determining parameters that can obtain extremely reasonably reasonable results, as opposed to subjective and empirical parameter determination in conventional image processing.
（発明の概要１）
本発明では、ＨＤＲ映像において発生しやすい擬似輪郭状の妨害である“カラーバンディング”を、簡易な画像処理により補正する方法を提案する。まず、注目画素の近傍ブロック領域中の輝度値の標準偏差からバンディング候補画素を検出する。バンディング候補画素の近傍ブロック画素を用いて、できるだけ似た色で、明るさが近い画素に対する重みを大きくして、輝度信号の重み付け平均を行うことにより、バンディングを除去する。
(Outline of Invention 1)
The present invention proposes a method of correcting "color banding", which is a pseudo-contour-like interference that tends to occur in HDR video, by simple image processing. First, the banding candidate pixel is detected from the standard deviation of the brightness value in the block region near the pixel of interest. Banding is removed by using block pixels in the vicinity of the banding candidate pixels, increasing the weight for pixels having similar colors as possible and having similar brightness, and performing weighted averaging of the luminance signals.
次に、インターネット等から収集した複数の画像から生成した擬似カラーバンディング画像のバンディング特微量を抽出する。バンディング特微量に対して、原画像とデバンディング処理画像との間のカルバック・ライブラー情報量による目的関数を最小とする最適パラメータを予測するモデルを学習により決定する。 Next, the banding extra-trace amount of the pseudo-color banding image generated from a plurality of images collected from the Internet or the like is extracted. A model that predicts the optimum parameter that minimizes the objective function based on the amount of Kullback-Leibler information between the original image and the debanding processed image is determined by learning for the banding limit.
より具体的には、ラスタスキャンにより近傍ブロック領域における画素を用いた局所処理により、カラーバンディングを除去する構造と、カラーバンディング候補画素の検出とカラーバンディング除去処理の構造と、最適パラメータを自動決定するために、インターネット検索画像を収集して、擬似カラーバンディング画像を生成し、原画像との間のカルバック・ライブラー情報量を最小化する最適パラメータを推定し、バンディング特微量と最適パラメータの組み合わせから重回帰分析とモデル選択により最適パラメータを予測する最適なモデルを決定する構造と、カラーバンディング除去の際に、バンディング特微量を抽出して、学習したモデルから最適パラメータを予測して、カラーデバンディング処理を行う構造と、を備える画像処理装置とする。 More specifically, the optimum parameters are automatically determined, such as a structure for removing color banding by local processing using pixels in a nearby block region by raster scanning, a structure for detecting color banding candidate pixels and a structure for color banding removal processing. In order to collect Internet search images, generate a pseudo-color banding image, estimate the optimum parameters that minimize the amount of Calback-Liber information between the original image, and from the combination of the banding limit and the optimum parameters. A structure that determines the optimum model by predicting the optimum parameters by multiple regression analysis and model selection, and when removing color banding, a very small amount of banding is extracted, and the optimum parameters are predicted from the learned model for color debanding. An image processing device including a structure for performing processing.
また、バンディング候補画素の検出処理部と、バンディング候補画素を近傍ブロック領域における輝度値と色差値のレベル差による重みの積を最終的な重みとして、近傍ブロック領域における輝度値を重み付け平均するバンディング除去部と、インターネット検索画像から擬似カラーバンディング画像を生成する擬似カラーバンディング画像生成部と、擬似カラーバンディング画像からバンディングを除去するパラメータを最適に推定する最適パラメータ推定方法とする、さらには、バンディング特微量を抽出するバンディング特微量抽出部と、複数のインターネット画像からバンディング特微量と最適パラメータの組み合わせから最適なモデルを推定するモデル推定方法（学習方法）とし、抽出したバンディング特微量と学習したモデルパラメータを用いて最適なパラメータを予測する最適パラメータ予測部を備えるものとする。 Further, banding removal is performed by weighting and averaging the brightness values in the neighboring block region with the product of the banding candidate pixel detection processing unit and the weights of the banding candidate pixels due to the level difference between the brightness value and the color difference value in the neighboring block region as the final weight. A pseudo-color banding image generator that generates a pseudo-color banding image from an Internet search image, and an optimum parameter estimation method that optimally estimates parameters for removing banding from a pseudo-color banding image. A model estimation method (learning method) that estimates the optimum model from the combination of the banding extra-trace and the optimum parameters from multiple Internet images, and the banding extra-trace extractor that extracts the extracted banding extra-trace and the learned model parameters. It shall be provided with an optimum parameter prediction unit for predicting the optimum parameter by using it.
（発明の概要２）
実現方法としては、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、ＭＸＦファイルをベースバンドビデオ信号に変換、あるいは逆変換する装置を用いれば、いかなる構成による実現も可能である。
(Outline 2 of the invention)
As a realization method, it can be realized by a hardware device that processes a baseband video signal, or it can be realized by a software that processes an MXF file and a computer-based device that executes the software. However, any configuration can be realized by using a device that converts the MXF file into a baseband video signal or reversely converts it.
カメラ映像を動画像圧縮したもの、あるいはＭＸＦファイルをＩＰ（インターネット・プロトコル）伝送して、クラウド上で処理を行うことも可能である。ＩＰ伝送された圧縮映像をベースバンドビデオ信号に復号して、カラーデバンディング処理を行った結果を再び圧縮してストリーム配信する等、様々なシステム形態が考えられる。 It is also possible to perform processing on the cloud by transmitting a video-compressed camera image or an MXF file by IP (Internet Protocol). Various system forms are conceivable, such as decoding the compressed video transmitted by IP into a baseband video signal, compressing the result of color debanding processing again, and distributing the stream.
バンディング特微量と最適パラメータの組み合わせから最適なモデルを推定するモデル推定方法（学習方法）としては、重回帰分析のみならず、主成分分析、非線形モデルの当てはめも考えられる。最適パラメータの学習に用いる画像には、バンディングが存在しない画像であれば、インターネット検索による画像のみならず、様々なメディアからの画像を用いてもよい。 As a model estimation method (learning method) for estimating the optimum model from the combination of the banding limit and the optimum parameter, not only the multiple regression analysis but also the principal component analysis and the application of the nonlinear model can be considered. As the image used for learning the optimum parameters, as long as the image does not have banding, not only the image obtained by Internet search but also the image from various media may be used.
図１は、カラーデバンディング処理ブロック図である。図１に示すように、カラーデバンディング処理の手順は、次のようになる． FIG. 1 is a color debanding processing block diagram. As shown in FIG. 1, the procedure of the color debanding process is as follows.
１、カラーＲＧＢ入力を輝度色差ＹＣＢＣＲに変換する（ＲＧＢ→ＹＣＢＣＲ）。
２、変換したＹの画素値の近傍ブロック領域における標準偏差を計算して、しきい値（Ｔｈｒｅｓｈｏｌｄｌ）以下の画素をバンディング候補画素とする（Ｂａｎｄ Ｄｅｔｅｃｔ）。さらに、Ｙの画素値が別のしきい値（Ｔｈｒｅｓｈｏｌｄ２）以上である条件を加える。このようにして得られたバンディング候補画素に対して、２値メジアンフィルタにより、マスク整形を行ったものをバンドマスク（Ｂａｎｄ Ｍａｓｋ）とする。
1, to convert color RGB input to a luminance chrominance YC B C R (RGB → YC B C R).
2. The standard deviation in the vicinity block region of the converted Y pixel value is calculated, and the pixel equal to or less than the threshold value (Threshold) is set as a banding candidate pixel (Band Detector). Further, a condition is added in which the pixel value of Y is equal to or higher than another threshold value (Threshold 2). A band mask (Band Mask) is obtained by mask-shaping the banding candidate pixels obtained in this manner with a binary median filter.
３、近傍ブロック領域におけるＣＢＣＲ、およびＹの画素値のレベル距離による重みを計算して（Ｗｅｉｇｈｔ Ｃａｌｃ）、その重み（Ｗｅｉｇｈｔ）を用いて、Ｙを重み付け平均する（Ｗｅｉｇｈｔ Ａｖｅｒａｇｅ）。ただし、バンドマスク（Ｂａｎｄ Ｍａｓｋ）によるバンディング候補画素に対してのみ重み付け平均を行う。バンディング候補画素以外における重み付け平均の際に、近傍ブロック領域中のバンディング候補画素以外の画素の重みは０とする。 3, to calculate the weight by the level distance C B C R, and the pixel value of Y in the vicinity block area (Weight Calc), using the weight (Weight), weighted averaging the Y (Weight Average). However, the weighted averaging is performed only on the banding candidate pixels by the band mask (Band Mask). At the time of weighting averaging other than the banding candidate pixels, the weight of the pixels other than the banding candidate pixels in the neighboring block region is set to 0.
４、このように重み付け平均されたＹ’とＣＢＣＲをＲＧＢに変換して（ＹＣＢＣＲ→ＲＧＢ）、出力する。輝度色差ＹＣＢＣＲ入出力の場合、入出力におけるＲＧＢとＹＣＢＣＲ間の相互の変換は不要である。 4, thus weighted averaged Y 'and the C B C R is converted to RGB (YC B C R → RGB ), and outputs. If the luminance chrominance YC B C R O, mutual conversion between RGB and YC B C R in the input-output is unnecessary.
輝度値Ｙの重み付け平均は、色差信号ＣＢＣＲ、および輝度信号Ｙから計算した重み係数ｗを用いて、次のように計算する。 Weighted average of the luminance values Y using the color difference signals C B C R, and the weighting factor w calculated from the luminance signal Y, is calculated as follows.
重み係数ｗは、色差信号Ｃ＝（ＣＢ，ＣＲ）Ｔのレべル距離による重みｗｒＣと輝度信号Ｙのレベル距離による重みｗｒＹの積であり、それぞれガウス関数により次のように定義する。 Weighting coefficient w is, the color difference signal C = (C B, C R ) is the product of the weight w rY by the level distance of the weight by leveling le distance T w rC luminance signal Y, the respective Gaussian functions in the following manner Define.
σｒＣ，σｒＹはそれぞれ色差信号、輝度信号のレベル距離の許容範囲を調整するパラメータである。 σ rC and σ rY are parameters for adjusting the permissible range of the level distances of the color difference signal and the luminance signal, respectively.
また、図２は、カラーデバンディング処理の最適パラメータ学習のブロック図である。図２に示すように、カラーバンディングを除去するデバンディング処理フィルタの最適パラメータを予測するための事前のパラメータ学習の手順は次のようになる。
１、インターネットにより画像検索を行い、適当な画像を複数ダウンロードする。
２、ダウンロードした画像を原画像として、擬似カラーバンディング画像を生成する。擬似カラーバンディング画像は、画像の輝度値Ｙを
Further, FIG. 2 is a block diagram of learning the optimum parameters of the color debanding process. As shown in FIG. 2, the procedure of prior parameter learning for predicting the optimum parameters of the debanding processing filter that removes color banding is as follows.
1. Perform an image search on the Internet and download multiple suitable images.
2. Generate a pseudo color banding image using the downloaded image as the original image. For the pseudo color banding image, the brightness value Y of the image is used.
に変換したものを、ｓ倍することにより生成する。ここで、ｓは任意の正数であり、 It is generated by multiplying it by s. Where s is an arbitrary positive number,
は小数部を切り捨てる床関数である。
３、擬似カラーバンディング画像におけるバンディング候補領域から、バンディング特微量を検出する。
４、デバンディング処理パラメータは、原画像と擬似カラーバンディング画像をデバンディング処理した画像の間のバンディング候補画素の輝度値ヒストグラムから計算したカルバック・ライブラー情報量が最小となるように、滑降シンプレックス法（Ｎｅｌｄｅｒ−Ｍｅａｄ法）により最適化する。
５、上記、バンディング特微量と最適デバンディング処理パラメータの組み合わせに対して、重回帰分析を行い、変数選択（モデル選択）により最適デバンディング処理パラメータを予測する最適なモデルを決定する。
Is a floor function that truncates the decimal part.
3. A very small amount of banding is detected from the banding candidate region in the pseudo color banding image.
4. The debanding processing parameter is a sliding simplex method so that the amount of Calback-Libler information calculated from the brightness value histogram of the banding candidate pixels between the original image and the pseudo-color banding image debanded is minimized. Optimize by (Nelder-Made method).
5. Multiple regression analysis is performed on the combination of the above-mentioned extraordinary amount of banding and the optimum debanding processing parameter, and the optimum model for predicting the optimum debanding processing parameter is determined by variable selection (model selection).
図３は、最適パラメータ予測によるカラーデバンディング処理のブロック図である。図３に示すように、学習用画像におけるバンディング特微量と最適パラメータの間の学習結果を用いて、カラーデバンディング処理を行う手順は、次のようになる。
１、バンディング画像からバンディング特微量を抽出する。
２、バンディング特微量に対して、学習結果を用いて最適パラメータを予測する。
３、予測された最適パラメータを用いて、デバンディング処理を行う。
なお、バンディング特微量の抽出方法、およびバンディング特微量に対する最適パラメータを予測するモデルを推定する重回帰分析と変数選択による学習方法に関しては、後述の論文を参照することにより当業者には理解できるものである。
FIG. 3 is a block diagram of the color debanding process based on the optimum parameter prediction. As shown in FIG. 3, the procedure for performing the color debanding process using the learning result between the banding extra-trace amount and the optimum parameter in the training image is as follows.
1. Extract a very small amount of banding from the banding image.
2. Predict the optimum parameters using the learning results for the banding limit.
3. Debanding processing is performed using the predicted optimum parameters.
Those skilled in the art can understand the method of extracting the banding extra-trace amount and the learning method by multiple regression analysis and variable selection for estimating the model for predicting the optimum parameter for the banding extra-trace amount by referring to the following papers. Is.
（詳細な説明：ＨＤＲ映像のためのカラーデバンディング処理：インターネット検索画像を用いた最適パラメータ学習） (Detailed explanation: Color debanding processing for HDR video: Optimal parameter learning using Internet search images)
（Ａｂｓｔｒａｃｔ）
ＨＤＲ映像において発生する擬似輪郭状の妨害である“カラーバンディング”を簡易な画像処理により補正する。注目画素の近傍ブロック領城中の輝度値とその標準偏差からバンディング候補画素を検出し、近傍ブロック領域の画素において、できるだけ似た色で、明るさが近い画素に対する重みを大きくして、輝度信号の重み付け平均を行うことにより、バンディングを除去する。
(Abstract)
"Color banding", which is a pseudo-contour-like interference that occurs in HDR video, is corrected by simple image processing. Banding candidate pixels are detected from the brightness value in the neighboring block area of the pixel of interest and its standard deviation, and the weight of the pixels in the neighboring block area with the same color as possible and the brightness is increased to increase the weight of the brightness signal. Banding is removed by performing a weighted averaging.
デバンディング処理フィルタのパラメータを自動最適化するために、インターネットから収集した複数の画像から擬似カラーバンディング画像を生成するとともに、簡易な画像処理によりバンディング特微量を抽出する。擬似カラーバンディング画像に対して、原画像との間のカルバック・ライブラー情報量を最小化するデバンディング処理フィルタの最適パラメータを滑降シンプレックス法により推定し、バンディング特微量に対するデバンディング処理フィルタの最適パラメータを予測するための最適なモデルを重回帰分析と赤池情報量規準（ＡＩＣ）による変数選択（モデル選択）により決定する。 In order to automatically optimize the parameters of the debanding processing filter, a pseudo-color banding image is generated from a plurality of images collected from the Internet, and a small amount of banding is extracted by simple image processing. For the pseudo-color banding image, the optimum parameter of the debanding processing filter that minimizes the amount of Kullback-Leibler information with the original image is estimated by the sliding simplex method, and the optimum parameter of the debanding processing filter for the banding extra-trace amount is estimated. The optimum model for predicting is determined by multiple regression analysis and variable selection (model selection) by Akaike's Information Criterion (AIC).
（１ はじめに）
次世代テレビ放送としての４Ｋの試験放送が２０１４年６月２日より、ＣＳ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ）、およびケーブルテレビにて開始された（次世代放送推進フォーラム（NexTV-F）、http://www.nextv-f.jP/）。８Ｋ（スーパーハイビジョン（参考文献［１７］）も含め、２０１８年（可能な限り早期に）の実用放送開始へ向けて加速している（総務省「4K・8Kロードマップに関するフォローアップ会合（第6回会合）配布資料」、平成27年7月、http://www.soumu.go.jp/main_sosiki/kenkyu/4k8kroadmap/02ryutsu11_03000046.html）。
(1 Introduction)
4K test broadcasting as next-generation television broadcasting started on June 2, 2014 on CS (Communication Satellite) and cable television (Next Generation Broadcasting Promotion Forum (NexTV-F), http: // www. .nextv-f.jP /). We are accelerating toward the start of practical broadcasting in 2018 (as soon as possible), including 8K (Super Hi-Vision (reference [17])) (Ministry of Internal Affairs and Communications "Follow-up meeting on 4K / 8K roadmap (6th)" Meeting) Handouts ”, July 2015, http://www.soumu.go.jp/main_sosiki/kenkyu/4k8kroadmap/02ryutsu11_03000046.html).
４Ｋ／８Ｋ超高精細映像は、解像度だけではなく、広色域、高フレームレート、高ビット深度がＩＴＵ−Ｒ勧告ＢＴ.２０２０規格（Recommendation ITU-R BT.2020-1, Parameter values for ultra-high definition television systems for production and international programme exchange （2014））として規定されているが、近年、さらに、映像の明るさを拡張するハイダイナミックレンジ（ＨＤＲ）に注目が集まっている。表示装置の技術向上により、「黒」の表示輝度は変えず、表示装置の最大輝度（ピーク輝度）を増大すること（ダイナミックレンジを拡張すること）が可能となってきた。再現範囲が広がった領域をハイライト再現に用いて、新たな視聴体験を提供する、現実に近いハイライト再現（鏡面反射や光沢の再現）が可能となる、ハイライト部の白飛びなどの改善効果がある、とされている（総務省「情報通信審議会 情報通信技術分科会ＩＴＵ部会 放送業務委員会（第19回）配付資料」, 2015年9月2日開催。http://www.soumu.go.jp/main_sosiki/joho_tsusin/policyreports/joho_tsusin/docs_Broadcast/02ryutsu08_03000224.html）。 4K / 8K ultra-high-definition video has not only resolution but also wide color gamut, high frame rate, and high bit depth. ITU-R Recommendation BT.2020 standard (Recommendation ITU-R BT.2020-1, Parameter values for ultra- Although it is defined as high definition television systems for production and international program exchange (2014)), in recent years, attention has been focused on high dynamic range (HDR), which further expands the brightness of images. With the improvement of display device technology, it has become possible to increase the maximum brightness (peak brightness) of the display device (extend the dynamic range) without changing the display brightness of "black". By using the area where the reproduction range has expanded for highlight reproduction, it is possible to provide a new viewing experience, enable near-realistic highlight reproduction (specular reflection and gloss reproduction), and improve overexposure in highlight areas. It is said to be effective (Ministry of Internal Affairs and Communications "Information and Communication Council Information and Communication Technology Subcommittee ITU Subcommittee Broadcasting Business Committee (19th) Handouts", held on September 2, 2015 http: // www. soumu.go.jp/main_sosiki/joho_tsusin/policyreports/joho_tsusin/docs_Broadcast/02ryutsu08_03000224.html).
最新のカメラでは、イメージセンサの進化により、これまでのダイナミックレンジを越えて撮像することが可能となっており、拡張された信号レベルを圧縮するための非線形の伝達関数を、各社が独自に提案している（S-Log: A new LUT for digital production mastering and interchange applications, https://pro.Sony.com/bbsccms/assets/files/mkt/cinema/solutions/slog_manual.pdf、V-Log/V-Gamut REFERENCE MANUAL, http://Pro-av.Panasonic.net/jp/varicam/common/pdf/VARICAM_V-Log_V-Gamut.pdf、 Canon-Log Cine Optoelectronic Transfer Function, http://learn.usa.canon.com/app/pdfs/white_papers/White_Paper_Clog_optoelectronic.pdf）。 With the latest cameras, the evolution of image sensors has made it possible to take images beyond the dynamic range of the past, and each company independently proposes a non-linear transfer function for compressing the extended signal level. (S-Log: A new LUT for digital production mastering and interchange applications, https://pro.Sony.com/bbsccms/assets/files/mkt/cinema/solutions/slog_manual.pdf, V-Log / V -Gamut REFERENCE MANUAL, http://Pro-av.Panasonic.net/jp/varicam/common/pdf/VARICAM_V-Log_V-Gamut.pdf, Canon-Log Cine Optoelectronic Transfer Function, http://learn.usa.canon .com / app / pdfs / white_papers / White_Paper_Clog_optoelectronic.pdf).
そのような伝達関数は、光−電気伝達関数（Ｏｐｔｏ−Ｅｌｅｃｔｒｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ，ＯＥＴＦ）、およびその逆関数としての電気−光伝達関数（Ｅｌｅｃｔｒｏ−Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ，ＥＯＴＦ）と呼ばれ、主に指数・対数関数により定義されている。 Such a transfer function is called an optical-optical transfer function (Opto-Electrical Transfer Function, OETF) and an electric-optical transfer function (EOTTF) as its inverse function, and is mainly an exponent-Electrical Transfer Function (EOTF). It is defined by a logarithmic function.
ハイブリッドＬｏｇガンマ（ＨＬＧ）（ARIB STD-B67 Version 1.0, Essential parameter values for the extended image dynamic range television （EIRTV） system for programme production （2015））と呼ばれるものは、ＮＨＫ（日本放送協会）とＢＢＣ（英国放送協会）の共同で提案されている方式であり、そのＯＥＴＦは、従来の標準ダイナミックレンジ（ＳＤＲ）におけるカンマ補正関数と対数関数を組み合わせた非線形の伝達関数である［文献３、文献１３］。 ＰＱ （Ｐｅｒｃｅｐｔｕａｌ Ｑｕｎａｔｉｚｅｒ）（SMPTE ST2084:2014, Dynamic range electro-optical transfer function of mastering reference displays （2014））と呼ばれるものは、４Ｋ（ＵＨＤ）ブルーレイディスクＴＭ（登録商標）における標準ＨＤＲ方式として採用されているものである（White Paper Blu-ray DiscTM Read-Only Format, Coding constraints on HEVC video streams for BD-ROM Version 3.0, June 2015. http://www.blu-raydisc.com/Assets/Downloadablefile/BD-ROM-AV-WhitePaper_HEVC_150608a-clean.pdf）。 What is called Hybrid Log Gamma (HLG) (ARIB STD-B67 Version 1.0, Essential parameter values for the extended image dynamic range television (EIRTV) system for program production (2015)) is NHK (Japan Broadcasting Corporation) and BBC (UK). This method is jointly proposed by the Broadcasting Corporation), and its OETF is a non-linear transfer function that combines a comma correction function and a logarithmic function in the conventional standard dynamic range (SDR) [References 3 and 13]. What is called PQ (Perfectual Quantaizer) (SMPTE ST2084: 2014, Dynamic range electro-optical transfer function of mastering reference displays (2014)) has been adopted as the standard HDR method for 4K (UHD) Blu-ray Disc TM (registered trademark). (White Paper Blu-ray Disc TM Read-Only Format, Coding constraints on HEVC video streams for BD-ROM Version 3.0, June 2015. http://www.blu-raydisc.com/Assets/Downloadablefile/BD -ROM-AV-WhitePaper_HEVC_150608a-clean.pdf).
図４は、ハイブリッドＬｏｇガンマ（Ｈｙｂｒｉｄ Ｌｏｇ−Ｇａｍｍａ）を、ＰＱ（Ｐｅｒｃｅｐｔｕａｌ Ｑｕｎａｔｉｚｅｒ）のＯＥＴＦを標準ダイナミックレンジ（BT.709（Recommendation ITU-R BT.709-5, Parameter values for the HDTV standards for production and international programme exchange （2002））／BT.2020（Recommendation ITU-R BT.2020-1, Parameter values for ultra-high definition television systems for production and international programme exchange （2014）））のＯＥＴＦ（カンマ補正関数）とともに示す図である。図４に示すように、ハイブリッドＬｏｇガンマ（Ｈｙｂｒｉｄ Ｌｏｇ−Ｇａｍｍａ）（SMPTE ST2084:2014, Dynamic range electro-optical transfer function of mastering reference displays （2014））［文献３、文献１３］、 PQ （Perceptual Quantizer）（White Paper Blu-ray DiscTM Read-Only Format, Coding constraints on HEVC video streams for BD-ROM Version 3.0, June 2015. http://www.blu-raydisc.com/Assets/Downloadablefile/BD-ROM-AV-WhitePaper_HEVC_150608a-clean.pdf）、標準ダイナミックレンジ（BT.709（Recommendation ITU-R BT.709-5, Parameter values for the HDTV standards for production and international programme exchange （2002））／BT.2020（Recommendation ITU-R BT.2020-1, Parameter values for ultra-high definition television systems for production and international programme exchange （2014）））の光−電気伝達関数（ＯＥＴＦ）である。図４に示すように、ＰＱは、ハイブリッドＬｏｇガンマで表現可能な最大レベル入力１２．０（１２００％）で出力が１．０（１００％）になるように調整している。標準ダイナミックレンジのＯＥＴＦ（ガンマ補正関数）は、１．０以上の出力を１．０にクリップしている。 FIG. 4 shows a hybrid Log-Gamma (Hybrid Log-Gamma) and a PQ (Perfectual Quantizer) OETF with a standard dynamic range (BT.709 (Recommendation ITU-R BT.709-5, Parameter values for the HDTV standards for production and) international programme exchange (2002)) / BT.2020 (Recommendation ITU-R BT.2020-1, Parameter values for ultra-high definition television systems for production and international programme exchange (2014)) with OETF (gamma correction function) It is a figure which shows. As shown in FIG. 4, Hybrid Log-Gamma (SMPTE ST2084: 2014, Dynamic range electro-optical transfer function of mastering reference displays (2014)) [Reference 3, Reference 13], PQ (Perceptual Quantizer) (White Paper Blu-ray Disc TM Read-Only Format, Coding constraints on HEVC video streams for BD-ROM Version 3.0, June 2015. http://www.blu-raydisc.com/Assets/Downloadablefile/BD-ROM-AV -WhitePaper_HEVC_150608a-clean.pdf), standard dynamic range (BT.709 (Recommendation ITU-R BT.709-5, Parameter values for the HDTV standards for production and international programme exchange (2002)) / BT.2020 (Recommendation ITU-) R BT.2020-1, Parameter values for ultra-high definition television systems for production and international programme exchange (2014))) optical transfer function (OETF). As shown in FIG. 4, the PQ is adjusted so that the output is 1.0 (100%) at the maximum level input 12.0 (1200%) that can be expressed by the hybrid Log gamma. The standard dynamic range OETF (gamma correction function) clips an output of 1.0 or higher to 1.0.
ＨＤＲ映像は１００％を越える信号レベルを様々な非線形のＯＥＴＦによりレベル変換したものを、圧縮・伝送し、これを受像機側で元の信号レベル（リニアＲＧＢ）に戻して高輝度表示するものであるが、シーンによっては、擬似輪郭状の妨害が現れる。特に、空のような高輝度、かつ低コントラストで階調が滑らかに変化する領域に発生しやすい（例えば、空に縞状の模様が現れたように表示されてしまう）。 HDR video is a high-brightness display in which a signal level exceeding 100% is level-converted by various non-linear OETFs, compressed and transmitted, and then returned to the original signal level (linear RGB) on the receiver side. However, in some scenes, pseudo-contour-like interference appears. In particular, it tends to occur in a region such as the sky where the gradation changes smoothly with high brightness and low contrast (for example, it is displayed as if a striped pattern appears in the sky).
そのような現象は、カラーバンディング（Ｃｏｌｏｒ ｂａｎｄｉｎｇ）として知られており、レベル変換を行うＥＯＴＦ／ＯＥＴＦの計算処理に伴う演算誤差や、リニアＲＧＢにおける色補正等の各種プロセス処理、そして、ＯＥＴＦによりレベル変換されたＨＤＲ映像の圧縮・伸長等が原因と考えられる。画像／映像圧縮における歪みのひとつの形態とも言えるだろう。 Such a phenomenon is known as color banding, and the calculation error associated with the calculation processing of EOTF / OETF that performs level conversion, various process processing such as color correction in linear RGB, and the level by OETF. The cause is considered to be compression / decompression of the converted HDR video. It can be said to be a form of distortion in image / video compression.
Ｂｈａｇａｖａｔｈｙらは、マルチスケール解析に基づく確率的なディザリングによりカラーバンディングを抑制した［文献２］。水野らは、カラーバンディングを階調補間するために、２次元補間問題を１次元ポアソン方程式に帰着させて解いた［文献１６］。Ｂａｕｇｈらは、ＲＧＢ画素レベルにより領域分割したブロック中の画素数からバンディング領域を検出し、バンディング領域に対して、近傍ブロックからの距離に応じた重み付け平滑化によりカラーバンディングを除去した［文献１］。従来方法の多くは、反復を伴う最適化処理や画像全体を用いる大域的な処理であり、画素をラスクスキャンしながら行う局所的な処理ではない。 Bhagavathy et al. Suppressed color banding by probabilistic dithering based on multiscale analysis [Reference 2]. Mizuno et al. Solved the two-dimensional interpolation problem by reducing it to the one-dimensional Poisson's equation in order to perform gradation interpolation of color banding [Reference 16]. Baugh et al. Detected the banding region from the number of pixels in the block divided into regions at the RGB pixel level, and removed the color banding from the banding region by weighted smoothing according to the distance from the neighboring block [Reference 1]. .. Most of the conventional methods are optimization processing involving repetition and global processing using the entire image, and are not local processing performed while performing a rusk scan of pixels.
本提案では、ＨＤＲ映像において発生する擬似輪郭状の妨害であるカラーバンディングを簡易な画像処理により補正することを目的とする。具体的には、注目画素の近傍ブロック領城中の輝度値とその標準偏差からバンディング候補画素を検出する。標準偏差が小さいほど、画像内容は平坦に近く、カラーバンディングが発生する可能性がある。さらに、バンディングは高輝度値の領域に発生しやすい。そして、近傍ブロック領域の画素において、できるだけ似た色で、明るさが近い画素に対する重みを大きくして、輝度信号の重み付け平均を行うことにより、バンディングを除去する。 The purpose of this proposal is to correct color banding, which is a pseudo-contour-like interference that occurs in HDR video, by simple image processing. Specifically, the banding candidate pixel is detected from the brightness value in the block territory in the vicinity of the pixel of interest and its standard deviation. The smaller the standard deviation, the closer the image content is to flatness, and color banding may occur. Furthermore, banding is likely to occur in the region of high luminance value. Then, in the pixels of the neighboring block region, the banding is removed by increasing the weight for the pixels having the same color as possible and having the same brightness and performing the weighted averaging of the luminance signals.
問題は、そのようなデバンディング処理フィルタにおけるパラメータの決定方法である。画像処理においては、何らかの調整パラメータが存在するのが普通であり、調整パラメータをどのように決定するかは、それぞれの処理の内容や画像／映像内容によるとされて、主観評価による経験的な値が用いられている。本提案では、インターネット検索により収集した画像を用いた学習により、デバンディング処理フィルタの最適パラメータを自動的に決定することを試みる。インターネット検索画像を原画像として擬似カラーバンディング画像を生成し、バンディング特微量を抽出する。原画像と擬似カラーバンディング画像の間のカルバック・ライブラー情報量が最小となる最適パラメータを滑降シンプレックス法により推定し、バンディング特微量に対する最適パラメータを重回帰分析と変数選択（モデル選択）により決定する。 The problem is how to determine the parameters in such a debanding filter. In image processing, there are usually some adjustment parameters, and how to determine the adjustment parameters depends on the content of each processing and the image / video content, and is an empirical value based on subjective evaluation. Is used. In this proposal, we try to automatically determine the optimum parameters of the debanding processing filter by learning using images collected by Internet search. A pseudo-color banding image is generated using the Internet search image as the original image, and a very small amount of banding is extracted. The optimum parameter that minimizes the amount of Kullback-Leibler information between the original image and the pseudo-color banding image is estimated by the downhill simplex method, and the optimum parameter for the banding limit is determined by multiple regression analysis and variable selection (model selection). ..
画像から得られる特微量により画像内容を認識する試みが、２０００年代に盛んに研究された［文献４］。ＳＩＦＴ特徴量［文献１４］をサポートベクタマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）［文献２１］により学習を行い判別する方法である。インターネットから得られる大量画像を用いて、画像復元を行う研究も行われた。Ｈａｙｓらは、類似シーン画像を用いて欠損画像の自動補完を行い［文献７］、Ｋｅｖｉｎらは、ホワイトバランス補正、コントラスト強調、そして、露光補正による画像修復を行った［文献１１］。 Attempts to recognize the content of an image from an extraordinary amount obtained from an image have been actively studied in the 2000s [Reference 4]. This is a method of learning and discriminating the SIFT feature amount [Reference 14] by using a support vector machine (Support Vector Machine, SVM) [Reference 21]. Research has also been conducted on image restoration using a large number of images obtained from the Internet. Hays et al. Automatically complemented missing images using similar scene images [Reference 7], and Kevin et al. Performed image restoration by white balance correction, contrast enhancement, and exposure correction [Reference 11].
一方、近年一大ブームの様相を呈しているのが、何らかの画像特徴を用いるのではなく、画像をそのまま用いて学習を行う“深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）”と呼ばれる方法である［文献１２］。深層学習処理の本質は、畳み込みニューラルネットワークと呼ばれる“フィルタである。画像認識だけではなく、様々な画像処理にも用いられている［文献９、文献６、文献５、文献２２］。松永は、超高精細映像におけるフォーカス補正を目的として、最小構成の畳み込みニューラルネットワークによるフォーカスずれ画像のデブラー復元性能を実験的に評価した［文献１５］。 On the other hand, what has been booming in recent years is a method called "deep learning" in which learning is performed using images as they are, instead of using some image features [Reference 12]. The essence of deep learning processing is a "filter called a convolutional neural network. It is used not only for image recognition but also for various image processing [Reference 9, Reference 6, Reference 5, Reference 22]. Matsunaga For the purpose of focus correction in ultra-high-definition video, the deblur restoration performance of a defocused image by a convolutional neural network with a minimum configuration was experimentally evaluated [Reference 15].
本提案の構成は、２章でカラーデバンディング処理の手順について説明する。３章でデバンディング処理フィルタのパラメータを自動最適化するためのインターネット検索画像を用いた最適パラメータ学習について説明する。４章で画像シミュレーションにより、カラーバンディングのない画像から擬似的なカラーバンディング画像を生成して、カラーデバンディング処理を行う。カラーデバンディング処理画像をカルバック・ライブラー情報量により定量的に評価する。そして、インターネット検索画像を用いた最適パラメータ学習によるデバンディング処理の評価結果を示して、５章で纏める。 The configuration of this proposal will explain the procedure of color debanding processing in Chapter 2. In Chapter 3, the optimum parameter learning using the Internet search image for automatically optimizing the parameters of the debanding processing filter will be explained. In Chapter 4, a pseudo color banding image is generated from an image without color banding by image simulation, and color debanding processing is performed. The color debanding processed image is quantitatively evaluated by the amount of Kullback-Leibler information. Then, the evaluation results of the debanding process by the optimum parameter learning using the Internet search image are shown and summarized in Chapter 5.
（２ カラーデバンディング処理）
図１は、カラーデバンディング処理のブロック図である。カラーデバンディング処理の手順は、次のようになる。
１、カラーＲＧＢ入力を輝度色差ＹＣＢＣＲに変換する（ＲＧＢ→ＹＣＢＣＲ）。
２、変換したＹの画素値の近傍ブロック領域における標準偏差を計算して、しきい値（Ｔｈｒｅｓｈｏｌｄ１）以下の画素をバンディング候補画素とする（Ｂａｎｄ Ｄｅｔｅｃｔ）。さらに、Ｙの画素値が別のしきい値（Ｔｈｒｅｓｈｏｌｄ２）以上である条件を加える。そのようにして得られたバンディング候補画素に対して、２値メジアンフィルタにより、マスク整形を行ったものをバンドマスク（Ｂａｎｄ Ｍａｓｋ）とする。
(2 color debanding process)
FIG. 1 is a block diagram of a color debanding process. The procedure of the color debanding process is as follows.
1, to convert color RGB input to a luminance chrominance YC B C R (RGB → YC B C R).
2. The standard deviation in the vicinity block region of the converted Y pixel value is calculated, and the pixel equal to or less than the threshold value (Threshold 1) is set as a banding candidate pixel (Band Select). Further, a condition is added in which the pixel value of Y is equal to or higher than another threshold value (Threshold 2). A band mask (Band Mask) is obtained by mask-shaping the banding candidate pixels thus obtained by a binary median filter.
３、近傍ブロック領域におけるＣＢＣＲ、およびＹの画素値のレベル距離による重みを計算して（Ｗｅｉｇｈｔ Ｃａｌｃ.）、その重み（Ｗｅｉｇｈｔ）を用いて、Ｙを重み付け平均する（Ｗｅｉｇｈｔ Ａｖｅｒａｇｅ）。ただし、バンドマスク（Ｂａｎｄ Ｍａｓｋ）によるバンディング候補画素に対してのみ重み付け平均を行う。バンディング候補画素における重み付け平均の際に、近傍ブロック領城中のバンディング候補画素以外の画素の重みは０とする。
４、そのような重み付け平均されたＹ’とＣＢＣＲをＲＧＢに変換して（ＹＣＢＣＲ→ＲＧＢ）、出力する。
3, to calculate the weight by the level distance C B C R, and the pixel value of Y in the vicinity block area (Weight Calc.), Using the weight (Weight), weighted averaging the Y (Weight Average). However, the weighted averaging is performed only on the banding candidate pixels by the band mask (Band Mask). At the time of weighting averaging of the banding candidate pixels, the weights of the pixels other than the banding candidate pixels in the neighboring block territory are set to 0.
4, converts with such weighted averaged Y 'and C B C R in RGB (YC B C R → RGB ), and outputs.
輝度値Ｙの重み付け平均は、色差信号ＣＢＣＲ、および輝度信号Ｙから計算した重み係数ｗを用いて、次のように計算する。 Weighted average of the luminance values Y using the color difference signals C B C R, and the weighting factor w calculated from the luminance signal Y, is calculated as follows.
重み係数ｗは、色差信号Ｃ＝（ＣＢ，ＣＲ）Ｔのレベル距離による重みｗｒＣと輝度信号Ｙのレベル距離による重みｗｒＹの積であり、それぞれガウス関数により次のように定義する。 Weighting coefficient w is, the color difference signal C = (C B, C R ) is the product of the weight w rY by the level distance of the weight by the level distance T w rC luminance signal Y, the respective Gaussian function defined as follows ..
σｒＣ，σｒＹはそれぞれ色差信号、輝度信号のレベル距離の許容範囲を調整するパラメータである。これは、輝度信号に対する領域選択的かつ画素値のレベル距離による重み”のみ”のバイラテラルフィルタ［文献２０］である（Ｙａｒｏｓｌａｖｓｋｙフィルタ［文献２３］として知られているものであり、バイラテラルフィルタにおける空間的な距離による重みをｂｏｘ関数としたものに相当する。）。 σ rC and σ rY are parameters for adjusting the permissible range of the level distances of the color difference signal and the luminance signal, respectively. This is a bilateral filter [Reference 20] that is region-selective with respect to a luminance signal and has a "only" weight based on the level distance of pixel values (Yaroslavsky filter [Reference 23], and is a bilateral filter. It corresponds to the box function of the weight due to the spatial distance.)
重み付け平均やバンドマスクのマスク整形のための２値メジアンフィルタに用いる近傍ブロック領域の画素を広範囲に得るために、飛び飛びに画素を取得するａ ｔｒｏｕｓアルゴリズム［文献８］を用いてもよい。 In order to obtain a wide range of pixels in the neighboring block region used for the weighted averaging and the binary median filter for mask shaping of the band mask, an atrous algorithm [Reference 8] that acquires pixels in a discrete manner may be used.
（３ デバンディング処理パラメータの自動最適化）
カラーバンディングを除去するデバンディング処理フィルタの最適パラメータを予測するための事前の最適パラメータ学習の手順は次のようになる（図５（ａ）参照）。ここで、図５は、カラーデバンディング処理パラメータの自動最適化について説明する図であり、図５（ａ）がカラーデバンディング処理の最適パラメータ学習のブロック図を示し、図５（ｂ）が最適パラメータ予測によるカラーデバンディング処理のブロック図を示すものである。
１、インターネットにより画像検索を行い、適当な画像を複数ダウンロードする。（この際、検索及びダウンロードによる画像取得は自動的に遂行するようにしてもよい）
２、ダウンロードした画像を原画像として擬似カラーバンディング画像を生成する。擬似カラーバンディング画像は、画像の輝度値Ｙを
(3 Automatic optimization of debanding processing parameters)
The procedure for prior optimum parameter learning for predicting the optimum parameters of the debanding processing filter that removes color banding is as follows (see FIG. 5A). Here, FIG. 5 is a diagram for explaining automatic optimization of color debanding processing parameters, FIG. 5A shows a block diagram of optimum parameter learning for color debanding processing, and FIG. 5B is optimum. It shows a block diagram of a color debanding process by parameter prediction.
1. Perform an image search on the Internet and download multiple suitable images. (At this time, image acquisition by search and download may be performed automatically).
2. Generate a pseudo color banding image using the downloaded image as the original image. For the pseudo color banding image, the brightness value Y of the image is used.
に変換したものを、ｓ倍することにより生成する。ここで、ｓは任意の正数であり、 It is generated by multiplying it by s. Where s is an arbitrary positive number,
は小数部を切り捨てる床関数である。
３、擬似カラーバンディング画像におけるバンディング候補画素領域からバンディング特微量を抽出する。
４、デバンディング処理パラメータを、原画像とデバンディング処理画像の間のバンディング候補画素の輝度値ヒストグラムから計算したカルバック・ライブラー情報量［文献１９］が最小となるように、滑降シンプレックス法（Ｎｅｌｄｅｒ−Ｍｅａｄ法）［文献１８］により推定する。
５、バンディング特微量と最適デバンディング処理パラメータの組み合わせに対して、重回帰分析を行い、赤池情報量規準（ＡＩＣ）による変数選択（モデル選択）［文献１９］により、最適デバンディング処理パラメータを予測するための最適なモデルを決定する。
Is a floor function that truncates the decimal part.
3. A very small amount of banding is extracted from the banding candidate pixel region in the pseudo-color banding image.
4. The debanding processing parameter is calculated from the luminance value histogram of the banding candidate pixels between the original image and the debanding processing image. The calvour-librar information amount [Reference 19] is minimized by the sliding simplex method (Nelder). -Med method) Estimated by [Reference 18].
5. Multiple regression analysis is performed on the combination of the banding extra-trace amount and the optimum debanding processing parameter, and the optimum debanding processing parameter is predicted by variable selection (model selection) [Reference 19] based on the Akaike Information Criterion (AIC). Determine the best model to do.
（３．１ バンディング特微量の抽出）
バンディング特徴量としては、バンディング候補画素領域Ｂにおける
・輝度値ＹのバンディングギャップＢＧ
・輝度値Ｙのバンディングエッジ強度平均
(3.1 Extraction of extra small amount of banding)
The banding features include the banding gap BG having a brightness value Y in the banding candidate pixel area B.
-Average banding edge strength with brightness value Y
・１次元輝度値Ｙの標準偏差σＹ
・２次元色差値ＣＢＣＲの分散共分散行列Ｖ［ＣＢ，ＣＲ］
が考えられる。パラメータ数は、それぞれ１，１，１，３であるから、６次元のベクトルになる（分散共分散行列は対称行列なので、Ｖ［ＣＢ，ＣＲ］のパラメータ数は３である）。２次元色差値ＣＢＣＲの分散共分散行列Ｖ［ＣＢ，ＣＲ］を固有値分解により標準形として［文献１０］、その固有値λ１，λ２（λ１≧λ２）を用いるとすれば、５次元ベクトルになる。
・ Standard deviation of one-dimensional luminance value Y σ Y
· 2-dimensional color difference value C B C R of the covariance matrix V [C B, C R]
Can be considered. Number of parameters, since each is 1, 1, 1, 6-D becomes a vector of (the variance-covariance matrix since symmetric matrix, V [C B, C R ] number of parameters is 3). Covariance matrix V [C B, C R] of 2-dimensional color difference value C B C R [10] as a standard form by the eigenvalue decomposition, its eigenvalues λ 1, λ 2 (λ 1 ≧ λ 2) the use of Then, it becomes a five-dimensional vector.
輝度値Ｙのバンディングギャップ特微量は、バンディング候補画素の輝度値ヒストグラムの最大頻度値から決定したしきい値によりヒストグラムを２値化する。そして、２値化輝度値ヒストグラムの、１値と１値の間の０値の個数による複数の間隔のメジアン値をバンディングギャップＢＧに相当する特微量とする。 The banding gap extraordinary amount of the brightness value Y binarizes the histogram according to the threshold value determined from the maximum frequency value of the brightness value histogram of the banding candidate pixels. Then, the median value at a plurality of intervals depending on the number of 0 values between the 1 value and the 1 value in the binarized luminance value histogram is set as an extraordinary amount corresponding to the banding gap BG.
バンディングエッジ強度平均特微量は、バンディング候補画素領域Ｂにおけるエッジ強度の平均値 The banding edge strength average extraordinary amount is the average value of the edge strength in the banding candidate pixel region B.
を次のように計算する。 Is calculated as follows.
ただし、Ｙ（ｉ，ｊ）は画素座標（ｉ，ｊ）のバンディング候補画素領域Ｂにおける輝度値であり、γはエッジ強度値のゲイン定数である。 However, Y (i, j) is a luminance value in the banding candidate pixel region B of the pixel coordinates (i, j), and γ is a gain constant of the edge intensity value.
を計算する際には、γｅがしきい値Ｔγｅ以上の画素を用いる。したがって、Ｍはバンディング候補画素のうち、γｅがＴγｅ以上の画素数である。
２次元色差値Ｃ＝（ＣＢ，ＣＲ）Ｔの分散共分散行列Ｖ［Ｃ］の（ｍ，ｎ）要素は、次のようになる。
When calculating, use pixels whose γe is equal to or greater than the threshold T γe . Therefore, M is the number of banding candidate pixels in which γe is T γe or more.
2-dimensional color difference value C = (C B, C R ) covariance matrix of T V [C] of the (m, n) element is as follows.
の解である［文献１０］。
（３．２ デバンディング処理の最適パラメータ推定と重回帰分析）
デバンディング処理パラメータは、
・色差信号ＣＢＣＲのレベル距離を許容するパラメータσｒＣ
・輝度信号Ｙのレベル距離を許容するパラメータσｒＹ
の２つである。
デバンディング処理パラメータは、原画像とデバンディング処理画像の間のバンディング候補画素の輝度値ヒストグラムから計算したカルバック・ライブラー情報量［文献１９］が最小になるように、滑降シンプレックス法（Ｎｅｌｄｅｒ−Ｍｅａｄ法）［文献１８］により推定する。ただし、できるだけ小さいσｒＣ，σｒＹを推定するために、最終的な目的関数Ｊを次のように定義する。
Is the solution of [Reference 10].
(3.2 Optimal parameter estimation and multiple regression analysis for debanding processing)
The debanding processing parameters are
And color difference signals C B C parameter allows the level distance R sigma rC
-Parameter σ rY that allows the level distance of the luminance signal Y
There are two.
The debanding processing parameter is the sliding simplex method (Nelder-Mead) so that the Kullback-Leibler information amount [Reference 19] calculated from the luminance value histogram of the banding candidate pixels between the original image and the debanding processed image is minimized. Method) Estimated according to [Reference 18]. However, in order to estimate σ rC and σ rY as small as possible, the final objective function J is defined as follows.
ここで、第１項はカルバック・ライブラー情報量であり、バンディング候補画素領域Ｂにおける原画像の輝度値ヒストグラムＰ（Ｙ）、デバンディング処理パラメータθによるデバンディング処理画像の輝度値ヒストグラムＱ（Ｙ；θ）から計算される。第２項は正則化項である。νは正則化パラメータであり、原画像と推定パラメータにおけるデバンディング処理画像の間の近さと推定パラメータの大きさに対するトレードオフを調整する。 Here, the first term is the amount of Kullback-Leibler information, which is the luminance value histogram P (Y) of the original image in the banding candidate pixel region B and the luminance value histogram Q (Y) of the debanding processed image according to the debanding processing parameter θ. Calculated from θ). The second term is a regularization term. ν is a regularization parameter that adjusts the trade-off between the proximity of the original image and the debanding processed image in the estimation parameter and the magnitude of the estimation parameter.
デバンディング処理におけるブロック領域は正方ブロックとして、そのブロックサイズは固定とする。したがって、バンディング特微量の５次元ベクトルからデバンディング処理の最適パラメータを決定する。 The block area in the debanding process is a square block, and its block size is fixed. Therefore, the optimum parameter of the debanding process is determined from the five-dimensional vector having a very small amount of banding.
式（１０）（１１）それぞれの部分モデルの当てはめも行い、赤池情報量規準（ＡＩＣ）による変数選択（モデル選択）［文献１９］により、デバンディング処理の最適パラメータを予測するための最適なモデルを決定する。 The optimum model for predicting the optimum parameters of debanding processing by applying the partial models of equations (10) and (11) and selecting variables (model selection) by Akaike's Information Criterion (AIC) [Reference 19]. To determine.
実際のバンディング画像では、抽出したバンディング特微量に対して、式（１０）（１１）の最適モデルから予測される最適パラメータによりデバンディング処理を行う（図５（ｂ）参照）。 In the actual banding image, the extracted banding extra-trace amount is debanded according to the optimum parameters predicted from the optimum models of the equations (10) and (11) (see FIG. 5 (b)).
（４ 画像シミュレーション）
（４．１ デバンディング処理結果）
図６はカラーデバンディング処理の画像シミュレーションの一例について説明する図である。図６（ａ）は、原画像（４００×２６５画素サイズ）であり、図６（ｂ）は原画像から生成した擬似カラーバンディング画像である。原画像の輝度値を１／６倍して小数部を切り捨てしたものを６倍することにより生成した（輝度値スケールｓ＝６）。図６（ｃ）は、擬似カラーバンディング画像の５×５ブロック領域における輝度値の標準偏差を画素毎に計算して、しきい値５以下、および輝度値１００以上をカラーバンディング候補画素（白）としたバンディングマスク画像である。孤立画素が目立つため、２値メジアンフィルタ処理により、マスク整形したものが、図６（ｄ）である。ブロックサイズ７×７の２値メジアンフィルタの結果を、さらに、ブロックサイズ１１×１１の２値メジアンフィルタにより処理した。バンディングマスク画像（ｄ）によるバンディング候補画素に対して、デバンディング処理した結果が図６（ｅ）である。デバンディング処理パラメータは、σｒＣ＝５，σｒＹ＝７，ブロックサイズ１１×１１（１画素飛び）として、デバンディング処理を行った。図６（ｆ）は、バンディング候補画素領域の輝度値ヒストグラムである。原画像（Ｏｒｉｇｉｎａｌ）とそれぞれ擬似カラーバンディング画像（Ｂａｎｄｉｎｇ）、カラーデバンディング処理画像（Ｄｅｂａｎｄｉｎｇ）の結果である。ヒストグラムから計算した原画像に対するそれぞれのカルバック・ライブラー情報量は、１．７８８０１６から０．２９２４２０に減少しており、デバンディング処理画像の方が原画像に近づいている。
(4 image simulation)
(4.1 Debanding processing result)
FIG. 6 is a diagram illustrating an example of an image simulation of the color debanding process. FIG. 6A is an original image (400 × 265 pixel size), and FIG. 6B is a pseudo color banding image generated from the original image. It was generated by multiplying the brightness value of the original image by 1/6 and rounding down the decimal part and multiplying it by 6 (luminance value scale s = 6). In FIG. 6C, the standard deviation of the brightness value in the 5 × 5 block region of the pseudo color banding image is calculated for each pixel, and the threshold value of 5 or less and the brightness value of 100 or more are the color banding candidate pixels (white). It is a banding mask image. Since the isolated pixels are conspicuous, the mask shaped by the binary median filter processing is shown in FIG. 6 (d). The result of the binary median filter having a block size of 7 × 7 was further processed by the binary median filter having a block size of 11 × 11. FIG. 6E shows the result of debanding processing on the banding candidate pixels based on the banding mask image (d). The debanding processing parameters were σ rC = 5, σ rY = 7, and the block size was 11 × 11 (one pixel skipped), and the debanding processing was performed. FIG. 6 (f) is a luminance value histogram of the banding candidate pixel region. It is the result of the original image (Original), the pseudo color banding image (Banding), and the color debanding processed image (Debanding), respectively. The amount of Kullback-Leibler information for each original image calculated from the histogram has decreased from 1.788016 to 0.292420, and the debanding processed image is closer to the original image.
（４．２ デバンディング処理の最適パラメータ学習結果）
カラーデバンディング処理フィルタの最適パラメータの学習には、バンディングが発生する可能性が高いと予想される階調が滑らかに変化している空を含む画像１００枚をインターネットから検索して用いた。図７にカラーデバンディング処理フィルタの最適パラメータの学習に用いた画像を示す（Ｆｌｉｃｋｒ，http://www.flickr.com/,Commercial use ＆mods allowedの画像を用いた）。
(4.2 Optimal parameter learning result of debanding process)
For learning the optimum parameters of the color debanding processing filter, 100 images including the sky where the gradation, which is expected to cause banding, is smoothly changing, were searched from the Internet and used. Figure 7 shows the image used for learning the optimum parameters of the color debanding processing filter (using the image of Flickr, http://www.flickr.com/, Commercial use & mods allowed).
学習用画像毎に輝度値スケールｓ＝５，６，７，８として、擬似カラーバンディング画像を生成し、そのデバンディング処理画像と原画像の間のカルバック・ライブラー情報量に基づく、式（９）の目的関数Ｊを最小とするデバンディング処理パラメータσｒＣ，σｒＹを滑降シンプレックス法により推定した。滑降シンプレックス法は局所最適化により初期値依存性を示すため、初期値を変えて推定を行った結果のうち、Ｊ値が最小になるものを最終的な結果とした。最適化パラメータの初期値をそれぞれ区間｛σｒＣ｜５≦σｒＣ≦２０｝，｛σｒＹ｜５≦σｒＹ≦２０｝の一様乱数、取り得るパラメータの最小値最大値をそれぞれ１、１００として、各２０回推定した。 A pseudo-color banding image is generated with a luminance value scale s = 5, 6, 7, 8 for each training image, and an equation (9) based on the amount of Kullback-Leibler information between the debanding processed image and the original image. The debanding processing parameters σ rC and σ rY that minimize the objective function J of) were estimated by the sliding simplex method. Since the downhill simplex method shows the initial value dependence by local optimization, the final result was the one with the smallest J value among the results of estimation by changing the initial value. The initial values of the optimization parameters are the uniform random numbers in the intervals {σ rC | 5 ≤ σ rC ≤ 20}, {σ rY | 5 ≤ σ rY ≤ 20}, and the minimum and maximum values of the possible parameters are 1, 100, respectively. Estimated 20 times each.
デバンディング候補画素は、５×５ブロック領域の輝度値の標準偏差５以下、画像上部４０％領域における輝度値の平均、および標準偏差から決定したしきい値以上の画素を検出して、ブロックサイズ１１×１１の２値メジアンフィルタ処理を２回行うことによりマスク整形した。デバンディング処理におけるブロックサイズは、１９×１９（１画素飛び）に固定して、正則化パラメータを、ν＝０．００８として最適化を行った。 The debanding candidate pixels detect pixels having a standard deviation of 5 or less for the brightness value in the 5 × 5 block region, an average of the brightness values in the upper 40% region of the image, and a threshold value or more determined from the standard deviation, and block size. The mask was shaped by performing the 11 × 11 binary median filter process twice. The block size in the debanding process was fixed at 19 × 19 (one pixel skip), and the regularization parameter was optimized with ν = 0.008.
そのようにして推定したデバンディング処理フィルタの最適パラメータと擬似カラーバンディング画像のバンディング特徴量 Optimal parameters of the debanding processing filter estimated in this way and the banding features of the pseudo-color banding image
に対して重回帰分析を行った。重回帰分析と変数選択（モデル選択）には、Ｒ言語（Ｔｈｅ Ｒ Ｐｒｏｊｅｃｔ ｆｏｒ Ｓｔａｔｉｓｔｉｃａｌ Ｃｏｍｐｕｔｉｎｇ, http://www.r-project.org/）を用いた。デバンディング処理フィルタの最適パラメータの重回帰分析と変数選択（モデル選択）の結果を図８に示す。 Was subjected to multiple regression analysis. R language (The R Project for Statistical Computering, http://www.r-project.org/) was used for multiple regression analysis and variable selection (model selection). FIG. 8 shows the results of multiple regression analysis and variable selection (model selection) of the optimum parameters of the debanding processing filter.
表１は、カラーデバンディング処理フィルタの最適パラメータ学習による評価の結果である。カラーデバンディング処理フィルタの最適パラメータの学習に用いたものとは異なる評価用画像１００枚によりカラーデバンディング処理を行った。評価用画像を原画像として生成した擬似カラーバンディング画像のバンディング特微量に対して、学習用画像による最適パラメータ学習の結果から評価用画像の最適パラメータを予測してデバンディング処理を行ったものと、滑降シンプレックス法により推定した最適パラメータによりデバンディング処理を行ったものである。それぞれ、原画像と擬似カラーバンディング画像、原画像とデバンディング処理画像の間のカルバック・ライブラー情報量の平均である（括弧内は標準偏差）。学習用画像による最適パラメータ学習の結果から最適パラメータを予測した場合でも、滑降シンプレックス法により推定した最適パラメータによるデバンディング処理結果の良い近似になっていることがわかる。 Table 1 shows the evaluation results of the color debanding processing filter by learning the optimum parameters. Color debanding processing Color debanding processing was performed using 100 evaluation images different from those used for learning the optimum parameters of the filter. For the banding limit of the pseudo color banding image generated from the evaluation image as the original image, the optimum parameters of the evaluation image were predicted from the result of the optimum parameter learning by the learning image, and the debanding process was performed. The debanding process was performed using the optimum parameters estimated by the sliding down simplex method. The average amount of Kullback-Leibler information between the original image and the pseudo-color banding image, and the original image and the debanding processed image, respectively (standard deviation in parentheses). It can be seen that even when the optimum parameters are predicted from the results of the optimum parameter learning using the learning image, the debanding processing results based on the optimum parameters estimated by the downhill simplex method are a good approximation.
図９は、最適パラメータ学習によるデバンディング処理画像例である。評価用画像のうちの１枚を原画像図９（ａ）として生成した擬似カラーバンディング画像図９（ｂ）からバンディング特微量を抽出して、最適パラメータ学習の結果からデバンディング処理の最適パラメータを予測した。 FIG. 9 is an example of a debanding processed image by optimal parameter learning. Pseudo-color banding image generated by using one of the evaluation images as the original image FIG. 9 (a) A special amount of banding is extracted from FIG. 9 (b), and the optimum parameters of the debanding process are obtained from the result of the optimum parameter learning. I predicted.
図９（ｃ）は、バンディング候補画素領域における式（５）のエッジ強度γｅを計算した結果を合成して表示している。エッジ強度ゲインγ＝５．０として、γｅ値が１０以上のエッジ強度の平均値 FIG. 9C is a composite display of the results of calculating the edge strength γe of the equation (5) in the banding candidate pixel region. Assuming that the edge strength gain γ = 5.0, the average value of the edge strength having a γe value of 10 or more
は４４．９６８１２７であった。 Was 44.968127.
図９（ｄ）は、バンディング候補画素における輝度値Ｙのヒストグラム（Ｈｉｓｔｏ）、およびその２値化輝度値ヒストグラム（ＢｉｎＨｉｓｔｏ）である。最大頻度値の４０％をしきい値として２値化したヒストグラムの１値と１値の間の０値の複数間隔のメジアン値によるバンディングギャップＢＧは６であった。輝度値の標準偏差σＹは２６．８０６２６４であり、色差値の分散共分散行列の固有値λ１，λ２は、それぞれ８６．２５２４６５，１．０３７１７９であった。 FIG. 9D is a histogram (Histogram) of the luminance value Y in the banding candidate pixels and a histogram of the binarized luminance value (BinHistogram) thereof. The banding gap BG by the median values at multiple intervals of 0 values between 1 value and 1 value in the histogram obtained by binarizing 40% of the maximum frequency value as a threshold value was 6. The standard deviation σ Y of the brightness value was 26.806264, and the eigenvalues λ 1 and λ 2 of the variance-covariance matrix of the color difference values were 86.252465 and 1.037179, respectively.
図９（ｅ）及び図９（ｆ）は、それぞれ、最適パラメータ学習により予測した最適パラメータによるデバンディング処理画像、滑降シンプレックス法により推定した最適パラメータによるデバンディング処理画像である。最適パラメータ学習による予測パラメータは、（σｒＣ，σｒＹ）＝（１．８４８６９７，９．３４０４４２）であり、滑降シンプレックス法による最適パラメータは、（σｒＣ，σｒＹ）＝（２．２１５４０８，９．９５４１２５）であった。原画像との間のカルバック・ライブラー情報量は、それぞれ０．０６９０９２，０．０５７７６１であり、疑似カラーバンディング画像と原画像の間のカルバック・ライブラー情報量は、１．８１８０４５であった。 9 (e) and 9 (f) are a debanding processed image with the optimum parameters predicted by the optimum parameter learning and a debanding processed image with the optimum parameters estimated by the downhill simplex method, respectively. The predicted parameters by the optimum parameter learning are (σ rC , σ rY ) = (1.848697, 9.340442), and the optimum parameters by the downhill simplex method are (σ rC , σ rY ) = (2.215408, 9 ). It was .954125). The amount of Kullback-Leibler information between the original image was 0.069092 and 0.057761, respectively, and the amount of Kullback-Leibler information between the pseudo-color banding image and the original image was 1.818045.
（５ まとめ）
ＨＤＲ映像において発生する擬似輪郭状の妨害である“カラーバンディング”を簡易な画像処理により補正した。具体的には、注目画素の近傍ブロック領城中の輝度値とその標準偏差からバンディング候補画素を検出した。そして、近傍ブロック領域の画素において、できるだけ似た色で、明るさが近い画素に対する重みを大きくして、輝度信号の重み付け平均を行うことにより、バンディングを除去した。
(5 Summary)
"Color banding", which is a pseudo-contour-like interference that occurs in HDR video, was corrected by simple image processing. Specifically, the banding candidate pixel was detected from the brightness value in the block territory in the vicinity of the pixel of interest and its standard deviation. Then, in the pixels in the neighboring block region, the banding was removed by increasing the weight for the pixels having the same color as possible and having the same brightness and performing the weighted averaging of the luminance signals.
デバンディング処理フィルタのパラメータを自動最適化するために、
・インターネットから収集した複数の画像から擬似カラーバンディング画像を生成するとともに、簡易な画像処理によりバンディング特微量を抽出した。
・擬似カラーバンディング画像に対して、原画像との間のカルバック・ライブラー情報量を最小化するデバンディング処理フィルタの最適パラメータを滑降シンプレックス法により推定した。
・バンディング特微量に対するデバンディング処理フィルタの最適パラメータを予測するための最適なモデルを重回帰分析と赤池情報量規準（ＡＩＣ）による変数選択（モデル選択）により決定した。
To automatically optimize the parameters of the debanding filter
-A pseudo-color banding image was generated from multiple images collected from the Internet, and a small amount of banding was extracted by simple image processing.
-For the pseudo-color banding image, the optimum parameters of the debanding processing filter that minimizes the amount of Kullback-Leibler information between the original image and the original image were estimated by the downhill simplex method.
-The optimum model for predicting the optimum parameters of the debanding processing filter for the banding extra-trace amount was determined by multiple regression analysis and variable selection (model selection) using the Akaike Information Criterion (AIC).
今後の課題としては、
・デバンディング処理フィルタのパラメータのみならず、ブロックサイズや最適化における正則化パラメータといったハイパーパラメータ、そして、バンディング候補画素領域を検出するための各種しきい値の自動最適化
・マルチコアＣＰＵ／ＧＰＵ／ＦＰＧＡによるＨＤＲ映像のリアルタイム処理の実現が挙げられる。深層学習によるデバンディング処理の実現可能性の探求も興味深いところである。
As a future issue,
-Not only parameters of debanding processing filter, but also hyperparameters such as block size and regularization parameters in optimization, and automatic optimization of various thresholds for detecting banding candidate pixel area-Multi-core CPU / GPU / FPGA Real-time processing of HDR video can be mentioned. The exploration of the feasibility of debanding processing by deep learning is also interesting.
（参考文献）
[1] G. Baugh, A. Kokaram, and F. Pitie, Advanced videodebanding, Proceedings of the 11th European Conference on Visual Media Production (CVMP'14), London, United Kingdom, (November 2014).
[2] S. Bhagavathy, J. Llach and J. Zhai, Multiscale probabilistic dithering for suppressing contour artifacts in digital images, IEEE Transactions on Image Processing, 18-9 (September 2009), 1936-1945.
[3] T. Borer and A. Cotton, A "display independent"high dynamic range television system, IBC2015 Conference, RAI, Amsterdam, the Netherlands, (September 2015).
[4] G. Csurka, C. Bray, C. Dance, and L. Fan, Visual categorization with bags of keypoints, Proceedings of ECCV Workshop on Statistical Learning in Computer Vision (SLCV), pp. 59-74 (2004).
[5] C. Dong, C.-C. Loy, K. He, and X. Tang, Learning a deep convolutional network for image superresolution, Proceedings of 13th European Conference on Computer Vision (ECCV2014), Part IV, Zurich,Switzerland, pp. 184-199 (September 2014).
[6] D. Eigen, D. Krishnan, and R. Fergus, Restoring an image taken through a window covered with dirt or rain, IEEE International Conference on Computer Vision (ICCV2013), Sydney, Australia, pp. 633-640(December 2013).
[7] J. Hays, and A. A. Efros, Scene completion using millions of photographs, ACM SIGGRAPH(SIGGRAPH'07), New York, NY, USA,Article 4 (August 2007).
[8] M. Holschneider, R. Kronland-Martinet, J. Morlet,and P. Tchamitchian, A real-time algorithm for signal analysis with the help of the wavelet transform, In Wavelets, Time-Frequency Methods and Phase Space,289-297, Springer-Verlag, 1989.
[9] V. Jain and H. S. Seung, Natural image denoising with convolutional networks, Proceedings of Advances in Neural Information Processing Systems 21(NIPS2008), pp. 769-776 (2008).
[10] 金谷健一, 「これなら分かる応用数学教室：最小二乗法からウェーブレットまで」, 共立出版, 2003 年6 月.
[11] D. Kevin, M. K. Johnson, K. Sunkavalli, W. Matusik, and H. Pfister, Image restoration using online photo collections, Proceedings IEEE 12th International Conference on Computer Vision (ICCV),Kyoto, Japan, pp. 2217-2224 (September - October 2009).
[12] A. Krizhevsky, I. Sutskever, and G. E. Hinton, ImageNet classification with deep convolutional neuralnetworks, Proceedings of Advances in Neural Information Processing Systems 25 (NIPS2012), pp. 1106-1114 (2012).
[13] Y. Kusakabe, Y. Ikeda, N. Shirai, K. Masaoka, T.Yamashita, Y. Nishida, T. Ikeda, and M. Sugawara,Extended image dynamic range system for UHDTV broadcasting, IBC2015 Conference, RAI, Amsterdam, the Netherlands, (September 2015).
[14] D. Lowe, Distinctive image features from scaleinvariant keypoints, International Journal of Computer Vision, 60-2 (January 2004), 91-110.
[15] 松永力, 超高精細映像のための畳み込みニューラルネットワークによるフォーカス補正, 第22 回画像センシングシンポジウム(SSII2016) 講演論文集, 横浜(パシフィコ横浜), 2016 年6 月.
[16] 水野暁, 五十嵐正樹, 池辺将之, ポアソン方程式を用いた画像の滑らかな階調復元, 映像情報メディア学会誌,67-8 (2013), J326-J333.
[17] 日本放送協会, 「スーパーハイビジョン映像技術」特集号, NHK 技研R&D, No. 137, 2013 年1 月.
[18] W. H. Press, S. A. Teukolsky, W. T. Vetterling, and B.P. Flannery, Numerical Recipes 3rd Edition: The Art of Scientific Computing, Cambridge University Press,September 2007.
[19] 坂元慶行, 石黒真木夫, 北川源四郎, 「情報量統計学」,共立出版, 1983 年．
[20] C. Tomasi and R. Manduchi, Bilateral filtering forgray and color images, Proceedings of the Sixth IEEE International Conference on Computer Vision (ICCV'98), Bombay, India, (January 1998).
[21] V. N. Vapnik, Statistical Learning Theory, Wiley,1998.
[22] L. Xu, J. S. Ren, C. Liu, and J. Jia, Deep convolutional neural network for image deconvolution, Proceedings of Advances in Neural Information Processing Systems 27 (NIPS2014), pp. 1790-1798 (2014).
[23] L. P. Yaroslavsky, Digital Picture Processing: An Introduction, Springer Verlag, 1985.
(Reference)
[1] G. Baugh, A. Kokaram, and F. Pitie, Advanced videodebanding, Proceedings of the 11th European Conference on Visual Media Production (CVMP'14), London, United Kingdom, (November 2014).
[2] S. Bhagavathy, J. Llach and J. Zhai, Multiscale probabilistic dithering for suppressing contour artifacts in digital images, IEEE Transactions on Image Processing, 18-9 (September 2009), 1936-1945.
[3] T. Borer and A. Cotton, A "display independent" high dynamic range television system, IBC2015 Conference, RAI, Amsterdam, the Netherlands, (September 2015).
[4] G. Csurka, C. Bray, C. Dance, and L. Fan, Visual categorization with bags of keypoints, Proceedings of ECCV Workshop on Statistical Learning in Computer Vision (SLCV), pp. 59-74 (2004).
[5] C. Dong, C.-C. Loy, K. He, and X. Tang, Learning a deep convolutional network for image superresolution, Proceedings of 13th European Conference on Computer Vision (ECCV2014), Part IV, Zurich, Switzerland , pp. 184-199 (September 2014).
[6] D. Eigen, D. Krishnan, and R. Fergus, Restoring an image taken through a window covered with dirt or rain, IEEE International Conference on Computer Vision (ICCV2013), Sydney, Australia, pp. 633-640 (December) 2013).
[7] J. Hays, and AA Efros, Scene completion using millions of photographs, ACM SIGGRAPH (SIGGRAPH '07), New York, NY, USA, Article 4 (August 2007).
[8] M. Holschneider, R. Kronland-Martinet, J. Morlet, and P. Tchamitchian, A real-time algorithm for signal analysis with the help of the wavelet transform, In Wavelets, Time-Frequency Methods and Phase Space, 289 -297, Springer-Verlag, 1989.
[9] V. Jain and HS Seung, Natural image denoising with convolutional networks, Proceedings of Advances in Neural Information Processing Systems 21 (NIPS2008), pp. 769-776 (2008).
[10] Kenichi Kanatani, "Applied Mathematics Class That You Can Understand: From Minimum Square Method to Wavelet", Kyoritsu Shuppan, June 2003.
[11] D. Kevin, MK Johnson, K. Sunkavalli, W. Matusik, and H. Pfister, Image restoration using online photo collections, Proceedings IEEE 12th International Conference on Computer Vision (ICCV), Kyoto, Japan, pp. 2217- 2224 (September --October 2009).
[12] A. Krizhevsky, I. Sutskever, and GE Hinton, ImageNet classification with deep convolutional neural networks, Proceedings of Advances in Neural Information Processing Systems 25 (NIPS2012), pp. 1106-1114 (2012).
[13] Y. Kusakabe, Y. Ikeda, N. Shirai, K. Masaoka, T. Yamashita, Y. Nishida, T. Ikeda, and M. Sugawara, Extended image dynamic range system for UHDTV broadcasting, IBC2015 Conference, RAI, Amsterdam, the Netherlands, (September 2015).
[14] D. Lowe, Distinctive image features from scaleinvariant keypoints, International Journal of Computer Vision, 60-2 (January 2004), 91-110.
[15] Riki Matsunaga, Focus Correction by Convolutional Neural Network for Ultra-High Definition Images, Proceedings of the 22nd Image Sensing Symposium (SSII2016), Yokohama (Pacifico Yokohama), June 2016.
[16] Akira Mizuno, Masaki Igarashi, Masayuki Ikebe, Smooth gradation restoration of images using Poisson's equation, Journal of the Institute of Image Information and Television Engineers, 67-8 (2013), J326-J333.
[17] Japan Broadcasting Corporation, "Super Hi-Vision Video Technology" Special Issue, NHK Science & Technical Research Laboratories R & D, No. 137, January 2013.
[18] WH Press, SA Teukolsky, WT Vetterling, and BP Flannery, Numerical Recipes 3rd Edition: The Art of Scientific Computing, Cambridge University Press, September 2007.
[19] Yoshiyuki Sakamoto, Makio Ishiguro, Genshiro Kitagawa, "Information Statistics", Kyoritsu Shuppan, 1983.
[20] C. Tomasi and R. Manduchi, Bilateral filtering forgray and color images, Proceedings of the Sixth IEEE International Conference on Computer Vision (ICCV'98), Bombay, India, (January 1998).
[21] VN Vapnik, Statistical Learning Theory, Wiley, 1998.
[22] L. Xu, JS Ren, C. Liu, and J. Jia, Deep convolutional neural network for image deconvolution, Proceedings of Advances in Neural Information Processing Systems 27 (NIPS2014), pp. 1790-1798 (2014).
[23] LP Yaroslavsky, Digital Picture Processing: An Introduction, Springer Verlag, 1985.
本発明は、４Ｋ／８Ｋ（スーパーハイビジョン）超高精細映像にも好適である。 The present invention is also suitable for 4K / 8K (super high-definition) ultra-high-definition video.
Claims (10)
注目画素の前記近傍ブロック領域中の輝度値の標準偏差からバンディング候補画素を検出する画素検出部と、
前記バンディング候補画素の近傍ブロック画素を用いて、できるだけ似た色で、明るさが近い画素に対する重みを大きくして、輝度信号の重み付け平均を行うことにより、バンディングを除去するバンディング除去部と、を備える
ことを特徴とする装置。 In a color debanding processing device that performs local processing using pixels in a nearby block area while raster-scanning an image.
A pixel detection unit that detects banding candidate pixels from the standard deviation of the brightness value in the nearby block region of the pixel of interest, and
A banding removing unit that removes banding by using block pixels in the vicinity of the banding candidate pixels, increasing the weight for pixels having similar colors and brightness as much as possible, and performing weighted averaging of luminance signals. A device characterized by being equipped.
インターネットから収集した原画像から擬似カラーバンディング画像を生成する擬似カラーバンディング画像生成部と、
前記生成した擬似カラーバンディング画像のバンディング特微量を抽出する特徴量抽出部と、
バンディングが存在していない前記原画像と、前記擬似カラーバンディング画像を処理した結果のデバンディング処理画像と、の間のカルバック・ライブラー情報量が最小になる最適なフィルタパラメータを推定する最適パラメータ推定部と、
前記バンディング特微量に対する最適な前記フィルタパラメータを予測する最適なモデルを、前記インターネットから収集した複数の原画像を用いて、重回帰分析と、変数選択またはモデル選択、により決定する最適モデル決定部と、を備える
ことを特徴とする装置。 In the optimum parameter learning device used for color debanding processing
A pseudo-color banding image generator that generates a pseudo-color banding image from the original image collected from the Internet,
A feature amount extraction unit that extracts an extraordinary amount of banding in the generated pseudo-color banding image,
Optimal parameter estimation for estimating the optimum filter parameter that minimizes the amount of Kullback-Leibler information between the original image in which no banding exists and the debanding processed image as a result of processing the pseudo-color banding image. Department and
An optimum model determination unit that determines the optimum model for predicting the optimum filter parameters for the banding extra-trace amount by multiple regression analysis and variable selection or model selection using a plurality of original images collected from the Internet. A device characterized by:
前記バンディングを除去部は、
前記バンディング候補画素のバンディング特徴量を抽出し、
抽出した前記バンディング特徴量に対応する前記最適パラメータを前記モデルに基づいて算出する
ことを特徴とする画像処理システム。 In an image processing system in which image processing is performed by the color debanding processing apparatus according to claim 1 using the optimum parameters acquired by the optimum parameter learning apparatus according to claim 2.
The banding removing part
The banding feature amount of the banding candidate pixel is extracted and
An image processing system characterized in that the optimum parameters corresponding to the extracted banding features are calculated based on the model.
注目画素の前記近傍ブロック領域中の輝度値の標準偏差からバンディング候補画素を検出するステップと、
前記バンディング候補画素の近傍ブロック画素を用いて、できるだけ似た色で、明るさが近い画素に対する重みを大きくして、輝度信号の重み付け平均を行うことにより、バンディングを除去するステップと、を実行させる
ことを特徴とするプログラム。 In a program that causes a computer to execute a color debanding processing method that performs local processing using pixels in a nearby block area while raster-scanning an image.
A step of detecting a banding candidate pixel from the standard deviation of the brightness value in the neighboring block region of the pixel of interest, and
Using the block pixels in the vicinity of the banding candidate pixels, the step of removing the banding is executed by increasing the weight of the pixels having the same color as possible and having similar brightness and performing the weighted averaging of the luminance signals. A program characterized by that.
インターネットから収集した原画像から擬似カラーバンディング画像を生成するステップと、
前記生成した擬似カラーバンディング画像のバンディング特微量を抽出するステップと、
バンディングが存在していない前記原画像と、前記擬似カラーバンディング画像を処理した結果のデバンディング処理画像と、の間のカルバック・ライブラー情報量が最小になる最適なフィルタパラメータを推定するステップと、
前記バンディング特微量に対する最適な前記フィルタパラメータを予測する最適なモデルを、前記インターネットから収集した複数の原画像を用いて、重回帰分析と、変数選択またはモデル選択、により決定するステップと、を実行させる
ことを特徴とするプログラム。 In a program that causes a computer to execute the optimum parameter learning method used for color debanding processing.
Steps to generate a pseudo color banding image from the original image collected from the Internet,
The step of extracting the banding extra-trace amount of the generated pseudo-color banding image and
A step of estimating the optimum filter parameter that minimizes the amount of Kullback-Leibler information between the original image in which no banding exists and the debanding processed image obtained by processing the pseudo-color banding image.
Using a plurality of original images collected from the Internet, a multiple regression analysis and a step of determining an optimum model for predicting the optimum filter parameters for the banding limit amount by variable selection or model selection are performed. A program characterized by letting you do it.
前記バンディングを除去するステップは、
前記バンディング候補画素のバンディング特徴量を抽出するステップと、
抽出した前記バンディング特徴量に対応する前記最適パラメータを前記モデルに基づいて算出するステップと、をさらに実行させる
ことを特徴とするプログラム。 In a program for causing a computer to perform image processing by the color debanding processing method according to claim 4, using the optimum parameters acquired by the optimum parameter learning method according to claim 5.
The step of removing the banding is
The step of extracting the banding feature amount of the banding candidate pixel and
A program characterized by further executing a step of calculating the optimum parameter corresponding to the extracted banding feature amount based on the model.
ベースバンドビデオ信号を処理するハードウェア装置であるか、または、ＭＸＦファイルをベースバンドビデオ信号に変換あるいは逆変換する装置である
ことを特徴とする装置。 The device according to claim 1 or 2.
A device characterized by being a hardware device that processes a baseband video signal, or a device that converts or reversely converts an MXF file into a baseband video signal.
ことを特徴とするシステム。 The image processing system according to claim 3 is a system characterized in that it is a hardware system that processes a baseband video signal.
ＭＸＦファイルを処理するソフトウェアプログラムである
ことを特徴とするプログラム。
The program according to any one of claims 4 to 6
A program characterized by being a software program that processes MXF files.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020187757A JP7004351B2 (en) | 2020-11-11 | 2020-11-11 | Equipment for color banding processing, image processing system, processing program, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020187757A JP7004351B2 (en) | 2020-11-11 | 2020-11-11 | Equipment for color banding processing, image processing system, processing program, and storage medium |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016179113A Division JP6797400B2 (en) | 2016-09-14 | 2016-09-14 | Color debanding process and its optimum parameter learning method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021015643A true JP2021015643A (en) | 2021-02-12 |
| JP7004351B2 JP7004351B2 (en) | 2022-01-21 |
Family
ID=74531620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020187757A Active JP7004351B2 (en) | 2020-11-11 | 2020-11-11 | Equipment for color banding processing, image processing system, processing program, and storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7004351B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006229729A (en) * | 2005-02-18 | 2006-08-31 | Sharp Corp | Blue expanded image processor and blue expanded image processing method |
| JP2015211325A (en) * | 2014-04-25 | 2015-11-24 | 株式会社朋栄 | Purple fringe cancellation processing method and purple fringe cancellation processing device for implementing the processing |
-
2020
- 2020-11-11 JP JP2020187757A patent/JP7004351B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006229729A (en) * | 2005-02-18 | 2006-08-31 | Sharp Corp | Blue expanded image processor and blue expanded image processing method |
| JP2015211325A (en) * | 2014-04-25 | 2015-11-24 | 株式会社朋栄 | Purple fringe cancellation processing method and purple fringe cancellation processing device for implementing the processing |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7004351B2 (en) | 2022-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10339643B2 (en) | Algorithm and device for image processing | |
| Shin et al. | Radiance–reflectance combined optimization and structure-guided $\ell _0 $-Norm for single image dehazing | |
| JP5362878B2 (en) | Image processing apparatus and image processing method | |
| US8923612B2 (en) | Image processing apparatus and method, and program | |
| JP4887544B2 (en) | How to remove noise from video data | |
| JP4858609B2 (en) | Noise reduction device, noise reduction method, and noise reduction program | |
| US11348210B2 (en) | Inverse tone mapping method and corresponding device | |
| US9628751B2 (en) | Method, device, and system for pre-processing a video stream for subsequent motion detection processing | |
| JP6797400B2 (en) | Color debanding process and its optimum parameter learning method | |
| KR101651889B1 (en) | Video quality enhancement device and method for extremely low-light video | |
| JP6375138B2 (en) | Purple fringe removal processing method and purple fringe removal processing apparatus performing the processing | |
| JP7004351B2 (en) | Equipment for color banding processing, image processing system, processing program, and storage medium | |
| CN110136085B (en) | Image noise reduction method and device | |
| JP2011076302A (en) | Device, contour extraction method program, and contour extraction | |
| US8977058B2 (en) | Image processing apparatus and method | |
| Lin et al. | Tri-histogram equalization based on first order statistics | |
| Ponomarenko et al. | Color image lossy compression based on blind evaluation and prediction of noise characteristics | |
| Zhang et al. | MLSIM: A Multi-Level Similarity index for image quality assessment | |
| KR101517805B1 (en) | Object Detection Method with Image Value based Division Scheme and Image Processing Apparatus using the same | |
| Dar et al. | A Novel Approach for Enhancing QoS for Visualization of High Dynamic Range Imaging | |
| Singh et al. | Performance Evaluation of Various Histogram Equalization Techniques on Thermal Images | |
| Okazaki et al. | Optimum Parameter Estimation of Tone Mapping Operators by Natural Image Statistics | |
| Mutneja et al. | Contrast enhancement analysis of video sequence in the temporal-based (TB) method | |
| Hameed et al. | No-reference quality assessment using the entropy of first derivative of blurred images in HSV color space | |
| JP2017130709A (en) | Image processing apparatus, image processing method and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211222 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7004351 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |