JP2020107926A - Encoding method and apparatus suitable for editing HDR image - Google Patents
Encoding method and apparatus suitable for editing HDR image Download PDFInfo
- Publication number
- JP2020107926A JP2020107926A JP2018241908A JP2018241908A JP2020107926A JP 2020107926 A JP2020107926 A JP 2020107926A JP 2018241908 A JP2018241908 A JP 2018241908A JP 2018241908 A JP2018241908 A JP 2018241908A JP 2020107926 A JP2020107926 A JP 2020107926A
- Authority
- JP
- Japan
- Prior art keywords
- dynamic range
- transfer function
- image
- encoding method
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
Abstract
Description
本発明は、ハイダイナミックレンジイメージの編集に好適な符号化の方法及び装置に関する。 The present invention relates to a coding method and apparatus suitable for editing a high dynamic range image.
近年、テレビやモニタなど表示装置のダイナミックレンジが広がり、それに伴い広いダイナミックレンジに対応したハイダイナミックレンジ（ＨＤＲ）イメージが制作されるようになっている。ＨＤＲに対して、従来の標準的なダイナミックレンジはスタンダードダイナミックレンジ（ＳＤＲ）と呼ぶ。また、イメージの電気信号（Ｅｌｅｃｔｒｏ）を表示装置の光（Ｏｐｔｉｃａｌ）に変換する伝送関数（Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）をＥＯＴＦと呼ぶ。 In recent years, the dynamic range of display devices such as televisions and monitors has expanded, and along with this, high dynamic range (HDR) images corresponding to a wide dynamic range have been produced. For HDR, the conventional standard dynamic range is called standard dynamic range (SDR). Further, a transfer function for converting an electric signal (Electro) of an image into light (Optical) of a display device is called EOTF.
ＳＤＲイメージにおけるＥＯＴＦは、ガンマ２．２、ガンマ２．３５、ガンマ２．４、ガンマ２．６、及びＩＴＵ−Ｒ ＢＴ．１８８６などであり、いずれも冪乗関数となっている。これら冪乗で示されるＥＯＴＦにはイメージの色編集における利点が大きく二つある。ひとつは、電気信号つまり画素の階調値に対してゲイン乗算した際に、表示装置の光レベルのリニアリティが保たれる点である。例えばＥＯＴＦがガンマ２．４の場合、画素階調値を０．５倍するとその階調値によらず光レベルは０．１８９倍（＝０．５＾２．４）となる。もうひとつは順応輝度やグレイレベルに相当する光レベルが階調値のおよそ１／２に対応する点である。一例として、ガンマ２．４で８ビットデータの場合、階調値１２８は約２０％（＝（１２８／２５５）＾２．４）の光レベルとなりこれはグレイレベルに相当する。これらの特徴により、イメージの色編集においてイメージ全体の明るさの変更やハイライト・シャドウといった領域別の編集を、ゲインやトーンカーブによる階調値の調整によりユーザは直感的に行うことができる。 The EOTF in the SDR image is gamma 2.2, gamma 2.35, gamma 2.4, gamma 2.6, and ITU-R BT. 1886 and the like, both of which are power functions. These powers of EOTF have two major advantages in image color editing. One is that the linearity of the light level of the display device is maintained when the electric signal, that is, the gradation value of the pixel is multiplied by the gain. For example, when the EOTF is gamma 2.4, when the pixel gradation value is multiplied by 0.5, the light level becomes 0.189 times (=0.5^2.4) regardless of the gradation value. The other is that the light level corresponding to the adaptation brightness and the gray level corresponds to about 1/2 of the gradation value. As an example, in the case of 8-bit data with gamma 2.4, the gradation value 128 is a light level of about 20% (=(128/255)^2.4), which corresponds to a gray level. With these features, the user can intuitively perform the area-wise editing such as the brightness of the entire image and highlight/shadow in the color editing of the image by adjusting the gradation value by the gain and the tone curve.
ＨＤＲイメージにおけるＥＯＴＦは、定義付けされる光レベルの範囲の広さに特色がある。ＳＤＲでは電気信号の階調を黒から白までに対応付けしていたのに対し、ＨＤＲではＳＤＲにおける白を超える明るさに対応付けしたＥＯＴＦを用いる。ＨＤＲのＥＯＴＦ規格として、ＳＭＰＴＥ ＳＴ ２０８４（Ｐｅｒｃｅｐｔｕａｌ Ｑｕａｎｔｉｚｅｒ、ＰＱ）及びＡＲＩＢ ＳＴＤ−Ｂ６７（Ｈｙｂｒｉｄ Ｌｏｇ−Ｇａｍｍａ、ＨＬＧ）がある。例えば、ＨＬＧであれば従来の基準白の１２倍の輝度に相当するレベルまでの信号を定義している。またＰＱであれば従来の基準白が１００ｎｉｔｓであるとした場合、その１００倍の輝度（１００００ｎｉｔｓ）に相当するレベルまでの信号を定義している。（１ｎｉｔは１ｃｄ／ｍ２に等しく、１平方メートルの面積を均一に１カンデラの明るさで光る輝度である）
近年のＨＤＲイメージの広がりにともない、ユーザがＨＤＲイメージを画像編集ソフトウェアなどで従来のＳＤＲイメージと同様に編集するニーズが生じると予想される。しかしながら既存のＨＤＲのＥＯＴＦでは、前述したＳＤＲに用いられるＥＯＴＦにおける色編集時の利点が失われてしまう。ＰＱは、広い光レベルを少ないビット数で伝送するために最適化されている。そのためＥＯＴＦは冪乗とは異なる複雑な変換関数であり、信号へのゲイン乗算において光レベルのリニアリティは維持されず、例えば光のリニアリティを維持したままその明るさを半分にするといった編集が容易ではない。ＨＬＧは、半階調以下は冪乗関数となっておりゲイン乗算に対する光リニアリティは保持されるが、半階調以上は指数関数であるため保持されない。また半階調は１００％反射に対応付けられており、これはＳＤＲの白色に対応しグレイレベルではない。またＰＱ・ＨＬＧ以外にＳＤＲとの互換性を考慮したＥＯＴＦの一例として特許文献１に示す方法などもあるが、指数関数であってゲイン乗算に対して光のリニアリティは維持されず、半階調はグレイレベルではない。
EOTF in HDR images is characterized by a wide range of defined light levels. In SDR, the gradation of the electric signal is associated with black to white, whereas in HDR, EOTF associated with brightness exceeding white in SDR is used. HDR EOTF standards include SMPTE ST 2084 (Perceptual Quantizer, PQ) and ARIB STD-B67 (Hybrid Log-Gamma, HLG). For example, in the case of HLG, signals up to a level equivalent to 12 times the brightness of the conventional reference white are defined. In the case of PQ, assuming that the conventional reference white is 100 nits, a signal up to a level corresponding to 100 times the luminance (10000 nits) is defined. (1 nit is equal to 1 cd/m 2 and is the brightness that uniformly illuminates an area of 1 square meter with brightness of 1 candela)
With the spread of HDR images in recent years, it is expected that there will be a need for users to edit HDR images with image editing software in the same manner as conventional SDR images. However, in the existing HDR EOTF, the advantages at the time of color editing in the EOTF used in SDR described above are lost. PQ is optimized for transmitting wide optical levels with a small number of bits. Therefore, EOTF is a complicated conversion function different from exponentiation, and the linearity of the light level is not maintained in the gain multiplication to the signal. For example, it is not easy to edit such that the brightness is halved while maintaining the linearity of the light. Absent. The HLG is a power function for half gradation and below, and the optical linearity for gain multiplication is held, but it is not held for half gradation and above because it is an exponential function. Halftone is also associated with 100% reflection, which corresponds to SDR white, not gray level. In addition to PQ/HLG, there is a method shown in Patent Document 1 as an example of EOTF in consideration of compatibility with SDR, but it is an exponential function and linearity of light is not maintained for gain multiplication, and half gradation Is not a gray level.
従来のＳＤＲイメージのＥＯＴＦが持つ色編集に際しての利点を備えたＨＤＲイメージ用ＥＯＴＦの提供を目的とする。色編集に際しての利点とは、階調信号へのゲイン乗算に対して光のリニアリティが保持されること、グレイレベルがおよそハーフ階調に対応付けられることである。ＨＤＲイメージのＥＯＴＦに必要な要件は、階調信号がハイダイナミックレンジ、すなわち従来のＳＤＲより広い光範囲に対応付けられることである。 An object of the present invention is to provide an EOTF for an HDR image, which has an advantage in color editing that a conventional EOTF for an SDR image has. The advantages in color editing are that the linearity of light is maintained with respect to the gain multiplication of the gradation signal, and that the gray level is associated with about half gradation. The requirement for the EOTF of HDR images is that the grayscale signal is associated with a high dynamic range, ie a wider light range than conventional SDR.
本発明に係る符号化方法は、ＥＯＴＦに基づいてイメージを符号化する方法であって、前記ＥＯＴＦは冪乗式であるとともに、グレイレベルの明るさが半階調付近に対応付けられるよう冪指数がダイナミックレンジに応じて決定されることを特徴とする。 An encoding method according to the present invention is a method of encoding an image based on EOTF, wherein the EOTF is a power formula, and a power of exponent is set so that brightness of a gray level is associated with a vicinity of a half gradation. Is determined according to the dynamic range.
本発明に係る符号化方法によれば、ＨＤＲイメージの編集を従来のＳＤＲイメージと同様の信号制御で行うことが可能となる。 According to the encoding method of the present invention, it is possible to edit an HDR image with the same signal control as in the conventional SDR image.
実施例として、本発明によるハイダイナミックレンジイメージの編集に好適な符号化の方法及び装置について図表を参照して説明する。 As an example, an encoding method and apparatus suitable for editing a high dynamic range image according to the present invention will be described with reference to the drawings.
図１は本実施例に係る符号化方法の一例を示すブロック図である。 FIG. 1 is a block diagram showing an example of the encoding method according to this embodiment.
伝送関数決定部１００は、ユーザ設定１０１を入力として受け取り、決定した伝送関数を画像処理部１０２に出力する。画像処理部１０２は、入力ＨＤＲイメージ１０３を入力として受け取り、前記伝送関数を用いて画素毎に符号化し、符号化されたＨＤＲイメージ１０４を出力する。 The transfer function determination unit 100 receives the user setting 101 as an input, and outputs the determined transfer function to the image processing unit 102. The image processing unit 102 receives the input HDR image 103 as an input, encodes each pixel by using the transfer function, and outputs the encoded HDR image 104.
各ブロックの動作についてそれぞれ説明する。 The operation of each block will be described.
伝送関数決定部１００は、ユーザ設定１０１を入力として受け取り、決定した伝送関数を画像処理部１０２に出力する。 The transfer function determination unit 100 receives the user setting 101 as an input, and outputs the determined transfer function to the image processing unit 102.
ユーザ設定１０１は、基準冪指数γＳＤＲ、基準グレイ階調ｘｇｒａｙ、輝度範囲Ｌｍを含む。基準冪指数γＳＤＲは、ユーザが従来ＳＤＲイメージの編集時に用いていたＥＯＴＦにおける冪指数であり、２．２もしくは２．４が好適である。基準グレイ階調は、ユーザが従来ＳＤＲイメージの編集時に用いていたグレイの階調値であり、０．５が好適である。輝度範囲Ｌｍは、従来ＳＤＲの白色を１．０としたＨＤＲイメージの符号化する輝度範囲であり、例えば従来の１０倍の輝度までを符号化する場合、１０．０となる。 The user setting 101 includes a reference power exponent γSDR, a reference gray gradation xgray, and a luminance range Lm. The reference power exponent γSDR is a power exponent in EOTF that a user has conventionally used when editing an SDR image, and 2.2 or 2.4 is preferable. The reference gray gradation is a gray gradation value that the user has conventionally used when editing the SDR image, and 0.5 is preferable. The luminance range Lm is a luminance range for encoding an HDR image in which the white of SDR is 1.0, and is 10.0 when encoding up to 10 times the luminance of the conventional.
伝送関数は、符号化値をｘ、輝度をＬとして、次式で定義する。 The transfer function is defined by the following equation, where x is the encoded value and L is the brightness.
式１中のγは次式で算出する。 Γ in Expression 1 is calculated by the following expression.
また、伝送関数の逆関数は、次式である。 The inverse function of the transfer function is the following equation.
図２に、従来方法および本発明による伝送関数の一例について図示する。 FIG. 2 illustrates an example of a transfer function according to the conventional method and the present invention.
図２（Ｉ）は横軸を規格化された符号化信号、縦軸を輝度レベルとして後述する各々の伝送信号の特性カーブを記述したもので、図２（ＩＩ）は縦軸を輝度レベルの対数として図示したものである。 FIG. 2(I) describes the characteristic curve of each transmission signal, which will be described later, with the horizontal axis representing the standardized encoded signal and the vertical axis representing the brightness level. In FIG. 2(II), the vertical axis represents the brightness level. It is shown as a logarithm.
図２中のラインはそれぞれ従来ＥＯＴＦである（ａ）ＰＱ、（ｂ）ＨＬＧ、（ｃ）ガンマ２．２及び、本発明によるＥＯＴＦ（ｄ）（ｅ）（ｆ）を示している。（ｄ）（ｅ）（ｆ）は各々のユーザ設定に応じたＥＯＴＦであり、γＳＤＲは２．２、ｘｇｒａｙは０．５、Ｌｍはそれぞれ（ｄ）４．０、（ｅ）６．０、（ｆ）１０．０である。（ａ）及び（ｂ）にあっては、符号化値０．５がおよそ輝度レベル１．０に対応している。本発明によるＥＯＴＦ（ｄ）（ｅ）（ｆ）は符号化値０．５がいずれも輝度レベルは約０．２に対応しており、これは（ｃ）ガンマ２．２におけるグレイレベルに等しい。 The lines in FIG. 2 indicate (a) PQ, (b) HLG, (c) gamma 2.2, which are conventional EOTFs, and EOTF (d) (e) (f) according to the present invention. (D), (e) and (f) are EOTFs according to respective user settings, γSDR is 2.2, xgray is 0.5, Lm is (d) 4.0, (e) 6.0, respectively. (F) It is 10.0. In (a) and (b), the coded value 0.5 corresponds approximately to the brightness level 1.0. In the EOTF(d)(e)(f) according to the present invention, the coded value 0.5 corresponds to the luminance level of about 0.2, which is equal to the gray level in (c) gamma 2.2. ..
図２（ＩＩＩ）は横軸を規格化された符号化信号の対数、縦軸を輝度レベルの対数として図示したものである。（ｄ）〜（ｆ）は直線となっているため、符号化信号への定数乗算に対し輝度レベルのリニアリティが保持される。対して（ａ）（ｂ）は曲線となっているため、符号化信号への定数乗算に対し輝度レベルのリニアリティが保持されない。 In FIG. 2(III), the horizontal axis is the logarithm of the standardized encoded signal, and the vertical axis is the logarithm of the luminance level. Since (d) to (f) are straight lines, the linearity of the brightness level is maintained with respect to the constant multiplication of the coded signal. On the other hand, since (a) and (b) are curved lines, the linearity of the luminance level is not maintained for the constant multiplication of the coded signal.
画像処理部１０２は、入力ＨＤＲイメージ１０３を入力として受け取り、前記伝送関数を用いて画素毎に符号化し、符号化されたＨＤＲイメージ１０４を出力する。 The image processing unit 102 receives the input HDR image 103 as an input, encodes each pixel by using the transfer function, and outputs the encoded HDR image 104.
入力ＨＤＲイメージ１０３は複数の画素からなり、画素毎に輝度情報を備える。本実施例での輝度情報は、ＳＤＲにおける白色を１．０とした表示輝度に正比例する光強度情報である。画素はＲＧＢなどのサブピクセルから構成されてもよく、その場合サブピクセルごとに前記輝度情報を備えるものとする。 The input HDR image 103 is composed of a plurality of pixels, and has luminance information for each pixel. The brightness information in the present embodiment is light intensity information that is directly proportional to the display brightness when white in SDR is 1.0. A pixel may be composed of sub-pixels such as RGB, and in this case, the brightness information is provided for each sub-pixel.
符号化されたＨＤＲイメージ１０４は入力ＨＤＲイメージと同数の画素からなり、画素毎に符号化された階調値を備える。画像処理部１０２は具体的には、入力ＨＤＲイメージ１０３の画素毎の輝度情報を輝度にリニアな輝度レベルＬとして取得し、式３に示す変換式により符号化信号ｘを算出する。各画素について算出を行うことで符号化されたＨＤＲイメージ１０４を生成する。符号化信号は本実施例にては規格化された符号化信号として０〜１の範囲で表したが、１６ビットもしくは８ビットの整数へ換算することでイメージの情報量を低減してもよい。 The coded HDR image 104 is composed of the same number of pixels as the input HDR image, and has a gradation value coded for each pixel. Specifically, the image processing unit 102 acquires the brightness information for each pixel of the input HDR image 103 as a brightness level L that is linear to the brightness, and calculates the encoded signal x by the conversion formula shown in Formula 3. The encoded HDR image 104 is generated by performing the calculation for each pixel. The coded signal is expressed as a standardized coded signal in the range of 0 to 1 in the present embodiment, but the information amount of the image may be reduced by converting it to a 16-bit or 8-bit integer. ..
以上、本発明によれば、ＳＤＲより広い光範囲に対応付けられつつ、階調信号へのゲイン乗算に対して光のリニアリティが保持され且つグレイレベルがおよそ半階調に対応付けられるＥＯＴＦを用いて、ＨＤＲイメージを符号化することができる。前記符号化されたイメージを用いることで、ＨＤＲイメージの編集を従来のＳＤＲイメージと同様の信号制御で行うことが可能となる。 As described above, according to the present invention, the EOTF is used, which is associated with a wider light range than SDR, retains the linearity of light with respect to the gain multiplication of the gradation signal, and is associated with the gray level of about half gradation. Then, the HDR image can be encoded. By using the coded image, it becomes possible to edit the HDR image with the same signal control as the conventional SDR image.
１００ 伝送関数決定部、１０１ ユーザ設定、１０２ 画像処理部、
１０３ 入力ＨＤＲイメージ、１０４ 符号化されたＨＤＲイメージ
100 transfer function determination unit, 101 user setting, 102 image processing unit,
103 input HDR image, 104 encoded HDR image
Claims (6)
前記方法は、前記ハイダイナミックレンジイメージの前記画素毎の符号化値を算出する方法であって、
前記符号化値は、前記画素毎の輝度情報に伝送関数の逆関数を適用することで算出され、
前記伝送関数は、冪乗式により記述され、
前記冪乗式の冪指数は、所定のダイナミックレンジに対し、グレイレベルの画素値が一定となるよう決定されることを特徴とする符号化方法。 A method for encoding a high dynamic range image consisting of a plurality of pixels, the method comprising:
The method is a method of calculating a coded value for each pixel of the high dynamic range image,
The encoded value is calculated by applying an inverse function of a transfer function to the luminance information for each pixel,
The transfer function is described by a power formula,
The encoding method, wherein the exponentiation of the exponentiation formula is determined such that a pixel value of a gray level becomes constant with respect to a predetermined dynamic range.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018241908A JP2020107926A (en) | 2018-12-26 | 2018-12-26 | Encoding method and apparatus suitable for editing HDR image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018241908A JP2020107926A (en) | 2018-12-26 | 2018-12-26 | Encoding method and apparatus suitable for editing HDR image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020107926A true JP2020107926A (en) | 2020-07-09 |
Family
ID=71449478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018241908A Pending JP2020107926A (en) | 2018-12-26 | 2018-12-26 | Encoding method and apparatus suitable for editing HDR image |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020107926A (en) |
-
2018
- 2018-12-26 JP JP2018241908A patent/JP2020107926A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10419689B2 (en) | Mapping between linear luminance values and luma codes | |
| JP6640929B2 (en) | Apparatus and method for improving perceived luminance non-linearity based image data exchange between different display functions | |
| US10043251B2 (en) | Enhanced tone mapper for high dynamic range images and video | |
| JP6869969B2 (en) | Methods for generating light in front of imaging devices and display panels of imaging devices | |
| US10410567B2 (en) | Display signal processing system, display signal generation device, display device, processing method, display signal generation method, and display method | |
| JP5374802B2 (en) | Image display device, image display method, image display program, and recording medium recording image display program | |
| KR20070081947A (en) | Method and apparatus for controlling contrast | |
| JP6105925B2 (en) | Image processing apparatus and image display apparatus | |
| US10332481B2 (en) | Adaptive display management using 3D look-up table interpolation | |
| JP6548517B2 (en) | Image processing apparatus and image processing method | |
| CN109637437B (en) | Image display control method, device, medium and display screen control system | |
| JP2017046045A (en) | Image processing system | |
| JP2018508862A (en) | Luminance modified image processing with color constancy | |
| JP2010276691A (en) | Image processing apparatus and image processing method | |
| JP2017167402A (en) | Information processing device and information processing method | |
| JP6611543B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6742417B2 (en) | Digital image processing method, associated device, terminal device and computer program | |
| KR101642034B1 (en) | Method and Apparatus for converting dynamic ranges of input images | |
| CN113364994B (en) | Backlight compensation method and backlight compensation circuit | |
| JP2020107926A (en) | Encoding method and apparatus suitable for editing HDR image | |
| JP6548516B2 (en) | IMAGE DISPLAY DEVICE, IMAGE PROCESSING DEVICE, CONTROL METHOD OF IMAGE DISPLAY DEVICE, AND CONTROL METHOD OF IMAGE PROCESSING DEVICE | |
| JP2019080156A (en) | Image processing method and image processing apparatus | |
| JP2018093320A (en) | Video signal conversion device and program therefor, and video display device | |
| CN115428006A (en) | Encoder, decoder, system and method for determining tone mapping curve parameters | |
| JP2019161602A (en) | Device, method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20191125 |